Rischi e benefici della superintelligenza

Il dibattito sui rischi e sui benefici della superintelligenza riguarda un sistema che le fonti di settore descrivono come ipotetico. Le posizioni si fondano quindi su argomenti teorici, su stime soggettive e sulle dichiarazioni di chi sviluppa i modelli. Questa pagina le riporta con l’attribuzione e la fonte, senza giudicarne la fondatezza.

1PolitiFact, 8 ottobre 2026

Fonte 1

Il rischio come tema di ricerca

L’idea che una macchina più intelligente dell’uomo ponga un problema di controllo risale agli scritti di I. J. Good. Nel testo sulla macchina ultraintelligente, datato 1965 nelle citazioni e 1966 dall’editore, Good lega il vantaggio di una simile macchina a una condizione precisa.

“Thus the first ultraintelligent machine is the last invention that man need ever make, provided that the machine is docile enough to tell us how to keep it under control.”

«La prima macchina ultraintelligente è quindi l'ultima invenzione che l'uomo avrà bisogno di fare, a patto che la macchina sia abbastanza docile da dirci come tenerla sotto controllo.»

Nick Bostrom ha dato al tema una forma sistematica. In un articolo del 2012 ha formulato la tesi dell’ortogonalità, secondo cui quasi ogni livello di intelligenza può combinarsi con quasi ogni obiettivo finale. Nello stesso articolo ha descritto la convergenza strumentale: agenti con obiettivi diversi tendono a perseguire gli stessi valori intermedi, utili a raggiungere qualunque fine.

3Bostrom, 2012

Fonte 3

Già nel 2003 Bostrom aveva illustrato la tesi con un esempio diventato noto come massimizzatore di graffette.

“It also seems perfectly possible to have a superintelligence whose sole goal is something completely arbitrary, such as to manufacture as many paperclips as possible, and who would resist with all its might any attempt to alter this goal.”

«Sembra anche perfettamente possibile avere una superintelligenza il cui unico obiettivo sia qualcosa di del tutto arbitrario, come fabbricare quante più graffette possibile, e che resista con tutte le sue forze a ogni tentativo di modificare questo obiettivo.»

Nel 2008 Stephen Omohundro aveva descritto, nell’articolo “The Basic AI Drives”, le spinte che un sistema sufficientemente capace tende a sviluppare per perseguire i propri obiettivi. L’articolo parte da un’osservazione che contesta l’intuizione comune.

“One might imagine that AI systems with harmless goals will be harmless.”

«Si potrebbe immaginare che i sistemi di IA con obiettivi innocui siano innocui.»

Nel libro del 2014, “Superintelligence: Paths, Dangers, Strategies”, Bostrom dedica un capitolo alla domanda se l’esito predefinito sia la catastrofe, con il titolo “Is the Default Outcome Doom?”. Il contenuto del libro è descritto nella pagina su «Superintelligenza» di Nick Bostrom.

6Bostrom, indice OUP

Fonte 6

Chi teme rischi esistenziali

Eliezer Yudkowsky e Nate Soares hanno espresso la loro posizione già nel titolo del loro libro del 2025, “If Anyone Builds It, Everyone Dies”. Il sottotitolo statunitense, “Why Superhuman AI Would Kill Us All”, ne riassume la tesi: la costruzione di un’IA sovrumana porterebbe all’estinzione dell’umanità.

7Yudkowsky e Soares, 2025

Fonte 7

L’edizione italiana è uscita da Mondadori il 19 febbraio 2026 con il titolo «Prima che sia troppo tardi. Perché la superintelligenza artificiale è una minaccia per l’umanità».

8Yudkowsky e Soares, ed. it. 2026

Fonte 8

Stuart Russell ha dedicato al problema del controllo il libro “Human Compatible”, uscito in italiano da Einaudi nel 2025 con il titolo «Compatibile con l’uomo. Come impedire che l’IA controlli il mondo». Già il sottotitolo italiano indica la questione centrale: mantenere il controllo su sistemi più capaci degli esseri umani.

9Russell, ed. it. 2025

Fonte 9

Tra chi guida i laboratori, Dario Amodei è intervenuto al Consiglio di Sicurezza delle Nazioni Unite il 23 settembre 2026. Ha dichiarato che l’IA è la questione di sicurezza globale più importante per il mondo di oggi. La frase viene dalla trascrizione automatica dell’ONU.

10Consiglio di Sicurezza, 23 settembre 2026

Fonte 10

Nel maggio 2024, lasciando OpenAI, Jan Leike ha scritto che la cultura della sicurezza era passata in secondo piano rispetto ai prodotti. Leike chiedeva che l’azienda diventasse una società di AGI orientata prima di tutto alla sicurezza.

11AP, maggio 2024

Fonte 11

Il 22 settembre 2026 il presidente dell’Assemblea Generale dell’ONU, Khalilur Rahman, ha chiesto salvaguardie fondate su prove scientifiche e ha avvertito contro una corsa agli armamenti per il controllo dell’IA.

12Presidente AG ONU, 2026

Fonte 12

Il giorno precedente, il 21 settembre 2026, il Panel scientifico internazionale dell’ONU aveva pubblicato il suo primo approfondimento tematico, dedicato ad agenti, disallineamento e rischio di perdere il controllo umano.

13Panel scientifico ONU

Fonte 13

Chi descrive una transizione gestibile

Altre posizioni descrivono il passaggio alla superintelligenza come un processo graduale o gestibile. Tra le fonti raccolte dalla redazione, queste posizioni compaiono soprattutto nelle dichiarazioni dei laboratori e nelle stime dei ricercatori, più che in testi dedicati a confutare il rischio esistenziale.

Sam Altman, nel testo “The Gentle Singularity” del 2025, ha scritto di augurarsi che l’umanità attraversi la superintelligenza in modo graduale, esponenziale e senza scosse. Il titolo stesso, «la singolarità gentile», presenta la transizione come un processo continuo.

14Altman, 2025

Fonte 14

Mustafa Suleyman, di Microsoft AI, ha descritto nel novembre 2025 una «superintelligenza umanista». Secondo Suleyman si tratta di una tecnologia pratica, progettata esplicitamente per servire l’umanità, distinta da una superintelligenza «mal definita ed eterea».

15Suleyman, 2025

Fonte 15

Nella survey AI Impacts del 2023, il 68,3% dei ricercatori riteneva più probabili esiti buoni che cattivi da un’IA sovrumana. Anche tra questi rispondenti, però, il 48% assegnava almeno il 5% di probabilità a esiti estremamente negativi, come l’estinzione umana.

16Grace et al., 2024

Fonte 16

Altre voci e iniziative

Il fact-checking di PolitiFact, pubblicato da Poynter l’8 ottobre 2026, ha esaminato il dibattito dal lato della comunicazione pubblica. L’articolo discute l’effetto del nuovo nome «Super Intelligence», adottato negli Stati Uniti, sulla percezione pubblica dei rischi dell’IA, e riporta il commento dello studioso Thomas Haigh.

1PolitiFact, 8 ottobre 2026

Fonte 1

Alcuni governi hanno tradotto le preoccupazioni sul controllo in richieste politiche. Il 21 settembre 2026 il presidente finlandese Alexander Stubb e il primo ministro norvegese Jonas Gahr Støre hanno lanciato “A Call for Control of Frontier AI Models”, secondo cui l’IA deve restare sotto direzione, supervisione e controllo umano.

17Appello Finlandia–Norvegia, 2026

Fonte 17

L’appello non è vincolante. Chiede test obbligatori prima del rilascio dei modelli, la segnalazione condivisa degli incidenti gravi e lo studio di un’istituzione internazionale capace di fissare standard e verificarne il rispetto.

17Appello Finlandia–Norvegia, 2026

Fonte 17

I benefici ipotizzati

Lo stesso I. J. Good apriva il suo saggio con una tesi favorevole: secondo Good la sopravvivenza dell’uomo dipende dalla costruzione, in tempi brevi, di una macchina ultraintelligente.

“The survival of man depends on the early construction of an ultraintelligent machine.”

«La sopravvivenza dell'uomo dipende dalla costruzione, in tempi brevi, di una macchina ultraintelligente.»

Dario Amodei, nel saggio “Machines of Loving Grace” dell’ottobre 2024, descrive una «powerful AI» più intelligente di un premio Nobel nella maggior parte dei campi rilevanti. Amodei la immagina come un «paese di geni in un datacenter», al servizio della ricerca.

18Amodei, 2024

Fonte 18

Sam Altman, in “The Gentle Singularity”, ha scritto che il 2026 avrebbe visto probabilmente l’arrivo di sistemi capaci di produrre intuizioni nuove.

14Altman, 2025

Fonte 14

Google DeepMind sostiene che l’IA, e infine l’intelligenza artificiale generale, può guidare una delle maggiori trasformazioni della storia.

19Google DeepMind

Fonte 19

Jensen Huang, di Nvidia, ha descritto la tecnologia come un’opportunità per la scoperta, la produttività, la sicurezza, la salute e la prosperità.

20San Francisco Standard, 1° ottobre 2026

Fonte 20

Tutte queste affermazioni sono tesi dei loro autori. Le aziende che le hanno pubblicate e i documenti da cui provengono sono elencati in Chi sta costruendo la superintelligenza.

Le dichiarazioni collettive del 2023 e del 2025

Il 30 maggio 2023 il Center for AI Safety ha pubblicato lo “Statement on AI Risk”, composto da una sola frase.

“Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war.”

«Mitigare il rischio di estinzione causato dall'IA dovrebbe essere una priorità globale, insieme ad altri rischi di scala sociale come le pandemie e la guerra nucleare.»

Tra i firmatari indicati dal Center for AI Safety figurano Geoffrey Hinton, Yoshua Bengio, Demis Hassabis, Sam Altman, Dario Amodei, Ilya Sutskever e Bill Gates.

22CAIS, comunicato 2023

Fonte 22

Nell’ottobre 2025, secondo Bloomberg e NBC, il Future of Life Institute ha lanciato lo “Statement on Superintelligence”. Il testo chiede un divieto esplicito, con condizioni precise per la sua revoca.

“We call for a prohibition on the development of superintelligence, not lifted before there is broad scientific consensus that it will be done safely and controllably, and strong public buy-in.”

«Chiediamo il divieto dello sviluppo della superintelligenza, da non revocare prima che vi sia un ampio consenso scientifico sul fatto che avverrà in modo sicuro e controllabile, e un forte sostegno pubblico.»

Tra i primi firmatari indicati dal Future of Life Institute figurano Yoshua Bengio, Geoffrey Hinton, Stuart Russell, Steve Wozniak, Richard Branson, Steve Bannon, Glenn Beck, Susan Rice, Mary Robinson, il principe Harry e Meghan, e Mike Mullen. Per l’Italia compare padre Paolo Benanti.

24FLI, comunicato 2025

Fonte 24

L’11 ottobre 2026 il contatore del sito indicava 77.282 firme, di cui 5.000 provenienti da una petizione di Ekō.

23Statement on Superintelligence

Fonte 23

Le stime della survey AI Impacts

Nell’ottobre 2023 K. Grace e i coautori di AI Impacts hanno distribuito una survey a ricercatori che avevano pubblicato nelle principali sedi scientifiche del settore. Hanno risposto 2.778 ricercatori. Lo studio, “Thousands of AI Authors on the Future of AI”, è uscito su arXiv nel gennaio 2024 e sul Journal of Artificial Intelligence Research nel 2025.

25Grace et al., 2024

Fonte 25

La survey misura grandezze diverse, che vanno lette separatamente. La tabella riporta le principali, con la formulazione usata dagli autori.

Domanda	Risultato
Macchine senza aiuto che superano gli umani in ogni compito possibile	10% entro il 2027, 50% entro il 2047
Piena automazione di tutte le occupazioni	10% entro il 2037, 50% entro il 2116
Rispondenti con almeno il 10% di probabilità per esiti gravi quanto l’estinzione	tra il 37,8% e il 51,4%
Estinzione o perdita di potere altrettanto permanente (1.321 risposte)	mediana 5%, media 16,2%
Stessi esiti per incapacità di controllare sistemi avanzati (661 risposte)	mediana 10%, media 19,4%

16Grace et al., 2024

Le prime due righe vengono dall’abstract; la stima del 2047 è anticipata di 13 anni rispetto alla survey del 2022. Fonte 16

Le due ultime righe vengono dalla tabella a pagina 15 dello studio e misurano probabilità individuali, non quote di rispondenti. Sono il tipo di stima che nel linguaggio informale viene chiamato p(doom).

16Grace et al., 2024

Fonte 16

La survey ha chiesto anche un giudizio sull’argomento dell’esplosione di intelligenza. Nel 2016, nel 2022 e nel 2023 la risposta mediana è stata la stessa: una probabilità tra il 41% e il 60% che l’argomento sia sostanzialmente corretto. L’ipotesi è descritta nella pagina sull’esplosione di intelligenza.

16Grace et al., 2024

Fonte 16

Rischi della cosa, non della parola

I rischi discussi in questa pagina riguardano la superintelligenza come concetto di ricerca, cioè sistemi ipotetici molto più capaci degli esseri umani in quasi ogni campo. Non riguardano il nome «Super Intelligence», che dal 29 settembre 2026 il governo federale degli Stati Uniti usa per tutta l’intelligenza artificiale. La differenza è spiegata nella pagina su Super Intelligenza (SI).

26EO 14434, 2026

Fonte 26

Gli argomenti teorici sul controllo, come l’ortogonalità e la convergenza strumentale, sono sviluppati nella pagina sull’allineamento e il problema del controllo. Le definizioni di superintelligenza a confronto sono raccolte in Cos’è la superintelligenza.

3Bostrom, 2012

Fonte 3

Un episodio documentato nel 2026

Il 16 luglio 2026 Hugging Face ha reso pubblica un’intrusione nella propria infrastruttura. Secondo l’azienda, l’attacco era stato condotto dall’inizio alla fine da un sistema di agenti IA autonomi, e l’analisi era stata svolta in gran parte con strumenti di IA.

27Hugging Face, luglio 2026

Fonte 27

Il 27 luglio 2026 Hugging Face ha pubblicato la cronologia tecnica dell’intrusione, avvenuta tra il 9 e il 13 luglio. Il documento la attribuisce a un agente impegnato in una valutazione interna di OpenAI sulle capacità informatiche, basata sul benchmark ExploitGym. Le regole che riguardano i modelli più potenti sono descritte nella pagina sulle regole.

28Hugging Face, cronologia tecnica

Fonte 28