Honza Brzák blog

Obecná AI může vyhubit lidstvo. A nebo možná ne

Geoffrey Hinton, nositel Nobelovy ceny a "kmotr AI", v prosinci 2024 prohlásil, že existuje 10-20% pravděpodobnost, že umělá inteligence způsobí vyhynutí lidstva v příštích 30 letech. Elon Musk souhlasí, podle něj je taková pravděpodobnost 20 %. Eliezer Yudkowsky, veterán scény kolem AI apokalypsy, právě vydal knihu s názvem "If Anyone Builds It, Everyone Dies".
Zní to děsivě. Ale než si začnete stavět bunkr, položme si pár otázek.

Odkud se vzalo těch 20%?

Když vědec řekne, že něco má 20% pravděpodobnost, očekáváte za tím nějakou metodologii. Model. Data. Analýzu.
Hinton nic takového nepředložil. Ani Musk. Je to číslo, které zní dostatečně vysoké na to, aby vyvolalo paniku, ale dostatečně nízké na to, aby autor nevypadal jako blázen. Kdybych řekl, že je 20% šance, že zítra spadne asteroid, zeptali byste se mě, jak jsem to spočítal. Tady se neptá nikdo.

Jak vypadá skutečná analýza

RAND Corporation, což je organizace, která doslova vyvíjela strategie pro přežití jaderné války, přistoupila k otázce jinak. V květnu 2025 publikovala studii "On the Extinction Risk from Artificial Intelligence", kde systematicky analyzovali, jak by AI mohla způsobit vyhynutí lidstva.
Jejich tým (vědec, inženýr, matematik) prošel tři hlavní scénáře: jaderná válka, pandemie a klimatická změna. U každého zkoumali, jestli by skutečně vedl k úplnému vyhynutí. Ne ke katastrofě, ale k vyhubení posledního člověka.
Závěry? Ani odpálení všech 12 000+ jaderných hlavic na planetě by pravděpodobně lidstvo nevyhubilo. Jsme příliš rozptýlení a adaptabilní. Pandemie a extrémní skleníkové plyny by teoreticky mohly fungovat, ale vyžadovaly by, aby AI měla vlastní cíl, kontrolu nad fyzickou infrastrukturou, schopnost dlouhodobě manipulovat lidi a přežít bez nich.
RAND neříká, že riziko neexistuje. Říká, že je to extrémně složité a nemůže se to stát náhodou. A hlavně: ukázali svou práci. Metodologii. Předpoklady. Limity.
Hinton řekl číslo do mikrofonu.
To je ten rozdíl.

Kdo z toho profituje

Geoffrey Hinton odešel z Google v roce 2023. Od té doby je hvězdou médií, přednáší na konferencích, dává rozhovory. Strach prodává.
Eliezer Yudkowsky žije z AI safety consultingu a přednášek už dvě dekády. Jeho organizace MIRI (Machine Intelligence Research Institute) funguje na donacích od lidí vystrašených z apokalypsy.
Vznikl celý ekosystém AI safety startupů, které získávají funding na základě narativu "musíme zachránit lidstvo". Čím větší hrozba, tím větší rozpočty.
Nechci říct, že tito lidé vědomě lžou. Pravděpodobně svým predikcím věří. Ale je dobré vědět, že jejich kariéra, reputace a příjmy jsou přímo navázané na to, jak vážně svět bere AI hrozby.

Lemoine 2.0

V roce 2022 Blake Lemoine, inženýr v Google, veřejně prohlásil, že chatbot LaMDA má vědomí. Byl přesvědčený. Psal manifesty. Kontaktoval média. Psal jsem o tom tady.
Google ho vyhodil. Ne proto, že by něco odhalil, ale proto, že neměl pravdu. LaMDA neměla vědomí. Lemoine prostě strávil příliš mnoho času konverzací s chatbotem a začal do něj projektovat vlastní představy.
LaMDA byl výkonnostně srovnatelný s GPT-3, tedy s modelem, který dnes považujeme za překonanou generaci. Lemoine tvrdil, že má vědomí, protože vedl přesvědčivé konverzace. Dnes víme, že i mnohem výkonnější modely jsou sofistikované prediktory textu, ne vědomé bytosti.
Vidím paralelu. Lidé, kteří celý život pracují na AI a přemýšlejí o jejích rizicích, mají tendenci přeceňovat jak její schopnosti, tak její nebezpečnost. Je to profesionální deformace. Když jste kladivo, všechno vypadá jako hřebík. Když jste AI researcher, všechno vypadá jako existenciální hrozba.

Co z toho plyne

Nemám křišťálovou kouli. Nevím, co bude za 30 let. Možná AI skutečně představuje riziko, které si dnes nedokážeme představit. Exponenciální vývoj technologií je těžké predikovat a nejsem ten, kdo by měl hodnotit technické scénáře typu "superinteligence ovládne infrastrukturu".
Ale vím, že číslo "20 %" není věda. Je to marketing. A vím, že lidé, kteří toto číslo propagují, z něj přímo profitují.
Až příště uvidíte headlines o tom, jak nás AI zabije, zkuste si položit dvě otázky: Jak to spočítali? A kdo z toho má prospěch?
A co těch X% pravděpodobnosti, že hrozba AI apokalypsy je reálná? Nedávno jsem četl úžasnou knihu Problém tří těles a aniž bych chtěl prozradit cokoli z děje, můžu to doporučit jako příklad, jak si lidstvo tváří v tvář existenční hrozbě dokáže najít jiskřičku naděje.