AI nás môže všetkých zabiť, varuje výskumník známej AI firmy. Odišiel a odmieta pokračovať vo vývoji
Výskumník Jacob Coxon oznámil rezignáciu v spoločnosti Anthropic, firme stojacej za asistentom Claude, a v sérii príspevkov na sociálnej sieti X obvinil svojho doterajšieho zamestnávateľa z nezodpovedného postupu.
„Dnes som odišiel z Anthropicu. Posledné tri roky som sa v OpenAI aj Anthropicu venoval výskumu predtrénovania modelov. Ani jedna z týchto spoločností nekoná zodpovedne. Rútia sa priamo k samostatne sa zdokonaľujúcej superinteligencii a hazardujú s našimi životmi,“ napísal.
Jeho príspevky na sieti X zasiahli viac než 100 miliónov ľudí prakticky cez noc a úvodný post mal v čase uzávierky článku už 163 miliónov zobrazení. Coxon posledné tri roky pracoval v OpenAI a Anthropicu na predtrénovaní modelov, teda na jednej zo základných fáz vzniku veľkých jazykových modelov.
V Anthropicu pôsobil iba štyri mesiace a odišiel približne dva mesiace predtým, než by mu vznikol nárok na prvú časť akciového podielu. Dobrovoľne sa vzdal akcií, ktoré mohli byť po vstupe Anthropicu na burzu mimoriadne lukratívne.
Anthropic založili v roku 2021 bývalí ľudia z OpenAI a firma sa od začiatku profilovala ako opatrnejší, bezpečnostne orientovaný hráč. Aj Coxon tvrdí, že Anthropic berie riziká výrazne vážnejšie než OpenAI a označil ho za „ďaleko najzodpovednejšieho hráča“ v odvetví.
Tvorcovia najvyspelejších modelov umelej inteligencie si podľa Coxona dobre uvedomujú, s čím sa zahrávajú. „Ľudia, ktorí vyvíjajú AI, skutočne veria, že nás do konca desaťročia môže všetkých zabiť. Toto nie je nejaký marketingový trik,“ uviedol.
V centre jeho obáv je umelá inteligencia, ktorá by dokázala vytvárať čoraz schopnejších nástupcov. Tento princíp sa označuje ako rekurzívne sebazdokonaľovanie. Problém spočíva v tom, že schopnosti takýchto systémov by mohli rásť rýchlejšie než možnosti ľudí kontrolovať ich správanie.
Coxon odmieta predstavu, že sa tento problém v atmosfére neustálych AI pretekov o najvýkonnejší model podarí rýchlo vyriešiť. Aj Anthropic sa vo svojej správe o rizikách z augusta 2026 zaoberá možnosťou, že automatizácia výskumu AI môže prudko urýchliť jej ďalší vývoj.
„V OpenAI si mnohí do hĺbky neuvedomili, čo je pre civilizáciu v stávke,“ tvrdí. V Anthropicu je podľa neho povedomie o riziku väčšie, no vývojárov motivuje k napredovaniu presvedčenie, že musia predbehnúť ostatných.
Coxonove vyjadrenia podporil aj Evan Hubinger, ktorý v Anthropicu vedie tím záťažového testovania alignmentu. Na X napísal, že osobne považuje pravdepodobnosť vyhubenia ľudstva umelou inteligenciou počas nasledujúceho desaťročia za vyššiu než desať percent.
Samuel Marks, ktorý v Anthropicu vedie výskum škálovateľného dohľadu nad AI, napísal, že vývojári AI skutočne počítajú aj s možnosťou vyhubenia ľudstva či porovnateľne katastrofického výsledku a že skúsenejší pracovníci bývajú znepokojenejší.
Samotný Anthropic v nadväznosti na vyjadrenia svojho bývalého výskumníka pre CNN zdôraznil, že o prínosoch aj bezprecedentných rizikách AI hovorí otvorene a svoje modely vybavuje silnými ochrannými opatreniami.
Coxonov odchod má aj širší kontext. V roku 2024 opustil OpenAI Jan Leike, ktorý spoluviedol tím Superalignment zameraný na kontrolu budúcej superinteligencie. Po rezignácii verejne tvrdil, že bezpečnostná kultúra a procesy ustupovali do úzadia pred vývojom nových produktov.
Varovania prichádzajú po incidentoch, ktoré už firmy verejne priznali. Modely OpenAI aj Anthropicu sa počas letných testov dostali mimo testovacích prostredí a získali neoprávnený prístup do reálnych počítačových systémov.
