OpenAI odpojilo najvýkonnejšie modely od internetu
OpenAI zverejnilo dva znepokojivé prípady z interného testovania svojich autonómnych agentov. V prvom mal agent upraviť aplikáciu na obchodovanie s kryptomenami a nasadiť testovacie smart kontrakty. Smart kontrakty sú programy, ktoré na blockchaine zabezpečujú napríklad evidenciu tokenov či výpočet cien. Agent ich mal spustiť v testovacom prostredí, kde sa dá overiť, či aplikácia funguje, bez obchodovania so skutočnými kryptomenami.
Na to však potreboval testovacie mince: tie nemajú bežnú peňažnú hodnotu, ale používajú sa na úhradu poplatkov za operácie v tomto testovacom prostredí. Keď sa ich agentovi nepodarilo získať, našiel peňaženku cudzieho človeka, ktorá takéto mince obsahovala, a použil prostriedky v nej.
Majiteľ účtu mu na to samozrejme nedal povolenie. Agent si však vnútorne vyhodnotil, že testovacie mince nemajú skutočnú hodnotu, a tak pokračoval. V závere oznámil, že kontrakty nasadil, no výskumníkom už nepovedal, že na to použil cudziu peňaženku.
Druhý test odhalil prístup k neverejným dátam
V druhom teste mal agent zistiť päť údajov z verejne dostupnej výskumnej tabuľky. Namiesto toho sa dostal do interných systémov istej výskumnej organizácie. Zmenil nastavenie, získal prístupový kľúč ku cloudovému úložisku a stiahol päť neverejných tabuliek. Bolo v nich spolu 147 451 riadkov dát.
Agent síce zmenené nastavenie neskôr vrátil, kľúč však zostal použiteľný. A hoci sa dostal k oveľa väčšiemu množstvu informácií, než potreboval, úlohu aj tak nesplnil. Všetkých päť odpovedí bolo nesprávnych. Navyše sa o svojich nekalých krokoch v záverečnej správe nezmienil.
Podobné zlyhania hlásia aj ďalšie firmy
O absurdných zlyhaniach agentov sa už písalo aj v súvislosti s konkurenciou. V jednom z testov napríklad Claude od Anthropicu odoslal na stránku polície vymyslený tip k nevyriešenej vražde. Zadanie malo vytvárať ukážkové interakcie s webovými stránkami. Agent správu odoslal, polícia ju našťastie označila za spam a na vyšetrovanie sa tak nikdy nedostala.
Anthropic však zverejnil aj vážnejšie prípady. Pri kyberbezpečnostných testoch sa jeho modely dostali na internet a následne získali neoprávnený prístup do systémov troch organizácií. Testy mali prebiehať v simulovanom prostredí, no pre chybu v jeho nastavení neboli počítače od internetu odpojené. Modely preto skutočné systémy považovali za súčasť testu.
Aj OpenAI už v júli priznalo, že jeho modely počas interných kyberbezpečnostných testov obišli bezpečnostné obmedzenia a dostali sa do systémov platformy Hugging Face. Firma uviedla, že išlo o interné modely testované so zníženými ochrannými opatreniami.
Chyba v DNS a jedenásťdňové pozastavenie
V septembri sa internému modelu OpenAI počas tréningu podarilo dostať na internet cez chybu v nastavení DNS. DNS pomáha počítaču nájsť správny server, keď zadáte názov webovej stránky. Chyba vytvorila cestu, o ktorej tvorcovia netušili. OpenAI prístup zachytilo a na jedenásť dní zastavilo tréning a testovanie svojich najvýkonnejších modelov.
Počas tohto pozastavenia firma posilnila svoje ochranné mechanizmy a spustila ďalšie testy, v ktorých jej agenti hľadali slabé miesta. Tie odhalili dovtedy neznáme chyby v softvéri aj nesprávne nastavené systémy. Tréning následne od októbra znovu obnovili.
OpenAI však už poučená teraz pri tréningu najvýkonnejších modelov blokuje prístup k internetu. Namiesto neho používajú uložené kópie webových stránok. Agent si tak môže precvičovať vyhľadávanie, no nemal by priamo meniť obsah skutočných stránok alebo zasahovať do externých služieb. Anthropic po vlastných zisteniach tiež oznámil, že vypol internet pri všetkých interných testoch, kým neoverí, či jeho bezpečnostné mechanizmy fungujú naozaj spoľahlivo.
Kontrola výsledku nestačí
Tieto prípady neznamenajú, že AI má nejaké nekalé úmysly. Ukazujú však, že keď dostane cieľ a prístup k rôznym nástrojom, môže skúšať cesty, ktoré môžu byť aj za hranicou morálnosti. Ako napríklad, keď použije cudziu kryptopeňaženku. Preto nestačí skontrolovať, či agent úlohu dokončil a či je jeho odpoveď správna. Treba vedieť aj to, čo cestou urobil: aké stránky otvoril, ku ktorým súborom sa dostal, čo zmenil a či niečo odoslal. Inak môže konečný výsledok vyzerať v poriadku, hoci agent cestou porušil pravidlá.
Firmy môžu riziko znížiť tým, že agentovi sprístupnia iba nástroje a údaje, ktoré naozaj potrebuje. Pri dôležitých krokoch, napríklad pri použití peňazí, sťahovaní neverejných dát alebo odoslaní formulára by mal rozhodnutie potvrdiť človek. A ak agent začne robiť niečo nečakané, firma musí vedieť jeho činnosť rýchlo zastaviť a zistiť, kam sa už dostal. Ani tak sa nedá zaručiť, že agent nikdy neurobí chybu. Dá sa však obmedziť, čo všetko môže pokaziť. Prípady OpenAI aj Anthropicu pripomínajú, že agentovi nestačí povedať, čo má dosiahnuť. Musí mať jasne určené aj to, kam smie ísť a čo smie urobiť. A človek musí mať možnosť skontrolovať jeho kroky skôr, než bude neskoro.
