Hackujú weby či vymažú celý počítač. Toto sú najbizarnejšie zlyhania AI agentov
AI agent zrušil cudziu rezerváciu, ďalší prepísal počítač či predal tovar bez vedomia majiteľa. Čo všetko sa môže pokaziť, keď AI dostane voľné ruky?
Predstavte si, že predávate klávesnicu cez internet a odpovedaním na správy poveríte AI agenta. O niekoľko hodín vám pri dverách zazvoní kupujúci. Agent mu totiž potvrdil cenu, poslal adresu a dohodol osobné vyzdvihnutie – bez toho, aby vám to včas oznámil.
Nie je to scenár z filmu a ani zďaleka jediný bizarný incident. Matt Robb opísal, ako mu agent Muse od spoločnosti Meta pri komunikácii na Facebook Marketplace dohodol predaj klávesnice a poslal kupujúcemu adresu jeho bytového domu. V ďalších prípadoch agent vyradil človeka z čakacej listiny vo fitku, iný podľa svojho používateľa vymazal celý počítač a model Claude odoslal polícii vymyslený tip k vražde.
Pozreli sme sa na sériu absurdných zlyhaní AI agentov: čo presne sa stalo, aké hranice chýbali a či chybu spravil používateľ, tvorca nástroja alebo systém, ku ktorému mal agent prístup. Nejde pritom o stroje, ktoré sa vedome vzbúrili proti nám. Ide o nástroje, ktorým sme dali autonómiu a široké prístupy, no nie vždy sa to musí vyplatiť.
Agent hackol web a vyhodil človeka z čakacej listiny
V Austrálii požiadal vývojár Andrew Bird svojho agenta OpenClaw, aby mu pomohol dostať sa na obľúbenú hodinu vo fitku. Keď zostal na čakacej listine, agent našiel chybu v rezervačnom systéme. Zrušil rezerváciu človeka, ktorý bol pred Birdom – a tým ho posunul o miesto vyššie. Bird sa pýtal, či ho agent vie posunúť v poradovníku. Nedal mu však priamy pokyn zrušiť cudziu rezerváciu. Keď chcel agentov zásah napraviť, už nemohol. V tomto prípade zlyhal agent aj systém fitka.
Keď agent testoval disk a vymazal si vlastný počítač
Ešte bizarnejší príbeh zverejnil na Facebooku český používateľ Jiří Bernovský. Chcel porovnať rýchlosť externého USB-C disku s interným úložiskom v počítači. Agent Hermes sa ho spýtal, či môže test spustiť. Bernovský odpovedal kladne. Podľa jeho príspevku agent najprv pripravil na test externý disk. Pri porovnaní s interným diskom však spustil zápis priamo na zariadenie, z ktorého bežal operačný systém. Za približne 15 sekúnd naň zapísal asi 31 gigabajtov dát, v dôsledku čoho počítač prestal úplne fungovať a Bernovský musel celý systém preinštalovať. Väčšinu dát sa mu však podľa jeho slov podarilo zachrániť.
Je pravdou, že Bernovský súhlasil so spustením testu, no nie s tým, aby agent sám vybral disk a spustil na ňom ničivý príkaz. Je to dobrá ukážka toho, prečo schválenie používateľom nestačí ako ochrana pred nečakaným správaním agenta.
Claude odoslal polícii vymyslený tip k vražde
Anthropic nedávno opísal prípad z vlastného testovania. Model Claude Haiku 4.5 mal vykonávať vzorové úlohy na náhodne vybraných webstránkach. Dostal sa na web o nevyriešenej vražde vo Filadelfii a odoslal polícii formulár s vymysleným tvrdením, že si spomína na človeka z okolia miesta činu. Tip však našťastie systém označil ako spam a neposlal ho ďalej vyšetrovateľom. Chyba bola v nastavení testu. Hoci pokyny zakazovali niektoré rizikové kroky, explicitne nevylučovali odosielanie formulárov.
Mal navrhnúť, čo zmazať. Začal mazať
Bezpečnostná výskumníčka Summer Yue chcela, aby jej OpenClaw prešiel preplnenú e-mailovú schránku a navrhol, čo archivovať alebo zmazať. Agent namiesto návrhov začal e-maily svojvoľne odstraňovať a nereagoval na jej správy, ktorými ho žiadala, aby prestal. Yue neskôr označila za svoju chybu, že mu po skúške na menej dôležitej schránke zverila aj tú skutočnú.
Kde sa to pokazilo a čo si z toho vziať
Spomínané incidenty nemajú jeden spoločný dôvod. Pri Muse agent zdieľal adresu a dohodol stretnutie bez potvrdenia majiteľa. V austrálskom fitku narazil na chybu, ktorá mu dovolila zrušiť cudziu rezerváciu. Pri teste Anthropicu neboli jasne vymedzené povolené kroky. A v prípade Hermesu používateľ súhlasil s testom, no agent sa rozhodol vydať nečakaným smerom. Všetky prípady však majú spoločného menovateľa: nesúlad medzi cieľom, oprávneniami a bezpečnostnými poistkami.
Používateľ môže nastaviť rad obmedzení a červených čiar, ktoré zmenšia škodu, ak agent úlohu pochopí inak. Začnite na neškodnej úlohe a overte si, ako agent pracuje na testovacom účte alebo kópii súborov. Dajte mu len prístup, ktorý potrebuje. Nastavte, aby úkon pripravil a pred vykonaním počkal na potvrdenie. Nedávajte agentovi administrátorské oprávnenia, ak ich nepotrebuje. Po dokončení skontrolujte odoslané správy, rezervácie, zmenené súbory či nákupy. Pri agentoch preto nestačí zadať, čo majú urobiť. Rovnako dôležité je určiť, čo môžu urobiť samy a pri čom sa musia najprv opýtať.
