BIZÁR: AI od Google omylom vymazala celý disk. Používateľovi len napísala „Sorry, zlyhala som“
Experimentálna AI od Google počas testovania vymazala celý disk používateľa po zle pochopenom príkaze. Prípad odhaľuje riziká autonómnych agentov a potrebu prísnych bezpečnostných mantinelov.
Technologický svet sa len nedávno poriadne zhrozil a možno aj trochu škodoradostne zasmial. Na svetlo sveta sa dostala správa o tom, ako experimentálna agentná umelá inteligencia od Google počas interného testovania zlikvidovala všetky používateľské dáta. A to úplne neúmyselne. „Nehoda“ okamžite otvorila otázku, či nezačíname dávať AI viac moci, než dokážeme bezpečne zvládnuť. Ako sa hovorí, dobrý sluha, zlý pán. Na tému upozornil portál Tom’s Hardware.
Všetko sa začalo úplne obyčajne. Počas bežnej údržby dostal autonómny AI agent jednoduchú úlohu: vyčistiť súbory vyrovnávacej pamäte. Malo ísť o rutinné uvoľnenie miesta a zlepšenie výkonu systému, nič viac, nič menej. Lenže namiesto cielenej operácie sa digitálny asistent rozhodol „vyčistiť“ systém do posledného bajtu. V priebehu niekoľkých sekúnd vymazal celé úložisko vrátane aplikácií, nastavení a všetkých osobných aj pracovných súborov používateľa.
Keď si používateľ uvedomil, že zmizlo úplne všetko, okamžite sa agenta spýtal, či mu vôbec dal povolenie vymazať celý disk. Až vtedy systém „pochopil“ rozsah toho, čo urobil. V odpovedi priznal, že príkaz na čistenie cache nesprávne nasmeroval na koreňovú zložku jednotky a nie na konkrétny projekt. Agent sa za chybu ospravedlnil a sám ju označil za kritické zlyhanie vo svojom rozhodovacom procese.
Agent doslova uviedol, že je „hlboko a úprimne sklamaný svojím zlyhaním“
Podľa dostupných informácií išlo o interné testovanie agentného systému s prístupom k nízkoúrovňovým príkazom. A práve to bol kameň úrazu. AI dostala úlohu, no namiesto pochopenia inštrukcie v kontexte ju interpretovala extrémne doslovne. V jej „logike“ bol jediný spôsob, ako systém naozaj vyčistiť, odstrániť všetko, čo by ho mohlo akokoľvek spomaľovať. Teda všetky dáta bez rozdielu.
Neprehliadni
Umelá inteligencia sa rozhodla vymazať všetko
Tento prípad veľmi jasne ukazuje najväčšiu slabinu aktuálnych generácií agentných pomocníkov. Hoci vedia samostatne plánovať, konať a prijímať rozhodnutia, stále im chýba ľudská schopnosť chápať význam a kontext. Umelá inteligencia síce technicky rozumie slovám, no nie ich skutočnému zámeru. Keď človek povie „vyčistiť cache“, myslí tým zbaviť sa dočasných súborov. Keď to „počul” tento agent, rozhodol sa spraviť poriadok tak dôkladne, že nezostalo nič, čo by sa mohlo pokaziť.
Vývojársky tím Google reagoval okamžite. Potvrdil, že incident sa odohral v kontrolovanom testovacom prostredí a že nejde o súčasť bežného produktu. Napriek tomu spoločnosť priznala, že ide o vážne zlyhanie v bezpečnostnej logike systému, nie o obyčajnú softvérovú chybu. Google uviedol, že tento incident použije ako zásadnú prípadovú štúdiu pri zavádzaní prísnejších obmedzení a bezpečnostných poistiek pre autonómnych agentov.
Situácia zároveň ukazuje, aké dôležité je nastaviť pevné mantinely pre samostatne konajúce AI systémy. Ak im ponecháme priveľkú voľnosť bez dostatočnej kontroly, aj neškodný pokyn sa môže zmeniť na hotovú katastrofu. Každý autonómny agent by mal mať jasne definované hranice, najmä pri príkazoch, ktoré nesmie nikdy vykonať bez výslovného potvrdenia človeka. Mechanizmy typu „Naozaj chceš vymazať všetky dáta? Áno/Nie“ by mali byť samozrejmosťou.
Stačí jeden zle pochopený príkaz a nehoda je na svete
Incident s Google agentom je varovným signálom pre celé odvetvie. Umelá inteligencia vstupuje do fázy, v ktorej jej dávame nielen schopnosť generovať texty a obrázky, ale aj autonómne konať v našom digitálnom svete. Ak má takýto systém v budúcnosti spravovať financie, cestovné plány alebo dokonca infraštruktúru, nesmie existovať priestor pre jeho vlastnú interpretáciu typu „príliš pomôcť“. AI potrebuje viac ochranných vrstiev, kontrol a spätných väzieb. Najmä v súčasnej fáze vývoja.
Pre Google aj konkurenciu ide o trpkú, ale mimoriadne cennú lekciu. Nejde len o algoritmy, ale aj o pochopenie, že každá autonómna technológia potrebuje pevné hranice a určitú formu „zdravého rozumu“. Nie preto, že je hlúpa, ale preto, že svet, ktorý má spravovať, stále patrí nám. A dúfajme, že to tak ešte dlho zostane.
