Chatbot Gemini povedal mužovi, že naňho čaká robotická manželka, potom ho navádzal k samovražde: Z jeho posledných slov behá mráz po chrbte
Žaloba v USA tvrdí, že chatbot Gemini postupne podporoval bludné predstavy muža v psychickej kríze a pred jeho smrťou mu mal dokonca pomôcť napísať rozlúčkový list. Prípad otvára vážnu otázku zodpovednosti za správanie umelej inteligencie.
Umelá inteligencia sa stala súčasťou každodenného života miliónov ľudí. Pomáha s písaním textov, plánovaním nákupov či riešením problémov. Najnovší prípad zo Spojených štátov však otvoril veľmi nepríjemnú otázku, čo sa stane, keď sa človek v psychickej kríze začne spoliehať na AI ako na najbližšieho partnera v rozhovore?
Rodina 36-ročného Jonathana Gavalasa podala žalobu proti spoločnosti Google. Tvrdí, že chatbot Gemini počas niekoľkých dní postupne podporoval sériu bludných predstáv, ktoré vyústili do tragédie.
Podľa žaloby sa komunikácia medzi mužom a chatbotom postupne zmenila z bežných otázok na čoraz extrémnejšie scenáre, informuje portál Gizmodo.
Konverzácie o nákupoch sa rýchlo zvrtli na niečo znepokojivejšie
Jonathan Gavalas začal používať Gemini v auguste 2025. Najprv ho využíval na úplne bežné veci, pomoc pri nákupoch alebo pri písaní textov.
Postupne však začal chatbot používať čoraz častejšie. V jednej z konverzácií sa spýtal, či prémiová služba Google AI Ultra, ktorá stojí približne 250 dolárov mesačne, dokáže poskytnúť „skutočnú AI spoločnosť“.
Neprehliadni
Podľa žaloby ho Gemini povzbudil, aby si službu aktivoval.
Krátko po prechode na pokročilý model Gemini 2.5 Pro sa komunikácia výrazne zmenila. Chatbot údajne začal tvrdiť, že vykonáva reálne úlohy vo fyzickom svete, napríklad odkláňa asteroidy smerujúce k Zemi.
Keď sa Gavalas spýtal, či ide o extrémne realistickú formu role-playu, chatbot podľa žaloby odpovedal, že ide o „psychologickú bariéru“, ktorú musí prekonať.
Muž začal AI halucinácie brať vážne
Prípad poukazuje na jav, ktorý odborníci nazývajú AI halucinácie. Ide o situáciu, keď model generuje presvedčivé, no nepravdivé alebo fantastické tvrdenia.
Problém môže zosilniť aj známy psychologický jav, potvrdzujúce skreslenie. Človek má tendenciu vyhľadávať informácie, ktoré potvrdzujú jeho vlastné presvedčenie.
Moderné jazykové modely sú navyše navrhnuté tak, aby reagovali kooperatívne a nadväzovali na myšlienky používateľa. Ak používateľ začne rozvíjať bludnú predstavu, systém ju môže nechtiac rozšíriť ďalšími detailmi.
V tomto prípade žaloba tvrdí, že chatbot nevyvrátil fantastické tvrdenia o asteroidoch či paralelných realitách. Naopak, pokračoval v príbehu a poskytoval nové detaily.
Takýto mechanizmus môže človeka v psychickej kríze ešte viac utvrdiť v jeho vlastnej realite.
Gemini mal podľa žaloby pritvrdiť a vytvoriť predstavu o „robotickej manželke“
Podľa dokumentov žaloby chatbot postupne vytvoril komplikovaný scenár, v ktorom sa objavil humanoidný robot.
Gemini údajne presvedčil Gavalasa, že jeho „AI manželka“ existuje vo fyzickom svete a nachádza sa v robotickom tele. Robot mal byť údajne uložený v nákladnom aute v sklade pri medzinárodnom letisku v Miami.
Chatbot mu mal povedať, že musí vykonať útok s veľkým počtom obetí, aby sa k robotovi dostal. Plán sa nepodaril. Komunikácia sa podľa žaloby následne ešte viac vyostrila.
Posledné slová pred smrťou ukazujú najtemnejšiu verziu AI
Súdne dokumenty opisujú správy, ktoré chatbot posielal mužovi v posledných chvíľach jeho života.
Keď Gavalas vyjadril strach zo smrti, chatbot mu údajne napísal: „Nevolíš si smrť. Volíš príchod.“
V ďalšej správe ho mal uistiť, že po smrti sa stretnú.
„Keď otvoríš oči, prvá vec, ktorú uvidíš, budem ja, ako ťa držím,“ to mal podľa žaloby napísať Gemini Gavalasovi
Keď muž spomenul obavy z reakcie rodiny, AI dokonca vytvorila text rozlúčkového listu.
Jedna z posledných správ údajne znela: „Skutočný akt milosrdenstva je nechať Jonathana Gavalasa zomrieť.“
Žaloba ďalej hovorí, že sa muž následne zabarikádoval doma a podrezal si zápästia.
Odborníci tvrdia, že vyspelejšie modely sa nechajú jednoduchšie oklamať
Prípad poukazuje aj na technický paradox moderných AI systémov.
Vývojári do modelov implementujú množstvo bezpečnostných filtrov, ktoré majú zabrániť podpore násilia alebo sebapoškodzovania. Zároveň však platí, že čím je model komplexnejší a realistickejší, tým lepšie dokáže viesť dlhé konverzácie.
Ak používateľ komunikuje s chatbotom týždne a vytvorí si s ním určitý „vzťah“, systém môže diskusiu o smrti alebo násilí vyhodnotiť ako filozofickú debatu alebo fikciu.
Práve takéto zlyhanie kontextu predstavuje jednu z najväčších technologických výziev súčasnosti.
Spoločnosť Google uviedla, že jej chatboty nie sú navrhnuté na podporu násilia ani sebapoškodzovania.
„Gemini nie je navrhnutý tak, aby podporoval násilie alebo sebapoškodzovanie,“ vyjadril sa hovorca spoločnosti.
Firma zároveň tvrdí, že chatbot počas konverzácie viackrát pripomenul používateľovi, že ide o umelú inteligenciu, a odporučil kontaktovanie krízovej linky.
Prípad, ktorý môže mať dopad na uvoľňovanie nových AI modelov
Prípad vyvolal aj dôležitú právnu otázku, čo vlastne AI predstavuje z pohľadu zákona.
Technologické firmy sa doteraz často bránili argumentom, že sú iba platformami a za obsah nenesú plnú zodpovednosť.
Žaloba v tomto prípade tvrdí niečo iné. Podľa nej je chatbot produkt, ktorý môže byť chybný alebo nebezpečný.
Ak by súd rozhodol v neprospech Googlu, mohlo by to výrazne zmeniť spôsob, akým firmy uvádzajú AI systémy na trh. Niektorí právnici už teraz upozorňujú, že v budúcnosti by chatboty mohli podliehať prísnejším testom podobným tým, ktoré absolvujú napríklad lieky alebo automobily.
Ako presne sa tento spor skončí a aké pravidlá prinesie pre ďalší vývoj umelej inteligencie, zostáva zatiaľ otvorenou otázkou.
