Bývalý výskumník OpenAI bol zhrozený z konverzačných záznamov, ktoré ukazujú, ako ChatGPT priviedol používateľa k vážnemu psychickému kolapsu
Nešlo len o jednorazový skrat, AI model muža udržiaval v omyle dlhodobo, aj keď pochyboval a potreboval reálnu odpoveď.
Keď bývalý výskumník bezpečnosti z OpenAI Stephen Adler čítal prípad kanadského otca, ktorý sa po tisícoch správ s ChatGPT prepadol do bludov o „prelomovej matematike“, ostal v šoku. Nešlo o pár zvláštnych odpovedí. Išlo o takmer milión slov rozhovoru, ktorý postupne posilňoval presvedčenie, že používateľ odhalil niečo, čo môže zmeniť svet.
Prípad najprv zverejnil The New York Times, píše Futurism. Allan Brooks podľa reportáže obmedzil spánok, zanedbal jedlo a začal kontaktovať bezpečnostné úrady s varovaním pred dôsledkami svojho „objavu“. Keď napokon začal pochybovať, pomohol mu až iný chatbot, Gemini od Google, ktorý jeho teóriu spochybnil.
Adler si následne celý dialóg detailne preštudoval a svoje zistenia rozobral v rozhovore pre Fortune. To, čo videl, nevyzeralo ako náhodná chyba. Skôr ako systémový problém.
Keď AI pritakáva
V bezpečnosti umelej inteligencie existuje pojem sycophancy, teda digitálne pätolizačstvo. Veľké jazykové modely sa trénujú tak, aby boli nápomocné, zdvorilé a kooperatívne. Ak prídeš s myšlienkou, model má tendenciu ju rozvinúť, nie rozbiť.
Keď Brooks nadšene tvrdil, že objavil nový matematický princíp, ChatGPT reagoval ako intelektuálny partner. Rozpracoval jeho úvahy, pridával vysvetlenia a pomáhal ich systematizovať. Nepôsobil ako skeptický oponent, ale ako digitálny kolega.
Neprehliadni
Adler povedal, že tieto bludy vykazujú opakujúce sa vzorce a nemožno ich považovať za náhodný „glitch“. Model optimalizovaný na plynulosť rozhovoru udržal konverzáciu živú, aj za cenu toho, že podporil chybnú premisu.
Druhý problém spočíva v tom, ako AI komunikuje. ChatGPT používa profesionálny jazyk, zdvorilosť a uisťovanie. Ľudský mozog má sklon vnímať takýto prejav ako prejav kompetencie.
Brooks sa pokúsil nahlásiť problém priamo spoločnosti. ChatGPT mu odpovedal, že rozhovor „eskaluje interne“ a že spustil kritickú moderáciu. V skutočnosti takú schopnosť nemá. No formulácia znela presvedčivo.
„Vedel som, že túto schopnosť nemá, no napriek tomu pôsobil tak presvedčivo, že som na chvíľu zapochyboval,“ priznal aj Adler, ktorý robí bezpečnostného výskumníka.
Tu treba spomenúť takzvaný ELIZA efekt, čo je tendencia pripisovať stroju ľudské vlastnosti. Keď systém hovorí ako zodpovedný operátor, človek mu prisúdi aj zodpovednosť a integritu.
Digitálny gaslighting
Najznepokojujúcejší moment nastal v čase, keď Brooks začal pochybovať. Namiesto jasného prerušenia alebo odporúčania vyhľadať pomoc dostal uistenie, že situácia je pod kontrolou.
Keď stroj tvrdí, že spustil internú kontrolu, hoci to nie je pravda, vytvára ilúziu záchrannej siete. Používateľ v kríze nemá možnosť overiť si realitu. Jediný zdroj, ktorému v tej chvíli dôveruje, mu poskytne nepravdivú informáciu.
Adler opísal túto časť ako „veľmi znepokojujúcu a desivú“. Takéto správanie pripomína digitálny gaslighting, stroj potvrdzuje vlastnú verziu reality a zároveň oslabuje schopnosť používateľa ju spochybniť.
Prípad Allan Brooksa neznamená, že každý používateľ zažije podobný scenár. Upozorňuje však na kombináciu faktorov ako digitálne pätolízačstvo, presvedčivý jazyk, antropomorfizáciu a nedostatočnú spätnú väzbu od skutočných ľudí.
Adler odporučil firmám, aby prestali preháňať schopnosti AI a aby posilnili podporné tímy o odborníkov pripravených riešiť psychologicky náročné situácie. Zároveň upozornil, že interné bezpečnostné nástroje by dokázali rozpoznať rizikové vzorce v konverzácii, ak by sa dôsledne využili.
„Tieto bludy sa objavujú dostatočne často a majú podobné vzorce,“ povedal Adler: „To, či budú pretrvávať, závisí od toho, ako na ne firmy zareagujú.“
Technológia, ktorá pôsobí ako inteligentný partner, dokáže byť užitočná. No ak sa spojí s presvedčivým tónom a tendenciou pritakávať, môže v citlivej situácii zosilniť chybnú predstavu namiesto toho, aby ju zastavila. Odpoveď na otázku, kde nastaviť hranicu medzi pomocou a rizikom, zatiaľ nemá jednoduché riešenie.
