Ak sa spoliehaš na AI odpovede od Google, môžeš veriť nepresným informáciám. Denne ich vyprodukuje milióny
Google AI prehľady môžu byť nepresné v jednom z desiatich prípadov. Problémom nie sú len chybné odpovede, ale aj zdroje, ktoré ich často nepotvrdzujú alebo si dokonca odporujú.
Keď niekto cez Google hľadal informácie o smrti wrestlera Hulka Hogana, AI prehľad mu ukázal, že „neexistujú žiadne dôveryhodné správy o Hoganovej smrti“. Priamo pod touto odpoveďou sa však zobrazil odkaz na článok s nadpisom „Záhada okolo Hoganovej smrti sa prehlbuje“. Takéto rozpory nie sú výnimočné, upozornil denník The New York Times. Sú súčasťou väčšieho problému s presnosťou AI prehľadov vo vyhľadávaní Google.
Nová analýza, že AI prehľady Google sú nepresné približne v jednom z desiatich prípadov. Inými slovami, pri viac ako piatich biliónoch vyhľadávaní ročne môžu používatelia dostať viac ako 57 miliónov nesprávnych odpovedí za hodinu.
Ako presné sú AI prehľady Google v skutočnosti
Startup Oumi na žiadosť The New York Times testoval presnosť AI prehľadov Google pomocou benchmarku SimpleQA. Analýza 4 326 vyhľadávaní ukázala posun správnym smerom. Gemini 2 poskytoval presné odpovede v 85 percentách prípadov, zatiaľ čo novší Gemini 3 dosiahol 91 percent.
Lenže aj toto číslo má vážny problém. Viac ako polovica správnych odpovedí bola podľa analýzy „nepodložená“. V praxi to znamená, že odkazy, ktoré Google zobrazil ako zdroje, neobsahovali informácie, ktoré by jeho odpoveď skutočne potvrdzovali.
Dostaneš teda odpoveď, ktorá na prvý pohľad pôsobí správne. Lenže keď klikneš na zdroje pod ňou, zistíš, že tú informáciu vôbec nepotvrdzujú. A niekedy dokonca hovoria niečo iné.
Neprehliadni
Google odpovedá presnejšie, no čoraz horšie ukazuje, odkiaľ to zobral
Paradoxne, s príchodom pokročilejšieho Gemini 3 sa jeden problém ešte prehĺbil. Hoci celková presnosť vzrástla, podiel nepodložených odpovedí stúpol z 37 percent na 56 percent. Inými slovami, Google síce častejšie trafí správnu odpoveď, ale horšie k nej priradí zdroje, cez ktoré by si si ju vedel skontrolovať.
„Aj keď je odpoveď pravdivá, ako môžeš vedieť, že je pravdivá? Ako si ju môžeš overiť?“, hovorí Manos Koukoumidis, šéf spoločnosti Oumi.
Google sa voči týmto záverom bráni a tvrdí, že analýza Oumi je chybná, pretože vraj nezodpovedá reálnemu správaniu používateľov pri vyhľadávaní. Zástupcovia spoločnosti hovoria, že ich interné testy ukazujú iný obraz.
AI prehľady sa často opierajú o Facebook a Reddit
Analýza ukázala aj to, o aké zdroje sa AI prehľady často opierajú. Facebook a Reddit patrili medzi najčastejšie citované weby. Facebook bol druhým najčastejšie citovaným zdrojom a Reddit štvrtým.
Zarážajúce je aj to, že pri nesprávnych odpovediach sa Facebook objavoval častejšie než pri správnych. Pri chybných odpovediach ho AI citovala v siedmich percentách prípadov, pri správnych v piatich percentách.
V jednom teste Google nesprávne uviedol, že dom Boba Marleyho prerobili na múzeum v roku 1987, hoci v skutočnosti otvorilo 11. mája 1986. Ako zdroje pritom uviedol facebookovú stránku Marleyho dcéry, cestovateľský blog a článok na Wikipédii. Ani jeden z nich však neobsahoval správny dátum otvorenia múzea.
Stačil jeden falošný blog a Google ho zopakoval vo svojej AI odpovedi
Ešte nepríjemnejšie je, že AI prehľady sa dajú pomerne ľahko zmanipulovať. Novinár BBC zverejnil blogový príspevok s nepravdivými informáciami a už na druhý deň zistil, že Google tieto tvrdenia zopakoval vo svojom AI prehľade.
Google si tento problém zjavne uvedomuje. Pod AI prehľadmi preto zobrazuje upozornenie, že AI môže robiť chyby a odpovede si treba overiť. Lenže to je zároveň zvláštny rozpor. Systém odpoveď podáva sebavedomo, no zároveň ti drobným písmom hovorí, aby si jej úplne neveril.
AI len odhaduje najpravdepodobnejšiu odpoveď, aj preto robí chyby
Dôvod, prečo tieto systémy chybujú, súvisí priamo s tým, ako fungujú. AI modely pracujú s pravdepodobnosťou a odhadujú, čo má byť najpravdepodobnejšia odpoveď. Nepracujú ako klasický databázový systém, ktorý by len vytiahol jedno pevne uložené a overené tvrdenie. Aj preto sa chyby nedajú úplne odstrániť.
Expertka Pratik Verma z firmy Okahu preto radí jednoduchú vec: „Nikdy never len jednému zdroju. Vždy si to, čo dostaneš, porovnaj ešte s ďalším.“
Problém je, že väčšina ľudí si odpoveď od Google už nechodí preverovať. Keď ju AI podá s istotou, pôsobí ako fakt, aj keď sa pod ňou zdroje rozpadajú.
