Veríš, že rozoznáš text od AI? ChatGPT oklamal čitateľov a jeho poviedky sa im páčili viac
Ľudia v experimente nevedeli spoľahlivo rozoznať poviedky od ChatGPT od ľudských. Pritom práve tie od AI sa im často páčili viac.
Text od umelej inteligencie má vraj pôsobiť príliš uhladene, bezducho alebo predvídateľne. Výskum z Villanovskej univerzity však ukázal, že pri krátkych poviedkach sa na tento pocit nemožno spoľahnúť. Účastníci texty vytvorené AI nedokázali spoľahlivo odlíšiť od ľudských a v priemere ich hodnotili dokonca lepšie.
Do štúdie, publikovanej v časopise Judgment and Decision Making, sa zapojilo 2 587 dospelých z USA. Vedci pracovali s tromi poviedkami od ľudských autorov a tromi textami, ktoré vytvoril ChatGPT 4.0. Každá ukážka mala približne tisíc slov.
ChatGPT však nedostal iba jednoduchý pokyn, aby napísal poviedku. Výskumníci mu opísali námet, tému, perspektívu, symboliku a pri niektorých textoch aj dôležité dejové prvky. AI teda písala podľa podrobného zadania odvodeného od ľudskej predlohy.
Ani pri dvoch textoch vedľa seba netušili, ktorý napísala AI
V prvom experimente čítal každý účastník jednu poviedku. Vedci mu buď pravdivo, alebo nepravdivo povedali, či ju napísal človek alebo ChatGPT. Potom hodnotil kvalitu textu a to, ako veľmi ho príbeh pohltil.
AI poviedky dostali vyššie hodnotenia v oboch kategóriách. Ešte lepšie dopadli vtedy, keď účastníci verili, že ich napísal človek – najvyššie hodnotenia tak získali práve texty vytvorené AI, ktoré niesli ľudskú nálepku.
Neprehliadni
V druhom a treťom experimente dostali účastníci jednu ľudskú a jednu zodpovedajúcu AI poviedku. Vedeli, že jeden text napísal človek a druhý ChatGPT, no netušili, ktorý je ktorý. V druhom experimente odpovedalo správne len 39,39 percenta ľudí. To bolo štatisticky horšie než náhodné tipovanie.
V treťom experimente vedci rovnakú úlohu zopakovali s novou skupinou. Správne odpovedalo 51,97 percenta účastníkov, čo sa už od náhody štatisticky nelíšilo. Ani pri priamom porovnaní dvoch textov teda ľudia nedokázali pôvod poviedok spoľahlivo určiť.
Čitatelia AI neodhalili. Pomohla až skúsenosť s ChatGPT
Čo teda rozhoduje o tom, či AI rozpoznáš? Lepšie výsledky mali účastníci, ktorí uvádzali väčšie skúsenosti s AI. Čítanie, písanie alebo analyzovanie beletrie im výhodu neprinieslo.
V druhom experimente každý bod navyše na škále skúseností s AI zvyšoval šancu na správnu odpoveď približne o 14 percent. V treťom, kde vedci použili overenú škálu AI gramotnosti, išlo približne o 33 percent.
Seniorná autorka štúdie Deena Skolnick Weisberg hovorí, že ľudia zvyknutí na AI môžu časom spoznať niektoré opakujúce sa jazykové vzory. Ako príklad uviedla časté používanie dlhých pomlčiek či konštrukcie v štýle „nie je to len X, je to Y“.
Samotný štýl však ako spoľahlivý detektor nefungoval. Účastníci, ktorí sa riadili najmä jazykom príbehu, sa mýlili častejšie. Pocit, že text „znie ako AI“, tak môže viesť k sebavedomému, no chybnému odhadu.
ChatGPT vyhladil ostré hrany, ktoré ľudské príbehy robia náročnejšími
Autori ponúkajú dve možné vysvetlenia. Prvé súvisí s čitateľnosťou. AI text môže byť jasnejší, priamočiarejší a jednoduchší na pochopenie. Čitateľ nemusí dlho hľadať tému ani premýšľať, čo chcel autor naznačiť.
Práve tu sa ukázal paradox. Príbeh od ChatGPT pripadal čitateľom ľudskejší jednoducho preto, že sa im páčil. Keďže si kvalitnú tvorbu spájali skôr s človekom, obľúbený text automaticky pripísali ľudskému autorovi.
Druhé vysvetlenie sa týka spôsobu, akým jazykový model skladá text. ChatGPT kombinuje vzory naučené z veľkého množstva existujúcich diel. Výsledok môže vyhladiť zvláštnosti a ostré hrany ľudského písania, ktoré časť čitateľov rušia.
Vedci tento efekt prirovnávajú k tváram vytvoreným spriemerovaním viacerých skutočných tvárí. Ľudia ich často považujú za príťažlivejšie. Pri texte môže fungovať niečo podobné: menej výstredností, viac predvídateľnosti a širšia zrozumiteľnosť.
Weisberg upozorňuje, že AI verzie väčšinou pomenovali tému priamo, zatiaľ čo ľudské poviedky nechávali čitateľa odvodiť si ju zo slov a konania postáv. Texty od ChatGPT sa preto mohli čítať jednoduchšie. Z toho sa však nedá vyvodiť, že AI píše lepšie než človek. Výsledok platí len pre šesť konkrétnych ukážok, ktoré účastníci hodnotili.
AI volí bezpečný priemer, človek sa môže vydať nečakaným smerom
Štúdia upozorňuje aj na rozdiel medzi tým, ako tvorí človek a ako funguje jazykový model. Človek zvyčajne najskôr vymyslí viac možností, potom sa k nim vráti, škrtá, porovnáva a rozhoduje sa, ktorý smer stojí za rozpracovanie.
AI modely použité v štúdii iba generovali text. Na rozdiel od človeka nedokázali spraviť krok späť, pozrieť sa na napísané kritickým okom a vybrať len ten najlepší nápad. Dokážu čerpať z obrovského množstva materiálu, ich výstupy však bývajú podobnejšie jeden druhému.
Ľudská tvorba je pestrejšia. Človek môže napísať slabý alebo nedotiahnutý text, no môže sa tiež vydať smerom, ktorý by model nevybral. AI častejšie vytvorí uhladený a prijateľný výsledok. Človek viac riskuje a práve z takého rizika môže vzniknúť aj niečo výnimočné.
Vedci testovali len krátke poviedky. Pri iných žánroch môže byť výsledok odlišný
Vedci porovnávali len tri dvojice približne tisíc slov dlhých poviedok a všetky patrili k realistickej próze. Účastníkmi boli dospelí z USA a meranie prebehlo online.
Žiadny z troch experimentov nebol vopred preregistrovaný a škála na hodnotenie kvality príbehov z prvého experimentu nebola predtým overená v iných výskumoch. Autori priznávajú, že pri románoch, iných žánroch alebo medzi čitateľmi z odlišných kultúr môže výsledok vyzerať inak.
V druhom a treťom experimente ľudia vedeli, že jeden text je ľudský a druhý pochádza od ChatGPT. Mohli ich teda priamo porovnať. Výskum neukázal, ako by dopadli pri samostatnom texte bez upozornenia, že autorom môže byť aj AI.
Najväčší paradox prišiel až s menom autora. Keď ľudia verili, že AI poviedku napísal človek, dali jej najvyššie hodnotenie. Text sa pritom vôbec nezmenil – zmenila sa len nálepka pri ňom.
