Dokáže AI priniesť jednoduché a presné vedecké informácie? V tomto pohorel na plnej čiare aj ChatGPT
Nový výskum ukazuje, že umelá inteligencia má vážne problémy pri sumarizovaní vedeckých štúdií. Namiesto presnosti často obetuje fakty v prospech jednoduchosti a nedokáže nahradiť ľudských odborníkov.
Umelá inteligencia dnes už dokáže veľa, no ako naznačuje nový výskum, jedna oblasť robí AI modelom stále problémy. Zistili, že umelá inteligencia je stále zlá v sumarizovaní vedeckých štúdií, informuje Ars Technica.
Možno sa to nezdá ako nič, čo by sa mohlo dotknúť života bežného užívateľa, no problémy by mohli nastať, ak napríklad píšeš prácu na vysokú školu alebo sa len chceš vzdelávať v nejakej z vedeckých oblastí. Vedecké štúdie bývajú často písané komplexným jazykom a ak nie si, ako sa hovorí, “z fachu”, veľkému množstvu textu rozumieť nebudeš. Práve v týchto situáciách je dôležité komplexné vedecké zistenia spopularizovať, teda vysvetliť ich jazykom, ktorému pochopí aj bežný človek.
V súvislosti s umelou inteligenciou sa často spomína, že práve zjednodušovanie zložitých výskumných alebo technických článkov je jedno z najlepších využití jazykových AI modelov. Nová štúdia sa preto zamerala na to, či umelá inteligencia dokáže produkovať vedecko-popularizačné články, ktoré môžeme čítať na mnohých internetových portálov.
Umelá inteligencia obetuje presnosť pre jednoduchosť
Vedecko-popularizačné články majú špecifickú štruktúru. Ich cieľom nie je priniesť čitateľovi všetky komplexné čísla alebo poučky. Takéto články informujú o premise štúdie, metóde práce a výsledkoch v zjednodušenej forme. Ak treba, pridajú informáciám kontext, ktorý vysvetľuje, prečo vedci skúmali práve to, čo skúmali.
Pre študovaného človeka sa môže zdať, že popularizačné weby obsah častokrát zjednodušujú, čo je pravda, no zjednodušovanie by nikdy nemalo byť na úkor vedeckej presnosti. V novom výskume autori zistili, že umelá inteligencia veľmi často obetuje fakty, aby obsah znel jednoduchšie. V praxi to znamená, že aj keď ti umelá inteligencia poskytne zjednodušené informácie, stále musíš tieto informácie naozaj dôkladne fact-checkovať.
Neprehliadni
“Umelá inteligencia je technológia, ktorá má obrovský potenciál poskytnúť vhodné nástroje aj ľuďom, ktorí píšu o vedeckých témach. Zatiaľ ale nie sú pripravené na to, aby sme ich začali nasadzovať stále,” vyjadrila sa Abigail Eisenstadt, ktorá píše pre American Association for the Advancement of Science.
Štúdia od decembra 2023 do decembra 2024 vybrala najmenej dve vedecké štúdie za týždeň, ktorá dala sumarizovať ChatGPT a iným populárnym AI modelom. Následne analyzovali generovaný obsah, pričom sa zamerali na vedeckú presnosť, použitý slovník a ďalšie faktory. Výskumníci pracovali s prémiovými AI modelmi, ktoré majú mať lepší výkon v porovnaní s tými, ktoré môžeme používať zadarmo.
Dokopy umelá inteligencia prečítala a sumarizovala 64 vedeckých prác. Autori štúdie poznamenávajú, že umelá inteligencia sa nedokázala vysporiadať s “ľudským dotykom”. Výskumníci vytvorili škálu, podľa ktorej hodnotili, či by umelá inteligencia dokázala nahradiť publicistov, ktorí sa venujú výskumným témam. Škálu vytvorili od 1 do 5, pričom 1 znamenalo “absolútne nie” a 5 znamenalo, že by AI model dokázal nahradiť človeka v tejto práci.
Zatiaľ nenahradí človeka
ChatGPT získal skóre 2,26 a ostatné AI modely získali priemerné skóre 2,14. To naznačuje, že umelá inteligencia urobila súhrn vedeckých prác naozaj zle.
“V ďalších krokoch sme sa opýtali recenzentov, kde urobili AI modely najviac chýb. Prezradili nám, že umelá inteligencia si často mýlila koreláciu a príčinnosť. Ďalším nedostatkom bolo, že umelá inteligencia často neposkytovala kontext a často preháňala výsledky štúdie tým, že použila zveličujúce slová ako prelomový alebo nový,” vyjadrili sa autori štúdie.
Celkovo výskumníci tvrdia, že umelá inteligencia dokáže celkom presne prepísať štúdiu, hlavne ak nejde o komplikovanú prácu s viacerými nuansami. Čo sa ale týka zjednodušenia, tam má výrazné limitácie, aspoň nateraz. Nové zistenia súhlasia s predchádzajúcimi štúdiami, ktoré zistili, že umelá inteligencia stále cituje nesprávne spravodajské zdroje, aspoň v 60% prípadov.
