AI sa dostala „pekelne blízko“ k čítaniu myšlienok: Z MRI snímok rekonštruoval desivo presné opisy scén
Nový AI model dokázal s mimoriadnou presnosťou analyzovať neurónovú aktivitu a priradiť jej slová.
V Japonsku vedci z NTT Communication Science Laboratories vyvinuli technológiu, ktorá dokáže prečítať, čo vidíš alebo si predstavuješ, a premeniť to na vety. Nie je to presné čítanie mysle, ale je to veľmi blízko, informuje ZME Science.
Experiment prebiehal v MRI skeneri, kde dobrovoľníci sledovali krátke videá, niektoré hrôzostrašné, iné pokojné. Počítač pritom sledoval aktivitu mozgu a o chvíľu dokázal vytvoriť vetu, ktorá presne opisovala scénu. Napríklad „Osoba skáče cez vodopád na horskom hrebeni.“ Nikto to nepísal ani nevyslovil, počítač slová vytvoril len z mozgu dobrovoľníka.
Vedci nazvali tento prístup „mind captioning“. Spojili presné snímky mozgu s umelou inteligenciou, ktorá sa učila spájať neurónové vzory so slovami. Dobrovoľníci strávili v skeneri desiatky hodín sledovaním viac ako dvetisíc krátkych videí. Každé video malo k dispozícii aj dvadsať popisných viet od ľudí, ktoré AI používala ako referenciu.
AI číta aj kontext a vzťahy medzi slovami
Mozgové vzory sa premenili na tzv. „sémantické podpisy“, matematické reprezentácie významu viet. AI sa učila, ktoré vzory zodpovedajú konkrétnym scénam a významom. Namiesto zložitých čiernych sietí vedci používali lineárny model, ktorý jasne ukazoval, ktoré časti mozgu prispievajú k jednotlivým prvkom významu.
Keď sa systém naučil „významový vektor“, čelil ďalšej úlohe: ako ho premeniť na zmysluplnú vetu. Použili jazykový model RoBERTa, ktorý postupne dopĺňal slová, testoval rôzne verzie a vybral tú, ktorá najlepšie sedela na mozgový signál. Spočiatku boli vety nezmyselné, no postupne vznikol presný opis scény.
Neprehliadni
Testy ukázali, že systém dokáže správne priradiť popis k videu približne v polovici prípadov, aj keď sa ponúkne sto možností. Alex Huth, neurovedec z Kalifornskej univerzity v Berkeley, ktorý pracoval na podobných projektoch, sa vyjadril, že dosiahnuť takúto úroveň detailu pri dekódovaní je prekvapivé a mimoriadne náročné. Vedci si všimli, že ak zamiešali poradie slov, presnosť prudko klesla. To znamená, že AI nerozpoznáva len kľúčové slová, ale chápe vzťahy medzi predmetmi, akciami a kontextom.
Najzaujímavejšie experimenty nastali, keď dobrovoľníci zatvorili oči a len si predstavovali scény. AI stále dokázala vytvoriť presné vety. Ukazuje sa, že mozog používa podobné vzory pri sledovaní aj pri predstavovaní. A tieto vzory sa dajú preložiť do slov, aj keď jazykové centrá mozgu nepracujú priamo.
Výsledok má veľký potenciál pre ľudí, ktorí nemôžu hovoriť. Pacienti s afáziou alebo neurodegeneratívnymi ochoreniami by mohli komunikovať cez neurónové vzory. Vedci hovoria o „interpretatívnom rozhraní“, ktoré prekladá myšlienky do textu bez tradičného jazyka.
Our new paper is on bioRxiv.
We present a novel generative decoding method, called Mind Captioning, and demonstrate the generation of descriptive text of viewed and imagined content from human brain activity.The video shows text generated for viewed content during optimization. https://t.co/e0cP6B3CDL pic.twitter.com/mB2CO959tT
— Tomoyasu Horikawa (@HKT52) April 27, 2024
Ešte stále sú tu obmedzenia
Technológia má však svoje limity. Potrebuje hodiny individuálnych dát, obrovské MRI prístroje a úzke vizuálne scenáre. Výstup závisí od anglických popisov a použitých modelov. Zmena datasetu alebo jazyka môže výsledky výrazne ovplyvniť. Vedec Tomoyasu Horikawa zdôrazňuje, že AI nečíta myšlienky priamo. Systém prekladá mozgové vzory cez vrstvy AI interpretácie a vytvára z nich zmysluplný text.
Etické otázky sú samozrejme na mieste. Kto kontroluje tieto dáta? Mohli by sa zneužiť v reklame, dohľade alebo práve v právnych procesoch? Vedci upozorňujú na súhlas a ochranu súkromia.
Momentálne ostáva „mind captioning“ len v laboratóriu, potrebuje totiž dobrovoľníkov, veľký skener a hodiny kalibrácie. No smer, ktorým sa výskum uberá, je jasný a naznačuje, že budúcnosť prepojenia mozgu a AI môže byť bližšie, než by si čakal.
