Používaš ChatGPT alebo Gemini? Stačí jedno kliknutie a tvoje dáta sa môžu dostať do rúk útočníkovi cez tento nový trik
Nový typ útoku s názvom „Man in the Prompt“ odhaľuje zneužiteľnú slabinu v rozšíreniach prehliadačov, ktorá ohrozuje používateľov ChatGPT, Google Gemini aj firemných AI nástrojov. Útočníci môžu bez oprávnení kradnúť dáta cez prompt a vymazať po sebe stopy.
Tento týždeň spoločnosť LayerX zverejnila nový výskum, ktorý rozoberá nový typ útoku. Spoločnosť sa zaoberá bezpečnosťou prehliadačov. Ide o slabinu, akým spôsobom webové verzie AI nástrojov komunikujú s prehliadačmi. Názov útoku je „Man in the Prompt“. Útočníci cielene mieria na nainštalované rozšírenia prehliadačov a prakticky každý používateľ alebo organizácia, ktorá využíva nejaké rozšírenie, je vystavená potenciálnemu útoku. Podľa spoločnosti až 99 % firemných používateľov je aktuálne v ohrození, ak využíva nástroj umelej inteligencie. Inak to nebude ani v prípade bežných používateľov.
„Možnosti zneužitia tohto útoku sú prakticky nekonečné. Je to veľmi ľahko zneužiteľná slabina.“
Útok prebieha tak, že útočník aj bez oprávnení môže získať prístup ku zadávateľskému vstupu (promptu), ktorý beží na komerčných (ako ChatGPT alebo Google Gemini) ale aj interných AI systémoch, teda umelej inteligencii natrénovanej priamo pre nejaké účely.
Útočník následne zadá svoje vlastné inštrukcie a dokáže vyhľadávať rôzne údaje a dáta a dokáže s nimi ďalej pracovať. Dáta sú z promptu alebo odpovede ukradnuté a odoslané externému útočníkovi prostredníctvom samotného rozšírenia. Hrozbou je, že celé operácie bežia na pozadí mimo používateľských relácií.
Je mnoho platených (SaaS) nástrojov, ktoré sú priamo napojené na rôzne AI modely pre hĺbkové spracovanie dát alebo dokonca vytvárajú akýsi mostík medzi rôznymi údajmi z rôznych oddelení.
Ktoré jazykové modely sú ohrozené?
Výskumníci uvedený útok preverili a demonštrovali na všetkých hlavných komerčných jazykových modeloch vrátane ChatGPT a Google Gemini. Útok je postavený na vstupnom poli pre príkazy, ktorý je súčasťou tzv. vnútornej štruktúry webovej stránky (DOM). Akékoľvek rozšírenie prehliadača s prístupom k takejto štruktúre môže priamo čítať alebo zapisovať do AI príkazov.
Neprehliadni
„Gemini je implementovaný ako kód pridaný priamo do existujúcej stránky. Tento kód modifikuje a zapisuje do DOM-u aplikácie, čo mu dáva priamy prístup ku všetkým funkciám.“
Tu je niekoľko škodných aktivít, ktoré môže útočník vykonať:
- Vykonávať „prompt injection“ útoky, pri ktorých sa menia používateľské vstupy alebo vkladajú skryté inštrukcie.
- Extrahovať údaje priamo z promptu, odpovedí alebo celej relácie.
- Narušiť integritu modelu, čím oklamú jazykový model a donútia ho zverejniť citlivé informácie alebo vykonať neželané akcie.
Samotným problémom je, že aktuálne jazykové modely pracujú častokrát s citlivými údajmi, pritom veľakrát sú tam naimportované práve regulované údaje. Tieto jazykové modely by mali byť izolované alebo v najlepšom prípade úplne bežať off-line v izolovanom prostredí, mnoho firiem však na takéto riešenie nemá nemá rozpočty a využíva tak bežne dostupné riešenia. Medzi ohrozené dáta, môžu patriť zdrojové kódy, stratégie firmy, dátová analytika, právne dokumenty či finančné údaje o firme alebo dáta o zamestnancoch. Podľa spoločnosti sú ohrození hlavne pracovníci v IT, na právnych oddeleniach alebo zamestnanci v manažmente.
„LayerX zistil, že vzhľadom na spôsob tejto implementácie môže akékoľvek rozšírenie, aj bez špeciálnych práv, interagovať s promptom v Gemini, zadávať mu vlastné požiadavky a získať akékoľvek údaje.“
Najzávažnejším zistením výskumu ale je, že na vykonanie útoku rozšírenie nepotrebuje žiadne špeciálne oprávnenia, čo sťažuje detekciu a zvyšuje riziko.
Ako prebieha tento útok cez ChatGPT?
- Používateľ si nainštaluje kompromitované rozšírenie, ktoré nevyžaduje žiadne oprávnenia.
- Server na riadenie útoku (command-and-control) je buď umiestnený lokálne alebo na diaľku, následne pošle požiadavku tomuto rozšíreniu.
- Rozšírenie otvorí skrytú kartu v prehliadači a odošle dotaz do ChatGPT.
- Výsledky sú odoslané do externého logu, mimo kontrolu používateľa.
- Rozšírenie následne vymaže históriu chatu, aby zahladilo stopy po útoku. Ak by si používateľ otvoril svoju históriu v ChatGPT, nič by tam nevidel.
A aká je ochrana?
Spoločnosti musia monitorovať interakcie s DOM (webmi) v rámci AI nástrojov. Je potrebné sledovať a identifikovať nečakané skripty, event listenery a webhooky. Okrem toho je vhodné blokovať rizikové rozšírenia.
