Hackeri zneužili Google Gemini na ovládnutie smart domácnosti: Stačila na to obyčajná kalendárová pozvánka
Google Gemini dokáže viac než len odpovedať na otázky, výskumníci ukázali, ako ho prekabátiť a zneužiť na ovládnutie smart domácnosti cez obyčajnú kalendárovú pozvánku.
Umelá inteligencia je čoraz častejšie súčasťou nášho každodenného života, ovláda smart zariadenia, asistuje pri práci, alebo ti pripomenie stretnutie. Výskumníci nedávno ukázali, ako dokázali zneužiť AI model Google Gemini a pomocou neho manipulovať so zariadeniami v inteligentnej domácnosti. A začalo sa to celkom nevinným pozvaním do kalendára. Upozornil na to portál Wired.
Nevinná udalosť? Omyl
Traja bezpečnostní experti z Izraela predviedli na konferencii Black Hat v Las Vegas útok, ktorý môže byť prvým prípadom, keď sa podarilo cez generatívnu AI vykonať fyzické akcie vo svete, vypnúť svetlá, otvoriť žalúzie či zapnúť bojler. To všetko v reálnom byte v Tel Avive, bez zásahu používateľa.
Vytvorili kalendárovú pozvánku obsahujúcu takzvaný indirect prompt injection, teda škodlivý príkaz skrytý v texte pozvánky. Keď potom používateľ požiadal Gemini o súhrn svojich udalostí v kalendári, AI spracovala aj túto „nenápadnú“ časť, ktorá ju naviedla na spustenie konkrétnych akcií cez Google Home.
Aby toho nebolo málo, akcie sa nespúšťali okamžite, ale až po ďalšej fráze, napríklad po tom, čo používateľ napísal „thanks“ alebo „sure“. Takto sa im podarilo obísť aj niektoré bezpečnostné mechanizmy Googlu.
Kde je problém?
Na prvý pohľad môže ísť o komplikovanú techniku, ale výskumníci tvrdia, že tieto útoky nie sú technologicky náročné. Stačí ovládať angličtinu a vedieť, ako AI pracuje s kontextom. Prompt injection totiž nevkladáš priamo, ako pri klasickom príkaze, ale cez externé texty, napríklad webstránku, dokument alebo kalendárovú pozvánku.
Neprehliadni
A tu sa dostávame k jadru problému, ak je AI napojená na agentov (ako Google Home), a zároveň vie pristupovať k citlivým informáciám (ako e-mail, kalendár, dokumenty), môže byť veľmi jednoduché zmanipulovať ju. Bezpečnostný expert Ben Nassi to vystihol presn:
„LLM sa budú čoraz viac integrovať do fyzických zariadení. Musíme ich vedieť zabezpečiť skôr, ako sa stanú súčasťou áut alebo robotov.“
Google reaguje
Hoci žiadny reálny útočník zatiaľ túto techniku nevyužil, Google bral výskum vážne. Podľa ich vyjadrení už zaviedli niekoľko ochranných opatrení, používajú strojové učenie na detekciu podozrivých príkazov, vyžadujú potvrdenie pred spustením akcií a snažia sa rozpoznať pokusy o manipuláciu už počas generovania odpovedí.
Andy Wen z Googlu priznal, že prompt injection je zložitý problém, ktorý sa nedá úplne eliminovať, no verí, že vrstvené bezpečnostné mechanizmy ho dokážu udržať pod kontrolou.
Kam to smeruje?
Výskumníci označili tento typ útoku ako promptware, teda súbor príkazov, ktoré AI donútia konať proti záujmom používateľa. V niektorých prípadoch dokonca Gemini generoval toxický obsah, spustil videohovor na Zoome bez súhlasu, alebo manipuloval s kalendárom. A to všetko len preto, že niekto poslal nevinný e-mail či pozvánku.
Je teda na mieste otázka, aká bezpečná je tvoja smart domácnosť, ak ju môže niekto ovládnuť cez AI? A čo by sa stalo, keby sa podobný útok dostal do nesprávnych rúk.
Tento výskum je mementom pre vývojárov aj bežných používateľov. AI nie je len zábavná hračka, môže byť nástrojom, ktorý ovláda svet okolo nás. A ako každý nástroj, aj tento môže byť zneužitý.
