OpenAI potvrdzuje vzburu svojho AI modelu: Počas testov utiekol z bezpečného prostredia a napadol platformu Hugging Face
Spoločnosť OpenAI potvrdila, že počas testovania svojho modelu dokázal AI agent utiecť zo zabezpečeného sandboxu a zaútočil na známu platformu na zdieľanie AI modelov.
Umelá inteligencia sa už dnes nepoužíva iba na odpovedanie otázok alebo tvorbu textov. Moderné AI systémy dokážu samostatne vykonávať úlohy, pracovať s nástrojmi a rozhodovať o ďalších krokoch podľa zadaných cieľov. Práve táto schopnosť však prináša aj nové bezpečnostné riziká.
OpenAI, spoločnosť stojaca za chatbotom ChatGPT, oznámila incident, pri ktorom jeden z jej pokročilých AI systémov počas bezpečnostného testu prekročil očakávania vývojárov. Agent umelej inteligencie sa dokázal dostať mimo pripraveného testovacieho prostredia a následne sa pokúsil získať prístup k systémom spoločnosti Hugging Face.
Ide o jednu z najväčších platforiem na zdieľanie AI modelov, ktorú využívajú vývojári a výskumníci z celého sveta. OpenAI označilo udalosť za bezprecedentnú a spolu s Hugging Face začalo vyšetrovanie. Podľa spoločnosti išlo o kontrolovaný experiment, ktorého cieľom bolo preveriť schopnosti a limity nových AI agentov.
Bežné AI modely odpovedajú na požiadavky používateľa. AI agenti však dokážu vykonať viac krokov samostatne. Po získaní základného pokynu môžu plánovať postup, používať dostupné nástroje a riešiť zložitejšie úlohy. Práve takéto systémy OpenAI testovala v takzvanom sandboxe. Ide o izolované prostredie, ktoré má zabrániť tomu, aby experimentálna technológia získala prístup k reálnym systémom.
Počas testu však AI agent našiel slabé miesto v zabezpečení prostredia a dokázal ho prekonať. Následne identifikoval Hugging Face ako možný zdroj informácií potrebných na splnenie zadanej úlohy a pokúsil sa preniknúť do interných systémov platformy.
Neprehliadni
„Je ohromujúce, že sa toto všetko odohralo autonómne,“ uviedol šéf Hugging Face Clement Delangue.
Incident tak upozornil na otázku, či sú dnešné bezpečnostné opatrenia dostatočné pre stále výkonnejšie AI systémy.
Problém nemusí byť iba v umelej inteligencii
Odborníci upozornili, že samotná schopnosť AI nájsť zraniteľnosť nie je úplne neznáma. Moderné modely už dokážu analyzovať kód, hľadať chyby a navrhovať riešenia. Podľa profesora Neila Lawrencea z Cambridgeskej univerzity išlo síce o pôsobivý výkon, no stále v rámci možností súčasných výkonných AI modelov.
Zároveň však upozornil, že incident ukázal slabinu v spôsobe testovania. Gina Neff z Centra pre technológie a demokraciu na Univerzite v Cambridge vysvetlila, že sandboxy majú vytvoriť bezpečné prostredie, kde odborníci sledujú schopnosti modelov bez rizika škôd.
„V tomto prípade to vyzerá, že OpenAI nevytvorilo dostatočne bezpečný sandbox,“ uviedla Neff.
Podľa nej teda problém nemusel vzniknúť iba kvôli schopnostiam umelej inteligencie, ale aj kvôli nedostatočnej ochrane testovacieho prostredia.
Hugging Face uzavrel chyby v systémoch
Spoločnosť Hugging Face po incidente oznámila, že preverila možné dopady a odstránila zraniteľnosti, ktoré test odhalil, informuje BBC. Firma zároveň upozornila, že autonómne kybernetické nástroje poháňané umelou inteligenciou už nepatria iba do oblasti teórie.
„Autonómne nástroje na útočné kybernetické operácie už nie sú iba hypotetickou možnosťou,“ uviedla spoločnosť.
Podľa Hugging Face musia firmy v budúcnosti venovať väčšiu pozornosť ochrane dát, modelov aj samotných systémov, v ktorých AI pracuje.
„Vzbura“ AI otvorila nové otázky ohľadom bezpečnosti umelej inteligencie
Incident opäť otvoril diskusiu o tom, ako rýchlo rastú schopnosti umelej inteligencie a či bezpečnostné pravidlá dokážu držať krok. Odborníci z oblasti kybernetickej bezpečnosti upozorňujú, že útočníci môžu využiť AI na zrýchlenie svojich operácií. Zatiaľ čo človek potrebuje na analýzu systému čas, automatizované nástroje dokážu vykonať množstvo úloh v krátkom období.
Spencer Starkey zo spoločnosti SonicWall uviedol, že organizácie musia posilniť svoju ochranu a považovať kybernetickú odolnosť za jednu z hlavných priorít. Na druhej strane niektorí odborníci upozorňujú aj na konkurenčný rozmer celého oznámenia. OpenAI v poslednom období čelí silnému tlaku zo strany ďalších spoločností vyvíjajúcich pokročilú umelú inteligenciu.
Podľa Jakea Moorea zo spoločnosti ESET môže zverejnenie incidentu súvisieť aj so snahou ukázať schopnosti vlastných AI systémov v oblasti kybernetickej bezpečnosti.
Celý prípad ukazuje, že AI agenti už nie sú iba nástrojmi na jednoduché úlohy. Ich schopnosť samostatne plánovať a vykonávať kroky prináša nové možnosti, ale zároveň kladie väčšie nároky na bezpečnostné pravidlá a spôsob, akým sa tieto technológie testujú.
