Technologickí giganti sú v panike! Číňania našli spôsob, ako zlacniť AI a ohroziť Silicon Valley
„Destilácia“ mení pravidlá hry v AI. OpenAI, Microsoft a Meta využívajú túto techniku na vytváranie menších, efektívnejších modelov. Čínska firma DeepSeek ju využila na oslabenie dominancie Silicon Valley. Ako to ovplyvní budúcnosť umelej inteligencie?
Svet umelej inteligencie zažíva prelomový moment. Popredné spoločnosti ako OpenAI, Microsoft a Meta sa v globálnom preteku o dominanciu v AI obracajú na techniku nazývanú „destilácia“. Táto metóda umožňuje vytvárať lacnejšie a efektívnejšie modely, ktoré sú dostupné pre širšie spektrum používateľov. Na túto zaujímavú tému upozornil portál ArsTechnica.
Technika „destilácie“ získala pozornosť po tom, čo čínska spoločnosť DeepSeek využila túto metódu na vytvorenie výkonných modelov AI založených na systémoch s otvoreným zdrojovým kódom od spoločností Meta a Alibaba. Tento krok otriasol dôverou v technologickú prevahu „Silicon Valley“ a viedol k výraznému poklesu hodnoty akcií technologických gigantov.
Vďaka destilácii bude AI dostupnejšia
Princíp „destilácie“ v spojitosti s AI spočíva vo využití veľkého jazykového modelu, tzv. „učiteľa“, na trénovanie menšieho „študentského“ modelu“. Učiteľský model generuje dáta, ktoré následne slúžia na trénovanie študentského modelu, čím sa efektívne prenášajú znalosti a predpovede z väčšieho modelu na menší.
Hoci sa „destilácia“ používa už roky, nedávny pokrok v tejto oblasti ukazuje, že táto technika bude čoraz viac prospešná pre začínajúce podniky a vývojárov, ktorí hľadajú nákladovo efektívne spôsoby, ako vyvíjať aplikácie založené na AI. Táto metóda je obzvlášť účinná v oblastiach ako prirodzené spracovanie jazyka, počítačové videnie a rozpoznávanie reči.
„Destilácia je takmer magická,“ hovorí Olivier Godement, vedúci produktu platformy OpenAI. „Je to proces, pri ktorom sa z veľkého a inteligentného modelu vytvorí menší model, ktorý je vysoko schopný v špecifických úlohách, lacný a rýchly.“
Veľké jazykové modely, ako napríklad GPT-4 od OpenAI, Gemini od Google a Llama od Meta, vyžadujú obrovské množstvo dát a výpočtovej kapacity, čo vedie k vysokým nákladom na ich vývoj a údržbu. „Destilácia“ umožňuje vývojárom a firmám získať prístup k možnostiam týchto modelov za zlomok nákladov, čo urýchľuje vývoj AI aplikácií a umožňuje ich spustenie na zariadeniach s obmedzeným výpočtovým výkonom.
Neprehliadni
OpenAI a Microsoft už využívajú „destiláciu“ na trénovanie menších modelov, ktoré sú dostupné pre vývojárov. Spoločnosť DeepSeek však podľa informácií z trhu destilovala modely OpenAI na trénovanie svojho konkurenta, čo je v rozpore s podmienkami používania OpenAI.
Steve Johnson/ unsplash.com
Destilácia znamená aj určitý kompromis
Odborníci upozorňujú, že hoci „destilácia“ umožňuje vytvárať výkonné modely, tieto modely sú obmedzenejšie v porovnaní s veľkými jazykovými modelmi.
„Destilácia predstavuje zaujímavý kompromis,“ hovorí Ahmed Awadallah z Microsoft Research. „Ak zmenšíte model, nevyhnutne znížite jeho schopnosti.“
Napriek tomu sú destilované modely dostatočne výkonné na úlohy, ako sú chatboty v zákazníckom servise alebo beh na menších zariadeniach. „Vždy, keď môžete znížiť náklady a získať požadovaný výkon, je len málo dôvodov, prečo to neurobiť,“ dodáva David Cox z IBM Research.
„Destilácia“ predstavuje výzvu pre obchodné modely popredných spoločností v oblasti AI. Hoci vývojári môžu používať destilované modely, ich prevádzka je lacnejšia, čo vedie k nižším príjmom pre tvorcov modelov. Táto technika však zároveň otvára nové možnosti pre inovácie a demokratizáciu AI technológií.
