AKTUÁLNE: Vieme, čo spôsobilo globálny výpadok internetu. Tento súbor spôsobil výpadok miliónov stránok, hovorí Cloudflare
Výpadok internetu spôsobil chybný súbor v systéme Cloudflare, ktorý prerástol limity a vyradil časť svetového webu.
Internet včera padal po celom svete a na chvíľu to vyzeralo, že sa deje niečo veľmi zlé. Weby sa nenačítavali, ukazovali chybové hlášky a používatelia si mysleli, že ide o masívny kybernetický útok. Pravda je však ešte zvláštnejšia. Tento celosvetový chaos nespôsobil hacker, ale obyčajný súbor, ktorý bol príliš veľký.
Áno, čítaš správne. Jedna konfiguračná súčasť Cloudflaru, služby, cez ktorú prechádza obrovská časť svetového internetu, sa zrazu nafúkla na dvojnásobok. A keď sa tento “obor” rozbehol po ich serveroch, tie jednoducho prestali zvládať svoju prácu.
Internet skolaboval, Cloudflare však nečelil žiadnemu útoku
Výpadok začal 18. novembra o 11:20 UTC. Používatelia po celom svete videli len chybové stránky s hláškou, že problém je priamo v sieti Cloudflare. Na chvíľu to vyzeralo ako masívne zlyhanie infraštruktúry alebo cielený útok. Dokonca aj samotní technici Cloudflaru si spočiatku mysleli, že sú pod DDoS útokom.
Lenže realita bola oveľa prozaickejšia. Jedna z databáz dostala novú sadu povolení a kvôli tomu začala generovať konfiguračný súbor pre systém proti botom s duplicitnými položkami. Súbor sa tak zväčšil natoľko, že softvér, ktorý ho spracúva, to jednoducho nezvládol. Preťažil sa a spadol. A keď spadne Cloudflare, spadne kus internetu.
Jeden „nafúknutý“ súbor vyradil časť internetu
Cloudflare používajú milióny webov, od malých stránok až po gigantické služby. Tento systém má moduly, ktoré neustále vyhodnocujú riziká, botov, podozrivú aktivitu a všetko, čo by mohlo ohroziť weby zákazníkov.
Neprehliadni
Problém bol v tom, že modul Bot Management dostal príliš veľký konfiguračný súbor. Vo vnútri je totiž limit, maximálne 200 prvkov, aby systém vedel rýchlo reagovať. Nový súbor ich však mal viac ako dvojnásobok.
A výsledok?
Softvér panicky spadol, začal vracať chyby 5xx a internet sa začal zosypávať ako domino.
Chaos trval hodiny, Cloudflare bežal v režime hasenia požiaru
Najskôr Cloudflare predpokladal, že problém je vo vysokej záťaži. Potom, že je problém v ich službe Workers KV. Až neskôr vyšlo najavo, že celú situáciu spôsobil práve chybný „feature file“, konfiguračný súbor používaný na rozpoznávanie botov.
Najkritickejšia fáza trvala od 11:20 do približne 14:30, keď sa podarilo zastaviť šírenie chybného súboru a nahradiť ho starou funkčnou verziou. Okolo 17:06 už bežali všetky systémy normálne.
Cloudflare sa ospravedlnil s tým, že ide o najhorší výpadok od roku 2019 a že „zlyhanie sieťového routingu je pre tím veľmi bolestivé“.
Ako je možné, že jeden súbor dokázal položiť kus internetu
Na celom incidente je najbizarnejšie to, že internet dokáže položiť niečo tak malé ako jeden súbor. Nie vírus, nie masívny útok, ale obyčajná konfigurácia, ktorá naraz prerástla limity. Cloudflare je obrovský sprostredkovateľ internetovej prevádzky, a ak jeho logika narazí na problém, efekt vidíme všetci, doslova v priebehu sekúnd.
Dobrou správou je, že nejde o bezpečnostný problém. Nikto nič nehackol, nikomu sa nekradli dáta. Bol to jednoducho interný chaos, ktorý spustilo jedno nešťastné nastavenie v databáze.
A najzaujímavejšie je, že Cloudflare teraz pridáva ďalšie poistky, aby podobná „maličkosť“ už nikdy nedokázala položiť internet.
