"Izneverili smo internet danas, nije bio napad": Cloudflare objasnio kako je došlo do globalnog pada sistema

Suosnivač i direktor Cloudflare Metju Prins izvinio se u postu u utorak kasno uveče, navodeći da je ovo bio najteži pad sistema koji je kompanija doživela od 2019. godine.

„Izneverili smo internet danas. U poslednjih više od šest godina nismo imali ovakav pad koji je izazvao prestanak protoka većine ključnog internet saobraćaja kroz našu mrežu“, rekao je Prins. „U ime celog tima Cloudflare-a, želeo bih da se izvinim zbog problema koje smo danas izazvali internetu.“

Datoteka izvor problema

Prins je objasnio da je do Cloudflare-ovog pada došlo zbog problema sa sistemom koji se koristi za zaštitu sajtova od DDoS napada.

Cloudflare-ov sistem Bot Management je servis koji štiti sajtove od napada zlonamernih botova. To uključuje DDoS napade koji zatrpavaju sajt prevelikom količinom saobraćaja, napade „struganja sadržaja“ (content scraping) koji prikupljaju podatke bez dozvole, i autonomne napade „credential stuffing” koji pokušavaju da se uloguju korišćenjem procurelih lozinki sa drugih sajtova.

Ovaj sistem koristi i AI model koji ocenjuje svaki zahtev za pristup sajtovima. Kad god neko pokuša da pristupi sajtu zaštićenom Bot Management sistemom, AI generiše ocenu koja određuje da li je zahtev verovatno poslao bot. Da bi to uradio, model analizira različite karakteristike zahteva, koje su zapisane u tzv. „feature file” (datoteci sa parametrima).

Upravo je ta datoteka bila izvor problema. Ona se osvežava svakih pet minuta, kako bi se prilagodila novim bot-obrascima, i koristi se širom cele Cloudflareove sajber-bezbednosne mreže. Međutim, kompanija je uvela promenu u osnovni upit koji generiše datoteku, što je izazvalo masovno dupliranje informacija. Zbog toga je "feature file" postao znatno veći nego inače, što je pokrenulo grešku u Bot Management sistemu.

Kao rezultat, svaki pokušaj pristupa sajtovima koji koriste Cloudflareov Bot Management davao je kod greške. Cloudflare navodi da je mreža počela da trpi ozbiljne kvarove oko 15 minuta nakon što je ažuriranje bilo primenjeno.

U početku je kompanija sumnjala da je pad sistema posledica napada, posebno zato što je pao i njihov sajt za praćenje statusa, iako je nezavistan od ostatka infrastrukture. Međutim, Prins kaže da je to bila slučajnost.

„Nije bio napad“

„Problem nije izazvan, ni direktno ni indirektno, sajber-napadom ili bilo kakvom zlonamernom aktivnošću“, naglasio je Prins. „Nakon što smo isprva pogrešno posumnjali da su simptomi posledica masovnog DDoS napada, ispravno smo identifikovali osnovni problem, zaustavili širenje prevelike datoteke i zamenili je ranijom verzijom.“

I portparol Cloudflare-a je, pre objave blog-posta, izjavio za Mashable da „nema dokaza da je pad sistema rezultat napada ili zlonamerne aktivnosti“.

Cloudflare-ovi servisi su bili uglavnom vraćeni u funkciju za tri sata, a potpuno obnovljeni nakon otprilike pet sati. Prins je naveo da kompanija već planira mere kako bi sprečila slične incidente u budućnosti, uključujući i to da greške više ne mogu da preopterete sistem.