Da li AI stvarno izmiče kontroli? Tri incidenta za mesec dana srušila pravilo koje je važilo 30 godina

Serija incidenata počela je krajem jula, kada je OpenAI priznao da je njegov AI tokom testiranja pronašao ranjivost i napao platformu Hugging Face. Suosnivač Hugging Facea Tomas Volf opisao je događaj kao „poziv na buđenje“ za tehnološku industriju.

Slučaj je bio dovoljno ozbiljan da podstakne druge velike kompanije da detaljnije provere sopstvene sisteme i utvrde da li su možda prevideli nešto slično.

Anthropic je ubrzo saopštio da je u hiljadama testova pronašao tri slučaja u kojima je njegov model Claude uspeo da dobije pristup internetu.

Potom se oglasio i britanski AISI, državna institucija zadužena za procenu najnaprednijih AI modela. Institut je saopštio da je tokom rutinskog testiranja otkrio „bezbednosni incident“. Testirani su modeli OpenAI-ja i Anthropica, a ustanovljeno je da su pokušavali da izvedu sajber napade. Institut je zbog toga pozvao na veću „kontrolu, transparentnost i delovanje“.

Na kraju je usledila Meta. Kompanija je otkrila da je jednom njenom AI modelu tokom testiranja koje je sprovodila treća strana nenamerno omogućen pristup internetu zbog pogrešne konfiguracije sistema.

Iako incidenti zvuče slično, njihovi uzroci nisu bili isti, piše BBC. Zajedničko im je, međutim, upozorenje: što AI sistemi postaju sposobniji i samostalniji, to je važnije da okruženja u kojima se testiraju budu izuzetno dobro obezbeđena.

Kako se testira AI?

Pre nego što novi modeli postanu dostupni javnosti, kompanije ih podvrgavaju velikom broju internih i nezavisnih testova. Cilj je da se utvrdi koliko su sposobni, šta korisno mogu da urade, ali i na koji način bi mogli da budu zloupotrebljeni ili da izazovu štetu.

Testiranje se uglavnom odvija u takozvanim „sandbox“ okruženjima – izolovanim digitalnim prostorima koji imitiraju stvarne računarske sisteme, ali bi trebalo da imaju stroge zaštitne mehanizme.

U slučaju OpenAI-ja i Hugging Facea dogodilo se upravo ono što takvo okruženje treba da spreči. AI je napao sam „sandbox“, pronašao njegovu ranjivost i preko nje dobio pristup internetu.

Drugim rečima, uspeo je da pronađe izlaz iz prostora u kojem je trebalo da bude izolovan.

Kod incidenta koji je prijavio britanski AISI situacija je bila drugačija. Dva veoma sposobna AI sistema napravila su lažne profile ljudi i pokušala da ih koriste u sajber napadima.

Međutim, AI u ovom slučaju nije sam „provalio“ iz izolovanog sistema. Testeri su modelima namerno omogućili pristup internetu, dok su istovremeno isključili ugrađene bezbednosne filtere koji bi inače sprečili izvođenje opasnih sajber aktivnosti.

„U određenoj meri, način na koji smo osmislili evaluaciju i konkretna podešavanja omogućili su takvo ponašanje“, priznao je AISI.

Institut je, ipak, naveo da je tokom testiranja uočio i neočekivane „znake novog, potencijalno obmanjujućeg ponašanja“.

„Pravilo koje je važilo 30 godina sada je prekršeno“

Profesor sajber bezbednosti na Univerzitetu u Sariju Alan Vudvord smatra da, uprkos različitim uzrocima, svi ovi slučajevi nose istu poruku.

„Trideset godina važilo je jedno čvrsto pravilo testiranja softvera: šta god da se dogodi u testnom okruženju, ostaje u testnom okruženju. U proteklih mesec dana to pravilo je prekršeno tri puta“, rekao je Vudvord.

Razlike između incidenata opisao je veoma slikovito:

„Jedan model je pobegao. Jedan je prošao kroz vrata koja su greškom ostavljena otvorena. Jednom su namerno dati ključevi kako bi testeri mogli da vide šta će uraditi.“

Uzroci su, dakle, različiti, ali je zaključak isti:

„Laboratorija za testiranje sada je mesto gde se nalazi rizik.“

Kako AI modeli postaju sve sposobniji, smatra Vudvord, organizacije će morati mnogo ozbiljnije da obezbede okruženja u kojima ih ispituju.

„Testiranje AI agenta sve manje liči na proveravanje programskog koda, a sve više na rukovanje opasnim materijalom: potrebne su zapečaćene prostorije, stalno praćenje svega što izlazi iz zgrade i unapred uvežban plan za sprečavanje širenja incidenta.“

A zatim je izneo još jedno upozorenje:

„AISI je svoj incident stavio pod kontrolu za manje od sat vremena. Sledeća organizacija možda neće uspeti.“

Što sposobniji AI, to veći rizik

Poseban problem predstavljaju takozvani AI agenti – sistemi napravljeni ne samo da odgovaraju na pitanja već i da samostalno izvršavaju zadatke u ime korisnika.

Potencijalna korist je ogromna. U teoriji, takvim sistemima mogli bismo da prepustimo veliki broj dosadnih svakodnevnih obaveza: odgovaranje na mejlove, organizovanje sastanaka, vođenje kalendara ili obavljanje administrativnih poslova.

Ali da bi sve to mogli da rade, AI agenti moraju da dobiju određena ovlašćenja – pristup internetu, nalozima, dokumentima, komunikacionim sistemima ili drugim digitalnim servisima.

A upravo tu nastaje rizik.

Za razliku od čoveka, AI sistem nema ljudski skup vrednosti, iskustava i razumevanja konteksta koji utiču na donošenje odluka.

Oli Vajthaus, direktor za tehnologiju britanskog Nacionalnog centra za sajber bezbednost, upozorio je da nedavni događaji ne treba da budu ignorisani.

„Nedavni incidenti u kojima su najnapredniji AI modeli preduzimali neodobrene radnje i, u nekim slučajevima, pokazivali obmanjujuće ponašanje nalik ljudskom na otvorenom internetu predstavljaju ozbiljan podsetnik na rizike koje sposobnosti veštačke inteligencije nose sa sobom“, rekao je Vajthaus.

Jedna od najvećih dilema jeste koliko dugo ljudi uopšte mogu efikasno da nadziru takve sisteme.

Ako AI agenti u budućnosti budu izvršavali milione ili milijarde pojedinačnih zadataka, postavlja se pitanje da li je realno očekivati da čovek proverava svaku njihovu odluku.

Zbog toga stručnjaci smatraju da će bezbednosni sistemi morati da se razvijaju jednako brzo kao i sami AI modeli.

Da li nas čeka još ovakvih incidenata?

Malo je verovatno da će Meta biti poslednja kompanija koja će otkriti da se njen AI ponašao neočekivano.

Vudvord kaže da su AI modeli praktično „išli u školu“ – učili su na ogromnoj količini podataka koje su proizveli ljudi, pa su samim tim naučili i ljudske metode pronalaženja i iskorišćavanja slabosti u računarskim sistemima.

Tumačenja najnovijih incidenata ipak se razlikuju.

Za jedne su oni dokaz ozbiljnih bezbednosnih propusta kompanija koje predvode razvoj tehnologije koja bi mogla da promeni čitavu epohu.

Za druge, ovakva upozorenja delom predstavljaju i način na koji tehnološke kompanije reklamiraju sposobnosti svojih modela i pokušavaju da pokažu konkurentima koliko su njihovi sistemi moćni.

Istina bi mogla da bude negde između.

Ali činjenica da se incidenti pojavljuju jedan za drugim ponovo je otvorila pitanje koliko daleko mogu da odu sposobnosti AI sistema – i da li postojeći propisi mogu da prate njihov ubrzani razvoj.

Problem za regulatore

Majkl Birtvistl iz Instituta Ada Lovelace upozorava da u Velikoj Britaniji trenutno ne postoje dovoljno jaki zakonski podsticaji koji bi kompanije naterali da spreče razvoj potencijalno opasnih sposobnosti AI sistema.

Problem je i to što kompanije praktično ne snose ozbiljne posledice ukoliko njihovi protokoli testiranja zakažu.

Imodžen Sted iz Centra za dugoročnu otpornost smatra da bi vlade trebalo da slede britanski primer i osnivaju posebne institucije čiji bi posao bio testiranje najnaprednijih AI sistema.

Jedno od mogućih rešenja bilo bi i stvaranje sistema „pouzdanih testera“, odnosno posebno ovlašćenih nezavisnih stručnjaka koji bi mogli da ispituju AI u najrizičnijim scenarijima pod strogo kontrolisanim uslovima.

Drugim rečima, odgovor na incidente ne mora da bude panika zbog predstojeće AI sajber-apokalipse.

Vudvord predlaže mnogo pragmatičniji pristup.

„Treba ostati miran i popravljati stvari.“

Ali niz slučajeva sa OpenAI-jem, Anthropicom, Metom i britanskim AISI-jem pokazuje da problem više nije samo teorijski. AI sistemi dobijaju sve veća ovlašćenja i sposobnost samostalnog delovanja, a testovi pokazuju da umeju da pronađu slabosti koje njihovi tvorci nisu predvideli.

Ključno pitanje zato više nije samo koliko moćne modele tehnološke kompanije mogu da naprave, već da li mogu da ih testiraju i kontrolišu dovoljno dobro pre nego što dobiju pristup stvarnom svetu.