Koliko je ChatGPT pouzdan? Istraživanje pokazalo zabrinjavajući nivo netačnih informacija

Nedavno istraživanje koje je sproveo OpenAI, a o kome je pisao The New York Times, osvetljava ovu kontradiktornost. Naime, OpenAI je otkrio da njihovi najnoviji modeli, uključujući GPT-o3 i o4-mini, imaju povećanu sklonost ka generisanju „halucinacija“ – netačnih ili potpuno izmišljenih informacija.

ChatGPT i halucinacije

Najnoviji vodeći modeli OpenAI, GPT o3 i o4‑mini, dizajnirani su da oponašaju ljudsku logiku. Za razliku od svojih prethodnika, koji su se uglavnom fokusirali na generisanje tečnog teksta, GPT o3 i o4‑mini bi trebalo da „razmišljaju korak po korak“. OpenAI se hvalio da o3 može da parira ili nadmaši rezultate doktora nauka iz oblasti hemije, biologije i matematike. Ali izveštaj OpenAI-ja otkriva zastrašujuće podatke za svakoga ko odgovore na ChatGPT uzima kao nominalnu vrednost, piše Index.hr.

Udeo halucinacija je do 79%

OpenAI je otkrio da je GPT o3 halucinirao u trećini zadataka na benčmark testu o javnim ličnostima — duplo više od prošlogodišnjeg o1 modela. Kompaktniji o4‑mini bio je još gori, sa halucinacijama u 48% sličnih zadataka.

Kada su modeli testirani sa opštim pitanjima iz SimpleKA testa, udeo halucinacija je skočio na 51% u o3 i 79% u o4‑mini. Ovo nije samo mala greška u sistemu, to je prava kriza identiteta. Pomislili biste da bi sistem koji se reklamira kao „razuman“ barem dvaput proverio pre nego što bilo šta izmisli, ali to jednostavno nije slučaj.

„Možda su samo detaljniji u svojim odgovorima“

Jedna teorija koja kruži u zajednici veštačke inteligencije kaže da što više model „misli“, to ima više mogućnosti za greške. Za razliku od jednostavnijih modela koji se drže veoma pouzdanih predviđanja, racionalni modeli ulaze u oblast gde moraju da razmotre više puteva, povezuju udaljene činjenice i u suštini improvizuju – a improvizacija sa činjenicama često znači izmišljanje.

OpenAI je za Tajms rekao da povećan broj halucinacija možda ne potiče od greške u modelima inteligencije. Umesto toga, mogli bi jednostavno biti ekspanzivniji i „slobodniji“ u svojim odgovorima.

Modeli treba da budu korisni, a ne opasni

Budući da novi modeli ne ponavljaju samo predvidljive činjenice već spekulišu o mogućnostima, granica između teorije i izmišljenih činjenica za AI postaje zamagljena. Nažalost, neke od ovih „mogućnosti“ su potpuno odvojene od stvarnosti.

Međutim, više halucinacija je suprotno od onoga što OpenAI ili konkurenti kao što su Google i Anthropic žele. Nazivanje AI chatbot-ova „pomoćnicima“ ili „kopilotima“ implicira da su korisni, a ne opasni. Advokati su već imali problema jer su koristili ChatGPT i nisu primetili izmišljene sudske presedane. Ko zna koliko je ovakvih grešaka izazvalo teškoće u manje rizičnim situacijama?

Što se više koristi, manje je prostora za greške

Mogućnosti da halucinacije izazovu problem brzo se šire kako AI ulazi u učionice, kancelarije, bolnice i državne službe. Napredna veštačka inteligencija može pomoći u pisanju prijava za posao, rešavanju problema sa naplatom ili analizi tabela, ali paradoks je da što je AI korisnija, to ima manje prostora za greške.

Ne možete tvrditi da nekome štedite vreme i trud ako mora da provede isto toliko vremena proveravajući sve što kažete. Ne zato što ovi modeli nisu impresivni – GPT o3 je pokazao neverovatne sposobnosti kodiranja i logike i u nekim stvarima nadmašuje mnoge ljude. Problem nastaje onog trenutka kada odluči da je Abraham Linkoln vodio podkast ili da voda ključa na 27°C; tada se raspršuje iluzija o pouzdanosti.

Dok se ovi problemi ne reše, gledajte svaki odgovor AI modela sa ogromnom dozom skepticizma. Ponekad ChatGPT pomalo liči na osobu koja je puna samopouzdanja dok priča gluposti, zaključuje se u izveštaju.