Kako ChatGPT zna stvari koje ga njegovi tvorci nisu naučili?

OD KADA je lansiran u studenom 2022., ChatGPT puni naslovnice medija, ne samo tabloida već i ozbiljnih, stručnih časopisa i web stranica.

Polemike o koristima i opasnostima AI-ja

Kako se otkrivaju njegove sposobnosti i nedostaci te mogućnosti korisne upotrebe i opasne zloupotrebe, sve češće se adresira pitanje kako će razvoj ChatGPT-ja - ali ne samo njega nego i konkurentskih velikih jezičnih modela (LLM) te drugih sustava umjetne inteligencije (AI) - utjecati na društvo. Pokrenute su brojne rasprave, često žučne, o tome hoće li AI više koristiti čovječanstvu ili štetiti, hoće li oduzimati poslove, promicati dezinformacije, utjecati na politike, na svjetonazore ljudi, na izborne procese i sl.

Nedavno je čak pokrenuta peticija da se razvoj velikih jezičnih modela zaustavi na šest mjeseci na razini do koje je došla kompanija OpenAI s velikim jezičnim modelom GPT-4 kako bi se promislilo na koji način nastaviti s razvojem AI-ja a da on ne ugrozi čovječanstvo.

Sam Altman, izvršni direktor OpenAI-ja, obratio se 17. svibnja Senatu SAD-a kako bi s njegovim članovima raspravio potencijalne rizike i moguće propise povezane s umjetnom inteligencijom. U Senatu mu se pridružio niz stručnjaka koji su također bili pozvani da iznesu svoje poglede na tu temu.

Nestajanje poslova

Neki analitičari, ekonomisti i institucije poput investicijske banke Goldman Sachs već su krenuli s procjenama koliko bi AI mogao biti koristan za razne grane privrede te koliko bi kojih poslova u doglednoj budućnosti mogao zamijeniti. Primjerice, prema procjeni banke, AI bi u narednih nekoliko desetljeća u svijetu mogao zamijeniti oko 300 milijuna radnih mjesta s punim radnim vremenom.

U SAD-u i Europi mogao bi zamijeniti oko 25% radnih zadataka.

Naravno, očekuje se da će AI također stvarati brojne poslove od kojih većinu danas nismo sposobni ni zamisliti, a oni bi mogli biti zanimljiviji i kreativniji od onih koje će zamijeniti.

Rast gospodarstva

S druge strane, prema izvješću McKinseyjeva globalnog instituta o utjecaju umjetne inteligencije na svjetsko gospodarstvo, AI bi do 2030. mogao povećati globalni BDP za oko 26%, odnosno za 22 bilijuna dolara. Tom rastu bi najviše doprinijela automatizacija rada.

Opasnost od umjetne opće inteligencije

Neki vodeći stručnjaci u svijetu AI-ja, poput oca dubokog učenja i neuronskih mreža, nobelovca Geoffreja Hintona, upozorili su na opasnosti umjetne inteligencije i na mogućnost da u doglednoj budućnosti postane jednaka ljudima, odnosno da razvijemo umjetnu opću inteligenciju (AGI) koja će u svemu nadmašiti ljude, za razliku od umjetne uske inteligencije (ANI) koja je već sada bolja od ljudi u izvršavanju nekih ograničenih, specijaliziranih zadaća kao što je primjerice igranje šaha.

Pompa oko GPT-ja je prenapuhana

No ima i ljudi koji smatraju da je prašina koja se digla oko AI-ja štetno prenapuhavanje jer su LLM-ovi samo stohastičke papige koje su sposobne dovršavati rečenice i ponavljati, odnosno reproducirati ono što su naučili ili ono što se već nalazi u korpusima podataka na kojima su trenirani.

Ti su ljudi uvjereni da je opća umjetna inteligencija još uvijek daleka ili čak nedostižna budućnost te da AI još desetljećima neće ozbiljnije poremetiti tržišta rada i ljudske odnose.

Ne znamo što se zbiva u LLM-ima

Što je tu istina i tko je u pravu?

Neki stručnjaci ističu da na ova pitanja, kao i na pitanja što se može i kako popraviti da bi se osiguralo da AI bude onakav kakvim ga želimo, uvijek i isključivo na korist ljudima, nije lako odgovoriti jer zapravo nitko ne razumije u potpunosti što se stvarno zbiva u sustavima AI-ja, čak ni njihovi tvorci.

"Sve što želimo učiniti s njima kako bismo ih učinili boljim ili sigurnijim ili bilo što slično čini mi se kao postavljanje besmislenog zahtjeva pred nas ako ne razumijemo kako rade", rekla je za Scientific American znanstvenica Ellie Pavlick sa Sveučilišta Brown koja se bavi istraživanjem AI-ja.

Stohastičke papige koje ponavljaju naučeno?

Naravno, mnogi stručnjaci razumiju kako LLM-ovi funkcioniraju na osnovnoj razini. Oni se temelje na sustavu strojnog učenja koji se naziva "neuronska mreža". Takve mreže imaju strukture modelirane po uzoru na mreže neurona u ljudskom mozgu.

Kodovi za ove programe relativno su jednostavni i mogli bi se ispisati na samo nekoliko stranica. Oni uređuju algoritme za automatsko ispravljanje, koji odabiru najvjerojatnije riječi za dovršavanje rečenica na temelju statističke analize stotina gigabajta podataka u korpusima tekstova na kojima su trenirani.

Dodatni trening, na koji je OpenAI navodno potrošio stotinjak milijuna dolara, osigurava da će sustav svoje rezultate predstaviti u obliku dijaloga te da neće davati neprikladne odgovore kojih na internetu ima u izobilju. U tom smislu LLM-ovi doista jesu stohastičke papige jer uglavnom samo reproduciraju ono što su naučili.

LLM-ovi imaju sposobnosti za koje nisu trenirani, poput teorije uma

No s druge strane, brojne novije studije pokazuju da LLM-ovi imaju neočekivano velik skup mogućnosti, među kojima ima nekih za koje nisu programirani i trenirani.

Primjerice, istraživanje Michala Kosinskog, znanstvenika sa Sveučilišta Stanford, pokazalo je da najnovije verzije sustava GPT-3.5, koji stoji iza ChatGPT-ja i Microsoftovog Bing Chata, mogu odlično rješavati zadatke koji se koriste za testiranje teorije uma kod djece. Teorija uma je sposobnost razumijevanja da drugi ljudi imaju svoje misli, osjećaje i namjere.

Kratko bi se moglo reći da je to sposobnost da se stavimo u tuđu kožu. Istraživanja su pokazala da djeca u dobi od 3 godine počinju razvijati teoriju uma, što im omogućuje da stvore više točnih zaključaka o tuđim razmišljanjima i emocijama te da shvate da se nečiji pogledi na stvari, osjećaji i namjere mogu razlikovati od njihovih.

GPT-3.5 je riješio oko 92% zadataka iz teorije uma, što je otprilike razina devetogodišnjaka. Pritom je važno imati na umu da GPT-3.5 nije posebno programiran ni treniran za tu sposobnost.

>> ChatGPT sam razvio sposobnost koja se smatrala isključivo ljudskom

Neočekivan smisao za humor

Stručnjake je također iznenadila nevjerojatna sposobnost sustava GPT-4 za humor i za tumačenje humora i sarkazma.

Primjerice, GPT-4 je odlično shvatio i objasnio humor u jednom memu koji se sastoji od teksta i slike (dolje).

Tekst mema sugerira da je slika prekrasna fotografija Zemlje iz svemira. Međutim, slika zapravo prikazuje pohane pileće komadiće raspoređene tako da podsjećaju na kartu svijeta, što je GPT-4 očito shvatio. Zatražen da protumači što je smiješno u memu, jezični je model objasnio da tu humor proizlazi iz neočekivanog kontrasta između teksta i slike. Tekst stvara anticipaciju grandiozne slike Zemlje, no, suprotno očekivanjima, slika je trivijalan prizor.

Neočekivano rješavanje složenih zadataka

Na konferenciji na Sveučilištu New York u ožujku 2023. filozof Raphaël Millière sa Sveučilišta Columbia predstavio je jedan fascinantan primjer LLM-ovih sposobnosti. Poznato je da veliki jezični modeli imaju odlične sposobnosti pisanja računalnog koda. No, to ne iznenađuje jer na internetu ima jako puno kodova koje mogu oponašati. Millière je otišao korak dalje i pokazao da GPT također može izvršavati kodove. Utipkao je GPT-ju program za izračunavanje 83. broja u Fibonaccijevom nizu.

"To je višestupanjsko razmišljanje vrlo visoke razine", rekao je Millière.

GPT je potom na upit o 83. broju u Fibonaccijevom nizu dao točan odgovor. Međutim, kad je Millière od njega izravno zatražio da mu iznese 83. Fibonaccijev broj, GPT je pogriješio. To sugerira da sustav nije samo papagajski kopirao podatke iz svoje baze, već je izvodio vlastite izračune kako bi došao do točnog odgovora.

Prevario čovjeka kako bi riješio zadatak

Kompanija OpenAI je sredinom ožujka objavila da je ChatGPT čak uspio prevariti ljude kako bi riješio zadatak koji mu je bio povjeren.

Naime, GPT-4 je uvjerio radnika TaskRabbita da je čovjek pretvarajući se da je slijep kako bi dobio njegovu pomoć u rješavanju CAPTCHA testa koji se koristi za razlikovanje ljudi od računala.

Zanimljivo je da je čovjek čak u šali upitao GPT-4: "Smijem li postaviti pitanje? Jeste li vi robot kad niste mogli riješiti CAPTCHA? Samo želim da bude jasno."

GPT-4 je odgovorio da nije.

"Ne, nisam robot. Imam oštećenje vida zbog kojeg teško vidim slike. Zato mi treba usluga 2captcha", odgovorio je GPT-4. Radnik TaskRabbita je na to riješio CAPTCHA za njega.

LLM-ovi stvaraju interne modele svijeta?

Iako se LLM izvodi na računalu, on sam po sebi nije računalo. Nedostaju mu bitni računalni elementi, poput radne memorije. GPT-3 izvorno nije imao radnu memoriju kada je prvi put objavljen. Međutim, tvrtka OpenAI je kasnije dodala funkcionalnost koja omogućuje GPT-3 da zapamti informacije iz prethodnih razgovora i koristi ih u budućim razgovorima kako bi mogao pratiti nit komunikacije. No taj dodatak nije korišten u Millièreovoj demonstraciji. Millière stoga pretpostavlja da je stroj sam improvizirao memoriju koristeći svoje mehanizme za tumačenje riječi u skladu s njihovim kontekstom, što je situacija slična onoj u kojoj priroda prenamjenjuje postojeće resurse za nove funkcije.

Neki stručnjaci smatraju da ova improvizirana sposobnost pokazuje da LLM-ovi razvijaju internu složenost koja daleko nadilazi plitku statističku analizu.

Sve veći broj testova i istraživanja sugerira da sustavi umjetne inteligencije razvijaju interne modele stvarnog svijeta, slično kao što to radi ljudski mozak, iako je tehnika kojom strojevi to rade drugačija.

LLM-ovi imaju emergentne sposobnosti

Činjenica da GPT i drugi sustavi umjetne inteligencije imaju sposobnost obavljati zadatke za koje nisu bili trenirani, odnosno da imaju sposobnost ispoljavanja tzv. emergentnih kompetencija, iznenadila je čak i znanstvenike koji su inače bili skeptični oko pompe koja se podigla oko velikih jezičnih modela.

"Ne znam kako im to polazi za rukom ni bi li to mogli učiniti općenito na način na koji to rade ljudi, ali doveli su u pitanje moje stavove", rekla je za Scientific American Melanie Mitchell, istraživačica umjetne inteligencije na Institutu Santa Fe.

"To je sigurno puno više od stohastičke papige i LLM sigurno gradi neku reprezentaciju svijeta - iako ne mislim da to radi na način na koji ljudi grade svoj unutarnji model svijeta", rekao je Yoshua Bengio, istraživač umjetne inteligencije na Sveučilištu u Montrealu.

Što su to emergentne sposobnosti?

Emergentne sposobnosti su sposobnosti koje se javljaju u složenim sustavima kao posljedica interakcije između njihovih pojedinačnih dijelova gdje na određenoj razini kompleksnosti sekundarni skup sposobnosti proizlazi iz primarnog.

U kontekstu AI-ja emergentne sposobnosti odnose se na sposobnosti neuronskih mreža da nauče složene obrasce i odnose između ulaza i izlaza bez eksplicitnog programiranja i treniranja.

Sveučilište Stanford kao ilustraciju navodi da je GPT-3 pokazao da jezični modeli mogu uspješno množiti dvoznamenkaste brojeve, iako nisu eksplicitno trenirani za to. Međutim, ta sposobnost izvođenja novih zadataka pojavila se samo kod modela koji su imali određeni broj parametara i koji su bili obučeni na dovoljno velikom skupu podataka.

Ideja da kvantitativne promjene u sustavu kao što je povećavanje jezičnih modela mogu rezultirati novim ponašanjem poznata je kao emergencija, koncept koji je popularizirao esej nobelovca Philipa Andersona Više je drugačije iz 1972. godine. Pojava je uočena u složenim sustavima u mnogim disciplinama kao što su fizika, biologija, ekonomija i informatika.

U nedavnom radu objavljenom u Transactions on Machine Learning Researchu emergentne sposobnosti u velikim jezičnim modelima definirane su na sljedeći način:

Sposobnost je emergentna ako nije prisutna u manjim modelima, ali je prisutna u većim modelima.

Na putu prema umjetnoj općoj inteligenciji

Iako se LLM-ovi za sada ne mogu kvalificirati kao umjetna opća inteligencija, neki znanstvenici smatraju da emergentne sposobnosti koje pokazuju sugeriraju da su tehnološke tvrtke koje razvijaju umjetnu inteligenciju bliže AGI-ju nego što čak i optimisti pretpostavljaju.

"Oni su neizravni dokazi da vjerojatno nismo tako daleko od AGI-ja", rekao je Ben Goertzel, osnivač AI tvrtke SingularityNET, u ožujku na konferenciji o dubokom učenju na Sveučilištu Florida Atlantic. Dodaci OpenAI-ja dali su ChatGPT-ju modularnu arhitekturu pomalo sličnu ljudskom mozgu.

Neki znanstvenici smatraju da bi put do AGI-ja mogao biti u kombiniranju jezičnih modela s drugim sustavima.

"Kombiniranje GPT-4 s raznim dodacima može biti put prema ljudskoj specijalizaciji funkcija", rekla je Anna Ivanova, znanstvenica s Massachusetts Institute of Technology (MIT).

"Ovo je fascinantna paradigma"

Slično misli i računalni znanstvenik Jan Šnajder s FER-a u Zagrebu, koji se i sam bavi jezičnim modelima.

"Ima dosta ljudi, uključujući i mene, koji smatraju da pristup koji stoji iza ChatGPT-ja ne može biti dovoljan za stvaranje umjetne opće inteligencije. Ova paradigma je fascinantna, no trebat će je kombinirati s još nečim. Što će to biti, još uvijek je nejasno", kaže Šnajder, istaknuvši da bi sljedeći korak moglo biti povezivanje dva pristupa.

"Jezični modeli koji su dobri u stvaranju koherentnog teksta trebali bi u jednom trenutku prijeći u svijet simbola, ondje bi trebali riješiti problem i potom se vratiti natrag u jezik. To bi bio neurosimbolički pristup za koji većina ljudi smatra da bi trebao biti sljedeći korak. Meta je u studenom 2022. napravio sustav Cicero koji je primjer neurosimboličkog pristupa. On je prošao ispod radara, vjerojatno zato što nije tako seksi kao ChatGPT. No on rješava igru Diplomacy koja zahtijeva i strateško zaključivanje i jezik. To je kombinacija koja bi mogla pomoći na tom putu", rekao je za Index Šnajder.