Umjetna inteligencija ne slijedi logiku znanstvenog napretka
Mnogo smo puta pisali u MT-u o istraživačima i stručnjacima koji sustave strojnog učenja proglašavaju „crnim kutijama“ (1) čak i za one koji ih grade. To otežava procjenu rezultata i ponovnu upotrebu novih algoritama.
Neuronske mreže - tehnika koja nam daje inteligentne botove za pretvaranje i genijalne generatore teksta koji čak mogu stvarati poeziju - ostaje neshvatljiva misterija vanjskim promatračima.
Postaju sve veći i složeniji, rukuju ogromnim skupovima podataka i koriste golema računalna polja. To čini replikaciju i analizu dobivenih modela skupom, a ponekad i nemogućom za druge istraživače, osim za velike centre s ogromnim proračunima.
Mnogi znanstvenici dobro su svjesni ovog problema. Među njima je Joel Pino (2), predsjednik NeurIPS-a, glavne konferencije o ponovljivosti. Stručnjaci pod njezinim vodstvom žele napraviti "kontrolnu listu ponovljivosti".
Ideja je, rekao je Pino, potaknuti istraživače da drugima ponude plan kako bi mogli ponovno stvoriti i koristiti već obavljeni posao. Možete se čuditi elokvenciji novog generatora teksta ili nadljudskoj spretnosti robota za video igre, ali čak ni najbolji stručnjaci nemaju pojma kako ta čuda rade. Stoga je reprodukcija AI modela važna ne samo za prepoznavanje novih ciljeva i smjerova istraživanja, već i kao čisto praktični vodič za korištenje.
Drugi pokušavaju riješiti ovaj problem. Googleovi istraživači ponudili su "kartice modela" kako bi detaljno opisali kako su sustavi testirani, uključujući rezultate koji ukazuju na potencijalne greške. Istraživači s Allenova instituta za umjetnu inteligenciju (AI2) objavili su rad koji ima za cilj proširiti popis za provjeru ponovljivosti Pinota na druge korake u eksperimentalnom procesu. "Pokažite svoj rad", pozivaju.
Ponekad nedostaju osnovne informacije jer je istraživački projekt u vlasništvu, posebice laboratorija koji rade za tvrtku. Češće je, međutim, to znak nemogućnosti opisivanja promjenjivih i sve složenijih istraživačkih metoda. Neuronske mreže su vrlo složeno područje. Za postizanje najboljih rezultata često je potrebno fino ugađanje tisuća "kvačica i gumba", što neki nazivaju "crna magija". Izbor optimalnog modela često je povezan s velikim brojem eksperimenata. Magija postaje vrlo skupa.
Na primjer, kada je Facebook pokušao ponoviti rad AlphaGo, sustava koji je razvio DeepMind Alphabet, zadatak se pokazao iznimno teškim. Ogromni računalni zahtjevi, milijuni eksperimenata na tisućama uređaja tijekom mnogih dana, u kombinaciji s nedostatkom koda, učinili su sustav "vrlo teškim, ako ne i nemogućim, ponovno stvoriti, testirati, poboljšati i proširiti", prema zaposlenicima Facebooka.
Čini se da je problem specijaliziran. No, ako razmislimo dalje, fenomen problema s ponovljivošću rezultata i funkcija između jednog i drugog istraživačkog tima potkopava svu logiku funkcioniranja znanosti i istraživačkih procesa koja nam je poznata. U pravilu se rezultati dosadašnjih istraživanja mogu koristiti kao temelj za daljnja istraživanja koja potiču razvoj znanja, tehnologije i opći napredak.
