Kabinet užasa

Uspon strojeva i preuzimanje vlasti od strane umjetne inteligencije. Svijet potpunog nadzora i društvene kontrole. Nuklearni rat i degeneracija civilizacije. Mnoge mračne vizije budućnosti, nacrtane prije mnogo godina, trebale su se dogoditi danas. A u međuvremenu se osvrnemo i čini nam se da ih nije bilo. Jesi li siguran?

Postoji prilično stereotipni repertoar popularnih distopijska proročanstva (o crnoj viziji budućnosti). Uz one najčešće povezane s uništavanjem prirodnog okoliša i resursa, uvriježeno je mišljenje da najnovije tehnologije štete međuljudskoj komunikaciji, odnosima i društvu.

Virtualni prostor će varljivo zamijeniti stvarno sudjelovanje u svijetu. Drugi distopijski pogledi vide tehnološki razvoj kao način povećanja društvene nejednakosti, koncentriranja moći i bogatstva u rukama malih skupina. Visoki zahtjevi moderne tehnologije koncentriraju znanja i vještine u uskim krugovima privilegiranih pojedinaca, povećavaju nadzor nad ljudima i uništavaju privatnost.

Prema mnogim futurolozima, veća produktivnost i veći vidljivi izbor mogu naštetiti kvaliteti ljudskog života uzrokujući stres, ugrožavajući radna mjesta i čineći nas sve materijalističnijima prema svijetu.

Jedan od poznatih tehnoloških "distopijaša", James Gleick, daje naizgled trivijalan primjer daljinskog upravljača za TV kao klasičnog izuma koji ne rješava niti jedan značajniji problem, izrodivši mnoge nove. Gleick, citirajući tehničkog povjesničara Edward Tenner, piše kako mogućnost i jednostavnost prebacivanja kanala pomoću daljinskog upravljača prvenstveno služi da sve više odvlači pažnju gledatelja.

Umjesto zadovoljstva, ljudi su sve nezadovoljniji kanalima koje gledaju. Umjesto zadovoljenja potreba javlja se osjećaj beskrajnog razočaranja.

Hoće li nas automobili držati na rezervacijama?

Hoćemo li moći kontrolirati ovu stvar koja je neizbježna i vjerojatno uskoro dolazi? Preko umjetne inteligencije? Ako to treba biti slučaj, kao što mnoge distopijske vizije proklamiraju, onda ne. (1).

Teško je kontrolirati nešto što je višestruko jače od nas. s povećanjem broja zadataka. Prije dvadesetak godina nitko ne bi vjerovao da mogu očitati emocije u nečijem glasu i licu mnogo točnije nego što to možemo mi sami. U međuvremenu, trenutno uvježbani algoritmi već su sposobni to učiniti, analizirajući izraze lica, boju i način na koji govorimo.

Računala crtaju slike, skladaju glazbu, a jedno od njih čak je pobijedilo na pjesničkom natjecanju u Japanu. Dugo su pobjeđivali ljude u šahu, učeći igru ​​od nule. Isto vrijedi i za mnogo složeniju igru ​​Go.

pokorava se zakonima sve bržeg ubrzanja. Ono što je AI postigao – uz pomoć ljudi – tijekom proteklih desetljeća udvostručit će se u sljedećih nekoliko godina, možda samo mjeseci, a onda će za to trebati samo tjedni, dani, sekunde…

Kako se nedavno pokazalo, algoritmi koji se koriste u pametnim telefonima ili u zračnim lukama za analizu fotografija sa sveprisutnih kamera ne samo da mogu prepoznati nekoga u različitim okvirima, već i odrediti isključivo intimne psihološke karakteristike. Reći da je to veliki rizik za privatnost je kao ne reći ništa. Ne radi se o običnom nadzoru, praćenju svakog koraka, već o informacijama koje proizlaze iz samog izgleda osobe, o njenim skrivenim željama i osobnim preferencijama. 

Algoritmi to mogu naučiti relativno brzo analizirajući stotine tisuća slučajeva, što je daleko više nego što čak i najpronicljivija osoba može vidjeti u životu. Naoružani tako bogatim iskustvom, sposobni su skenirati osobu točnije od čak i najiskusnijeg psihologa, analitičara govora tijela i gesta.

Dakle, prava zastrašujuća distopija nije u tome što računala igraju šah ili idu protiv nas, nego u tome što mogu vidjeti našu dušu dublje od bilo koga osim nas samih, punu zabrana i blokada u prepoznavanju tih ili drugih sklonosti.

Elon Musk vjeruje da kako sustavi umjetne inteligencije počinju učiti i razmišljati u sve većoj mjeri, "inteligencija" se može negdje razviti duboko u web slojevima, nama neprimjetan.

Prema američkom istraživanju objavljenom 2016. godine, u idućih 45 godina umjetna inteligencija ima 50 posto šanse nadmašiti ljude u svim zadacima. Prognostičari kažu da da, AI će riješiti problem raka, poboljšati i ubrzati ekonomiju, omogućiti zabavu, poboljšati kvalitetu i duljinu života, educirati nas da ne možemo živjeti bez nje, ali moguće je da jednog dana, bez mržnja, samo na temelju logične računice, samo nas uklanja. Možda fizički neće funkcionirati, jer u svakom sustavu vrijedi štedjeti, arhivirati i spremati resurse koji bi “mogli jednom dobro doći”. Da, ovo je resurs koji možemo biti za AI. Zaštićena radna snaga?

Optimisti se tješe činjenicom da uvijek postoji mogućnost izvući utikač iz utičnice. Međutim, sve nije tako jednostavno. Već je ljudski život toliko ovisan o računalima da bi radikalan korak protiv njih za nas bio katastrofa.

Uostalom, sve više stvaramo sustave donošenja odluka temeljene na umjetnoj inteligenciji, dajući im pravo da upravljaju avionima, postavljaju kamatne stope, pokreću elektrane – znamo da će algoritmi to učiniti puno bolje od nas. U isto vrijeme, ne razumijemo u potpunosti kako se donose te digitalne odluke.

Postoje strahovi da bi ih superinteligentni zapovjedni sustavi kao što je "Smanjenje zagušenja" mogli navesti na zaključak da je jedini učinkovit način da se posao završi... smanjiti populaciju za trećinu ili čak polovicu.

Da, vrijedi stroju dati najvažniju uputu poput "Prije svega, spasi ljudski život!". No, tko zna hoće li tada digitalna logika dovesti do zatočeništva čovječanstva ili pod štalu, gdje smo možda sigurni, ali svakako ne i slobodni.

Cyber ​​kriminal kao usluga

U prošlosti su distopije i slike postapokaliptičnog svijeta u književnosti i filmu obično bile smještene u postnuklearno doba. Danas se nuklearno uništenje ne čini nužnim za katastrofu i uništenje svijeta kakvog poznajemo, iako ne onakvim kakvim ga zamišljamo. , malo je vjerojatno da će uništiti svijet kao u "Terminatoru", gdje je to kombinirano s nuklearnim uništenjem. Da jest, ne bi bila superinteligencija, nego primitivna sila. Uostalom, ni čovječanstvo još nije realiziralo globalni scenarij razornog nuklearnog sukoba.

Prava strojna apokalipsa može biti mnogo manje impresivna.

Cyber ​​ratovanje, virusni napadi, hakiranje sustava i ransomware, ransomware (2) paraliziraju i uništavaju naš svijet ništa manje učinkovito od bombi. Ako se njihov razmjer proširi, možemo ući u fazu sveopćeg totalnog rata u kojem ćemo postati žrtve i taoci strojeva, iako oni ne moraju djelovati autonomno, a moguće je da će ljudi i dalje stajati iza svega.

Prošlog ljeta, američka Agencija za kibernetičku sigurnost i sigurnost infrastrukture (CISA) nazvala je ransomware napade "najvidljivijom prijetnjom kibernetičkoj sigurnosti".

CISA tvrdi da se mnoge aktivnosti u kojima cyber kriminalac presreće i šifrira podatke osobe ili organizacije, a zatim iznuđuje otkupninu, nikada ne prijavljuju jer žrtva plaća kibernetičkim kriminalcima i ne želi javno objavljivati ​​probleme s njihovim nesigurnim sustavima. Na mikro razini, cyber kriminalci često ciljaju na starije ljude koji imaju problema s razlikovanjem poštenog i nepoštenog sadržaja na internetu. To čine pomoću zlonamjernog softvera ugrađenog u privitak e-pošte ili skočnog prozora na zaraženoj web stranici. Istodobno, napadi na velike korporacije, bolnice, vladine agencije i vlade su u porastu.

Potonji su bili posebno na meti zbog osjetljivih podataka koje su imali i mogućnosti plaćanja velikih otkupnina.

Neke informacije, kao što su informacije o zdravlju, mnogo su vrjednije za vlasnika od drugih i kriminalcima mogu donijeti više novca. Lopovi mogu presresti ili staviti u karantenu velike blokove kliničkih podataka važnih za njegu pacijenata, kao što su rezultati testova ili informacije o lijekovima. Kad je život u pitanju, u bolnici nema mjesta pregovorima. Jedna od američkih bolnica trajno je zatvorena u studenom prošle godine nakon terorističkog napada u kolovozu.

Vjerojatno će se s vremenom samo pogoršati. Godine 2017., Ministarstvo domovinske sigurnosti SAD-a objavilo je da bi kibernetički napadi mogli ciljati kritičnu infrastrukturu poput vodovoda. A alati potrebni za provođenje takvih akcija sve su dostupniji manjim operaterima, kojima prodaju pakete ransomwarea kao što su softver Cerber i Petya i nakon uspješnih napada naplaćuju naknadu za otkupninu. Na temelju cyber kriminala kao usluge.

Opasan poremećaj u genomu

Jedna od popularnih tema distopije je genetika, manipulacija DNK i uzgoj ljudi – k tome, “programiranih” na pravi način (vlasti, korporacije, vojska).

Moderno utjelovljenje ovih tjeskoba je metoda popularizacije Uređivanje gena CRISPR (3). Mehanizmi koje sadrži prvenstveno su zabrinjavajući. forsiranje željenih funkcija u sljedećim generacijama i njihov potencijal proširio se na cjelokupno stanovništvo. Jedan od izumitelja ove tehnike, Jennifer Doudna, čak je nedavno pozvao na moratorij na takve tehnike uređivanja "zametne linije" zbog potencijalno katastrofalnih posljedica.

Podsjetimo da je prije nekoliko mjeseci kineski znanstvenik He Jiankui je naširoko kritiziran zbog uređivanja gena ljudskih embrija kako bi ih imunizirao protiv virusa AIDS-a. Razlog je bio taj što su se promjene koje je napravio mogle prenositi s koljena na koljeno s nepredvidivim posljedicama.

Posebno zabrinjavaju tzv. d (gene rewriting, gen drive), t.j. genetski modificirani mehanizam koji kodira sustav za uređivanje u DNK dane osobe CRISPR/CAS9 genom s postavljanjem za uređivanje ove varijante neželjenog gena. Zbog toga potomci automatski (bez sudjelovanja genetičara) prebrišu neželjenu varijantu gena željenom.

Međutim, nepoželjnu varijantu gena potomci mogu primiti "na dar" od nemodificiranog drugog roditelja. Pa razbijmo genski pogon Mendelski zakoni nasljeđakoji govore da polovica dominantnih gena odlazi na potomstvo od jednog roditelja. Ukratko, to će na kraju dovesti do širenja dotične varijante gena na cijelu populaciju.

Biolog sa Sveučilišta Stanford Christina Smolke, još na panelu o genetičkom inženjeringu 2016., upozorio je da bi ovaj mehanizam mogao imati štetne i, u ekstremnim slučajevima, užasne posljedice. Genski pogon je u stanju mutirati prolazeći kroz generacije i uzrokovati genetske poremećaje poput hemofilije ili hemofilije.

Kao što čitamo u članku objavljenom u časopisu Nature Reviews od strane istraživača sa Sveučilišta Kalifornija, Riverside, čak i ako nagon radi kako je predviđeno u jednoj populaciji organizma, ista nasljedna osobina može biti štetna ako se na neki način unese u drugu populaciju. . isti izgled.

Također postoji opasnost da znanstvenici stvaraju pogone gena iza zatvorenih vrata i bez recenzije. Ako netko namjerno ili nenamjerno unese štetni genski pogon u ljudski genom, poput onog koji uništava našu otpornost na gripu, to bi čak moglo značiti i kraj homo sapiens vrste...

Kapitalizam nadzora

Inačica distopije koju su bivši pisci znanstvene fantastike teško mogli zamisliti je stvarnost interneta, a posebno društvenih medija, sa svim svojim široko opisanim razgranatima koje uništavaju privatnost, odnose i psihološki integritet ljudi.

Taj je svijet samo oslikan u novijim umjetničkim izvedbama, poput onoga što smo mogli vidjeti u seriji Black Mirror u epizodi "The Diving" (2016) iz 4. godine. Šošana Zuboff, harvardski ekonomist, ovu stvarnost naziva potpuno ovisnom o društvenom samopotvrđivanju i potpuno "deprivatiziranom". nadzorni kapitalizam (), a ujedno i kruna rada Googlea i Facebooka.

4. Scena iz "Crno ogledalo" - epizoda "Ronjenje"

Prema Zuboffu, Google je prvi izumitelj. Osim toga, neprestano proširuje svoje aktivnosti nadzora, primjerice kroz naizgled nedužne projekte pametnih gradova. Primjer je projekt najinovativnijeg susjedstva na svijetu koji provodi Sidewalk Labs, Googleova podružnica. pristanište u Torontu.

Google planira prikupiti sve najsitnije podatke o životu stanovnika rive, njihovom kretanju, pa čak i disanju uz pomoć sveprisutnih senzora za praćenje.

Također je teško odabrati internetsku distopiju koja na Facebooku ne dolazi u obzir. Kapitalizam nadzora možda je izmislio Google, ali Facebook ga je podigao na potpuno novu razinu. To je učinjeno društvenim i emocionalnim virusnim mehanizmima i nemilosrdnim progonom čak i onih koji nisu korisnici Zuckerbergove platforme.

Čuvani AI, uronjen u virtualnu stvarnost, živi s UBI

Prema mnogim futurolozima budućnost svijeta i tehnologije označava pet kratica - AI, AR, VR, BC i UBI.

Čitatelji "MT-a" vjerojatno dobro znaju što su i od čega se sastoje prve tri. Poznati se pokazuje i četvrti, "BC", kad shvatimo o čemu se radi. A peti? UBD je skraćenica od koncepta, što znači "univerzalni temeljni dohodak » (5). Ovo je javna dobrobit, koja se s vremena na vrijeme postulira, a koja će biti dana svakoj osobi koja bude otpuštena s posla kako se druge tehnologije budu razvijale, posebno umjetna inteligencija.

5. Univerzalni osnovni dohodak - UBI

Švicarska je čak prošle godine iznijela tu ideju na referendum, ali su je građani odbili, strahujući da bi uvođenje zajamčenog dohotka dovelo do poplave imigranata. UBI sa sobom nosi i niz drugih opasnosti, uključujući rizik od perpetuiranja postojećih društvenih nejednakosti.

Svaka tehnološka revolucija iza akronima (vidi također:) – ako se širi i razvija u očekivanom smjeru – ima goleme posljedice za čovječanstvo i naš svijet, uključujući, naravno, golemu dozu distopije. Na primjer, vjeruje se da bi mogao zamijeniti četverogodišnje izborne cikluse i dovesti do referenduma o bezbrojnim pitanjima.

Virtualna stvarnost je pak u stanju "isključiti" dio čovječanstva iz stvarnog svijeta. Kao što se to dogodilo, primjerice, s Korejkom Jang Ji Sung, koja je nakon smrti kćeri 2016. od neizlječive bolesti od tada upoznala svoj avatar u VR-u. Virtualni prostor također stvara nove vrste problema ili zapravo prenosi sve stare poznate probleme u "novi" svijet, ili čak u mnoge druge svjetove. Donekle to već vidimo na društvenim mrežama, gdje se događa da premalo lajkova na objavama vodi u depresiju i samoubojstvo.

Proročke priče manje-više

Uostalom, povijest stvaranja distopijskih vizija također uči oprezu u formuliranju predviđanja.

6. Naslovnica "Islands in the Net"

Prošle godine snimljeno je poznato znanstveno-fantastično remek djelo Ridleya Scottaandroid lovac» Od 1982. god. Moguće je raspravljati o ispunjenju ili ne ispunjenju mnogih specifičnih elemenata, ali je neosporno da najvažnije proročanstvo o postojanju inteligentnih, humanoidnih androida u našem vremenu, u mnogočemu superiornijih od ljudi, još nije postalo stvarnost.

Bili bismo spremni tolerirati još mnogo proročkih hitova."Neuromanti»tj. romani William Gibson od 1984. koji je popularizirao koncept "cyberspacea".

No, u tom desetljeću pojavila se nešto manje poznata knjiga (kod nas gotovo u potpunosti, jer nije prevedena na poljski), koja je puno točnije predvidjela današnje vrijeme. Govorim o romanticiOtoci na webu"(6) Bruce Sterling od 1988., postavljen 2023. Predstavlja svijet uronjen u nešto slično Internetu, poznato kao "web". Kontroliraju ga velike međunarodne korporacije. "Otoci na webu" poznati su po tome što osiguravaju kontrolu, nadzor i monopolizaciju navodno besplatnog interneta.

Također je zanimljivo predvidjeti vojne operacije koje se izvode korištenjem bespilotnih letjelica (dronova) protiv online pirata/terorista. Operateri udaljeni tisućama milja sa sigurnim stolnim računalima - kako to znamo? Knjiga nije o beskrajnom sukobu s islamskim terorizmom, već o borbi protiv sila koje se protive globalizaciji. Svijet Islands in the Net također je prepun potrošačkih uređaja koji dosta nalikuju pametnim satovima i pametnim sportskim cipelama.

Postoji još jedna knjiga iz 80-ih koja, iako se neki događaji čine fantastičnijima, dobro ilustrira naše suvremene distopijske strahove. ovo "Georadarski softver“, Povijest Rudy Rookerpostavljena 2020. Svijet, stanje u društvu i njegovi sukobi izgledaju nevjerojatno slični onome s čime se danas suočavamo. Tu su i roboti poznati kao boperi koji su stekli samosvijest i pobjegli u gradove na Mjesecu. Ovaj element još se nije materijalizirao, ali pobuna strojeva postaje stalni refren crnih predviđanja.

Vizije našeg vremena u knjigama također su zapanjujuće točne na mnogo načina. Octavia Butler, posebno uPrispodobe o sijaču» (1993.). Radnja počinje 2024. u Los Angelesu, a odvija se u Kaliforniji, devastiranoj poplavama, olujama i sušama uzrokovanim klimatskim promjenama. Obitelji srednje i radničke klase sastaju se u zatvorenim zajednicama dok pokušavaju pobjeći od vanjskog svijeta uz pomoć droga koje izazivaju ovisnost i kompleta za virtualnu stvarnost. Pojavljuju se nove religije i teorije zavjere. Izbjeglička karavana kreće na sjever kako bi izbjegla ekološki i društveni kolaps. Na vlast dolazi predsjednik koji koristi slogan kampanje "Make America Great Again" (ovo je slogan Donalda Trumpa) ...

Butlerova druga knjiga, "Parabola o talentimagovori kako članovi novog religijskog kulta napuštaju Zemlju u svemirskom brodu kako bi kolonizirali Alpha Centauri.

***

Koja je pouka ovog opsežnog pregleda predviđanja i vizija napravljenih prije nekoliko desetljeća o našem svakodnevnom životu?

Vjerojatno je činjenica da se distopije događaju često, ali najčešće samo djelomično.