A háború mindig is tükröt tartott a civilizációk elé, elsősorban azzal kapcsolatosan, hogy meddig vagyunk hajlandók elmenni a győzelemért. Az iráni háború ebből a szempontból egy új korszak nyitánya: az első nagy léptékű konfliktus, amelyben a mesterséges intelligencia nemcsak segédeszköz, hanem a hadviselésnek a központi eleme, mondhatni az idegrendszere.

Ez egy olyan új félelmetes fejlemény, amit ha a Palantir cégnek a napokban megjelent új manifesztójával vetünk össze, aggodalmat kellene keltsen mindenkiben, akit érdekel az, hogy milyen irányba halad az emberiség jövője, ha olyan sarkalatos kérdésekben, mint a háború, most már nem az emberi tényező a meghatározóbb, hanem egy algoritmus. Nézzük a részleteket. 

A gép javasol, az ember végrehajt

Egy ideje gyűjtöm már az infókat egy cikkhez a mesterséges intelligenciának a háborúban betöltött szerepéről, és mondhatni elég hosszú időbe telt, amíg megértettem a folyamatot, melynek a sebezhetősége és a nagy hibahatár akkor vált számomra nyilvánvalóvá, amikor egyre egyértelműbbé vált, hogy az Iránban lebombázott leányiskola esetében a hibát tulajdonképpen a Palantir harci AI programja, a Maven követte el. Lássuk pontosan mi történt, ehhez azonban kissé messzebbről kell indulnunk. Az iráni háború nyitánya során az amerikai hadsereg a katonai beszámolók szerint az első nap több mint ezer célpontot bombázott le. Ez katonai szakértők szerint közel kétszerese a 2003-as iraki „Shock and Awe” kampány első napjának. Ezt a tempót egyetlen tényező tette lehetővé: a Palantir Maven Smart System nevű platformja, amelybe az Anthropic Claude modellje is integrálva volt.

A Maven lényegét úgy lehet a legegyszerűbben leírni, hogy képzeljünk el egy haditérképet, olyat, mint a Google Map, de nem turistáknak, hanem katonáknak. Ebbe az online térképbe több mint száz különböző hírszerzési forrás táplál adatot folyamatosan: műholdak, drónok, radarok, lehallgatott kommunikáció, az ellenfél energiafelhasználási mintái, a lista nagyon hosszú, hogy milyen katonai infókat táplálnak be ide. A mesterséges intelligencia ezt a hatalmas adathalmazt másodpercek vagy percek alatt feldolgozza, azonosítja a potenciális célpontokat és csapásokat javasol. Vagyis az elemzési folyamat végén az emberi parancsnok kap egy listát javaslatokkal, hogy milyen célpontokat kell lebombázni, és ez alapján dönt.

Elemzők kiszámolták, hogy az ezer csapás huszonnégy óra alatt azt jelenti, hogy az egyes csapásokkal kapcsolatos döntéseket a parancsnokok nagyjából 86 másodperc alatt hozták meg, ez korábban több órába vagy napba is beletelt volna, ha ember végzi az összesítést és a javaslatot. Ezt ismételjük meg, hogy eljusson az agyunkig: 86 másodpercenként hozott valaki egy döntést arról, hogy valamit lebombázzanak-e vagy sem a háború első napjában, annak alapján, hogy az összesített információk alapján mit javasolt neki a mesterséges intelligencia. A Pentagon vezető AI-tisztviselője (Cameron Stanley) ezt nyilvánosan „bal klikk, jobb klikk, bal klikk” folyamatnak nevezte, és forradalminak tartotta. Én is forradalminak tartom, csak nem abban az értelemben, ahogy ő, hanem én abszolút félelmetesnek tartom, hogy ez megtörtént és hogy ez nem egy B kategóriás sci-fi, hanem ez a valóság.

AI vs emberek: mennyiség kontra minőség

Szóljunk a Mavenről és az Anthropicról. A Maven a Palantir (Peter Thiel és Alex Karp cége) fejlesztése, ő az az „agy”, amely összesíti az információkat és javasol a folyamat végén valamit. Míg a Maven az, ami feldolgozza az infót, az Anthropic adta hozzá a Claude nevű mesterséges intelligenciát, amely lényegében „beszél” a Mavennel és közvetíti a döntéshozók felé a javaslatokat, a Maven ugyanis nem tud az emberekkel „beszélni”.

Az Anthropicot és a Claude-ot tulajdonképpen az tette híressé ebben a kontextusban, hogy a Claude létrehozói nem egyeztek bele abba, hogy a rendszer emberi jóváhagyás nélkül is részt vehessen halálos döntésekben. A Pentagon erre „kockázatnak” nyilvánította az Anthropicot, és elrendelte a Claude kivonását a katonai rendszerekből. Ez a mi szempontunkból csak annyiban releváns, hogy ez a vita hozta felszínre nyilvánosan azt a kérdést, amely az egész AI-hadviselés középpontjában áll: köteles-e ember jóváhagyni minden halálos döntést, vagy sem. 

Ugyanis aminek az Anthropic ellenállt, az egész pontosan a következő: a Pentagon azt akarta, hogy a Claude „minden törvényes célra” használható legyen. Ez két dolgot takart konkrétan az Anthropic szerint: teljesen autonóm fegyverrendszerek támogatását emberi jóváhagyás nélkül, és amerikai állampolgárok belföldi megfigyelését. Ez egy dermesztő fejlemény és véleményem szerint nagyobb figyelmet igényelne, mint amennyit kap.

A gyakorlatban miért fontos mindez, azon túl, hogy egyáltalán az emberben felvetődik a gondolat, hogy a Pentagon ezt mégis hogy képzeli? Mégis milyen szerepe lehet az emberiségnek egy olyan világban, ahol az Egyesült Államok hadügyminisztériumában valaki egy AI javaslatai alapján klikkel jobbra és balra, hogy milyen célpontokat kell megsemmisíteni? Ugyanis az amerikai hadvezetés büszkén jelentette be ezután, hogy a rendszer lényegében megkétszerezte a napi csapások ütemét. Ismét felmerülnek a kérdések, hogy mi itt a lényeg, a csapások mennyisége, vagy a csapások minősége?

Szakértők azt mondják, hogy az iráni hadszíntéren csak az első három hétben körülbelül hatezer (!) célpontot céloztak meg. Lehet velem van a gond és nem értem a katonai logikát, de mégis miért volt hatezer célpont lebombázására szükség? És mit értek el ezzel tulajdonképpen? Megnyílt a szoros ettől? Megdőlt a rendszer ettől? De vannak más problémák is. A gyors döntésekkel együtt a hibahatár is jelentősen megnövekedett és itt jön képbe az iráni leányiskola. 

A háború első napján egy amerikai rakéta csapott le a dél-iráni Minab városában lévő általános iskolára. Több mint 168 ember halt meg, többségük iskolás lány. A Pentagon vizsgálata elavult hírszerzési adatokra hivatkozott magyarázatként. Az iskolán viszont a Maven felületén „HQ” vagyis katonai parancsnokság jelzés szerepelt. Az AI nem tévedett, azt mondta, amit a rendszerbe táplált adatok alapján mondhatott. De senki nem kérdezett vissza. Nyolcvanhat másodperc ugyanis nem elég arra, hogy minden egyes javaslatot amit a mesterséges intelligencia generál, le lehessen ellenőrizni.

A felelősség feloldódása

Mindebből következik a felelősség nagyfokú feloldódásának kérdése, ugyanis a fenti helyzet azt mutatja, hogy a felelősség olyannyira megoszlott és bizonyos tekintetben az egész folyamat annyira steril módon személytelen lett, hogy tulajdonképpen nem egyének a felelősek, hanem maga a folyamat az, ami tele van potenciális hibákkal. Mert ugye a Palantir azt mondja: mi csak eszközt adtunk, az emberek döntöttek. A katonai parancsnok azt mondja: én jóváhagytam, amit a rendszer javasolt. A politikai vezető azt mondja: én stratégiai célokat jelöltem ki, a részletekbe nem szóltam bele.

Ez a felelősségi lánc minden ponton technikailag igaz, de összességében mégis ott van a lánc végén egy súlyos következmény, az hogy 168 gyermek meghalt. Az egészet egy félig automatizált rendszer döntötte el, vagyis az emberek cselekedtek a lista alapján ezek szerint kérdés nélkül, holott azt már egy dolgozatot író egyetemista is tudja, hogy amennyiben nem ismered jobban a témát, mint az AI, akkor fennáll a lehetősége, hogy az AI egy csomó hibás választ ad, vagyis csak akkor lehet ezeket a modelleket jól használni, ha te kompetensebb vagy a témában, mint az eszköz, és rákérdezel egy sor aspektusra.

A Palantir Manifesztója és a „technofasizmus”

Az már hab a tortán, hogy a Palantir a napokban közzétett egy 22 pontos manifesztó-szerűséget az X-en. A dokumentum Alex Karp vezérigazgató könyvének, a „The Technological Republic-nek” az összefoglalója (beszédes cím?) és jóval túlmutat egy tech cég szokásos kommunikációján. Mondhatnám, hogy pont jókor jött kiegészítésképpen ehhez az AI anyaghoz, amin ülök már egy ideje, ugyanis a Palantir a legrosszabb sejtéseimet igazolta az iratával, amit ajánlok mindenkinek olvasásra, linkelni fogom majd kommentben.

A dokumentumban foglaltakat sokan „technofasizmusnak” nevezték és én ezzel a megnevezéssel nagyjából egyetértek. Mások szerint a 21. század legbecsületesebb hatalmi manifesztuma, amely legalább nyíltan kimondja, amit mások csendben csinálnak. Ez is igaz, részben legalább, de én ebben az elszabadult, kendőzetlen és nyers nyelvezetben nem látok semmi jót a jövőre nézve, főleg, hogy a Palantir missziója Karp saját szavai szerint: „megfélemlíteni az ellenségeket, és alkalomadtán megölni őket”. Nem tudom, mikor változott meg annyira a világ, hogy egy magáncég ilyen állításokat fogalmaz meg, és ezeket nyilvánossá teszi, hiszen ez messze túlmutat azon a rendszeren, melyben az államok az erőszakmonopólium kizárólagos letéteményesei.

AI az AI ellen, az igazi apokalipszis?

A mesterséges intelligencia megjelenése óta létezik az a félelem az emberekben, hogy mégis mi áll a folyamat végén, hogyan lehet az AI-t az emberi társadalmakba úgy integrálni, hogy az valamiféle pozitív többletet jelentsen, ne veszélyforrás legyen? Mindezzel kapcsolatosan biztató az Anthropic magatartása, bár ők inkább kivételnek számítanak az AI fejlesztők között, az OpenAI tulajdonosaihoz képest mindenképp az erkölcs megtestesítői.

Az AI egy eszköz, mint a kés. A kést is lehet ölésre használni, de ugyanakkor a konyhában főzéshez is elengedhetetlen. Tehát arra kell mindenképpen összpontosítani, hogy legyen valamiféle határ és szabály abban a tekintetben, hogy mire és hogyan lehet az AI-t használni. Ami aggasztó, hogy az Egyesült Államok és Kína, nagyon úgy tűnik, nem konvencionális módon akarják megvívni a maguk titáni harcát, mely egyre inkább érik, hanem az AI segítségével. Alex Karp azon kesereg, hogy nyugaton az AI-t macskás videók készítésére használják, míg Kína a fegyverrendszereibe integrálja, habár láttuk fentebb azért, hogy ez az Egyesült Államok esetében is pontosan ugyanígy van.

A kérdés a jövőre nézve tehát nem az, hogy az AI veszélyes-e, hanem hogy milyen típusú veszélyeket rejteget magában, mert erre kell valamiféle szabályozást kidolgozni, még időben. Ugyanis a fentiek ismeretében láttuk, hogy az AI szupergyorsan elemezte az információt és ezzel egyre gyorsabb döntésekre sarkallta az embereket, de igazából ezek a döntések mennyiségi voltuk miatt inkább eszkaláltak és újabb problémákat hoztak létre.

Most képzeljük el, hogy a gyorsaság miatt az AI kiszabadul az emberi logika meghatározó volta alól és két egymással szemben álló AI milliszekundumok alatt hoz a másikkal szemben döntéseket? Mennyi idő alatt jutunk el egy visszafordíthatatlan helyzethez? Jelenleg minden nagyhatalom versenyzik a másikkal az „ultimate" fegyver, az AGI/ASI létrehozásáért, és senki sem akar egyoldalúan lelassítani, ez ismerős dinamika. A nukleáris fegyverkezési versenyhez hasonlít, azzal a nagyon fontos különbséggel, hogy az AI-t lényegesen könnyebb előállítani, nem kell hozzá uránt dúsítani és igazából ott tartunk már hogy az AI-t teszik oda sokan, hogy kódot írjon nekik, szóval ez egy teljesen más terep.

Iránban talán az emberiség első nagy léptékű AI-háborúját vívták. Biztos, hogy nem az utolsót.