ARMÁDA
STROJŮ Autonomní zbraně a budoucnost války
PAU L S C H A R R E
KNIŽNÍ KLUB
ARMÁDA STROJŮ Autonomní zbraně a budoucnost války Paul Scharre Copyright © Paul Scharre, 2018 First published as Army of None: Autonomous Weapons and the Future of War by W. W. Norton & Company Translation © Dalibor Míček, 2018 All rights reserved ISBN 978-80-242-6232-1
Poděkování Pro Daveyho, Williama a Ellu… za to, že svět díky nim může být lepší A pro Heather… děkuji za všechno
OBSAH
ÚVOD Moc nad životem a smrtí
11
ČÁST I – ROBOPOKALYPSA ROJE ÚTOČÍ Vojenská robotická revoluce
25
TERMINÁTOR A ROOMBA Co je autonomie?
45
STROJE, KTERÉ ZABÍJEJÍ Co je autonomní zbraň?
57
ČÁST II – KONSTRUKCE TERMINÁTORA BUDOUCNOST SE BUDUJE DNES Autonomní střely, drony a robotické roje
89
UVNITŘ PALÁCE PUZZLE Staví Pentagon autonomní zbraně?
113
PŘEKROČENÍ PRAHU Schválení autonomních zbraní
127
R-TÁ SVĚTOVÁ VÁLKA Robotické zbraně na celém světě
145
GARÁŽOVÉ STROJE Výroba zabijáckých robotů na koleně
169
ČÁST III – ZATOULANÁ ZBRAŇ ŠÍLENÍ ROBOTI Selhání autonomních systémů
191
VELENÍ A ROZHODOVÁNÍ Lze autonomní zbraně používat bezpečně?
221
ČERNÁ SKŘÍŇKA Uvnitř tajuplného, cizího světa hlubokých učících se neuronových sítí
247
SMRTÍCÍ SELHÁNÍ Riziko autonomních zbraní
259
ČÁST IV – BLESKOVÁ VÁLKA BOT VERSUS BOT Rychlé závody ve zbrojení
269
NEVIDITELNÁ VÁLKA Autonomie v kyberprostoru
285
„PŘIVOLÁNÍ DÉMONA“ Vzestup inteligentních strojů
313
ČÁST V – BOJ ZA ZÁKAZ AUTONOMNÍCH ZBRANÍ ROBOTI PŘED SOUDEM Autonomní zbraně a zákony války
339
ZABIJÁCI BEZ DUŠE Morálnost autonomních zbraní
367
HRA S OHNĚM Autonomní zbraně a stabilita
401
ČÁST VI – ODVRÁCENÍ ARMAGEDDONU: ZBRAŇ POLITIKY KENTAUŘI BOJOVNÍCI Lidé + stroje
431
PAPEŽ A SAMOSTŘÍL Smíšené dějiny odzbrojování
445
JSOU AUTONOMNÍ ZBRANĚ NEVYHNUTELNÉ? Hledání smrtonosných zákonů robotiky
463
ZÁVĚR Žádný osud, ale to, co děláme
481
Poznámky
485
Úvod MOC NAD ŽIVOTEM A SMRTÍ
MUŽ, KTERÝ ZACHRÁNIL SVĚT
S
vět málem zanikl 26. září 1983 večer. Vrcholila studená válka a na obou stranách se ježily jaderné zbraně. Počátkem jara toho roku prezident Reagan ohlásil strategickou obrannou iniciativu, známou pod přízviskem „hvězdné války“, plánovaný raketový obranný štít, který hrozil zhroucením delikátní rovnováhy strachu studené války. O pouhé tři týdny dříve, konkrétně 1. září, sestřelila sovětská armáda dopravní letoun na lince z Aljašky do Soulu, který se zatoulal do sovětského vzdušného prostoru. Zahynulo dvě stě šedesát devět lidí, mezi nimi i americký kongresman.1 V obavě z odvety vyhlásil Sovětský svaz nejvyšší pohotovost. Sovětský svaz nasadil satelitní systém včasného varování nazývaný Oko, který měl hlídat starty mezikontinentálních balistických střel Spojených států. Krátce po půlnoci 26. září podal systém závažné hlášení: Spojené státy americké odpálily na Sovětský svaz nukleární střelu. Oné noci sloužil v bunkru Serpuchov-15 nedaleko Moskvy podplukovník Stanislav Petrov,2 jehož úkolem bylo řetězcem
12
ARMÁDA STROJŮ
velení ohlásit nadřízeným odpálení rakety. V bunkru ječely sirény a na obrovské, rudě podsvícené obrazovce blikalo varování „odpal“, upozorňující na zachycenou střelu,3 ale Petrov pořád neměl jistotu. Oko bylo nové a podplukovník se obával, že systém mohl ohlásit odpálení rakety omylem, způsobeným nějakou technickou závadou. Proto čekal. Další odpal. Na Sovětský svaz mířily dvě mezikontinentální střely. Potom další. A ještě jednu. A znovu – celkem pět.4 Blikající návěští „odpal“ se změnilo na „raketový úder“. Systém hlásil nejvyšší míru věrohodnosti. Dvojznačnost nepřipadala v úvahu: nepřítel zahájil jaderný útok. Sovětské vojenské velitelství mělo jen minuty k rozhodnutí, co dělat, než nad Moskvou explodují řízené střely. Petrov měl divný pocit.5 Proč by Spojené státy odpalovaly pouze pět střel? Nedávalo to smysl. Opravdu překvapivý útok by byl masivní, zdrcující úder, který by vymazal sovětské rakety v podzemních silech. Petrov nebyl přesvědčen, že jde o skutečný útok. Ale také si nebyl jistý, že jde o falešný poplach. S jedním okem upřeným na výstup počítače zavolal podplukovník operátorovi pozemního radaru a požádal o potvrzení. Pokud by ty střely byly skutečné, sovětské pozemní radary by je zachytily ve fázi stoupání nad horizont. Ovšem na obrazovkách pozemních radarů se kupodivu neukázalo vůbec nic. Petrov odhadl pravděpodobnost reálného útoku na padesát procent, tedy jako kdyby si hodil mincí.6 Potřeboval více informací. Potřeboval víc času. Stačilo by, kdyby zvedl telefon, ovšem možné následky by byly nepředstavitelné. Pokud by sovětskému velení oznámil, že má odpálit jaderné střely, zahynuly by miliony lidí. Mohl by tak zahájit třetí světovou válku. Petrov se řídil instinktem a ohlásil nadřízeným, že systém Oko vykazuje chybu. Nemýlil se, k žádnému útoku nedošlo. Falešný
Úvod
13
poplach sovětských satelitů způsobil odraz paprsků vycházejícího slunce od horních ploch mraků. Systém Oko byl prostě vadný. Člověk „v kruhu zasvěcených“ zachránil lidstvo před sebezničením. Jak by se na Petrovově místě zachoval stroj? Co by udělal? Ať by byl naprogramován na jakoukoli akci, její důsledky by si v žádném případě neuvědomoval.
ODSTŘELOVAČSKÁ VOLBA
Na jaře roku 2004 – o dvě desetiletí později, v jiné zemi, v jiné válce – jsem na vrcholu jedné afghánské hory hleděl do dalekohledu upevněného na odstřelovačské pušce. Můj sniperský tým byl vyslán na afghánsko-pákistánské pomezí s úkolem prozkoumat infiltrační trasy, po kterých se bojovníci Tálibánu měli údajně vracet do Afghánistánu. Na vrchol hory jsme šplhali celou noc, na rozeklaném a popraskaném terénu se nám osmdesátikilogramová výstroj, kterou jsme vlekli na zádech, pořádně pronesla. Když obloha nad východním obzorem zesvětlela, zalehli jsme za skalní výstupek – lepší úkryt jsme nenašli. Doufali jsme, že naše pozice zůstane utajena i za denního světla. Nezůstala. Když se vesnice pod námi za úsvitu nového dne probudila k životu, místní farmář postřehl naše hlavy, které vyčnívaly nad nevysoké skalisko. Byli jsme odhaleni. To samozřejmě naši misi nezměnilo. Hlídkovali jsme, zaznamenávali obousměrný pohyb na stezce v údolí. A čekali jsme. Netrvalo dlouho a dostali jsme společnost. Z vesnice vyšla holčička asi tak pěti- nebo šestiletá se dvěma kozami a vydala se naším směrem. Zdánlivě jenom pásla kozy, ovšem postupovala širokým obloukem kolem naší pozice a často hleděla přímo k nám. Sloužila Tálibáncům jako pozorovatel. Poz-
14
ARMÁDA STROJŮ
ději nám došlo, že cvrlikavé zvuky, jež jsme slyšeli, když nás obcházela, a považovali je za hvízdání na svěřené kozy, vycházely ve skutečnosti z vysílačky, kterou u sebe měla. Pomalu nás obcházela a hlásila naši polohu. My sledovali ji, ona nás. Pak odešla a krátce nato se objevili bojovníci Tálibánu. Měli jsme oproti nim výhodu – zahlédli jsme je, když vystupovali úzkou roklinou na úbočí hory a domnívali se, že je její břehy před námi skryjí. Propukla přestřelka a rachot výstřelů vyhnal celou vesnici z chatrčí. Hlasitá palba zněla ozvěnou přes údolí a zpět a upozornila na naši přítomnost všechny v okruhu dvaceti kilometrů. Tálibánci, kteří nás napadli, buď utekli, nebo byli mrtví, bylo však jasné, že se brzy vrátí i s posilami. Zástup vesničanů pod námi se rozrůstal a vůbec nepůsobil přátelsky. Kdyby se rozhodli vzít nás útokem, nedokázali bychom je všechny zadržet. „Scharre,“ ozval se velitel našeho družstva, „požádej o evakuaci.“ Aktivoval jsem vysílačku. „Tady Mike-Jedna-Dva-Romeo,“ zalarmoval jsem naši jednotku rychlé reakce, „vesničané se soustřeďují na naši pozici. Budeme potřebovat odvoz.“ Dnešní mise skončila. Přeskupíme se a pod rouškou noční tmy zaujmeme nové, lepší postavení. Po návratu do úkrytu v bezpečném domě jsme debatovali o tom, co bychom udělali jinak, kdybychom se znovu dostali do stejné situace. Problém spočívá v následující skutečnosti: zákony války nestanovují věkovou hranici pro kombatanty (doslova bojovník, tento termín označuje osobu, která se přímo účastní konfliktu). To, zda je někdo kombatant, určuje jeho chování a jednání, nikoli věk. Pokud se nějaká osoba zapojí do bojové akce – jako třeba ta malá pasačka, která vyzvídala pro nepřítele –, stává se oprávněným cílem. Kdybychom zabili civilistu, který jen náhodou narazil na naši pozici, dopustili bychom se válečného zlo-
Úvod
15
činu, kdybychom však zabili onu dívenku, postupovali bychom plně v souladu s právem. Samozřejmě by to bylo špatné. Určitě z morálního, když už ne právního hlediska. Během naší diskuse nemusel nikdo recitovat zákony války nebo odkazovat na abstraktní etické principy. Nikdo se nemusel dovolávat empatie. Děsivá možnost střelby na dítě za podobné situace vůbec nepřišla na přetřes. Aniž bychom si řekli jediné slovo, všichni jsme věděli, že by to bylo špatné. Válka staví vojáky před obtížná, hrozná rozhodnutí, toto k nim však nepatřilo. Všechno záleží na kontextu. Co by v naší situaci udělal stroj? Pochopil by robot, kdy je zabití zákonné, ale špatné?
ROZHODNUTÍ
Volbu mezi životem a smrtí ve válce nelze brát na lehkou váhu, ať už jsou v sázce miliony životů, nebo osud jediného dítěte. Rozhodování, před které je voják ve zmatku bitvy postaven, se řídí zákony války a pravidly vedení boje, ovšem k rozpoznání správné volby za dané situace často potřebujete i zdravý úsudek. Technologie přivedla lidstvo ve vztahu k válce ke kritickému prahu. V budoucích válkách budou o životě a smrti v boji rozhodovat stroje, a to zcela samostatně. Armády po celém světě závodí, která dříve rozmístí roboty do moře, na pevninu a do vzduchu – dnes používá drony ke vzdušným hlídkám více než devadesát zemí. Tito roboti jsou ve stále větší míře autonomní a mnozí jsou ozbrojení. Prozatím operují pod lidskou kontrolou, ale co se stane, když dron typu Predator získá tolik samostatnosti jako automobil Google? Jaké oprávnění dáme strojům při konečném rozhodování – život, nebo smrt?
16
ARMÁDA STROJŮ
Kniha, kterou čtete, není science-fiction. Již dnes více než třicet zemí disponuje dozorovanými obrannými autonomními zbraněmi určenými pro situace, kdy je rychlost bojové akce příliš vysoká, aby na ni člověk dokázal zareagovat. Tyto systémy brání lodě a pozemní základny před soustředěnými útoky raket a řízených střel a dohlížejí na ně lidé, kteří mohou v případě potřeby zasáhnout – ovšem jiné zbraně, například izraelské drony typu Harpy, již hranici plné autonomie překročily. Na rozdíl od dronu Predator, který je řízen člověkem, může Harpy prohledat rozsáhlou oblast a lokalizovat nepřátelské radary, a jakmile je najde, zničí je, aniž by žádal o svolení. Tento dron byl prodán do několika zemí a Čína ho okopírovala a zkonstruovala vlastní variantu. Je třeba se připravit na reálnou možnost většího rozšíření – a to je Harpy teprve začátek. Jižní Korea rozmístila v demilitarizovaném pásmu na hranicích s KLDR robotické strážní zbraně (lehký kulomet v kombinaci s granátometem). Izrael použil ozbrojené pozemní roboty při hlídkování podél hranic s Gazou. Rusko staví celou škálu ozbrojených pozemních robotů pro válku vedenou na evropských pláních. Ozbrojené drony dnes vlastní šestnáct zemí a dalších deset či dvanáct se otevřeně pokouší o jejich vývoj.7 Tento vývoj je součástí hlubšího technologického trendu: nástup umělé inteligence (Artificial Intelligence – AI), někdy nazývaný „příští průmyslová revoluce“.8 Technologický guru Kevin Kelly přirovnal AI k elektřině: stejně jako elektřina dává život všem předmětům kolem nás silou, AI jim dá život pomocí inteligence.9 AI dovoluje konstrukci sofistikovanějších samostatných robotů od skladových manipulátorů po drony nové generace, pomáhá zpracovávat mnohem větší kvanta dat a činí různá rozhodnutí – aktivuje twitterové boty, plánuje údržbu eskalátorů v podzemní dráze, a dokonce stanovuje lékařské diagnózy.
Úvod
17
V průběhu války mohou systémy AI pomáhat lidem při rozhodování – anebo mohou dostat oprávnění rozhodovat samostatně. Nástup umělé inteligence zcela změní vedení války. Počátkem dvacátého století si armády osedlaly průmyslovou revoluci a přivedly na frontu tanky, letadla a kulomety, čímž rozpoutaly ničení v dosud nepoznaném měřítku. Mechanizace umožnila konstrukci strojů, které jsou fyzicky silnější a rychlejší než lidé, alespoň pro některé úkoly. Podobně umožní revoluce AI strojům chápat, vytvoří stroje, které jsou pro plnění omezené škály úkolů chytřejší a rychlejší než člověk.10 Mnohé vojenské aplikace AI nejsou kontroverzní – zdokonalená logistika, kybernetická obrana a roboti pro lékařskou evakuaci, dodávky zásob či dozor –, ovšem zavádění AI do zbraňových systémů klade vyzývavé otázky. I dnešní zbraně používají pro celou řadu funkcí automatizaci, ale ve většině případů je to pořád člověk, kdo určuje cíl a mačká spoušť. Není jasné, jak to bude pokračovat. Většina zemí o svých plánech mlčí, ale hrstka již signalizovala záměr vyrazit plnou silou k autonomii zbraní. Vyšší ruští vojenští velitelé sní o tom, že „bude vytvořena plně robotizovaná jednotka, schopná nezávislého vedení vojenských operací“,11 zatímco pracovníci amerického ministerstva obrany tvrdí, že by se možnost nasazení plně autonomních zbraní měla „ocitnout na stole“.12
LEPŠÍ NEŽ ČLOVĚK?
Ozbrojení roboti, kteří rozhodují, koho zabít, nám připadají jako dystopická noční můra, někteří však argumentují tím, že autonomní zbraně mohou učinit války humánnějšími. Stejný druh automatizace, který umožňuje samořídícím autům vyhnout se chodcům, může být použit k omezení počtu civilních obětí
18
ARMÁDA STROJŮ
za války. Stroje se na rozdíl od lidských vojáků nikdy nerozzlobí, ani nevyhledávají pomstu. Nikdy se neunaví, nikdy se nevyčerpají. Nasazení autopilotů v letadlech dramaticky zvýšilo bezpečnost civilní letecké přepravy a zachránilo nespočet životů. Dokáže autonomie zbraní totéž ve válce? Nové typy AI, například hloubkově se učící neuronové sítě, prokázaly překvapivý pokrok v rozpoznávání vizuálních objektů, rozpoznávání obličejů a vycítění lidských emocí. Není těžké představit si budoucí zbraně, které překonají člověka v rozlišení, zda daná osoba drží pušku, nebo hrábě. Přesto počítače s člověkem stále prohrávají v chápání kontextu a interpretaci významu. Programy AI dnes umějí rozpoznat předměty na obrázku, nedokážou však spojit jednotlivá vlákna a pochopit komplexní obraz.13 Některá rozhodnutí v době války jsou přímá a jasná. Někdy lze nepřítele snadno identifikovat a palebná dráha je volná. Ovšem jiná rozhodnutí, například to, jemuž čelil Stanislav Petrov, vyžadují pochopení širšího kontextu. Mnohé situace, jako například ta, kterou řešil můj odstřelovačský tým, vyžadují morální posouzení. Udělat správnou věc občas znamená porušit pravidla – správné a zákonné nemusí být vždycky totéž.
DEBATA
Lidstvo stojí před zásadní otázkou: mělo by se strojům dovolit rozhodovat za války mezi životem a smrtí? Mělo by to být zákonné? Je to správné? Diskuse o smrtící autonomii se účastním od roku 2008. Jako civilní politický analytik v pentagonské kanceláři ministerstva obrany jsem vedl skupinu, která připravila návrh oficiální politiky Spojených států v oblasti autonomních zbraní. (Spoiler: neza-
Úvod
19
kazuje je.) Od roku 2014 vedu projekt etiky autonomie v Centru pro novou americkou bezpečnost, což je nezávislá dvoustranná expertní komise se sídlem ve Washingtonu, DC. V průběhu řešení jsem se setkal s odborníky z celé řady oblastí, kteří se s těmito otázkami potýkají, s vědci, právníky, psychology a experty na etiku, s odzbrojovacími aktivisty, profesionálními vojáky a pacifisty. Nahlédl jsem za oponu vládních projektů a setkal se s techniky a inženýry, kteří konstruují příští generaci válečných robotů. Tato kniha vás povede po cestě napříč rychle se rozvíjejícím světem příští generace robotických zbraní. Zavedu vás do areálů zbrojních firem, které stavějí inteligentní řízené střely, i do vědeckých laboratoří, kde se odehrává špičkový výzkum v oblasti rojů. Představím vám vládní činitele, kteří stanovují politiku, a aktivisty snažící se o zákaz. Tato kniha zkoumá minulost – včetně toho, co se pokazilo – a hledí do budoucnosti, když se scházím s výzkumníky, kteří posouvají hranice umělé inteligence. Tato kniha prozkoumá, jak by mohla vypadat budoucnost zaplněná autonomními zbraněmi. Automatizované obchodování s cennými papíry vedlo k „bleskovým krachům“ na Wall Street. Mohou autonomní zbraně vést k „bleskovým válkám“? Nové metody AI jako hloubkové učení jsou výkonné a mocné, ale často vedou k tvorbě systémů, které lze doslova popsat jako „černou skříňku“ – i pro jejich konstruktéry. Jaké nové výzvy před nás rozvinuté systémy AI postaví? O zákaz útočných autonomních zbraní požádalo přes 3000 odborníků na robotiku a umělou inteligenci14 a v kampani „Zastavte zabijácké roboty“ se k nim připojilo více než 60 nevládních organizací.15 Proti autonomním zbraním se vyslovily vynikající osobnosti vědy a techniky jako Stephen Hawking, Elon Musk a spoluzakladatel společnosti Apple Steve Wozniak, kteří varovali před „globálním závodem v umělointeligenčním zbrojení“.16
20
ARMÁDA STROJŮ
Lze tomuto závodu ve zbrojení zabránit, nebo už byl odstartován? A pokud už probíhá, lze ho zastavit? Historie lidské kontroly nebezpečných technologií je rozporuplná: snahy zakázat zbraně vnímané jako příliš nebezpečné sahají až do starověku. Mnohé tyto snahy selhaly, mezi nimi i ty z počátku 20. století, které měly za cíl zakázat ponorky a letadla. A i ty, které uspěly, například zákaz chemických zbraní, jen zřídka zabrání jejich použití ze strany zločinných diktátorů, jako byl Bašár al-Asad v Sýrii či Saddám Husajn v Iráku. Pokud mezinárodní zákaz nezabrání nejodpornějším režimům v budování armád zabijáckých robotů, můžeme jednoho dne stát tváří v tvář nejtemnějším nočním můrám, které se staly skutečností. POMALÝMI KROKY K ROBOPOKALYPSE
Žádná země otevřeně neprohlásila, že konstruuje autonomní zbraně, ale v tajných vojenských laboratořích i ve dvojúčelových komerčních aplikacích kráčí vývoj AI mílovými kroky kupředu. U většiny aplikací, dokonce i u ozbrojených robotů, zůstane rozhodování o životě a smrti v rukou člověka – ovšem stres bitevního pole může armády přimět k budování autonomních zbraní, které člověka z rozhodovacího procesu vyřadí. Armády mohou zatoužit po větší autonomii, aby využily špičkovou rychlost počítačů nebo schopnost robotů pokračovat v boji, i když byla jejich komunikace s lidskými operátory narušena. Anebo mohou armády budovat autonomní zbraně prostě ze strachu, že tak činí jiní. Náměstek ministra obrany Spojených států Bob Work se zeptal: Jestli naši konkurenti přikročí k terminátorům… a ukáže se, že terminátory jsou schopní činit rozhodnutí rychleji, byť špatná, jak odpovíme?17
Úvod
21
Zástupce předsedy výboru náčelníků štábů generál Paul Selva pojmenoval toto dilema „terminátorský hlavolam“.18 Sázky jsou vysoké: AI nastupuje jako mocná technologie. Při správném použití by mohly inteligentní stroje učinit válku přesnější a humánnější. Při nesprávném použití by autonomní zbraně mohly přinést rozsáhlejší zabíjení, dokonce vyšší počet civilních obětí. Národy nebudou volit ve vakuu. Jejich výběr bude záviset na tom, co udělají jiné země, jakož i na společné volbě vědců, techniků, právníků, lidskoprávních aktivistů a jiných účastníků této debaty. Umělá inteligence přichází a bude použita ve válce. Otevřenou otázkou zůstává, jak bude použita. Slovy Johna Connora, hrdiny série filmů o terminátorovi a vůdce lidského odporu proti strojům: „Budoucnost není určena. Neexistuje osud, jen to, co pro sebe uděláme sami.“ Boj za zákaz autonomních zbraní zasahuje jádro prastarého konfliktního vztahu mezi lidstvem a technologiemi: budeme my ovládat naše výtvory, nebo ovládnou ony nás?
ČÁST I
Robopokalypsa
1 ROJE ÚTOČÍ VOJ E N SKÁ R OB O T IC KÁ R E VOLU C E
J
ednoho slunného odpoledne vzlétá v kopcích střední Kalifornie roj. Odpalovací zařízení vypouští do vzduchu jeden dron se štíhlými polystyrénovými křídly za druhým. Drony vydávají vysoké bzučení, které slábne, jak stoupají ke křišťálově průzračné kalifornské obloze. Drony prořezávají vzduch ostrými, přesnými pohyby. Podívám se na jejich pilota, který stojí vedle mě, a s jistým překvapením si uvědomím, že se nedotýká ovládacích prvků: drony letí plně autonomně. Pošetilé pochopení – koneckonců jsem se sem přišel podívat na autonomní roje dronů –, přesto představuje pozorování dronů, které létají tak agilně bez lidského zásahu, úplně jiný zážitek, než jsem čekal. Jejich hbité pohyby vypadají účelně a není těžké je v duchu obdařit schopností záměrného jednání. Pohled na drony operující „bez vodítka“ je současně působivý i zneklidňující. Přijel jsem na základnu národní gardy Camp Roberts v Kalifornii, abych se setkal s odborníky z Postgraduální školy válečného námořnictva, kteří zkoumají něco, co dosud nikdo jiný na světě neudělal: rojové vedení války. Na rozdíl od dronů Predator, které jsou jednotlivě řízeny lidskými operátory z pozemních sta-
26
ARMÁDA STROJŮ
novišť, drony těchto odborníků jsou ovládány hromadně. Dnešní experiment zahrnuje 20 dronů, které letí simultánně a napodobují vzdušný souboj dvou skupin po deseti. Střelba je simulovaná, ale manévrování za letu je zcela reálné. Každý dron se vznáší ze startovního zařízení s již zapnutým autopilotem. Bez jakéhokoli lidského povelu stoupají na určenou letovou hladinu, vytvářejí dva týmy a hlásí, když jsou „připraveny k rojovému boji“. Rudý a Modrý roj čekají ve svých rozích vzdušného ringu a krouží jako hejna hladových káňat. Pilot, který velí Rudému roji, si mne ruce v očekávání nadcházející bitvy – což je docela zábavné, protože jeho role spočívá pouze ve stisknutí knoflíku, který roji přikáže vyrazit. Potom už bude stejným divákem jako já. Duane Davis, vysloužilý pilot námořního vrtulníku, který se přeorientoval na počítačového programátora a vytvořil rojový algoritmus, odpočítává: „Iniciace roje proti roji… Tři, dva, jedna, pal!“ Velitelé Rudého a Modrého roje vysílají své svěřence do akce. Oba vzdušné týmy se k sobě bez váhání přibližují. „Boj zahájen!“ volá Duane nadšeně. Roje během několika vteřin zkracují vzdálenost a srážejí se. Obě skupiny se promíchávají a víří jako jednolitá masa. Ve spodní části počítačové obrazovky se zaznamenávají simulované výstřely: UAV 74 vypálil na UAV 33 UAV 59 vypálil na UAV 25 UAV 33 zasažen UAV 25 zasažen… Chování rojů řídí jednoduchý algoritmus nazvaný Nenasytný střelec. Každý dron manévruje tak, aby se dostal do vhodné
Roje útočí
27
palebné pozice proti nepřátelskému dronu a zlikvidoval ho. Člověk volí pouze chování roje – čekat, sledovat, útočit nebo přistát – a přikazuje roji, kdy začít. Potom už jsou všechny akce roje zcela autonomní, nezávislé. Na monitoru velitele Rudého roje nelze poznat, kdo vítězí. Ikony dronů se překrývají jako rozmazané šmouhy, zatímco nad našimi hlavami drony krouží kolem sebe ve víru vzdušného souboje. Vířící kotouč mi připadá jako čistý chaos, přestože mi Davis říká, že někdy dokáže rozpoznat, který dron útočí na který. Software simulující práci rozhodčího se nazývá Arbitr a zaznamenává skóre. Převahu získává Rudý roj, který zaznamenal čtyři úlovky oproti dvěma Modrého týmu. Status „zabitých“ dronů se mění ze zeleného na červený a jsou vyřazeny ze svého roje. Poté se vzdušný souboj dostává do patové situace, kdy drony krouží kolem sebe a nejsou schopny zaznamenat žádný smrtelný zásah. Davis to vysvětluje skutečností, že letouny jsou vzájemně rovnocenné – identická konstrukce, identický letový řídicí systém, identické algoritmy –, a patové situace, kdy ani jedna ze stran není schopna získat navrch, nejsou nijak vzácné. Davis resetuje bitevní pole pro druhé kolo a roje se vracejí do svých rohů. Když je jejich velitelé opět vyšlou do boje, roje se k sobě znovu přibližují. Tentokrát bitva končí remízou 3:3. Ve třetím kole získává Rudý roj rozhodné vítězství 7:4. Jeho velitel s radostí přebírá uznání za výhru. „Stiskl jsem tlačítko,“ říká s úsměvem. Stejně jako mění roboti náš každodenní život – od samořídících automobilů přes robotické vysavače po pečovatele o seniory –, transformují i válku. Globální náklady na armádní robotiku se za rok 2018 odhadují na 7,5 miliardy dolarů. Tolik vydávají země na rozšiřování svých arzenálů vzdušných, pozemních a námořních robotů.19
28
ARMÁDA STROJŮ
Na bitevním poli mají roboti oproti tradičním bojovým vozidlům s lidskou posádkou celou řadu výhod. Nejsou svázáni lidskými psychologickými limity. „Neobsluhovaná“ vozidla (tj. bez posádky) mohou mít menší rozměry, mohou být lehčí a rychlejší a mít lepší manévrovací schopnosti. Vydrží na bojišti déle než člověk omezený fyziologickými vlastnostmi těla – týdny, měsíce, dokonce roky bez odpočinku. Mohou podstupovat vyšší rizika, mohou využívat taktické příležitosti k nebezpečným, dokonce sebevražedným akcím bez ohrožení lidských životů. Roboti však mají jednu velkou nevýhodu. Když odstraníme z bojového prostředku (vozidla) člověka, přijdeme o nejrozvinutější kognitivní procesor na planetě: lidský mozek. Většina dnešních vojenských robotů je ovládána nebo řízena dálkově člověkem a jejich činnost závisí na křehkých a zranitelných komunikačních kanálech, které mohou být rušeny nebo rozpojeny přírodními podmínkami. Bez těchto komunikačních spojů mohou roboti vykonávat pouze jednoduché úkoly a jejich schopnost autonomních operací je značně snížena. Řešení: více nezávislosti.
NÁHODNÁ REVOLUCE
Revoluci v robotice nikdo nenaplánoval, ozbrojené síly USA o ni prostě zakoply, když nasadily tisíce vzdušných a pozemních robotů k plnění naléhavých úkolů v Iráku a Afghánistánu. V roce 2005 se Ministerstvo obrany (MO) Spojených států probudilo k poznání, že se děje něco důležitého. Výdaje na bezpilotní letadla neboli drony, které se v devadesátých letech minulého století pohybovaly při hranici tří set milionů ročně, zaznamenaly po jedenáctém září raketové zvýšení a do roku 2005 se zvedly na
Roje útočí
29
šestinásobek – přes dvě miliardy dolarů.20 Drony prokázaly svou užitečnost zejména v ošidných a náročných bojích proti vzbouřencům v Iráku a Afghánistánu. Větší letouny jako MQ-1B Predator mohou tiše a nenápadně, ale přitom ostře sledovat teroristy čtyřiadvacet hodin denně, zaznamenávat jejich pohyby a odkrývat teroristické sítě. Menší, ručně vypouštěné drony jako RQ-11 Ravenn mohou hlídkujícím jednotkám na vyžádání nabídnout „průzkum za kopcem“.21 Během krátké doby byly v Iráku a Afghánistánu nasazeny stovky dronů.22 Drony nebyly nic nového, v omezené míře se používaly již ve Vietnamu, nový byl důrazný a naléhavý požadavek na jejich nasazení.23 V pozdějších letech sice vejdou ve známost zejména v souvislosti s „údery dronů“, ale pro armádu je jedinečná a nesmírně cenná jejich schopnost neustálého dohledu, ne shazování bomb. Poskytují velitelům levnou a bezpečnou možnost poslat na oblohu oči. Brzy začal Pentagon nasazovat drony do války dech beroucím tempem. V roce 2011 vzrostly každoroční náklady na drony na částku převyšující šest miliard dolarů, což je dvacetkrát více než v období před jedenáctým zářím.24 V té době mělo ministerstvo obrany flotilu více než 7000 dronů. Velkou většinu tvořily malé, ručně odpalované stroje, ovšem cennými bojovými prostředky se staly i větší letouny jako MQ-9 Reaper a RQ-4 Global Hawk.25 Současně MO postupně zjišťovalo, že roboti nejsou cenní jen ve vzduchu. Stejně důležití, ne-li důležitější jsou i na zemi. Zejména v důsledku nárůstu používání improvizovaných výbušných zařízení (IVZ) nasadilo MO v Iráku a Afghánistánu přes 6000 pozemních robotů.26 Malé stroje jako iRobot Packbot umožňují vojákům zajistit nebo zneškodnit IVZ, aniž by sami sebe ohrozili. Likvidace bomb je pro roboty ideální činnost.
30
ARMÁDA STROJŮ
CESTA KE STÁLE VĚTŠÍ AUTONOMII
V roce 2005, poté co MO začalo chápat revoluci v robotice a její dopady pro budoucnost válečných konfliktů, vydalo sérii metodických pokynů, jakýchsi „kuchařek“ pro investice do budoucích systémů bez posádky. První z nich se soustředila na letouny. Další návody pak následovaly v letech 2007, 2009, 2011 a 2013 a týkaly se i pozemních a námořních prostředků. Zatímco lví podíl investic jde do bezpilotních letounů, nezastupitelné místo patří i pozemním, hladinovým a podmořským strojům. Zmíněné metodické pokyny nabídly něco víc než pouhý katalog investic MO. Každý z nich se dívá 25 let do budoucnosti a nastiňuje technologické potřeby, aby usnadnil orientaci budoucím vládním a průmyslovým investorům. Publikace pokrývají problematiku senzorů a čidel, komunikací, energie, zbraní, pohonů a dalších klíčových technologií. Dominantní termín ve všech zní autonomie. Snad nejlépe shrnula vizi kuchařka z roku 2011: Aby systémy bez posádky plně uplatnily svůj potenciál, musejí být schopny dosáhnout vysoce autonomního stavu chování a reagovat na své okolí. Tento rozvoj bude vyžadovat schopnost pochopit své okolí a přizpůsobit se mu, stejně jako schopnost spolupracovat s jinými autonomními systémy.27
Autonomie je kognitivní motor, který pohání roboty. Bez autonomie by byli roboti jen prázdné nádoby, lusky bez mozku, které závisejí na lidských operátorech, kam je nasměrují. V Iráku a Afghánistánu působila vojska Spojených států v relativně „shovívavém“ elektromagnetickém prostředí, kdy povstalci obecně postrádali schopnost rušit komunikaci s robotickými pro-
Roje útočí
31
středky, to však v budoucích konfliktech nemusí platit. Armády hlavních národních států budou téměř určitě vládnout schopností narušit nebo zničit komunikační sítě a elektromagnetické spektrum bude vysoce rizikové. Ozbrojené síly USA používají komunikační systémy odolnější proti rušení,28 avšak tyto metody mají omezený rozsah i šířku pásma. Proti velké vojenské síle by operace dronů, jaké Spojené státy vedly v boji proti teroristům – přímý satelitní přenos videa ve vysokém rozlišení na domácí základny –, nebyly realizovatelné. Některá prostředí navíc svou povahou komunikaci podstatně ztěžují. Jako příklad můžeme uvést prostor pod mořskou hladinou, který je nepropustný pro rádiové vlny. Aby byly v těchto podmínkách robotické systémy efektivní, musejí nutně být autonomní. S postupným vývojem strojové inteligence budou armády schopny vytvářet stále autonomnější roboty schopné plnit složité úkoly v náročnějším prostředí nezávisle na lidském řízení. Větší autonomie je žádoucí, i když komunikační kanály fungují bezvadně, a to kvůli nákladům na personál dálkového řízení robotů. Tisíce robotů, pokud jsou dálkově ovládaní, vyžadují pro své řízení tisíce lidí. Operace dronů Predator a Reaper vyžadují 7 až 10 pilotů, má-li nad oblastí působit jediný stroj nepřetržitě čtyřiadvacet hodin denně sedm dní v týdnu. Dalších 20 lidí na jeden dron obsluhuje senzory, jejichž data zpracovávají řady zpravodajských analytiků. Ve skutečnosti se letectvo USA kvůli obrovským požadavkům na personální zajištění těchto operací brání nazývat tyto letouny „bezpilotní“. Na palubě létajícího stroje sice žádný člověk nesedí, ale pořád jsou to lidé, kdo ho řídí a podporují. Protože pilot zůstává na zemi, bezpilotní letoun je při hlídkové činnosti osvobozen od limitů lidské odolnosti a vytrvalosti, ovšem pouze ve fyzickém smyslu. Drony mohou zůstat ve vzduchu řadu dní, mnohem déle, než by efektivně vydržel lidský pilot
32
ARMÁDA STROJŮ
v kokpitu,29 ale dálkové ovládání nemění kognitivní požadavky na lidské operátory. Lidé musejí stále plnit tytéž úkoly, jediný rozdíl spočívá v tom, že nejsou fyzicky přítomni na palubě létajícího stroje. Letectvo preferuje termín „dálkově pilotovaný letoun“, neboť přesně to dnešní drony jsou. Stále jsou to piloti, kteří je ovládají ze země pomocí impulzů z joysticku a kormidelní páky, byť jsou někdy vzdálení přes polovinu zeměkoule. Takové ovládání je velmi nešikovné a nepohodlné. Stavba desetitisíců levných robotů není strategie šetřící náklady, potřebují-li tyto stroje ke své obsluze ještě vyšší počet vysoce trénovaných (a nákladných) lidí. Odpovědí je autonomie. Metodický pokyn MO z roku 2011 uvádí: Autonomie redukuje lidskou pracovní zátěž potřebnou pro operace těchto systémů, umožňuje optimalizaci lidské role v systému a dovoluje, aby se lidské rozhodování soustředilo na místa, kde je nejvíce potřebné. Tyto benefity mohou dále přinášet zefektivnění personální náročnosti a snížení nákladů stejně jako zrychlení rozhodovacího procesu.30
Mnohé robotické kuchařky MO ukazují cestu k dlouhodobému cíli plné autonomie. Publikace z roku 2005 hovoří o „plně autonomních rojích“.31 Ta z roku 2011 definuje čtyři stupně autonomie od (1) lidské obsluhy přes (2) zastoupení lidí a (3) lidmi dozorovanou až k (4) plně autonomní.32 Benefity větší autonomie představují „jediné nosné téma“ ve zprávě o budoucích technologiích z roku 2010, kterou vypracoval Úřad náčelníka vědeckého oddělení vojenského letectva.33 Drony Predator a Reaper jsou stále řízeny ručně, byť na dálku ze země, jiné letouny, například Global Hawk vojenského letectva a Gray Eagle pozemních vojsk, mají mnohem více autonomie:
Roje útočí
33
piloti je nasměrují na požadované místo a pak už stroj letí samostatně. Neřídí se prostřednictvím joysticku a kormidla, nýbrž klávesnice a myši. Armáda dokonce nemluví o obsluze těchto strojů jako o „pilotech“, říká jim „operátoři“. Avšak i při vyšším stupni automatizace tyto letouny stále vyžadují jednoho operátora na jeden stroj, pokud se nejedná o ty nejjednodušší úkony. Technici postupně rozšiřují okruh úkolů, které tyto letouny mohou plnit samostatně, krok za krokem postupují ke stále autonomnějším dronům. V roce 2013 prototyp dronu X-47B vojenského námořnictva USA úspěšně přistál na palubě letadlové lodi, a to autonomně. Jediný lidský vstup představoval příkaz k přistání, celý let řídil počítačový program. V roce 2014 helikoptéra Autonomního vzdušného přepravního/obslužného systému (Autonomous Aerial Cargo/Utility System – AACUS) námořnictva autonomně prozkoumala oblast přistání a samostatně na ně dosedla. A o rok později dron X-47B znovu přepsal historii, když provedl první autonomní doplnění paliva – za letu dotankoval pohonné hmoty z jiného letounu. Toto jsou klíčové milníky konstrukce bezpilotních letounů s plnou bojovou kapacitou. Stejně jako autonomní automobily budou moci bez lidského zásahu cestovat z bodu A do bodu B, schopnost autonomního vzletu, přistání, navigace a doplnění paliva umožní robotům plnit úkoly pod lidským dohledem a směrováním, ovšem bez lidského řízení každého pohybu. Tato skutečnost může prolomit vzor robota manuálně ovládaného člověkem, kdy lidé převezmou pouze roli dohlížitelů. Lidé přikážou robotovi, co má udělat, a robot provede úkol zcela samostatně. Rojová neboli kooperativní autonomie představuje další logický krok evoluce. Davise nejvíce vzrušují nevojenské aplikace rojů od pátracích a záchranných operací až po zemědělství. Koordinované chování robotů bude užitečné při celé řadě apli-
34
ARMÁDA STROJŮ
kací a výzkum Postgraduální školy vojenského námořnictva zasahuje do samotných základů, takže algoritmy, které vědci vytvářejí, lze použít pro nejrůznější účely. Přesto zde vidíme jasně patrné výhody pro vojenské nasazení, zejména masové nasazení, koordinaci a rychlost, které nelze ignorovat. Nasazení rojů umožní armádám umístit na bojiště velký počet bojových prostředků, pro jejichž obsluhu bude zapotřebí jen málo lidí. Kooperativní chování může rovněž umožnit dosažení nižších reakčních časů, takže roj bude moci reagovat na měnící se situaci a události rychleji, než kdyby každý stroj ovládal jeden člověk. Při experimentu se vzdušným soubojem rojů posunují Davis a jeho kolegové hranice autonomie. Jejich dalším postupným cílem je vyslat do vzduchu až stovku dronů a poslat do vzájemného souboje dva roje o padesáti strojích, přičemž už dnes tuto situaci simulují na počítačích. Konečným cílem pak je přechod od vzdušných soubojů ke složitějším programům, podobným složité hře na ukořistění vlajky. Dva roje budou soutěžit, kdo zaznamená víc bodů tím, že přistane na nepřátelské základně, aniž by byl „sestřelen“. Každý roj musí vyvážit obranu vlastní základny, sestřelování nepřátelských dronů a přistání co nejvyššího počtu vlastních strojů na základně nepřítele. Jak upravit chování dronů pro tyto „hry“? Jaká je nejlepší taktika? Právě na tyto otázky se snaží Davis a jeho kolegové odpovědět. „Pokud budu mít roj o padesáti letounech,“ říká Davis, „kolik z nich mám pověřit ofenzivou – proniknutím k přistávací zóně nepřítele? Kolik jich má bránit vlastní základnu a zapojit se do vzdušných soubojů? Jak rozdělím úkoly mezi jednotlivé složky? Až na mě poletí nepřátelské UAV (Unmanned Aerial Vehicle – bezpilotní letoun), podle čeho se můj roj rozhodne, které vlastní UAV napadne konkrétního nepřítele a pokusí se mu zabránit v průniku na naši základnu?“34
Roje útočí
35
Vývoj taktických postupů při nasazení rojů je dosud v plenkách. V současné chvíli rozdělí lidský operátor roj do několika podrojů a každému z nich přidělí konkrétní úkol, například pokus o útok na nepřátelskou základnu nebo napadení letounů protivníka. Potom už člověk jenom kontroluje a dohlíží, a pokud nedojde k ohrožení bezpečnosti, nezasahuje a nepřebírá ovládání jednotlivých strojů. A i když začne letoun projevovat příznaky poruchy, nemělo by smysl převzít nad ním kontrolu, dokud se nevzdálí z bezprostřední blízkosti roje. Převzetí manuální kontroly letounu uprostřed roje by ve skutečnosti mohlo způsobit kolizi ve vzduchu. Předvídat kolizi s ostatními letouny vířícími na obloze a vyhnout se jí by pro člověka bylo velmi obtížné. Jestli je však dron pod kolektivním velením roje, automaticky přizpůsobuje parametry letu tak, aby se srážce vyhnul. Momentálně je chování rojů, které Davis používá, v základním stádiu vývoje. Člověk může roji přikázat, aby letěl ve formaci, přistál nebo zaútočil na nepřátelské letouny. Drony se pak samy rozmístí na pozici pro přistání nebo k ústupu ve formaci, čímž svou akci zbaví konfliktní povahy. Pro některé úkoly, například přistání, je taktický postup snadný – stroje se rozdělí podle výšky a ty nejblíž k zemi přistávají jako první. Ostatní úkoly, třeba vzdušný souboj, už jsou složitější a ošemetnější. Například by nebylo k ničemu dobré, kdyby všechny drony roje napadly tentýž nepřátelský letoun. Musejí prostě své chování koordinovat. Jde o stejný problém, jaký hráči baseballu rozmístění dál od odpalovacího prostoru nazývají „letící míček“. Nemělo by smysl, aby trenér přikazoval, který konkrétní hráč má míček chytat, hráči musí svůj postup koordinovat mezi sebou. „Jedna věc je, když máte dva hráče, kteří se mohou vzájemně domluvit, a jeden míček,“ vysvětluje Davis. „Ovšem něco úplně jiného je situace, kdy máte padesát lidí a padesát míčků.“35 Účinně vyřešit tento
36
ARMÁDA STROJŮ
problém člověk prostě nedokáže, ovšem roj toho pomocí různých metod dosáhne velmi rychle. Například při centralizované koordinaci předávají jednotlivé prvky roje svá data jedinému řídicímu elementu, který pak udílí příkazy každému robotu v roji. Naproti tomu hierarchická koordinace rozdělí roj do týmů a družstev podobně jako ve vojenské organizaci a rozkazy pak postupují řetězcem velení. Centralizovaná koordinace
Prvky roje komunikují s centrálním řídicím elementem, který koordinuje všechny úkoly.
Koordinace založená na konsenzu
Všechny prvky roje spolu navzájem komunikují a k rozhodnutí dospívají společně na základě metod založených na „hlasování“ nebo „aukci“.
Modely řízení a kontroly rojů
Hierarchická koordinace
Prvky roje jsou řízeny „veliteli“ na úrovni týmů, a ti pak jsou řízeni kontrolory na vyšší úrovni.
Vznikající koordinace
Koordinaci přirozeně vytvářejí jednotlivé prvky roje , které reagují jeden na druhý podobně jako u živočišných rojů.