Kdo je lepší soudce? Vize jakési „algoritmické spravedlnosti“ se může na jednu stranu jevit jako rozšíření dostupnosti spravedlnosti pro široké masy lidí, na druhou stranu se může velice jednoduše stát i nástrojem bezpráví. A to zejména tehdy, pokud algoritmy pomáhající při rozhodování případů budou vycházet ze zkreslených dat.45 Výše jsme uvedli, že každá hmotná věc, každý čin či událost ve vnějším světě má svůj nehmotný doplněk v podobě informace. Nejinak tomu je i v případě lidských interakcí. Lidé jsou, na rozdíl od strojů, emotivní bytosti. Evolučně jsme také nastaveni tak, že se učíme z našich předchozích zkušeností a vytváříme si určitá myšlenková zjednodušení (heuristiky), která nám následně umožňují v životě snazší orientaci a rychlé rozhodování. Tak se vyvinuly i dva typy myšlení. Rychlé myšlení vycházející z těchto heuristik, o kterých někdy hovoříme jako o instinktech, a pomalé myšlení, které někdy nazýváme racionálním myšlením a které vychází z hlubšího zamyšlení a zkoumání problému. Toto rozlišení pochází od Daniela Kahnemana, který v této souvislosti hovoří o tzv. Systému 1, což je systém rychlého, intuitivního myšlení, které je zatíženo různými druhy zkreslení a omylů. Od něj odlišuje tzv. Systém 2, což je systém pomalého myšlení, které člověku mimo jiné umožňuje rozlišovat jednotlivosti a zamýšlet se nad problémem do hloubky.46 Člověk je přitom schopen mezi těmito typy myšlení přepínat, což však stojí určité úsilí. Rychlé myšlení pochopitelně není samo o sobě nesprávné. Pro jeho zapojení
Inspirací k následující úvaze byla přednáška Ondřeje Bajgara ze společnosti IBM na konferenci SOLAIR 2018 na téma diskriminace a zkreslení u umělé inteligence. 45
V podrobnostech viz KAHNEMAN, Daniel. Myšlení rychlé a pomalé. Brno: Jan Melvil Publishing, 2012, s. 26 a násl. ISBN 978-80-87270-42-4. 46
38
existují dobré důvody. Třeba když na cestě uvidíte hada, je lepší vždy raději uskočit než stát na místě a přemýšlet, jestli je had jedovatý, či nikoliv. Heuristiky někdy mohou mít i podobu stereotypů, tedy vžitých zobecněných představ pro určitý jev či situaci, které však nemusejí odpovídat konkrétní individuální situaci, v níž se jedinec ocitne. Těmito stereotypy, jakož i obecně emocionálním uvažováním, mohou být často zatížena i data, z nichž následně vycházejí i strojové algoritmy či umělá inteligence při procesu strojového učení. Toto zkreslení (angl. bias) plyne z toho, že lidé často přemýšlejí rychle (instinktivně), a tedy do řady svých činností nezapojují pomalejší typ racionálního myšlení. Pokud jsou taková data učební látkou pro algoritmy strojového učení, které se na základě nich „učí“, jak posuzovat určité situace, může to v některých případech vést nikoliv k optimálnímu či lepšímu rozhodování, ale spíše k posilování stereotypů ve společnosti. Platí tedy maxima, že umělá inteligence bude jen tak dobrá, jak dobrá budou podkladová data. Rovněž ale platí, že člověk, na rozdíl od stroje, umí rozlišovat jednotlivé od obecného a umí přepnout mezi rychlým a pomalým myšlením. Člověk je tedy schopen v konkrétním případě (byť někdy při vynaložení určitého úsilí) prohlédnout stereotyp a posoudit každý případ individuálně. To umělá inteligence prozatím neumí a je velká otázka, zda to někdy umět bude. Ke schopnosti rozlišovat individuální případy od obecného pravidla je mimo jiné zapotřebí hlubší pochopení kontextu každé konkrétní posuzované situace, jakož i empatie, čehož stávající umělá inteligence není, na rozdíl od člověka, schopna. Výše uvedené si můžeme ilustrovat na případu softwaru, který využívají některé soudy v USA při posuzování, zda by určitý vězeň měl, či neměl být propuštěn na svobodu před 39
uplynutím původní výše trestu.47 Tento software kromě jiného kalkuluje pravděpodobnost, s jakou u daného vězně hrozí, že se znovu dopustí trestné činnosti. Tak se i stalo, že u dvou podobných případů stanovil diametrálně odlišné doporučení. Zatímco u jednoho vězně doporučil propuštění, neboť u něj dle programu hrozilo menší riziko, že se znovu dopustí trestné činnosti, u druhého nikoliv, a to s ohledem na možné vyšší riziko, že dotyčný spáchá trestný čin.48 Toto doporučení nedávalo na první pohled smysl s ohledem na to, že první vězeň měl o poznání bohatší trestní rejstřík než druhý vězeň. Jaký byl tedy mezi vězni rozdíl, který zapříčinil odlišné posouzení? Druhý vězeň měl černou pleť. A jelikož program čerpal z databází, které ukazovaly, že statisticky vzato větší část trestné činnosti páchají lidé černé pleti, automaticky převzal tento statistický fakt, udělal z něj stereotyp a plošně jej aplikoval na případ druhého vězně, aniž by vzal v potaz individuální odlišnost jeho případu. A právě v tomto vězí úskalí a riziko rozsáhlejšího nasazování algoritmů a systémů umělé inteligence v rozhodovacích procesech, a to nejen v oblasti soudnictví.49 Tam, kde se vytratí individuální (můžeme říkat i „lidský“) přístup a rozhodování se přenechá pouze matematice, může docházet k takovýmto excesům. Stroje pracují s daty a učí se z dat. Ta lze často interpretovat i více způsoby, čímž se problém stereotypizace a strojového rozhodování stává ještě složitější. Řešení daného problému Teoretické aspekty fungování systémů analyzujících trestní záznamy jsou popsány např. v SCHILD, Uri J.; KANNAI, Ruth. Intelligent Computer Evaluation of Offender’s Previous Record. Artificial Intelligence and Law. 2005, roč. 13, č. 3–4, s. 373–405. Dostupné na www.researchgate.net. Cit. 3. 2. 2019. 47
Viz ANGWIN, Julia a kol. Machine Bias. ProPublica [online]. 23. 5. 2016, kde je tento případ podrobně popsán. Dostupné na https://www.propublica.org/article/machinebias-risk-assessments-in-criminal-sentencing. Cit. 3. 2. 2019. 48
K problematice diskriminace viz také O’NEIL, Cathy. Weapons of Math Destruction. New York: Brodway Books, 2016. 49
40
ovšem není snadné. Zdánlivě totiž můžeme posilování stereotypů obsažených v datech zabránit tím, že data začneme filtrovat. To však naráží na letitou právní otázku, která není dosud uspokojivě zodpovězena – quis custodiet ipsos custodes? Tedy, kdo hlídá hlídače? Filtrování dat by totiž muselo fungovat na bázi určitých kritérií. Ta kritéria by musel někdo určit. Ten, kdo by tak činil, by do systému vnášel vlastní preference, a tedy i vlastní zkreslení. Jinak řečeno, pokud existují systémy, které například rozpoznávají barvu pleti, přičemž fungují nepřesně u některých skupin obyvatelstva, můžeme se pokusit tyto algoritmy „zpřesnit“ tím, že do zdrojových dat „zamícháme“ větší množství dat o příslušné kategorii osob. Problém je zjevný. Kdo určí, kdo má jakou barvu pleti a kdo patří do které skupiny? Nejde přitom jen o barvu pleti, ale v zásadě se obdobný problém objevuje při jakémkoliv rozřazování do kategorií. Jedná se o citlivé a složité otázky, na které se obtížně hledají odpovědi. Možná, že je to i jeden z limitů současných technologií umělé inteligence v procesu rozhodování, kde je role člověka nezastupitelná. Umělá inteligence může ale i přes výše uvedené představovat pomocníka lidského rozhodování. Jejím přínosem je například schopnost zanalyzovat velké množství dat a doporučit scénář, který se jeví nejpravděpodobnější. Konečné rozhodnutí by však, minimálně u těch procesů, které jsou s to významně ovlivnit práva a povinnosti člověka, či dokonce lidský život, typicky například rozhodování o vině či nevině v trestních řízeních, mělo zůstat vyhrazeno výlučně lidem. V takové situaci totiž platí, že je to právě člověk, kdo dokáže nejlépe zhodnotit i lidskou stránku věci a její celkový kontext. Pokud by v některých případech došlo k nahrazování lidského rozhodování rozhodováním umělou inteligencí, měla by být vždy zachována možnost dotyčného subjektu domoci se „lidského přezkumu“, 41
jak bylo výše nastíněno.50 K takovému právu můžeme dospět i výkladem stávajících základních práv a svobod, zejména práva na spravedlivý proces.51 Přitom i tam, kde by umělá inteligence byla pomocníkem člověka při rozhodování, by měl být člověk transparentně upozorněn na to, že část rozhodování byla svěřena počítačovému programu.
Právní odpovědnost umělé inteligence V souvislosti se systémy umělé inteligence se řeší i otázka právní odpovědnosti. Problém s právní odpovědností je v jádru o nalezení odpovědi na otázku, kdo zaplatí případné škody způsobené umělou inteligencí. Zda to budou koneční spotřebitelé, původci umělé inteligence (autoři softwaru), výrobci zařízení ovládaných umělou inteligencí, anebo zda dojde k nalezení nějakého jiného řešení, na němž by se podílely všechny zainteresované strany. Tato otázka se objevuje nejčastěji v souvislosti s diskutovaným rozvojem autonomní mobility, tedy vývojem tzv. samořídících automobilů. V tomto kontextu se jí budeme také věnovat. Koncepčně si lze představit několik možností, jak k vyřešení problému přistoupit. Uvažuje se o aplikaci stávajících právních institutů odpovědnosti, případně o jejich modifikaci
V tomto ohledu je zajímavé poukázat na čl. 22 odst. 1 zmiňovaného nařízení GDPR, kde je zakotveno právo člověka nebýt předmětem žádného rozhodnutí založeného výhradně na automatizovaném zpracování, tedy právo na to vyžádat si lidský přezkum. 50
Viz rovněž etická charta Rady Evropy k nasazení umělé inteligence v soudních systémech: European Ethical Charter on the Use of Artificial Intelligence in Judicial Systems and their environment. In: European Commission for the Efficiency of Justice (CEPEJ) [online]. Štrasburk: Rada Evropy, 3. 12. 2018. Dostupné na https://www.coe. int/en/web/cepej/cepej-european-ethical-charter-on-the-use-of-artificial-intelligence-ai-in-judicial-systems-and-their-environment. Cit. 26. 1. 2019. 51
42