100901844

SPIS TREŚCI Wstęp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 Bibliografia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 1. Wstęp do hakowania systemów uczących się . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.1. Wprowadzenie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.2. Systemy uczące się . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.2.1. Definicja i rodzaje systemów uczących się . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.2.2. Zadanie klasyfikacji i uczenie nadzorowane . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.2.3. Ocena jakości klasyfikatora . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.2.4. Problemy budowania systemów uczących się . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.2.5. Potencjalne cele atakującego . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.3. Taksonomia ataków na systemy uczące się . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.3.1. Kryteria jakości ochrony informacji . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.3.2. Atak na integralność systemów nadzorowanych . . . . . . . . . . . . . . . . . . . . . . . . . .

1.3.2.1. Formalizacja ataku na integralność . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.3.2.2. Atak na proces budowania systemu . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.3.2.3. Atak na funkcjonujący system . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.3.3. Atak na integralność innych rodzajów systemów uczących się . . . . . . . . . . . . . . .

Bibliografia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15 16 17 17 18 19 21 22 23 23 25 25 26 27 29 30

2. Przegląd reprezentatywnych ataków . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.1. Wprowadzenie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.2. Zagrożenia dla systemów uwierzytelniania . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.3. Zagrożenia w systemach autonomicznych . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.4. Zagrożenia w systemach medycznych . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.5. Wnioski końcowe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Bibliografia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33 34 35 40 45 49 50

3. Wymiar biznesowy ataków na systemy uczące się . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.1. Wprowadzenie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.2. Robotyzacja i automatyzacja procesów biznesowych . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.2.1. Robotyzacja procesów . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.2.2 Sztuczna inteligencja w robotyzacji procesów . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.3. Ryzyko operacyjne w procesach biznesowych . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.3.1. Problematyka ryzyka . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.3.2. Zarządzanie ryzykiem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.3.3. Ryzyko w RPA działających z wykorzystaniem systemów uczących się . . . . . . . . . . . .

3.4. Zagrożenia związane z wykorzystaniem systemów uczących się w RPA . . . . . . . . . . . .

3.4.1. Wprowadzenie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.4.2. Geneza ataków na systemy uczące się . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.4.3. Przykłady realnych zagrożeń . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.4.3.1. Uwagi wstępne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.4.3.2. Przykład ataku infekcyjnego . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.4.3.3. Atak na automatyczny systemy w transakcji finansowych . . . . . . . . . . . .

53 54 55 55 57 59 60 60 62 63 63 65 67 67 68 69

Spis treści

pwn_sa_hakowanie_001_160.indd 5

5

23.10.2020 14:43:37

3.4.3.4. Ataki na systemy rekomendacyjne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.4.3.5. Inne zagrożenia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.5. Zakończenie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Bibliografia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

71 72 74 74

4. Studia przypadków . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 4.1. Atakowanie filtru antyspamowego wykorzystującego system uczący się . . . . . . . . . . . . . . 80 4.1.1. Charakterystyka problemu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 4.1.1.1. Wprowadzenie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 4.1.1.2. Definicja filtra antyspamowego . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 4.1.1.3. Problem filtrowania poczty elektronicznej w działalności biznesowej . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 4.1.1.4. Przegląd badań naukowych . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 4.1.2. Opis eksperymentu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 4.1.2.1. Cel badania . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 4.1.2.2. Dostępne dane empiryczne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 4.1.2.3. Problem hakowania systemów uczących się . . . . . . . . . . . . . . . . . . . . . . 91 4.1.3. Wnioski i rekomendacje . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 Bibliografia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 4.2. Atak na system detekcji nadużyć w bankowości elektronicznej . . . . . . . . . . . . . . . . . . . . 110 4.2.1. Problem nadużyć w bankowości elektronicznej . . . . . . . . . . . . . . . . . . . . . . . . . . 110 4.2.1.1. Wprowadzenie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 4.2.1.2. Definicja nadużycia w transakcjach bankowych . . . . . . . . . . . . . . . . . . . . 111 4.2.1.3. Wykrywanie nadużyć i przeciwdziałanie im . . . . . . . . . . . . . . . . . . . . . . 112 4.2.1.4. Standardowy system wykrywania i przeciwdziałania nadużyciom . . . . . . 113 4.2.2. Opis eksperymentu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 4.2.2.1. Cel badania . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 4.2.2.2. Dostępne dane empiryczne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 4.2.2.3. Generatywne sieci współzawodniczące (GANs) . . . . . . . . . . . . . . . . . . . 118 4.2.2.4. Scenariusze przebiegu ataku . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 4.2.3. Modele generatora i dyskryminatora . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 4.2.3.1. Budowa modeli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 4.2.3.2. Ewaluacja modeli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129 4.2.4. Wnioski końcowe i rekomendacje . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132 Bibliografia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133 5. Bezpieczeństwo aplikacji systemów uczących się . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 5.1. Wprowadzenie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138 5.2. Wybrane problemy niezawodności oprogramowania . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 5.2.1. Problem złożoności kodu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 5.2.2. Przepełnienie bufora oraz odczyt poza nim . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141 5.2.3. Dostęp po zwolnieniu pamięci . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142 5.2.4. Niewłaściwa deserializacja i wstrzykiwanie danych . . . . . . . . . . . . . . . . . . . . . . . . 142 5.3. Ataki na środowiska programistyczne i sprzęt dla systemów uczących się . . . . . . . . . . . . 143 5.3.1. Atak na platformę programistyczną . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 5.3.2. Atak na sprzęt na przykładzie Deep Hammer . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145

6

Spis treści

pwn_sa_hakowanie_001_160.indd 6

23.10.2020 14:43:37

5.4. Ataki na biblioteki z wykorzystaniem automatycznych metod testowania oprogramowania . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 5.4.1. Wprowadzenie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 5.4.2. Atak na bibliotekę OpenCV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147 5.4.3. Atak na bibliotekę dlib . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 5.4.4. Podsumowanie podatności znalezionych za pomocą automatycznych metod testowania oprogramowania . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 5.5. Wnioski i kierunki dalszego działania . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 Bibliografia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 Zakończenie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 Bibliografia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159

Spis treści

pwn_sa_hakowanie_001_160.indd 7

7

23.10.2020 14:43:37

potrzeby wyłudzenia mogą one zostać dalej przekazane organom nadzoru, co będzie skutkować konsekwencjami dla pacjenta w sferze społecznej, gdy zastosowane będą w systemach automatycznej autoryzacji.

Diagnozy medyczne są często niejednoznaczne, co oznacza, że w wielu przypadkach rozstrzygane są na granicy prawa. Przypisanie do rekordu pacjenta informacji na temat jego zdrowia często zależy od sposobu leczenia oraz dostępu do danych usług czy leków. W USA poważnym problemem jest dostęp do substancji opioidowych, takich jak np.: kodeina, morfina i heroina. Na rysunku 2.15 przedstawiono zakłócające zmiany mające na celu wpływ na ostateczny przebieg leczenia. Na uwagę zasługuje również „gra słów”, wpływająca na określenie wskazania niskiego ryzyka zagrożenia wyłudzenia leków opioidowych.

Rysunek 2.15. Rodzaje ataków zakïócajÈcych na rekord pacjenta ½ródïo: Finlayson, S.G. i in. (2019). Adversarial attacks on medical machine learning. https:// science.sciencemag.org/content/363/6433/1287.full (dostÚp: 4.05.2020 r.).

Systemy głębokiego uczenia się (ang. deep learning) stały się popularne w przypadku medycznych analiz obrazu, takich jak diagnoza raka. Jednak ostatnie badania pokazują, że medyczne systemy głębokiego uczenia się mogą zostać oszukane przez starannie zaprojektowane ataki z niewielkimi niedostrzegalnymi zaburzeniami. Powoduje to obawy dotyczące bezpieczeństwa związanego z wdrażaniem tych systemów w warunkach klinicznych.

Na rysunku 2.16 przedstawiono modyfikację znamienia na skórze o łagodnym przebiegu w celu jego identyfikacji jako zmiany rakowej.

46

2. Przegląd reprezentatywnych ataków

Rysunek 2.16. Zmiana wyniku klasy kacji przez dodanie szumu opracowanego antagonistycznym systemem uczÈcym siÚ ½ródïo: Finlayson, S.G. i in. (2019). Adversarial attacks on medical machine learning. https:// science.sciencemag.org/content/363/6433/1287.full (dostÚp: 4.05.2020 r.).

Automatyczna diagnostyka może wskazać retinopatię cukrzycową, choroby płuc czy raka skóry przy rzeczywistym braku tych chorób, co istotnie wskazuje na podatność medycznych modeli opartych na głębokim uczeniu się na zakłócenia (rys. 2.17).

Rysunek 2.17. Zakïócenia wprowadzane do obrazów medycznych ½ródïo: Ma, X. i in. (2020). Understanding Adversarial Attacks on Deep Learning Based Medical Image Analysis Systems, https://arXiv.org/pdf/1907.10456.pdf (dostÚp: 4.05.2020 r.).

2.4. Zagrożenia w systemach medycznych

47

ale także w atakach na systemy analizy sentymentu czy podczas oceny ryzyka kredytowego. Fikcyjne osobowości mogą zostać uwiarygodnione przez generowanie fikcyjnych działań czy przez publikowanie zdjęć, zawierających nieistniejące osoby (rys. 3.7). Podejście to, zwłaszcza połączone z atakiem typu shilling, jest szczególnie trudne do wykrycia (Bhaumik i in., 2006).

Rysunek 3.7. Sztucznie wygenerowane, kcyjne fotogra e ludzi, przy zastosowaniu techniki GAN. Utworzone w ten sposób dane sÈ praktycznie nieodróĝnialne od rzeczywistych ½ródïo: https://thispersondoesnotexist.com/ (dostÚp: 27.05.2020 r.).

3.4.3.5. Inne zagroĝenia Dotychczasowe klasyfikacje zagrożeń wynikających z antagonistycznego uczenia maszynowego opierają się głównie na dwóch kategoriach: na czasie, w którym atak został wykonany (infekcyjny, inwazyjny lub atak na klasyfikator), lub na poziomie wiedzy dostępnej dla atakującego (black box lub white box). Można także dokonać klasyfikacji wybranych zagrożeń na podstawie procesów biznesowych, będących celem, ataku lub według stosowanych w nich technikach AI (tab. 3.2).

72

3. Wymiar biznesowy ataków na systemy uczące się

Tabela 3.2. Zagroĝenia wynikajÈce z antagonistycznego uczenia maszynowego Biznesowe zastosowanie AI

Przykïady zagroĝeñ

Identy kacja naduĝyÊ

Manipulowanie danymi, aby ukryÊ nielegalnÈ dziaïalnoĂÊ, zwiÈzanÈ przykïadowo z naduĝyciami nansowymi lub praniem brudnych pieniÚdzy. Generowanie próbek antagonistycznych sïuĝy w tym przypadku dwóm celom: zastÈpieniu podejrzanej transakcji innÈ transakcjÈ (wygenerowanÈ sztucznie) lub obudowaniu naduĝycia innymi transakcjami (takĝe sztucznymi), aby naduĝycie nie byïo traktowane jak anomalia (Schreyer i in., 2019).

Bezpieczeñstwo danych

Ukrywanie faktu kradzieĝy danych z systemów informatycznych.

Systemy identy kacji naduĝyÊ wykrywajÈ dziaïania pracowników, które odbiegajÈ od normy (np. uruchamianie kilkadziesiÈt razy tego samego raportu, zawierajÈcego dane klientów, podczas gdy inni pracownicy uruchamiajÈ go Ărednio raz w tygodniu). Atak polega na przygotowaniu robota programowego, aby wykonywaï on dziaïania symulujÈce pracownika, jednak prowadzÈce do pozyskania jak najwiÚkszej iloĂci danych.

ZarzÈdzanie portfelem inwestycyjnym

Wprowadzenie w bïÈd systemów realizujÈcych automatyczne transakcje nansowe, przez wykorzystanie luk w reguïach dziaïania tych systemów. Generowanie duĝej liczby transakcji powodujÈce, ĝe systemy zaczynajÈ je intepretowaÊ wedïug zaimplementowanych reguï, co moĝe prowadziÊ do zmian w kursach akcji lub walut.

Przykïadowo, w 2015 r. rosyjscy hakerzy dokonali ataku na sektor nansowy, wykorzystujÈc tÚ wïaĂciwoĂÊ robotów. Hakerzy wykorzystali zïoĂliwe oprogramowanie, aby na krótko zdestabilizowaÊ kurs wymiany rubla do dolara (Hacker News, 2016).

Symulacje nansowe

Wprowadzenie faïszywych danych transakcyjnych do uczÈcego zbioru danych, aby wprowadziÊ w bïÈd systemy symulacyjne.

AtakujÈcy moĝe w ten sposób wpïynÈÊ na parametry opracowanego modelu symulacyjnego. Modele te sÈ regularnie szkolone, aby uwzglÚdniÊ nowsze dane, co czyni je podatnymi na tego typu ataki (Cantos, 2019).

ZarzÈdzanie ryzykiem kredytowym

Wprowadzenie w bïÈd systemu oceny ryzyka kredytowego, przez prezentowanie spreparowanych lub zmody kowanych danych. Taki system moĝe bïÚdnie oszacowaÊ ryzyko kredytowe i sprawiÊ, ĝe bank podejmie niepoĝÈdane dziaïania i np. udzieli kredytu podmiotowi niewypïacalnemu.

½ródïo: opracowanie wïasne.

3.4. Zagrożenia związane z wykorzystaniem systemów uczących się w RPA

73

Jedna z sieci, generator (G), próbuje sprawić, żeby druga, dyskryminator (D), błędnie zaklasyfikowała syntetycznie wygenerowane dane jako prawdziwe. Na gruncie teorii gier można określić więc, że etap uczenia GANs polega na poszukiwaniu równowagi Nasha dla dwuosobowej gry ściśle konkurencyjnej (Nash, 1951; Salimans i in., 2016).

W pracy przyjęto następującą konwencję oznaczania zmiennych:

■ z – dane wygenerowane pseudolosowo z rozkładu normalnego; ■ x – dane pochodzące z rozkładu, którego imitowanie jest celem działania generatora, wymiar wektora x jest równy wymiarowi z;

■ G(z) – funkcja generatora przyjmująca z; ■ D(próbka rozkładu) – funkcja dyskryminatora przyjmująca x albo G(z).

Równanie 1 zostało zapisane na podstawie Goodfellow (2016): min max v (D, G ) G

D

x~pdane

[log D (x)] (1)

x~prozkład normalny

[log (1 – D (G (z)))] (2)

Generator jest graczem 1 próbującym imitować rozkład, z którego pochodzi x. Dyskryminator, gracz 2, ma za zadanie klasyfikację, czy dane mu przekazane są wynikiem funkcji G(z), czy pochodzą z rozkładu, którego reprezentantem jest x. Jego celem jest maksymalizacja równania 1. Natomiast generator dąży do jego minimalizacji (ponieważ chce maksymalizować D(G(z)), a więc pomyłki dyskryminatora). Składnik 1 równania 1 odnosi się do lepszego rozpoznawania przez dyskryminator danych prawdziwych, natomiast składnik 2 odwołuje się do umiejętności dyskryminatora do wykrywania danych wytworzonych przez generator.

Rysunek 4.20. Uproszczona wizualizacja dziaïania GAN ½ródïo: opracowanie wïasne na podstawie Goodfellow, I. i in. (2014). Generative adversarial nets. w: Advances in neural information processing systems. Neural Information Processing Systems Conference, s. 2672–2680. wysyła x albo z dyskryminator

x

aktualizacja wag

Czy dyskryminator miał rację? generator

120

4. Studia przypadków

z

Rysunek 4.20 przedstawia schemat opisanej interakcji. Optymalną funkcję wypłat v można zbiorczo zapisać, na podstawie Goodfellow (2016), jako rozwiązanie równania: v* (G, D ) min max v (G, D ) max min v (G, D )

G

D

D

G

x~pdane

[log D (x)]

z~prozkład normalny

[log (1 – D (G (z)))].

Rysunek 4.21 przedstawia przebieg dostosowania się rozkładu danych wytwarzanych przez generator do szukanego rozkładu. GANs są trenowane przez równoczesne dostosowywanie rozkładu dyskryminującego (linia przerywana) dane pochodzące z prawdziwego rozkładu x (linia kropkowana) od danych wygenerowanych G(z) (linia ciągła).

Pozioma linia bezpośrednio pod wykresem oznacza fragment dziedziny x. Natomiast poniżej niej oznaczono dziedzinę, z której próbkowane jest z (rozkład normalny).

Strzałki pomiędzy liniami symbolizują, jak mapowanie x = G(z) wyklucza rozkład normalny danych generowanych przez generator. G „kurczy się” w obszarach wysokiej gęstości i „rozszerza” w tych o niskiej rozkładu pmodel(z). Fragment oznaczony literą a przedstawia sytuację, w której pmodel(z) jest już podobny do pdane(x), a D jest chociaż częściowo skutecznym klasyfikatorem. Kolejny fragment rysunku (b) odnosi się do stanu, w którym we fragmencie D(x) zbiegł do D(x). Gradient D(x) ukierunkował G(z) na poprawę jakości generowanych danych, więc zwiększenie prawdopodobieństwa na ich błędną klasyfikację przez D (c). Celem jest wystąpienie sytuacji, w której pdane(x) = pmodel(z), czyli zarówno generator, jak i dyskryminator nie mogą się już poprawić. Dodatkowo, dyskryminator na tym etapie nie jest w stanie rozróżnić danych pochodzących z obu rozkładów, tj. D(x) = –21 (d).

Rysunek 4.21. Przebieg dostosowania do szukanego rozkïadu przez GAN ½ródïo: Goodfellow, I. i in. (2014). Generative adversarial nets. w: Advances in neural information processing systems, s. 2672–2680.

x z (a)

(b)

(c)

(d)

Rysunek 4.22 przedstawia uproszony algorytm działania GAN.

4.2. Atak na system detekcji nadużyć w bankowości elektronicznej

121