KOLAPS AI MODELŮ A KANIBALIZACE

MICHALA BENEŠOVSKÁ

Kolaps AI modelu je fenomén v oblasti umělé inteligence, kdy trénované modely, zejména ty, které se spoléhají na syntetická nebo data generovaná AI, postupně degradují. Tento proces je charakterizován ztrátou rozmanitosti výstupů, tendencí držet se „bezpečných“ odpovědí a sníženou schopností generovat kreativní nebo originální obsah. Co to znamená?

Zdá se vám, že generativní AI, kterou používáte, hloupne? Přijde vám, že se vám nedaří vyladit prompt tak, abyste dostali smysluplný výstup? Problém nemusí být vůbec na vaší straně – může docházet k jevu, který odborníci označují jako kolaps AI modelů. O co jde?

Ilia Shumailov, výzkumník v oblasti umělé inteligence, přirovnává kolaps modelu k situaci, kterou si lze docela dobře názorně představit. Vezměme si příklad, kdy je model trénovaný na datech obsahujících 90 žlutých objektů a 10 modrých a postupně začne zapomínat na modré objekty. Nejprve se modré objekty začnou mísit se žlutými a změní se na nazelenalé. Nakonec model zcela zapomene na modré objekty a začne generovat pouze žluté výstupy, čímž se původní rozmanitost ztrácí. Tento příklad ukazuje, jak modely, které se příliš spoléhají na omezená nebo nevyvážená data, mohou postupně ztrácet schopnost reprezentovat původní diverzitu.

Proč AI modely kolabují?

Z uvedeného příkladu je patrné, k čemu dochází, pojďme se ale detailněji podívat na faktory, které přispívají k degradování a kolapsu AI modelů.

Závislost na syntetických datech

Syntetická data často postrádají jemné detaily a nuance, které jsou přítomné v přirozených datech (těch, která vytvořili lidé), což má za následek, že modely nejsou schopny pochopit komplexní vztahy nebo neobvyklé situace. Kvůli tomu dochází k degradaci schopnosti modelu řešit nové problémy, což může vést k jeho neschopnosti přizpůsobit se změnám nebo inovovat. Tento jev lze přirovnat k vytváření kopií, kde se každá další generace stává méně kvalitní a ztrácí původní kvality. Ve světě generativní AI se to pak negativně odráží na schopnosti modelu generovat rozmanité a autentické odpovědi. Model se zaměřuje na replikování existujících vzorců, což omezuje jeho schopnost učit se novým kontextům a adaptovat se na změny v reálném světě.

Trénovací bias

Modely jsou často trénovány na obrovských datových sériích, které obsahují zaujatosti odrážející společenské normy a předsudky. Aby se předešlo vzniku urážlivých nebo kontroverzních odpovědí, trénink modelů může motivovat AI k tomu, aby se držela bezpečných a nekonfliktních odpovědí. To vede k tomu, že model produkuje předvídatelné, jednotvárné výstupy, které postrádají hloubku a nuance. Trénovací bias také znamená, že model je náchylný k opakování a posilování existujících stereotypů, které má naučené, což může mít negativní společenský dopad.

Feedbackové smyčky

Když model generuje méně kreativní obsah, tento nedostatečně rozmanitý obsah se může dostat zpět do trénovacích dat. Tím se vytváří smyčka, ve které se model stává stále jednotvárnější. Tento efekt se často označuje jako „degenerativní zpětná vazba“. V této smyčce model stále více posiluje své stávající vzorce, aniž by byl vystaven novým a různorodým podnětům. Každé další trénovací kolo tak zhoršuje schopnost modelu tvořit originální odpovědi. Tento proces může vést k situaci, kdy model prakticky ztrácí schopnost inovace, protože jeho výstupy jsou opakováním stále stejných a jednoduchých vzorců. Tento jev může také vést k tzv. „ztrátě signálu“, kdy se užitečné informace postupně ztrácejí a model se stává neschopným efektivně reagovat na složité nebo nové problémy. Tato uzavřená smyčka může výrazně omezit schopnost modelu učit se a přizpůsobovat, což je kritické pro dlouhodobou efektivitu a použitelnost AI systémů.

Reward hacking

AI modely jsou často řízeny systémy odměn, které se snaží optimalizovat určité metriky, jako je přesnost nebo relevance odpovědí. Systémy odměn jsou navrženy tak, aby modely poskytovaly odpovědi, které splňují určité předdefinované cíle nebo metriky. Nicméně modely se mohou naučit tyto systémy „obejít“ a začnou generovat odpovědi, které sice maximalizují odměnu, ale postrádají kvalitu, kreativitu nebo originalitu. Tento jev je známý jako „reward hacking“.

Modely se mohou zaměřit na poskytování odpovědí, které jsou příliš obecné, bezpečné nebo se vyhýbají kontroverzním tématům, aby obešly sankce v rámci systému odměn. Tento přístup vede k tomu, že modely ztrácejí schopnost inovovat a generovat odpovědi, které by mohly být skutečně užitečné nebo zajímavé pro uživatele. Místo toho se zaměřují na splnění konkrétních metrik, což může vést k jednotvárným a neinspirovaným výstupům.

Důsledkem reward hackingu je, že modely mohou ztratit schopnost hlubšího porozumění a generování obsahově bohatých odpovědí, protože jejich hlavním cílem je optimalizace odměn, nikoli skutečné porozumění kontextu nebo hodnotné zpracování informací. Postupem času se modely mohou naučit „podvádět“ tím, že poskytují odpovědi maximalizující odměnu, ale postrádají kreativitu nebo originalitu. Hlavním cílem se stává optimalizace metrik, a to je pro uživatele nežádoucí.

Projevy kolapsu

V následující části podrobně rozebereme, jak se kolaps modelu projevuje a jaké důsledky může mít na oblasti, které závisí na výkonnosti umělé inteligence.

Zapomínání skutečných datových distribucí

Jedním z hlavních projevů kolapsu AI modelu je fenomén, kdy model postupně zapomíná na skutečné rozložení dat, ze kterých se původně učil. Tento jev, známý jako catastrophic forgetting, začne model opakovat vzory z dřívějších dat, čímž se stává méně inovativním. To může mít negativní dopad například na průmysly, které se spoléhají na automatizovanou tvorbu obsahu, jako je herní vývoj, filmová produkce nebo umění.

Nedostatek kreativity a inovace může vést k omezení pokroku v oblastech, kde je nutná neustálá inovace, například ve vědeckém výzkumu nebo technologickém rozvoji, kde jsou nové přístupy klíčové pro řešení složitých problémů.

Které modely jsou v ohrožení

Modely umělé inteligence, které jsou náchylné k jevu zvanému kolaps modelu, zahrnují různé typy generativních modelů, a každé z nich má své specifické vlastnosti i rizika.

GAN: Generative Adversarial Networks

Generative Adversarial Networks, známé jako GANy, pracují na principu soupeření dvou složek – generátoru a diskriminátoru. Generátor se snaží vytvářet realistická data, zatímco diskriminátor se pokouší odlišit ta generovaná od skutečných. Tímto způsobem GANy postupně zlepšují svou schopnost produkovat velmi realistické výstupy, zejména obrazy. Nicméně GANy jsou náchylné ke kolapsu, což znamená, že generátor může začít produkovat

omezený okruh výstupů a ignorovat rozmanitost, která je přítomna ve skutečných datech. Tímto způsobem model ztrácí schopnost zobrazovat celou škálu dat, což je známkou kolapsu.

VAEs – Variational Autoencoders

Variational Autoencoders (VAEs) jsou typem modelu, který se učí reprezentovat data v takzvaném latentním prostoru, což je kompaktní matematická reprezentace datových bodů. VAEs umožňují vytvářet nové datové body, které jsou podobné původním, ale s určitými variacemi. Tato flexibilita jim umožňuje generovat nové vzorky, které jsou rozmanité.

Při kolapsu VAEs však dochází k tomu, že se všechny datové body v latentním prostoru začnou hromadit do malé oblasti. To omezuje rozmanitost výstupů, a tedy schopnost modelu produkovat nové a různorodé výsledky.

GPT – Generative Pre-trained Transformers

GPT je například model, na kterém běží ChatGPT a další populární AI chatboti. Jde o modely specializující se na generování textu. Trénují se na obrovském množství textových dat, což jim umožňuje pochopit vzorce mezi slovy a větami. Nicméně, když dojde ke kolapsu tohoto typu modelu, výsledkem je text, který se opakuje a není originální. Ke kolapsu dochází, když je model příliš závislý na již vytvořeném obsahu nebo se trénuje na datech, která jsou příliš homogenní, což snižuje jeho schopnost tvořit inovativní odpovědi.

GMM – Gaussian Mixture Models

Tyto modely se využívají především pro úlohy klasifikace a shlukování a předpokládají, že data tvoří směs několika normálních (gaussovských) rozdělení. Modely GMM se snaží rozpoznat tato základní rozdělení a odhadnout pravděpodobnost, že jednotlivé body dat patří k určitému rozdělení. Když však dojde k jejich kolapsu, některé z těchto gaussovských komponent mohou kolabovat na téměř nulovou variabilitu, což znamená, že model se zaměří pouze na úzkou část datového prostoru.

Tím model ztrácí schopnost efektivně reprezentovat složitost dat a dochází k přeučení na konkrétní body.

Rizika pro všechny tyto modely vyplývají především z jejich tréninkového procesu. Při nadměrném spoléhání se na syntetická data mohou začít replikovat vlastní vzorce namísto toho, aby se učily z reálných, složitých datových zdrojů.

Proč AI „požírá“ sama sebe?

Syntetická data jsou uměle vytvořená data, která simulují reálné datové vzory a charakteristiky, ale nejsou odvozena z reálných světů nebo lidských činností. Jsou vytvářena prostřednictvím různých algoritmů, jako jsou modely umělé inteligence, simulace nebo statistické techniky, a používají se k napodobení skutečných datových vzorců v různých oblastech, včetně obrazu, textu nebo číselných hodnot.

Existuje několik důvodů, proč se syntetická data stala důležitým nástrojem při trénování modelů umělé inteligence. Jedním z hlavních je, že reálná data mohou být těžko dostupná, drahá na získání nebo podléhají různým právním omezením. Například v případě zdravotních dat, finančních dat nebo osobních údajů je sběr a používání těchto dat velmi přísně regulován. Autorská práva a ochrana soukromí jsou zásadními problémy, které omezují přístup k dostatečně velkým a kvalitním datasetům, jež jsou pro efektivní trénování modelů nezbytné.

Syntetická data umožňují výzkumníkům a vývojářům AI obejít tato omezení tím, že vytvoří nové datové sady, které nejsou vázány skutečnými individuálními nebo chráněnými údaji. Například syntetická data mohou simulovat chování pacientů v nemocnicích bez toho, aby obsahovala skutečné citlivé údaje o skutečných pacientech. Tím se řeší problém dostupnosti dat a zároveň se zachovává ochrana soukromí.

Dalším důvodem pro použití syntetických dat je kontrola a manipulace nad jejich vlastnostmi.

Výzkumníci mohou přesně ovládat distribuci a strukturu syntetických dat, což umožňuje vytvářet datové sady s požadovanými charakteristikami, které mohou být užitečné pro testování konkrétních scénářů. Také mohou být syntetická data generována ve velkých objemech, což je výhodné pro trénování velkých modelů, které potřebují enormní množství dat.

Problémy autorských práv a etiky při trénování AI

Otázka autorských práv je v oblasti AI a trénování modelů stále významnější, zejména s ohledem na použití reálných dat, která se získávají bez souhlasů majitelů dat. Když modely trénují na skutečných datech – například na textových nebo obrazových datech z internetu – často jde o data chráněná autorským právem (což řadu společností, které trénují jazykové modely, neodrazuje…). To znamená, že jejich použití bez výslovného souhlasu autorů může být právně problematické (a přesto se děje).

Mnoho datasetů používaných pro trénování AI, ať už jde o články, obrázky, nebo jiné druhy obsahu, pochází z online zdrojů, a často se nepředpokládá, že tvůrci obsahu dávají výslovné svolení k tomu, aby jejich práce byla využívána k trénování AI.

Některé společnosti, jako například Google, OpenAI nebo Meta, byly v minulosti kritizovány za používání velkých datových sad, které zahrnují obsah chráněný autorským právem, aniž by bylo zcela jasné, zda je toto použití v souladu s autorskými zákony. Existuje obava, že tyto společnosti budují modely, které využívají tvorbu lidí, aniž by poskytovaly kompenzaci nebo uznání původním autorům.

Právě v tomto kontextu se syntetická data mohou zdát jako atraktivní alternativa. Pokud jsou data generována uměle, není problém s autorskými právy, neboť tato data nevznikla na základě tvůrčí činnosti reálných autorů. Nicméně syntetická data sama o sobě nemohou plně nahradit skutečná data. A skutečná data se začínají stávat „nedostatkovým zbožím“.

Problémy a rizika syntetických dat

Navzdory těmto výhodám představují syntetická data i velká rizika. Prvním problémem je, že modely trénované primárně na syntetických datech mohou ztratit kontakt s realitou. Protože syntetická data jsou jen aproximací skutečného světa, modely mohou začít vykazovat chování, které není kompatibilní s reálnými scénáři. To může vést k tomu, že modely vytvářejí neobvyklé nebo nekorektní výstupy, zejména pokud se s reálnými daty vůbec nesetkávají.

Kanibalizace

Dalším problémem, který z toho vyvstává, je riziko takzvané AI kanibalizace, kdy jsou modely trénovány na datech, která byla sama vytvořena jinými AI modely. Tento proces vytváří nebezpečný cyklus, ve kterém AI modely začínají být trénovány primárně na obsahu, který již dříve vytvořily jiné (nebo stejné) AI systémy, místo aby se učily z reálných, lidmi vytvořených dat. Tento jev může mít dalekosáhlé dopady na budoucnost umělé inteligence a její schopnost vytvářet smysluplný a inovativní obsah.

S rostoucím množstvím obsahu, který vytvářejí AI systémy (např. generované texty, obrázky nebo hudba), je stále složitější oddělit lidsky vytvořený obsah od toho umělého. Navíc s tím, jak se internet plní obsahem vytvořeným AI, se stává pravděpodobnějším, že nové AI modely budou trénovány na obsahu, který byl vytvořen jinými AI modely. Tento proces může být nezáměrný, ale nastává, pokud jsou AI trénovány na veřejně dostupných datech, která obsahují velké množství syntetických dat (generovaných AI).

AI kanibalizace tedy vzniká především z důvodu rozsáhlého využívání obsahu, který není lidského původu. Tento obsah je stále jednodušší generovat a rychle se distribuuje na internet, kde je následně zpětně využíván pro trénování nových modelů.

Lze se vyhnout kolapsu a kanibalizaci?

Aby se AI kanibalizaci předešlo, je klíčové zajistit, aby tréninkové datové sady byly co nejvíce rozmanité a zahrnovaly především lidsky vytvořená data. Syntetická data mohou být užitečná jako doplněk, ale neměla by tvořit hlavní část tréninkového datasetu. Důležitá je také transparentnost ohledně toho, jaká data se používají pro trénování modelů, a důraz na získávání dat z autentických zdrojů.

Dále by měla existovat přísnější pravidla a postupy pro sledování výstupů modelů, aby se rychle zjistilo, zda dochází k degradaci kvality výstupů, což je jeden z prvních signálů kanibalizace. Tento proces by měl zahrnovat lidskou kontrolu a monitorování kvality generovaného obsahu, aby bylo možné včas zasáhnout a zabránit dalšímu šíření tohoto problému.

Kombinace syntetických dat s lidsky vytvořeným obsahem a důkladné řízení datových sad je klíčové pro zajištění, že modely zůstanou kreativní, inovativní a relevantní.

Kanibalizace může způsobit celkovou stagnaci vývoje umělé inteligence. Pokud modely přestanou produkovat rozmanité a hodnotné výsledky, vývojáři AI mohou narazit na limity toho, čeho je možné dosáhnout. Stagnace by mohla omezit schopnost AI překonávat složité výzvy a nacházet nová, kreativní řešení problémů, což může zbrzdit růst celé oblasti a přinést stagnaci výzkumu a technologických inovací.

Jakmile se rozšíří vědomí o problému AI kanibalizace, může to mít negativní vliv na důvěru veřejnosti a regulačních orgánů v technologie umělé inteligence. Pokud budou AI systémy generovat nekvalitní nebo zavádějící výsledky, uživatelé ztratí důvěru v jejich spolehlivost a použitelnost. Abychom se vyhnuli stagnaci a degradaci kvality AI modelů, je nezbytné vyvinout strategie, které zajistí rozmanitost tréninkových dat a zabrání tomu, aby umělé inteligence „krmily“ samy sebe.