2.3.3. Was ist KI-Style-Transfer?

2.3.3. Was ist KI-Style-Transfer?

Style-Transfer ist eine Art von KI-Modellen, welches zum Ziel hat, ein Input Bild die Erscheinung zu geben, als sei es vom selben Stil wie ein Stil-Referenzbild (Image-toImage). Innerhalb des Stil-Transfers Feldes gibt es Variationen wie der Transfer passiert, aber auch wie generalisiert der Algorithmus ist.

Im Falle des Style-Transfers heißt Generalisierung, wie viele Referenzbilder die KI unterstützt: Kann die KI einen Stil, mehrere Stile oder gibt es keine Limitation, was als Referenzbild benutzt werden kann?

Abbildung 5 Style-Transfer Architektur Beispiel (Fritz AI, 2021)

In dieser Beispielarchitektur einer Style-Transfer KI besteht der Prozess aus zwei Schritten, der Extraktion des Stils und dem Transfer. Jeweils ein Netzwerk ist für einen

der beiden Schritte verantwortlich. Diese Konfiguration ermöglicht einen Transfer, ohne dass die KI für das Training ein Datenpaar aus einem Input Bild und einem Bild, das aussieht wie ein Transfererfolg des Inputbildes, benötigt. Einen solchen gepaarten Datensatz zu nutzen ist oft nicht sinnig, da ja der Style-Transfer dem Menschen abgenommen werden soll, was nicht der Fall ist, wenn für jedes arbiträre Bild, das als Referenz dienen soll, von einem Menschen Beispiele generieren werden müssten.

15

Abbildung 6 Das Gemälde “Mona Lisa” in den Stilen "Sternennacht" von van Gogh, "Frau mit Hut" von Henri Matisse, "Die große Welle vor Kanagawa"von Katsushika

Hokusai durch neurale Style Transfer. (Wikipedia, 2021)

Wie auch bei anderen Feldern der KI-Bildsynthese sind wichtige Forschungspunkte, wie man Trainingsdaten, die auf Datenpaaren basieren, vermeiden kann und wie man Modelle mit einer höheren Generalisierungsfähigkeit ohne Qualitäts- und Performance-Verlust erreicht.

16