Conception, analyse et développement d’un algorithme génétique interactif de génération d’images guidé par l'évaluation humaine
Sous la direction de : M. Jean-Daniel Zucker, Directeur de Recherche à l’IRD Mme Muriel Visani, Maître de Conférences HDR à l’Université de La Rochelle Réalisé par : DAO Thi Duyen
Contenue I. Introduction
II. État de l’art III. Système proposé IV. Implémentation et Expérimentations V. Conclusion et Perspective
2
Contexte La créativité est souvent considérée comme l'une des capacités les plus impressionnantes des humains. Introduction
Est-il possible d’assister cette créativité à l’aide d’un ordinateur ?
État de l’art
Système proposé
Implémentation Expérimentation
Conclusions Perspective
Exemples dans le domaine des arts visuels K. Sims (Sims, 1991), W. Latham (Todd & Latham, 1994) et (Feng & Ting, 2014).
3
Art visuel Kandinsky2 a analysé et formalisé les éléments constitutifs
d’une image qui permettent d’attribuer des noms à des
Introduction
éléments visuels, d’en définir une syntaxe. État de l’art
Point: un symbole de silence, il est introverti, concentrique et statique.
Système proposé
Ligne horizontale: est la direction du temps chronologique, noir, calme et froid.
Implémentation Expérimentation
Ligne verticale: est la direction du temps immédiate, de l'émergence, blanc, réveil, chaude.
Conclusions Perspective
Diagonale: chaude & froide. Une diagonale vers le haut est rouge, une diagonale vers le bas est grise ou verte 4 2
un des artistes les plus importants du XXe siècle
Projet PermutoPainter PermutoPainter est basé sur la recherche de l’artiste Bernard Gortais1 dans la série « Arrangements avec le hasard ». Introduction État de l’art
Système proposé
L’œuvre peinte est découpée et décomposée en 24 carrés égaux puis recomposée indépendamment de l’image initiale.
Origine
Implémentation Expérimentation
Conclusions Perspective
Exposition de peintures à la Galerie Keller à Paris en novembre 2014 et à la Galerie 14 à Toucy – France (89130). 1 https://sites.google.com/site/siatorg/
5
Problématique et Objectif Problématique: Introduction État de l’art
Système proposé
Implémentation Expérimentation
Comment formaliser le processus créatif qui permet de créer des arrangements intéressants pour l’artiste ?
Objectif: Concevoir et implémenter un algorithme évolutif et interactif d’aide à la composition de peintures par arrangement de
Conclusions Perspective
morceaux de peinture.
6
Travail existant EvoEco3 : plate-forme multi-agents utilisant un algorithme
évolutionnaire interactif pour générer des tableaux.
Introduction
Déterminer la couleur de fond de chaque chromosome. État de l’art
Des chromosomes sont construits par la peinture des agents pendant
leur durée de vie.
Système proposé
Des mutations et des croisements
Implémentation Expérimentation
sont effectués sur ces chromosomes
Conclusions Perspective
7 3
développé par Sheng - Yu Feng et Chuan- Kang Ting (2014)
Représentation d’images Étape cruciale pour le regroupement d’images similaires. Descripteurs locaux: Introduction État de l’art
Système proposé
Implémentation Expérimentation
SIFT (Scale-Invariant Feature Transform)
BRIEF (Binary Robust Independent Elementary Features)
ORB (Oriented FAST and Rotated BRIEF)
Intersections avec une ligne droite
Extremums locaux
Les invariants: se tromper entre «p» et «d», ou « 9 » et « 6 »
Descripteurs globaux:
Moments de Hu
Projection: Ces caractéristiques sont dérivées à partir d'histogrammes de projections des pixels noirs
Profils: compte le nombre de pixels (distance) entre la boîte de contour de l'image de caractère et les quatre côtés du caractère.
Conclusions Perspective
Histogramme de projection
Des caractéristiques profils
8
Regroupement L’algorithme prend le paramètre d'entrée k et Introduction État de l’art
partitionne un ensemble de n objets en k groupes K-moyennes K-médoides ou PAM (Partitioning Around Medoids)
Système proposé
K-moyennes: Algorithme de ré-affectation itérative des données au groupe le
Implémen tation Expérimentation
plus proche, chaque groupe étant représenté par sa valeur moyenne Point faible : sensible aux valeurs aberrantes ; convergence
Conclusions Perspective
locale ; problème de représentativité des moyennes
K-medoids: Chaque groupe est représenté par un objet 9
Algorithme K-médoids 1.
Sélectionnez les médoids initiales: Calculer la distance euclidienne comme mesure de dissimilarité
Introduction
Faire une estimation initiale des centres des clusters État de l’art
Calculer
Système proposé
pour chacun des objets j et les classer en ordre
ascendant. Sélectionner les médoids de groups initiaux.
Calculer la valeur optimale actuelle (distance de tous les objets à leurs Implémentation Expérimentation
Conclusions Perspective
médoids )
2.
Mise à jour des médoids
3.
Réassignation Assigner à chaque objet le nouveau médoide le plus proche Calculer la nouvelle valeur optimale.
Si la valeur optimale est égale à la précédente, arrêter l'algorithme. Sinon, retournez à l'étape 2.
10
Exemple K-médoids Introduction État de l’art
Système proposé
Implémentation Expérimentation
Conclusions Perspective
11
Évolution Exigence d’utilisateur: choisir les Introduction
images « intéressantes » et les qualifier pour que le programme lui en propose
État de l’art
Système proposé
Implémentation Expérimentation
Conclusions Perspective
Initialisation d'une popuation
Évaluation de fonction fitness
des variations.
Algorithme génétique Résoud approximativement les
Sélection
Hybridation croisée
Non
problèmes d'optimisation globale
Basé sur les mécanismes de sélection
Mutation
et d’évolution dans la nature Oui Résultat
12
Random Forest C’est une méthode de classification et de régression. Introduction
Étape d’apprentissage: Pour b = 1, …, B (B est le nombre d’arbres dans la forêt)
État de l’art
1. Tirer un échantillon aléatoire Tb avec remise parmi T. 2. Estimer un arbre sur Tb avec randomisation des variables
Système proposé
3. Construre chaque noeud de chaque arbre: tirer m variables parmi M et choisit la meilleure variable parmi m pour diviser le noeud en deux noeuds fils.
Implémentation Expérimentation
Conclusions Perspective
13
Random Forest Étape de test: Introduction État de l’art
Système proposé
Implémentation Expérimentation
Conclusions Perspective
Les particularités de cet algorithme: Adapté à des données de grandes dimensions. Combine les prédictions de plusieurs arbres construits à partir des données initiales par échantillonnages aléatoires -> Plus stable (l’union fait la force).
14
Aperçu global du système Introduction État de l’art
Système proposé
Implémentation Expérimentation
Conclusions Perspective
15
1. Modification d’image Permutation Introduction État de l’art
Système proposé
Implémentation Expérimentation
Original
Rotation
Conclusions Perspective
90o à gauche
180o
90o à droite
16
2. Suggestion des images Introduction État de l’art
Système proposé
Implémentation Expérimentation
Conclusions Perspective
17
2.1. Génération des images Basée sur la distance entre images qui est le nombre de permutations entre elles. Introduction État de l’art
Système proposé
D=2
Implémentation Expérimentation
D=1 Conclusions Perspective
D=1
18
2.2. Extraction des caractĂŠristiques ď ś DĂŠtection des caractĂŠristiques locales: Introduction État de l’art
Système proposÊ
ImplĂŠmentation ExpĂŠrimentation
CoordonnĂŠes du point
Conclusions Perspective
BoĂŽte englobante
Orientation de la ligne
đ??żđ?‘œđ?‘›đ?‘”đ?‘’đ?‘˘đ?‘&#x; =
longeur de contour AC + longeur de contour BD 2
đ??żđ?‘Žđ?‘&#x;đ?‘”đ?‘’đ?‘˘đ?‘&#x; =
surface de contour ABDC longeur 19
2.2. Extraction des caractéristiques Détection des caractéristiques globales: Introduction
Le nombre de lignes montantes (nb1) Le nombre de lignes (nb2)
État de l’art
Système proposé
Le nombre de lignes qui sont en dessous de la ligne médiane (nb3) Le nombre de lignes verticales qui
Implémentation Expérimentation
Conclusions Perspective
sont à gauche de la ligne du centre (nb4)
Descripteur: 43 0 64 0 48 130 150 7 3 20 0 160 130 nb1 nb2 nb3 nb4 coordonnées du point, longeur, largeur, orientation, boîte englobante 20
2.3. Clustering Cluseriser des descripteurs avec PAMS (l’algorithme des KIntroduction
medoids) et présenter à l’utilisateur le centre de chaque médoid.
État de l’art
Système proposé
Partitionnement
Trouver des médoids de chaque groupe Calculer le matrice de dissimilarité
Implémentation Expérimentation
Conclusions Perspective
21
3. Evaluation des images Interface interactive Introduction
Niveau d’intérêt noté par:
État de l’art
Système proposé
Valeur
qualitative
aux
contrastes
de
rythme,
d’alignement et d’équilibre qui sous-tendent chaque Implémentation Expérimentation
Conclusions Perspective
image: Calme
Heureux
Dynamique
Triste
Calme et dynamique
Tragique 22
4. Apprentissage Introduction État de l’art
Système proposé
Implémentation Expérimentation
Conclusions Perspective
23
Données d’entrainement Un Introduction
ensemble
Implémentation Expérimentation
Conclusions Perspective
données
étiquetées
par
l’utilisateur
État de l’art
Système proposé
de
Étiquette
Nombre d’image
Calme
146
Dynamique
108
Calme - Dynamique
14
Tragique
90
Heureuse
1
Triste
1
Null
219
24
Classification des données de test Chaque fois: créer 2000 images de test au hasard Introduction État de l’art
Système proposé
Implémentation Expérimentation
Conclusions Perspective
Étiquette
Calme Dynamique Calme Dynamique
Tragique Heureuse Triste Null
Test 1 (%)
Test 2 (%)
Test 3 (%)
Test 4 (%)
Test 5 (%)
Test 6 (%)
Test 7 (%)
Test 8 (%)
Test 9 (%)
Test 10 (%)
0
17.07
0
3.3
0.05
7.15
0
0
0
0
97.5
0
0
27.15
2.15
5.6
5
0
26.55
0
0
0
0
0
0
0
0
0
0
0
0.1
74.97
93.45
10.2
0
24.45
0.85
0
26.95
99.95
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0.35
0
0
0
0
2.4
7.96
6.55
59.35
97.8
62.45
94.15
100
46.5
0.05
Résultat de la classification des images selon leurs qualités 25
Classification des données de test Classification des données de test 100
Introduction
90 80
État de l’art
70
Calme Dynamique
60
Système proposé
Implémentation Expérimentation
Calme - Dynamique
50
Tragique 40
Heureuse
30
Triste Null
20 10
Conclusions Perspective
0
Test 1 (%)
Test 2 (%)
Test 3 (%)
Test 4 (%)
Test 5 (%)
Test 6 (%)
Test 7 (%)
Test 8 (%)
Test 9 (%)
Test 10 (%)
Diagramme des résultats de la classification des images 26
Outils et Environnement Outils: Introduction État de l’art
Système proposé
Implémentation
Environnement d’execution
Expérimentation
Conclusions Perspective
27
Résultats obtenus L’interface pour la modification d’images Introduction État de l’art
Système proposé
Implémentation Expérimentation
Conclusions Perspective
28
Résultats obtenus L’interface pour évaluer l’intérêt des images générées. Introduction État de l’art
Système proposé
Implémentation Expérimentation
Conclusions Perspective
29
Résultats obtenus L’interface pour qualifier le contenu des images. Introduction État de l’art
Système proposé
Implémentation Expérimentation
Conclusions Perspective
30
Évaluation de l’utilisateur Objectif recherché: « disposer d’un outil qui permette d’explorer Introduction
d’un point de vue créatif ce très grand nombre de possibilités en se basant sur une conception analytique de l’espace et
État de l’art
de manière
expérimentale sur l’émergence de qualités d’espace découvertes et définies par l’utilisateur lorsqu’il utilise le système. »
Système proposé
Implémentation Expérimentation
Conclusions Perspective
Objectif atteint: mise au point d’un outil interactif d’aide à la création qui permet d’explorer et de qualifier l’espace selon les besoins subjectifs d’un créateur. Bernard Gortais : « Je me sers d’ores et déjà de cet outil pour découvrir de nouvelles combinaisons d’espace et j’en suis à la
fois heureux et surpris»
31
Évaluation de l’utilisateur Résultats obtenus par l’utilisateur: Introduction
Compositions dynamiques
État de l’art
Système proposé
Compositions calmes
Implémentation Expérimentation
Conclusions Perspective
Compositions tragiques
32
Conclusions et Perspective Conclusion Introduction
Découverte du domaine des arts numériques.
État de l’art
Le programme permet de satisfaire plusieurs désirs de l’artiste et répond ainsi en grande partie au cahier des
Système proposé
Implémentation Expérimentation Conclusions Perspective
charges.
Perspectives Améliorer le programme selon les desiderata d’utilisateur Modifier la façon de représenter et de générer les images
Application d’un apprentissage pour améliorer les résultats 33
Références 1.
Boden, M. A. (1998). Creativity and artificial intelligence. Artificial Intelligence, 103(1–2), 347–356.
2.
Breiman, L. (2001). Random Forests. Machine Learning, 45(1), 5–32.
3.
Calonder, M., Lepetit, V., Strecha, C., & Fua, P. (2010). BRIEF: Binary Robust Independent Elementary Features. In K. Daniilidis, P. Maragos, & N. Paragios (Eds.), Computer Vision – ECCV 2010 (pp. 778–792). Springer Berlin Heidelberg.
4.
Feng, S.-Y., & Ting, C.-K. (2014). Painting Using Genetic Algorithm with Aesthetic Evaluation of Visual Quality. In S.-M. Cheng & M.-Y. Day (Eds.), Technologies and Applications of Artificial Intelligence (pp. 124–135). Gortais, B. (2003). Abstraction and art. Philosophical Transactions of the Royal Society B: Biological Sciences, 358(1435), 1241–1249.
5.
Hu, M.-K. (1962). Visual pattern recognition by moment invariants. IRE Transactions on Information Theory, 8(2), 179–187.
6.
Lewis, M. (2008). Evolutionary Visual Art and Design. In J. Romero & P. Machado (Eds.), The Art of Artificial Evolution (pp. 3–37). Springer Berlin Heidelberg.
7.
Lowe, D. G. (2004). Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision, 60(2), 91–110.
8.
Mitchell, M. (1998). An Introduction to Genetic Algorithms. MIT Press.
9.
Park, H., Lee, J., & Jun, C. (2006). Abstract A K-means-like Algorithm for K-medoids Clustering and Its Performance.
10.
Prum, S., Visani, M., Fischer, A., & Ogier, J. M. (2013). A Discriminative Approach to On-Line Handwriting Recognition Using Bi-character Models. In 2013 12th International Conference on Document Analysis and Recognition (ICDAR) (pp. 364–368).
11.
Sims, K. (1991). Artificial Evolution for Computer Graphics. Computer Graphics, 319–328.
12.
Todd, S., & Latham, W. (1994). Evolutionary Art and Computers. Orlando, FL, USA: Academic Press, Inc. 34
Merci de votre attention!
35