Duyen dao

Page 1

Conception, analyse et développement d’un algorithme génétique interactif de génération d’images guidé par l'évaluation humaine

Sous la direction de : M. Jean-Daniel Zucker, Directeur de Recherche à l’IRD Mme Muriel Visani, Maître de Conférences HDR à l’Université de La Rochelle Réalisé par : DAO Thi Duyen


Contenue I. Introduction

II. État de l’art III. Système proposé IV. Implémentation et Expérimentations V. Conclusion et Perspective

2


Contexte  La créativité est souvent considérée comme l'une des capacités les plus impressionnantes des humains. Introduction

 Est-il possible d’assister cette créativité à l’aide d’un ordinateur ?

État de l’art

Système proposé

Implémentation Expérimentation

Conclusions Perspective

 Exemples dans le domaine des arts visuels  K. Sims (Sims, 1991), W. Latham (Todd & Latham, 1994) et (Feng & Ting, 2014).

3


Art visuel  Kandinsky2 a analysé et formalisé les éléments constitutifs

d’une image qui permettent d’attribuer des noms à des

Introduction

éléments visuels, d’en définir une syntaxe. État de l’art

Point: un symbole de silence, il est introverti, concentrique et statique.

Système proposé

Ligne horizontale: est la direction du temps chronologique, noir, calme et froid.

Implémentation Expérimentation

Ligne verticale: est la direction du temps immédiate, de l'émergence, blanc, réveil, chaude.

Conclusions Perspective

Diagonale: chaude & froide. Une diagonale vers le haut est rouge, une diagonale vers le bas est grise ou verte 4 2

un des artistes les plus importants du XXe siècle


Projet PermutoPainter  PermutoPainter est basé sur la recherche de l’artiste Bernard Gortais1 dans la série « Arrangements avec le hasard ». Introduction État de l’art

Système proposé

 L’œuvre peinte est découpée et décomposée en 24 carrés égaux puis recomposée indépendamment de l’image initiale.

Origine

Implémentation Expérimentation

Conclusions Perspective

Exposition de peintures à la Galerie Keller à Paris en novembre 2014 et à la Galerie 14 à Toucy – France (89130). 1 https://sites.google.com/site/siatorg/

5


Problématique et Objectif  Problématique: Introduction État de l’art

Système proposé

Implémentation Expérimentation

Comment formaliser le processus créatif qui permet de créer des arrangements intéressants pour l’artiste ?

 Objectif: Concevoir et implémenter un algorithme évolutif et interactif d’aide à la composition de peintures par arrangement de

Conclusions Perspective

morceaux de peinture.

6


Travail existant  EvoEco3 : plate-forme multi-agents utilisant un algorithme

évolutionnaire interactif pour générer des tableaux.

Introduction

 Déterminer la couleur de fond de chaque chromosome. État de l’art

 Des chromosomes sont construits par la peinture des agents pendant

leur durée de vie.

Système proposé

 Des mutations et des croisements

Implémentation Expérimentation

sont effectués sur ces chromosomes

Conclusions Perspective

7 3

développé par Sheng - Yu Feng et Chuan- Kang Ting (2014)


Représentation d’images  Étape cruciale pour le regroupement d’images similaires.  Descripteurs locaux: Introduction État de l’art

Système proposé

Implémentation Expérimentation

SIFT (Scale-Invariant Feature Transform)

BRIEF (Binary Robust Independent Elementary Features)

ORB (Oriented FAST and Rotated BRIEF)

Intersections avec une ligne droite

Extremums locaux

Les invariants: se tromper entre «p» et «d», ou « 9 » et « 6 »

 Descripteurs globaux: 

Moments de Hu

Projection: Ces caractéristiques sont dérivées à partir d'histogrammes de projections des pixels noirs

Profils: compte le nombre de pixels (distance) entre la boîte de contour de l'image de caractère et les quatre côtés du caractère.

Conclusions Perspective

Histogramme de projection

Des caractéristiques profils

8


Regroupement  L’algorithme prend le paramètre d'entrée k et Introduction État de l’art

partitionne un ensemble de n objets en k groupes  K-moyennes  K-médoides ou PAM (Partitioning Around Medoids)

Système proposé

 K-moyennes:  Algorithme de ré-affectation itérative des données au groupe le

Implémen tation Expérimentation

plus proche, chaque groupe étant représenté par sa valeur moyenne  Point faible : sensible aux valeurs aberrantes ; convergence

Conclusions Perspective

locale ; problème de représentativité des moyennes

K-medoids: Chaque groupe est représenté par un objet 9


Algorithme K-médoids 1.

Sélectionnez les médoids initiales:  Calculer la distance euclidienne comme mesure de dissimilarité

Introduction

 Faire une estimation initiale des centres des clusters État de l’art

 Calculer

Système proposé

pour chacun des objets j et les classer en ordre

ascendant. Sélectionner les médoids de groups initiaux.

 Calculer la valeur optimale actuelle (distance de tous les objets à leurs Implémentation Expérimentation

Conclusions Perspective

médoids )

2.

Mise à jour des médoids

3.

Réassignation  Assigner à chaque objet le nouveau médoide le plus proche  Calculer la nouvelle valeur optimale.

 Si la valeur optimale est égale à la précédente, arrêter l'algorithme. Sinon, retournez à l'étape 2.

10


Exemple K-médoids Introduction État de l’art

Système proposé

Implémentation Expérimentation

Conclusions Perspective

11


Évolution  Exigence d’utilisateur: choisir les Introduction

images « intéressantes » et les qualifier pour que le programme lui en propose

État de l’art

Système proposé

Implémentation Expérimentation

Conclusions Perspective

Initialisation d'une popuation

Évaluation de fonction fitness

des variations.

 Algorithme génétique  Résoud approximativement les

Sélection

Hybridation croisée

Non

problèmes d'optimisation globale

 Basé sur les mécanismes de sélection

Mutation

et d’évolution dans la nature Oui Résultat

12


Random Forest  C’est une méthode de classification et de régression. Introduction

 Étape d’apprentissage: Pour b = 1, …, B (B est le nombre d’arbres dans la forêt)

État de l’art

1. Tirer un échantillon aléatoire Tb avec remise parmi T. 2. Estimer un arbre sur Tb avec randomisation des variables

Système proposé

3. Construre chaque noeud de chaque arbre: tirer m variables parmi M et choisit la meilleure variable parmi m pour diviser le noeud en deux noeuds fils.

Implémentation Expérimentation

Conclusions Perspective

13


Random Forest  Étape de test: Introduction État de l’art

Système proposé

Implémentation Expérimentation

Conclusions Perspective

 Les particularités de cet algorithme:  Adapté à des données de grandes dimensions.  Combine les prédictions de plusieurs arbres construits à partir des données initiales par échantillonnages aléatoires -> Plus stable (l’union fait la force).

14


Aperçu global du système Introduction État de l’art

Système proposé

Implémentation Expérimentation

Conclusions Perspective

15


1. Modification d’image  Permutation Introduction État de l’art

Système proposé

Implémentation Expérimentation

Original

 Rotation

Conclusions Perspective

90o à gauche

180o

90o à droite

16


2. Suggestion des images Introduction État de l’art

Système proposé

Implémentation Expérimentation

Conclusions Perspective

17


2.1. Génération des images  Basée sur la distance entre images qui est le nombre de permutations entre elles. Introduction État de l’art

Système proposé

D=2

Implémentation Expérimentation

D=1 Conclusions Perspective

D=1

18


2.2. Extraction des caractĂŠristiques ď ś DĂŠtection des caractĂŠristiques locales: Introduction État de l’art

Système proposÊ

ImplĂŠmentation ExpĂŠrimentation

CoordonnĂŠes du point

Conclusions Perspective

BoĂŽte englobante

Orientation de la ligne

đ??żđ?‘œđ?‘›đ?‘”đ?‘’đ?‘˘đ?‘&#x; =

longeur de contour AC + longeur de contour BD 2

đ??żđ?‘Žđ?‘&#x;đ?‘”đ?‘’đ?‘˘đ?‘&#x; =

surface de contour ABDC longeur 19


2.2. Extraction des caractéristiques  Détection des caractéristiques globales: Introduction

 Le nombre de lignes montantes (nb1)  Le nombre de lignes (nb2)

État de l’art

Système proposé

 Le nombre de lignes qui sont en dessous de la ligne médiane (nb3)  Le nombre de lignes verticales qui

Implémentation Expérimentation

Conclusions Perspective

sont à gauche de la ligne du centre (nb4)

 Descripteur: 43 0 64 0 48 130 150 7 3 20 0 160 130 nb1 nb2 nb3 nb4 coordonnées du point, longeur, largeur, orientation, boîte englobante 20


2.3. Clustering  Cluseriser des descripteurs avec PAMS (l’algorithme des KIntroduction

medoids) et présenter à l’utilisateur le centre de chaque médoid.

État de l’art

Système proposé

 Partitionnement

 Trouver des médoids de chaque groupe  Calculer le matrice de dissimilarité

Implémentation Expérimentation

Conclusions Perspective

21


3. Evaluation des images  Interface interactive Introduction

 Niveau d’intérêt noté par:

État de l’art

Système proposé

 Valeur

qualitative

aux

contrastes

de

rythme,

d’alignement et d’équilibre qui sous-tendent chaque Implémentation Expérimentation

Conclusions Perspective

image:  Calme

 Heureux

 Dynamique

 Triste

 Calme et dynamique

 Tragique 22


4. Apprentissage Introduction État de l’art

Système proposé

Implémentation Expérimentation

Conclusions Perspective

23


Données d’entrainement  Un Introduction

ensemble

Implémentation Expérimentation

Conclusions Perspective

données

étiquetées

par

l’utilisateur

État de l’art

Système proposé

de

Étiquette

Nombre d’image

Calme

146

Dynamique

108

Calme - Dynamique

14

Tragique

90

Heureuse

1

Triste

1

Null

219

24


Classification des données de test  Chaque fois: créer 2000 images de test au hasard Introduction État de l’art

Système proposé

Implémentation Expérimentation

Conclusions Perspective

Étiquette

Calme Dynamique Calme Dynamique

Tragique Heureuse Triste Null

Test 1 (%)

Test 2 (%)

Test 3 (%)

Test 4 (%)

Test 5 (%)

Test 6 (%)

Test 7 (%)

Test 8 (%)

Test 9 (%)

Test 10 (%)

0

17.07

0

3.3

0.05

7.15

0

0

0

0

97.5

0

0

27.15

2.15

5.6

5

0

26.55

0

0

0

0

0

0

0

0

0

0

0

0.1

74.97

93.45

10.2

0

24.45

0.85

0

26.95

99.95

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0.35

0

0

0

0

2.4

7.96

6.55

59.35

97.8

62.45

94.15

100

46.5

0.05

Résultat de la classification des images selon leurs qualités 25


Classification des données de test Classification des données de test 100

Introduction

90 80

État de l’art

70

Calme Dynamique

60

Système proposé

Implémentation Expérimentation

Calme - Dynamique

50

Tragique 40

Heureuse

30

Triste Null

20 10

Conclusions Perspective

0

Test 1 (%)

Test 2 (%)

Test 3 (%)

Test 4 (%)

Test 5 (%)

Test 6 (%)

Test 7 (%)

Test 8 (%)

Test 9 (%)

Test 10 (%)

Diagramme des résultats de la classification des images 26


Outils et Environnement  Outils: Introduction État de l’art

Système proposé

Implémentation

 Environnement d’execution

Expérimentation

Conclusions Perspective

27


Résultats obtenus  L’interface pour la modification d’images Introduction État de l’art

Système proposé

Implémentation Expérimentation

Conclusions Perspective

28


Résultats obtenus  L’interface pour évaluer l’intérêt des images générées. Introduction État de l’art

Système proposé

Implémentation Expérimentation

Conclusions Perspective

29


Résultats obtenus  L’interface pour qualifier le contenu des images. Introduction État de l’art

Système proposé

Implémentation Expérimentation

Conclusions Perspective

30


Évaluation de l’utilisateur  Objectif recherché: « disposer d’un outil qui permette d’explorer Introduction

d’un point de vue créatif ce très grand nombre de possibilités en se basant sur une conception analytique de l’espace et

État de l’art

de manière

expérimentale sur l’émergence de qualités d’espace découvertes et définies par l’utilisateur lorsqu’il utilise le système. »

Système proposé

Implémentation Expérimentation

Conclusions Perspective

 Objectif atteint: mise au point d’un outil interactif d’aide à la création qui permet d’explorer et de qualifier l’espace selon les besoins subjectifs d’un créateur.  Bernard Gortais : « Je me sers d’ores et déjà de cet outil pour découvrir de nouvelles combinaisons d’espace et j’en suis à la

fois heureux et surpris»

31


Évaluation de l’utilisateur  Résultats obtenus par l’utilisateur: Introduction

 Compositions dynamiques

État de l’art

Système proposé

 Compositions calmes

Implémentation Expérimentation

Conclusions Perspective

 Compositions tragiques

32


Conclusions et Perspective  Conclusion Introduction

 Découverte du domaine des arts numériques.

État de l’art

 Le programme permet de satisfaire plusieurs désirs de l’artiste et répond ainsi en grande partie au cahier des

Système proposé

Implémentation Expérimentation Conclusions Perspective

charges.

 Perspectives  Améliorer le programme selon les desiderata d’utilisateur  Modifier la façon de représenter et de générer les images

 Application d’un apprentissage pour améliorer les résultats 33


Références 1.

Boden, M. A. (1998). Creativity and artificial intelligence. Artificial Intelligence, 103(1–2), 347–356.

2.

Breiman, L. (2001). Random Forests. Machine Learning, 45(1), 5–32.

3.

Calonder, M., Lepetit, V., Strecha, C., & Fua, P. (2010). BRIEF: Binary Robust Independent Elementary Features. In K. Daniilidis, P. Maragos, & N. Paragios (Eds.), Computer Vision – ECCV 2010 (pp. 778–792). Springer Berlin Heidelberg.

4.

Feng, S.-Y., & Ting, C.-K. (2014). Painting Using Genetic Algorithm with Aesthetic Evaluation of Visual Quality. In S.-M. Cheng & M.-Y. Day (Eds.), Technologies and Applications of Artificial Intelligence (pp. 124–135). Gortais, B. (2003). Abstraction and art. Philosophical Transactions of the Royal Society B: Biological Sciences, 358(1435), 1241–1249.

5.

Hu, M.-K. (1962). Visual pattern recognition by moment invariants. IRE Transactions on Information Theory, 8(2), 179–187.

6.

Lewis, M. (2008). Evolutionary Visual Art and Design. In J. Romero & P. Machado (Eds.), The Art of Artificial Evolution (pp. 3–37). Springer Berlin Heidelberg.

7.

Lowe, D. G. (2004). Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision, 60(2), 91–110.

8.

Mitchell, M. (1998). An Introduction to Genetic Algorithms. MIT Press.

9.

Park, H., Lee, J., & Jun, C. (2006). Abstract A K-means-like Algorithm for K-medoids Clustering and Its Performance.

10.

Prum, S., Visani, M., Fischer, A., & Ogier, J. M. (2013). A Discriminative Approach to On-Line Handwriting Recognition Using Bi-character Models. In 2013 12th International Conference on Document Analysis and Recognition (ICDAR) (pp. 364–368).

11.

Sims, K. (1991). Artificial Evolution for Computer Graphics. Computer Graphics, 319–328.

12.

Todd, S., & Latham, W. (1994). Evolutionary Art and Computers. Orlando, FL, USA: Academic Press, Inc. 34


Merci de votre attention!

35