Sylvie Pesty, spécialisée en agent conversationnel avec l’humain nous précise cette distinction : « Le rôle d’un chatbot n’est pas de comprendre la phrase, c’est pour cela que ce n’est pas un programme d’intelligence artificielle, c’est quelque chose qui donne l’illusion. Le dialogue automatique cherche à comprendre même si il est limité, quand au chatbot il se contente, lui, de relancer la conversation avec finesse.» Nous avons choisi d’étudier un autre programme de chatbot beaucoup plus complet que le notre : A.L.I.C.E. Même si ces programmes ne font pas partie d’une intelligence artificielle quelconque, il existe le test de Turing : qui est une proposition pour définir si une machine fait preuve d’intelligence artificielle. On met face à face un humain et une machine, ainsi qu’un autre humain représentant le jury. Si le jury ne trouve pas qui est la machine, on dit alors que la machine a réussi le test, et cette méthode sous-entend que l’humain et la machine, durant le test, essaient d’avoir l’apparence la plus humaine possible. Le chatbot A.L.I.C.E a remporté ce test de multiples fois : mais est- ce que ceci prouve que le programme est artificiellement intelligent ? Afin d’apporter une réponse, nous avons testé le programme et, en quelques lignes de conversation, des défauts apparaissaient rapidement, de plus en plus amplifiés, lorsque nous avons diversifié la conversation : Human: what is the largest? ALICE: I can ask my botmaster. Human: plane or car? ALICE: No preference. Human: what is the largest, plane or car? ALICE: There is no highest plane or car. Human: what is the largest, plane or car? ALICE: There is no highest plane or car.
Sans chercher le moindre sens à ce que le programme dit, il a scindé la question « Quel le plus grand ? L’avion ou la voiture? » Et répond dans un premier temps, qu’il doit consulter son créateur et répond, pour la seconde partie de la question, qu’il n’a pas de préférence. La question était pourtant posée en deux parties sur une même ligne, que le programme sépare en deux questions distinctes à cause de son impossibilité à répondre. Le chatbot cherche en fait à donner une réponse même si la question n’est pas dans sa base de données. Ensuite, la question est agencée différemment avec une virgule au lieu d’un point d’interrogation, cette fois-ci le chatbot ne sait pas quoi répondre : le programme répond quelque chose de complètement insensé. La même question lui est répétée une seconde fois : au lieu de varier aléatoirement son impossibilité à répondre il répète sa réponse précédente. 9|Page