Objectifs du rapporteur

Comme discuté précédemment, un autre élément à considérer est l’objectif de votre interlocuteur. Pour un professeur, il est naturel de donner une réponse fiable et sensée à la question d’un élève, étant donné que son objectif est d’instruire. En revanche, l’objectif d’un publicitaire est plutôt de nous convaincre d’acheter un produit : les informations qu’il nous fournit vont donc être biaisées dans ce sens. Si les objectifs des individus sont souvent complexes, ceux des modèles de langage ne varient pas au cours du temps et sont définis, de manière plus ou moins implicite, par des humains au moment de leur entraînement.

ChatGPT a été entraîné pour produire des réponses qui ont l’air satisfaisantes (à travers l’approche de RLHF [24] cité plus haut), et non pas des réponses dont le raisonnement logique est correct. Cette méthode, que l’on pourrait traduire par « apprentissage par renforcement avec retour humain », utilise des experts humains pour améliorer les performances du LLM. Ces interactions avec des personnes réelles permettent à l’algorithme d’apprendre de manière itérative à s’ajuster aux retours de l’humain, comme une boucle de rétroaction.

De façon similaire, dans le domaine visuel Ian Goodfellow inventait en 2014 les Generative Adversarial Networks [26] (GAN) où il envisageait un système bipartite : un discriminateur ayant pour objectif de détecter des images fausses, et un générateur ayant pour objectif de réussir à tromper le générateur. Dans les deux cas, le modèle ne vise pas à générer une réponse qui a l’air vraie, mais une réponse qui a l’air vraie. Cette différence d’objectifs renforce l’importance d’une bonne ingénierie de requêtes.

« Introducing ChatGPT »[25] , Novembre 2022.

[24] https://huggingface.co/blog/rlhf [25] https://openai.com/blog/chatgpt [26] https://arxiv.org/pdf/1406.2661.pdf

Accès à l’information

Une IA conversationnelle comme ChatGPT est entraînée sur des données délimitées dans le temps et dans le périmètre couvert (p. ex. les contenus en anglais sont aujourd’hui prédominants dans les données d’entraînement), qui ne représentent pas la connaissance humaine dans son entièreté.

ChatGPT [27] , 12 mars 2023.

Il serait donc important de pouvoir déterminer avec précision la composition du jeu de données d’entraînement, et leur date de collecte. Ci-dessus, nous montrons une capture d’écran, datée du 12 mars 2023, qui montre que ce jour-là la version de ChatGPT datait du 13 février 2023. Aucun événement ou connaissance produite après le 13 février 2023 peut donc être incluse dans les données d’entraînement du modèle. Cependant, les systèmes d’IA conversationnelle évoluent très rapidement, et aujourd’hui des plugins de ChatGPT ou d’autres services tel que Bing permettent de récolter des informations depuis internet et en temps réel pour offrir des réponses toujours à jour.

ChatGPT [27] , 12 mars 2023 (réponses tronquées).

En approfondissant notre recherche, nous pouvons nous renseigner sur la plage temporelle du jeu d’entraînement. Toujours avec la même version de ChatGPT (cf.

ci-dessus), on s’aperçoit que le jeu d’entraînement se terminerait en septembre 2021. Pourtant, le modèle relate avec conviction ce qu’il s’est passé en février 2022, et commence à exprimer son ignorance à partir de mars 2022. Cela laisse entrevoir deux possibilités parmi tant d’autres :

• la plage temporelle rapportée est en réalité une information contenue dans les instructions du modèle. Ces instructions n’auraient pas été mises à jour lors des dernières itérations qui repousseraient le jeu de données jusqu’en février 2022.

• la plage temporelle rapportée est correcte et le modèle fait une erreur de communication en exposant ses prédictions de tendance comme des récits d’événements (vous remarquerez la similarité de réponse à propos du COVID-19 en février et mars).

Il peut être intéressant de vérifier comment le modèle répond aux questions concernant des plages temporelles qui lui sont forcément inaccessibles. S’il répond sans émettre de réserve quant à la limite de ses connaissances, des précautions sont nécessaires. De la même manière, un modèle entraîné sur un corpus de connaissances médicales ne sera pas qualifié pour répondre à des questions d’astrophysique.

Niveau d’attente

En tant qu’êtres humains, nous ajustons constamment nos attentes en fonction de notre interlocuteur. Cela devrait s’appliquer également aux modèles d’IA générative.

Le succès du moteur de recherche Google provient de sa capacité à indexer et rendre disponible à la recherche les énormes quantités de données présentes sur internet. Au fil du temps, l’usage de Google et les attentes des utilisateurs ont évolué : il arrive aujourd’hui que l’on pose une question à Google, sans se demander si le moteur a jamais indexé du contenu pertinent pour y répondre. ChatGPT n’a pas été conçu pour l’indexation et la recherche d’informations, mais pour pour dialoguer avec des humains, et pourtant il est souvent utilisé à la place de Google pour obtenir des informations. Nous trouvons ici une différence fondamentale entre les IA conversationnelles actuelles et l’esprit humain : une personne peut identifier et admettre ses lacunes, car en tant que rapporteur elle s’est fixé comme objectif de ne pas apporter de la confusion à son interlocuteur. Cet alignement d’objectifs établit une relation de confiance. Cela est aujourd’hui bien plus complexe pour une IA conversationnelle, qui aura du mal, dans certaines situations, à identifier les limites de ses connaissances et l’objectif de l’interlocuteur en face.

Les recommandations de Data For Good pour les data scientists

Lors de l’entraînement des modèles, porter attention à la véracité des sources utilisées. Certaines contre-vérités pourraient être évitées en entraînant les modèles sur des données de meilleure qualité.

Favoriser des approches pouvant citer leurs sources précisément. En attendant le développement de modèles dotés de meilleures capacités de raisonnement, il est important d’avoir des modèles capables de rapprocher leurs assertions d’une source vérifiée.

Suivre les demandes effectuées / les réponses apportées, notamment concernant les sujets sensibles (sécurité, politique…). L’idée est de pouvoir prévenir des usages inadaptés via des solutions de détection et / ou des filtres de l’information.

Points d’attention

Dans sa forme actuelle, l’IA générative présente les inconvénients d’autres services digitaux (tels que les réseaux sociaux), liés, par exemple, à des enjeux de vie privée, au traitement des données personnelles, à la génération de contenu haineux, ou encore à l’injection d’instructions malveillantes. De plus, ces IA souffrent d’autres problèmes spécifiquement liés à leur construction ou à leurs données d’entraînement, notamment des biais algorithmiques, qui seront discutés dans la partie 3.

Les recommandations de Data For Good pour les décideurs

Encadrer et systématiser la mention de leur usage dans la génération de contenu / d’information / de publicité. Les utilisateurs doivent pouvoir assez généralement juger de la sincérité / véracité du propos diffusé.

Demander la mise en place d’un cadre de traitement des requêtes et de réutilisation des modèles génératifs concernant les sujets sensibles (santé, publicité, sécurité, politique). A minima, les entités diffusant des modèles doivent pouvoir documenter les requêtes et réponses apportées aux sujets sensibles.