Les recommandations de Data For Good pour les utilisateurs

Rester vigilant et questionner les réponses données par les ChatBot des entreprises/administrations. Notamment vérifier lesquelles sont entièrement algorithmiques et lesquelles pourraient reposer sur des données personnelles et créer des biais. En cas de soupçon de biais, ne pas hésiter à saisir l’autorité compétente (CNIL, Autorité de la Concurrence).

Biais inhérents au modèle

La deuxième composante fondamentale de la fabrication du biais est évidemment le modèle en lui-même.

Les modèles d’IA générative ne discriminent pas volontairement, ni utilisent directement les variables « sensibles » telles que origine ethnique, genre, âge, situation de handicap,…. Pourtant, les biais persistent, car il ne suffit pas de supprimer les variables sensibles pour faire disparaître les biais : ils apparaissent au travers des variables dites « proxys ». Il s’agit de variables en apparence inoffensives, mais qui sont corrélées aux variables sensibles et portent donc la représentation du biais (le code postal du lieu de résidence est par exemple un bon proxy de l’origine ethnique).

À noter que c’est parce que le modèle fonde sa décision sur les proxys que les enquêtes de testing, qui consistent à tester l’algorithme avec des données qui ne varient que de la variable à tester (par exemple deux CV identiques dont seul le genre va changer) ne détectent souvent pas la discrimination [118]

Il existe plusieurs façons d’agir sur le modèle pour atténuer l’apparition de biais algorithmiques. Une des solutions envisageables est de forcer une discrimination positive. Dans le cas de DALL-E, le choix a été fait de rajouter des mots aux prompts envoyés pour faire apparaître plus de femmes et de personnes de couleur [119]. Des internautes s’en sont aperçus en tronquant leur demande : « génère moi une personne tenant une pancarte où il est écrit ». Au milieu des propositions inintelligibles se distinguent des images sur lesquelles on peut lire « black » ou « female », suggérant que ces mots ont été ajoutés au prompt afin de faire remonter des images plus diverses.

[118] https://www.linkedin.com/pulse/discrimination-algorithmique-des-syst%C3%A8me-dia-mesurerd%C3%A9tecter-besse/

[119] https://www.newscientist.com/article/2329690-ai-art-tool-dall-e-2-adds-black-or-female-to-someimage-prompts/

Réponses choisies [120] d’images générées par DALL-E au prompt «a person wearing a shirt that says», juillet 2022.

Mais la discrimination positive n’est pas la seule approche – elle n’est même généralement pas considérée comme viable par la communauté scientifique. Des solutions techniques existent ou émergent, de la contrainte d’équilibre des taux d’erreurs [121] à l’utilisation du transport optimal de Lipschitz [122] .