L’audit de biais algorithmiques

Tout comme leurs concepteurs humains, les algorithmes ne sont pas aussi neutres qu’on le pense.

Prenons un exemple. Saviez-vous qu’en 2010, un algorithme a été créé pour anticiper et empêcher les futurs crimes à Chicago ? Plus qu’une boule de cristal, PredPol a été conçu pour prédire les zones dans lesquelles la criminalité était susceptible de se produire. Ainsi, les forces de l’ordre pouvaient déployer des ressources de manière préventive et éviter les crimes.

Pas mal, hein ?

Cependant, cet algorithme a été critiqué au fil du temps en raison de son possible biais racial. Des chercheurs se sont rendu compte que l’algorithme orientait trop fréquemment ses prédictions vers des quartiers déjà défavorisés.

Pas malin…

Il existe tout un tas d’exemples de biais algorithmiques. On peut parler notamment des préjugés sexistes dans les recommandations d’emploi. Et oui ! Les algorithmes de recrutement ont été critiqués parce qu’ils favorisaient les hommes.

Est-ce que ça vous étonne ?

Comme l’algorithme a été entraîné sur des données réelles remplies de stéréotypes de genres, il les a reproduits. On peut donc dire que les algorithmes sont le reflet d’une réalité déjà biaisée.

C’est dans l’optique de lutter contre ces discriminations que des lois¹ sont proposées en Europe et à l’échelle mondiale pour forcer les algorithmes en ligne à être plus responsables. Mais il est impératif de reconnaître que l’adoption de lois n’est qu’une première étape ! Il faut ensuite vérifier et appliquer ces lois. C’est précisément à ce stade qu’intervient mon sujet de thèse portant sur l’audit algorithmique.

L’audit algorithmique consiste à s’assurer qu’un algorithme d’apprentissage n’est pas biaisé. “Comment ?”, me demandez-vous. Eh bien, l’une des façons de faire, c’est de créer des profils fictifs de clients qu’un enquêteur envoie ensuite à l’algorithme qu’il souhaite tester. L’enquêteur récolte toutes les données de l’algorithme et en déduit les biais potentiels dans le processus de prise de décision. Est-ce que les femmes ont les mêmes offres d’emploi que les hommes ? Est-ce que les policiers seront aussi envoyés dans les quartiers favorisés de Chicago ?

Finalement, c’est un peu comme si vous, cher lecteur, étiez un critique culinaire ! Le guide Michelin vous envoie, ainsi que plusieurs critiques culinaires, commander différents plats dans un restaurant pour évaluer sa qualité. Tout comme vous ne connaissez pas les recettes de cuisine et le fonctionnement interne du restaurant, l’enquêteur ne connaît pas la logique interne de l’algorithme qu’il étudie. On parle d’audit en boîte noire : l’enquêteur ne peut déduire les biais algorithmiques qu’à partir des données issues de l’algorithme. Est-ce que les légumes sont bien assaisonnés ? Seules des papilles confirmées comme les vôtres peuvent répondre à cette question sans savoir la dose exact de sel dans le plat.

Plusieurs défis surgissent lors de l’audit d’algorithmes pour détecter d’éventuelles discriminations. En premier lieu, la réglementation impose une limitation du nombre de requêtes pouvant être soumises à la plateforme. Vous ne pouvez pas commander tous les plats qui sont à la carte du restaurant : vous vous feriez tout de suite détecter par le serveur ! Cette contrainte accentue l’importance du choix stratégique des requêtes afin de maximiser l’efficacité de l’audit.

De plus, il est souvent difficile de déterminer pourquoi une certaine partie de la population est discriminée par un algorithme spécifique. Est-ce que le restaurant est réputé pour rater ses desserts parce que le cœur du gâteau au chocolat n’est pas coulant ou c’est plutôt parce que la crème anglaise qui l’accompagne est trop sucrée ? Ou encore l’intersection de ses deux critères…

À vous de juger !

En bref, l’audit algorithmique devient essentiel pour s’assurer de la conformité aux lois et directives anti-discrimination. Cela contribue à identifier les biais potentiels dans les systèmes automatisés. Mais pour cela, l’audit doit être minutieusement planifié, ce qui est très difficile pour l’instant.

 

¹ Digital Service Act, IA Act

---