Algorithmes : contrôle des biais S.V.P.

Le mardi 10 mars, Anne Bouverot (présidente du conseil d'administration de Technicolor et présidente, Fondation Abeona, co-présidente du groupe de travail), Dominique Cardon (directeur, Médialab de Sciences Po), Marie-Laure Denis (présidente, CNIL) et Sasha Rubel (experte du programme Innovation Digitale à l’UNESCO) étaient réunis afin d’échanger sur le rapport publié ce jour par l’Institut Montaigne Algorithmes : contrôle des Biais S.V.P.. Les échanges étaient modérés par Nicholas Vinocur (Technology Editor chez Politico). Après une brève introduction de Camille Godeau, directrice adjointe de l’Institut Montaigne, et une présentation du rapport par Anne Bouverot, les débats ont porté sur les solutions en France et à l’international pour répondre aux enjeux que posent les algorithmes. 

​

Les enjeux actuels des biais algorithmiques 

Les biais algorithmiques posent des questions de société selon Dominique Cardon. Le rôle de l’algorithme est de classer, filtrer, ordonner. Par définition donc, il est biaisé. La question qui se pose est celle de la capacité de l’algorithme à représenter statistiquement des populations (par exemple dans le cas du classement scolaire ou du recrutement). Un autre risque repose sur les algorithmes de recommandation en ligne, auxquels on reproche d’aller à l’encontre du libre arbitre de l’individu.

De même, le choix de l’objectif d’équité de l’algorithme représente en lui-même un enjeu. En effet, au nom de l’optimisation de l’équité individuelle, on peut laisser de côté l’équité de groupe, et vice-versa. Enfin, alors que, précédemment, les tables statistiques comportaient une centaine de variables, aujourd’hui les algorithmes de machine learning multiplient les variables sans permettre de voir les chemins de prise de décision. 

Réguler sans freiner l’innovation, un cadre législatif existant sur lequel s’appuyer

Pour autant les algorithmes représentent aussi une opportunité selon Marie-Laure Denis, un message qui fait écho au rapport de l’Institut Montaigne. La difficulté est alors de rester attentif aux risques de biais, sans entrer dans une démarche qui freine l’innovation.

Marie-Laure Denis partage également le constat du rapport qu’un arsenal législatif et réglementaire existe. La législation actuelle encadre la collecte et l’utilisation de données personnelles et interdit qu’une machine puisse prendre une décision sans action humaine. Le Conseil constitutionnel a réitéré ce principe en déterminant qu’il ne peut y avoir une procédure fiscale enclenchée sans une action humaine. De plus, la loi pour une République numérique de 2016 impose des critères de transparence. Enfin, le RGPD a mis en place un principe de proportionnalité et a renforcé la sécurité des données. Ce cadre répond ainsi à des préoccupations éthiques et juridiques. 

Cependant, un enjeu demeure concernant la responsabilisation des acteurs vis-à-vis de leurs algorithmes. La mission conduite par la CNIL en 2017, pour laquelle 45 débats avaient été organisés sur le territoire, a abouti à la rédaction d’un rapport sur les algorithmes. Celui-ci est construit selon deux grands principes : loyauté et vigilance. 

De même, d’après Sasha Rubel, à l’échelle internationale une collaboration a été mise en place. C’était déjà le cas en 2015, à travers la démarche de l’UNESCO visant à réaliser une charte de l’universalité d’internet déterminant des principes fondamentaux. Aujourd'hui, Sasha Rubel souligne que l’UNESCO élabore une charte normative de l’intelligence artificielle qui sera finalisée en 2021.

Selon Dominique Cardon, il est aussi essentiel de mettre en relief l’avance prétendue de certaines entreprises étrangères face aux acteurs français. Concernant le domaine de la santé par exemple, Google semble posséder un large spectre de données mais a en réalité accès à des signaux faibles sur l’état de santé des gens, en comparaison des données de la carte vitale. Toutefois, si le RGPD a rehaussé le niveau juridique de protection des données sensibles, l’usage de ces données doit être fortement encadré. Il est donc nécessaire de laisser la possibilité de déterminer la réponse adaptée au cas par cas selon Marie-Laure Denis.

Limiter les biais dès l’élaboration de l’algorithme jusqu’à son déploiement: tests, explicabilité, formation

La notion d’explicabilité est défendue aux échelles nationale et européenne. Selon Dominique Cardon, il y a une demande de compréhension de plus en plus forte dans la société face à des systèmes parfois opaques. L’explicabilité est ainsi mentionnée dans le rapport de la Commission européenne, bien que définie d’une manière non technique, en mettant d’autres principes en valeur : transparence, responsabilité, non-discrimination et diversité. Aux Pays-Bas, un tribunal vient par exemple d’interdire au gouvernement néerlandais d’utiliser un logiciel tant que son code n’aura pas été publié. De même, la CNIL avait mis en demeure l’Education nationale afin qu’elle rende le code de sélection d’APB public. Mais rendre un code public ne suffit pas forcément. Le rapport présenté par Anne Bouverot défend la nécessité d’avoir encore plus d’exigence pour les algorithmes à fort impact, en demandant non seulement de la transparence sur les données utilisées mais aussi la mise en place d’un droit de recours.

Afin de faire face aux risques de biais, toute une série d’acteurs doit être mobilisée, mêlant les communautés impliquées, les chercheurs ainsi que la société civile. Au niveau international, le besoin est aujourd’hui celui d’une alphabétisation vis-à-vis de l’IA selon Sasha Rubel. 

Un mouvement est également en train d’avoir lieu pour développer, au sein de l’Etat, des capacités d’audit pour créer des relations nouvelles avec les plateformes au-delà des sanctions punitives. Le AI Now Institute et Kate Crawford ont ainsi créé un cadre pour réaliser des études d’impact algorithmique. 

Développer une approche d’équité active

Une recommandation importante du rapport est la mise en place de tests vis-à-vis de variables protégées, qui ne seraient pas dans les données initiales mais envers lesquelles les systèmes de machine learning pourraient être indirectement discriminants. En effet, même sans que des algorithmes de machine learning aient accès à des données sensibles, par exemple l’origine ethnique, le genre ou la religion, il est possible de les retrouver par d’autres critères. Plutôt que de chercher à ne pas les regarder, il est nécessaire d’intégrer ces données sensibles au moment du test de l’algorithme, pour pouvoir s’assurer que l’algorithme ne discrimine pas - c’est ce que Anne Bouverot appelle “équité active”. 

Malgré tout, la question de la représentation statistique d’un groupe (les femmes ou une minorité ethnique par exemple) dans le monde réel demeure centrale et rend difficile d’identifier de manière unilatérale ce que constitue un biais.