La reconnaissance faciale en ses limites

La reconnaissance faciale amène la police à ignorer des preuves contradictoires, explique le journaliste Eyal Press dans un remarquable article pour le New Yorker. Le biais d’automatisation consiste à accepter sans réserve ce que les machines disent et c’est d’autant plus vrai quand elles exécutent des fonctions impénétrables à ceux qui les utilisent, comme le pointait Ben Green en montrant les limites des outils d’aides à la décision à améliorer les décisions.

Voir également le dossier “interdire la reconnaissance faciale”
que je consacrais au sujet en 2020 pour InternetActu.net :
“La reconnaissance faciale n’est pas une technologie, c’est une idéologie !“
Quelles discriminations notre société est-elle prête à accepter ?

Quelque 117 millions d’Américains figurent dans des bases de données utilisées par des systèmes de reconnaissance faciale aux Etats-Unis. Les partisans de la reconnaissance faciale estiment que les erreurs sont rares. Mais encore faudrait-il savoir combien de personnes ont été identifiées par erreur sans que l’erreur ne soit reconnue ou que les accusés sachent que leur identification résulte d’un matching positif avec un système de reconnaissance facial… Or, la police n’a pas obligation de divulguer cette information, notamment parce que la reconnaissance faciale, officiellement, ne peut pas être à elle seule une cause d’arrestation !

*La une de l’article de Eyal Press pour le New Yorker.*

En fait, son utilisation comme les résultats qu’elle produit sont assez peu documentés. Dans nombre d’enquêtes impliquant la reconnaissance faciale et qui se sont révélées problématiques, bien souvent aucune vérification additionnelle n’a été menée, comme de regarder le bornage du téléphone de la personne arrêtée pour vérifier si elle était présente sur les lieux où elle est accusée, explique Ayal Press en évoquant l’histoire édifiante d’Alonzo Sawyer, arrêté à tort pour avoir supposément volé le téléphone d’un chauffeur de bus depuis la correspondance de la photo de son permis de conduire avec des images de vidéosurveillance. Alonzo Sawyer n’est pas le seul à avoir connu des problèmes avec la reconnaissance faciale, quelques cas ont été particulièrement documentés par la presse, comme Robert Williams, premier cas de détention injuste liée à la reconnaissance faciale, ou encore Michael Olivier, Nijeer Parks, RJ Moore, Poorcha Woodruf…

Reconnaissance faciale : en quoi avons-nous confiance ?

Le risque est bien que tout le monde ait une trop grande confiance dans les technologies de reconnaissance faciale, sans savoir très bien comment elle fonctionne. Une recherche dans un système de reconnaissance faciale est toujours subjective. Elle renvoie souvent une liste de candidats qui pourraient correspondre, ce qui signifie que la plupart des propositions faites sont des faux positifs. Même un score de matching de 99% ne serait pas une garantie ! Bien souvent, ce “matching”, qui apprécie la concordance des traits du visage d’un suspect à celle d’images de personnes dans une base de données, propose un chiffre de concordance qui n’est pas très clair pour les agents chargés de le décrypter. Que signifie une concordance de 91% par rapport à une concordance de 85%… Les différences sont-elles liées aux traits du visage ou à d’autres facteurs comme la pose, le flou ou la luminosité ? Parfois, une correspondance désigne une photo d’un suspect quand plusieurs du même suspect sont disponibles, sans matcher avec les autres images, alors que celles-ci peuvent être plus récentes ou de meilleures qualités. La boîte noire de la reconnaissance faciale est loin d’être lisible à ceux qui l’utilisent et elle produit bien peu d’explications sur ses limites.

Contrairement à ce que l’on pense, le fait de faire correspondre un visage à un autre ne repose pas seulement sur ce que la machine produit. Elle repose toujours et bien plus qu’on ne pense sur des humains et leur subjectivité. Ainsi, bien souvent, ce n’est pas la première occurrence du résultat que produit le matching qui est prise en compte, mais un autre profil, au croisement d’autres informations que le matching ne produit pas, comme la localisation géographique des candidats au matching. Certains systèmes de reconnaissance faciale affichent même des informations sur les arrestations antérieures à côté de chaque photographie de la liste des candidats, qui vont orienter le regard des policiers, par exemple vers quelqu’un déjà condamné pour vol quand on enquête sur un vol… Pour Alixe Towler, une spécialiste des sciences cognitives qui étudie ces systèmes, ces informations contextuelles peuvent également favoriser des biais cognitifs, conduisant un analyste à sélectionner la personne dont la biographie raconte la meilleure histoire, plutôt que celle présentée par le système comme ayant le plus de “ressemblance” avec le suspect. Enfin, les systèmes ne renvoient pas nécessairement les mêmes résultats, non seulement selon les bases utilisées, mais plus encore selon les systèmes de reconnaissance faciale qui y sont déployés ! Enfin, bien souvent, personne n’est formé à comprendre ces systèmes… et les agents qui les utilisent sont loin de les maîtriser ou d’en saisir les limites.

Nous savons très mal reconnaître les visages

Même en tant qu’humain, contrairement à ce que l’on croit, comparer et identifier des visages n’est pas si simple. Une étude demandant à des participants d’identifier une personne parmi un groupe de suspects photographiés, depuis des images de haute qualité dans des poses simples, montrait que le taux d’erreur était déjà de 30%. Et dès qu’on utilise des images de mauvaise qualité, comme c’est le cas de celles des caméras de surveillance, le taux d’erreur s’affole. Et les “spécialistes” de l’identification ne sont pas toujours meilleurs que les autres : des agents chargés de contrôler des passeports n’obtiennent pas de meilleurs résultats que des étudiants béotiens en la matière. Et la capacité à reconnaître quelqu’un s’effondre encore quand cette personne est d’une autre couleur de peau que celui qui doit identifier la personne (voir ce que nous disions des préjugés et stéréotypes raciaux appliquées aux images des caméras embarquées).

Pour la professeure de droit, Clare Garvie, il n’y aucune transparence sur la façon dont est utilisée la reconnaissance faciale et encore moins sur les erreurs qu’elle génère. Et ce manque de transparence est d’autant plus problématique que la reconnaissance faciale est bien plus utilisée qu’elle n’est réglementée. En 2016, dans l’un des rapports qu’elle publiait sur la reconnaissance faciale, la chercheuse constatait qu’aucun Etat américain n’avait adopté de lois pour réglementer l’usage de la reconnaissance faciale alors que 25% des services de polices et des agences fédérales américaines l’utilisaient. Aucune législation pour la réguler n’a abouti depuis. L’ACLU, l’union américaine pour les libertés civiles, la grande association de défense des droits, recommande son interdiction… D’autres recommandent un moratoire en attendant une législation établissant des lignes directrices pour limiter les abus. Une vingtaine de villes américaines ont interdit la reconnaissance faciale. Dans certains États quelques directives ont néanmoins été introduites, comme de ne l’utiliser que pour des crimes graves ou de ne pouvoir l’utiliser qu’avec un mandat. Mais ce n’est pas le cas partout, au contraire. Bien souvent, c’est plutôt une forme de laxisme et de laisser faire qui règne. A San Diego, où la police peut prendre en photo des personnes suspectées et les confronter à leur base de données, les personnes de couleurs ont deux fois plus de chance que les autres que leurs visages soient entrés dans la base de données avec cette méthode, au risque bien évidemment de ressortir plus facilement pour des faits parfois bénins ! “Plus vous interagissez avec la police, plus vous êtes arrêté, plus vous achetez de billets pour la loterie des erreurs d’identification”, explique Clare Garvie. Une façon d’atténuer ce problème serait de limiter les recherches aux bases de données dans lesquelles tous les citoyens sont représentés de manière égale, comme celles contenant les photos de leur permis de conduire, alors que dans des bases constituées par la police, bien souvent certaines communautés et certaines personnes sont surreprésentés, au risque d’être plus facilement tirés au sort par les systèmes.

L’article de Eyal Press évoque beaucoup les travaux de la juriste Clare Garvie (@ClareAngelyn, blog) du Centre sur la vie privée et la technologie de la faculté de droit de de Georgetown. Et effectivement, ceux-ci méritent le détour. La chercheuse est notamment l’auteure de plusieurs rapports, très documentés et très riches sur le sujet : The Perpetual Line-Up : unregulated police face recognition in America (2016), Garbage in, Garbage out : Face recognition on flawed data (2019), America Under Watch : Face Surveillance in the United States (2019) et Forensic without science (2022).

Reconnaissance faciale : une science sans science

*Le rapport de Clare Garvie, Forensic without science.*

Ce dernier rapport, aussi documenté que les précédents, explique que la reconnaissance faciale ne devrait jamais être considérée comme une source fiable d’identification d’un suspect et que les informations sur la manière dont la correspondance a été établie entre images du suspect et images de l’accusé devraient toujours être communiquées aux accusés. Garvie estime que la reconnaissance faciale connaît des limites comparables à l’analyse ADN, qui est loin d’être la reine des preuves, comme le documentaire le National Research Council américain en 2009 (voir les travaux du journaliste Jean-Marc Manach à la même époque). Comme l’analyse de l’ADN ou l’analyse d’empreintes digitales, la reconnaissance faciale est une méthode imparfaite et subjective, qui implique un jugement important, plus important que ne le laisse croire la rationalité scientifique dont on couvre les systèmes. Mais, contrairement à d’autres techniques médico-légales, la reconnaissance faciale ne dispose ni de normes universelles, ni de contrôles ou de protocoles permettant de garantir sa fiabilité, insiste la chercheuse. Son rapport de 2016 soulignait que ces systèmes commettaient des erreurs et que ces erreurs étaient supportées d’une manière disproportionnée par des communautés de couleurs. Elle montrait également que bien souvent, “l’humain dans la boucle” introduisait plutôt qu’il ne corrigeait les erreurs d’identification. En 2019, Garbage In, Garbage Out, montrait que nombre de photos étaient retouchées avant d’être soumises aux systèmes de reconnaissance faciale, ce qui revient à contaminer intentionnellement un échantillon biométrique affectant nécessairement la fiabilité de la correspondance.

Dans son dernier rapport, la chercheuse explique que la reconnaissance faciale n’est pas un outil d’enquête dont les erreurs seraient corrigées par la rigueur des preuves venant confirmer ou infirmer la reconnaissance faciale, au contraire. Trop souvent, la reconnaissance faciale est utilisée comme le seul moyen pour identifier une personne. Elle n’est pas toujours utilisée comme une piste, mais trop souvent comme un motif pour procéder à une arrestation. Ensuite, parce que les “preuves” produites par la reconnaissance faciale sont souvent utilisées sans informer les accusés et sans leur donner les moyens de les contester. Les arrestations injustifiées de Robert Williams, Nijeer Parks, Michael Oliver ou Alonzo Sawyer ne sont que les cas où l’erreur d’identification a été révélée, masquant tous ceux où les erreurs n’ont pas été prouvées.

Son rapport remet en cause la fiabilité de la reconnaissance faciale. Son utilisation est trop souvent problématique. Elle est dans de trop nombreux cas le seul élément de preuve reliant un individu au crime : des tribunaux émettent des mandats d’arrêts sur la base de seuls résultats de reconnaissance faciale, sans toujours être au courant qu’elle est le seul élément à charge.

Elle dénonce également que la fiabilité du matching est trop imparfaite, peu fiable voire médiocre. La manière dont la police procède aux recherches pose question et le fait que les résultats de recherche ne soient pas communiqués aux accusés pose problème, et ce d’autant plus que l’enquête qui suit une correspondance produite par la reconnaissance a surtout pour objectif de corroborer le matching.

Comment la reconnaissance faciale est-elle réellement utilisée ?

Garvie détaille la procédure d’utilisation de ces outils.

D’abord l’agent sélectionne une photo à introduire dans la base. Leur manque de qualité (le fait qu’elle soit pixellisée ou floue, sombre ou que le visage soit détouré…) a un impact direct sur la fiabilité du résultat, sans que des normes de qualité minimales ne soient requises, ni que les bonnes pratiques ne soient documentées. Certains logiciels disposent même de capacités d’édition intégrées, à la façon de Photoshop et utilisent parfois des fonctions qui permettent de générer une image depuis deux, capable de réorienter le visage, de compléter des parties manquantes ! On comprend vite que ce puisse être problématique.

Ensuite, le policier doit choisir la ou les bases de données dans lesquelles il va chercher une correspondance… Or celles-ci varient considérablement, certaines recèlent des images anciennes, des photos de mauvaise qualité… Les plus vastes bases de données ont tendance à produire plus de résultats mais avec des taux de matching plus ou moins crédibles.

Quand l’image est finalement introduite dans les systèmes, ceux-ci en génèrent un modèle, une représentation mathématique des visages (qui le réduisent à des gabarits géométriques, comme l’explique Kate Crawford, une forme de phrénologie également problématique), très différents d’un système l’autre, qui conduit à une grande variabilité de précision d’un modèle l’autre. Enfin, la recherche renvoie des listes de correspondances possibles, classées selon un score de confiance qui peut être présenté sous la forme d’un pourcentage ou d’un nombre. La longueur de cette liste dépend des facteurs pris en compte par le système souvent lié au score de confiance attribué, par exemple un système ne renverra pas de résultats en dessous d’un score de 85% de correspondance. Un score que l’agent peut ajuster pour augmenter ou diminuer le nombre de candidats de sa liste si elle ne lui convient pas. La liste produite peut-être augmentée, selon les systèmes utilisés, de l’historique criminel de chaque candidats correspondants. Elle est complétée d’autres informations morphologiques, comme l’âge, le poids ou le sexe qui sont comparées au profil du suspect et permettent également de trier les résultats. Dans cette liste, l’agent fait donc des choix et peut par exemple privilégier un suspect qui a une moindre correspondance mais qui a été arrêté dans une affaire similaire à un autre, à un suspect où la correspondance est meilleure mais qui n’habite pas dans le même État par exemple.

Une correspondance identifiée nécessite bien souvent une enquête complémentaire. Le matching n’est pas un élément d’identification en tant que tel. Le plus souvent, la photo qui ressort de ce tri est transmise à un témoin pour identification (dans des conditions qui peuvent être bien sûr très problématiques, comme de ne proposer qu’une image et une seule, ou de l’accompagner de commentaires définitifs…), qui, si elle est confirmée, donne lieu à un mandat d’arrêt… Mandat où n’est pas toujours signalé qu’il est lié à une reconnaissance faciale, ni n’est précisé son taux de correspondance ou le ratio de suspects proposés par le système…

En juillet 2019, c’est ce qui est arrivé à Michael Oliver à Detroit. Il est arrêté suite à un mandat d’arrêt lié à une correspondance dans un système de reconnaissance faciale, malgré des différences physiques évidentes entre Oliver et le suspect, comme le teint de peau, les traits du visage et surtout de nombreux tatouages. L’exemple montre que la technique de matching des images n’est pas infaillible et que leur fiabilité manque d’évaluation scientifique. La reconnaissance faciale n’est pas une technique médico-légale à ce jour, insiste Garvie. Mais surtout, l’examen humain est bien souvent plus problématique qu’on le pense. Et même la confrontation des témoins aux images pose problème, avec des identifications lacunaires. Pourtant, à mesure qu’on utilise la reconnaissance faciale, ce matching a tendance à devenir trop souvent la seule base d’arrestation d’un suspect…

Une évaluation partout défaillante !

Le NIST, l’Institut national des normes et de la technologie américain procède régulièrement à l’évaluation de différents algorithmes de reconnaissance faciale. Les taux de faux négatifs, c’est-à-dire d’identification manquées, varient considérablement, de 1 à 50%, selon les systèmes ! Si ces résultats s’améliorent avec les systèmes plus récents, ce ne sont pas toujours ceux-ci, loin s’en faut, qui sont utilisés par la police.

Clare Garvie montre un exemple pour rendre ses propos concrets : les résultats exécutés par deux algorithmes simultanément à partir d’une même image de suspect et sur une même base de recherche. Les 10 meilleurs résultats de correspondance de deux algorithmes concurrents ne renvoient aucune personne similaire ! Voilà qui devrait être édifiant et jeter un discrédit total sur ces technologies ! Ce n’est hélas pas le cas !

*Un suspect et 10 propositions de matching depuis 2 algorithmes de reconnaissance faciale différents exploitants la même base de données. Aucune correspondance !*

Les vendeurs de solutions ne sont soumis à aucun test d’exactitude indépendants, dénonce la chercheuse, et les acheteurs de systèmes manquent souvent d’expertise pour apprécier leurs caractéristiques distinctives. Elle rappelle enfin que les algorithmes de matching performent différemment selon les qualités de photographies, les écarts d’âge, mais plus encore selon les caractéristiques de sexe, d’âge et d’origine ethnique des suspects. Les erreurs sont plus élevées pour les enfants, les femmes, les personnes âgées et, parfois, certaines populations de couleurs. De fait, “l’exactitude d’une recherche donnée peut changer en fonction de la démographie de la personne que les policiers cherchent à identifier”.

Enfin, une requête repose aussi sur une appréciation humaine, explique Clare Garvie. Or les études montrent qu’il faut pour cela une formation solide pour déjouer ses propres biais cognitifs et que, contrairement à ce que l’on pense, nous ne sommes pas si bons à identifier les gens. Les taux d’erreurs à identifier des gens par des humains varient considérablement selon la qualité de l’image, la pose, l’âge, l’expression. “La correspondance des visages est une tâche difficile et sujette aux erreurs”, pas seulement pour les machines, pour les humains également. Seule une formation spécifique et assez longue permet d’améliorer marginalement ces résultats, explique Clare Garvie en suivant les recommandations produites par le Groupe de travail sur la reconnaissance faciale, en pointant bien que ces formations ne sont pas magiques et que l’enjeu est peut-être bien plus d’avoir des opérateurs spécialisés que de laisser ces outils à disposition de tous les agents.

Garvie rappelle d’autres exemples. En mai 2004, le FBI arrête l’avocat américain Brandon Mayfield suspecté d’être impliqué dans l’attaque terroriste d’un train de la banlieue de Madrid qui a tué 193 personnes, du fait de la correspondance d’une empreinte digitale récupérée sur le sac du détonateur. Le fait que Mayfield se soit converti à l’islam et ait défendu un client dans une affaire terroriste l’accable. Le FBI s’est surtout pris les pieds dans ses propres biais cognitifs. Il y a toujours nombre d’informations et de représentations associées aux enquêtes qui renforcent les biais des agents. Garvie rappelle le cas de Lana Canen, libérée après 8 années passées en prison, accusée sur la base d’une correspondance d’empreinte digitale retrouvée sur une scène de crime, soulignant que la question des correspondances d’empreintes peut être tout aussi difficile que le matching de la reconnaissance faciale.

Dans ses conclusions, Garvie rappelle que de nos jours, la science défectueuse est la première source d’erreurs judiciaires. Certes, on peut croire que les avantages dépassent les préjudices… et que cela reste aux tribunaux d’évaluer les preuves. Officiellement, pour la justice et la police, la reconnaissance faciale ne constitue pas une preuve suffisante. Dans les faits, elle conduit trop souvent à des arrestations et des condamnations sans autres preuves. Très souvent, la place et le rôle de la reconnaissance faciale n’est pas claire, et n’est pas toujours explicitée à la défense comme à la police et à la justice qui l’utilisent pourtant abondamment. Si pour l’instant, nous n’avons connaissance que de quelques cas d’arrestations infondés, il est probable qu’il y en ait d’autres, notamment de gens qui ont reconnu une culpabilité inexistante pour faire diminuer leur peine, comme le prévoit la procédure américaine. L’analyse de fiabilité de la reconnaissance faciale est pour l’instant défaillante, conclut la professeure de droit. Or, il est possible qu’un jour, elle devienne une preuve en soi dans une affaire criminelle. Sans certification de fiabilité de la reconnaissance faciale comme l’outil médico-légal qu’il prétend être, sans que nous soyons capable d’apporter des garanties scientifique contre les erreurs, les jugements subjectifs et les biais cognitifs, “nous devrions envisager d’abord d’éliminer l’utilisation de la reconnaissance faciale des enquêtes pénales”, conclut pertinemment la chercheuse.

A l’heure où nous apprenons que son utilisation est généralisée en France bien qu’illégale et qu’elle risque toujours d’être étendue, l’enquête de Clare Garvie interroge non seulement sur son utilisation, mais également sur les résultats qu’elle produit. Si on lit les éléments que pointe la chercheuse, on peut certes proposer plusieurs pistes d’encadrements :

Poser le cadre d’une évaluation des systèmes par la science ;
Limiter son utilisation à des agents formés ;
Documenter précisément ses usages pour les évaluer également.

L’extension de la vidéosurveillance nous a montré que malgré l’inexistence de ses résultats, celle-ci s’était imposée partout. Le risque est grand que la reconnaissance faciale suive le même programme. Et il est probable que les pistes d’encadrements de la reconnaissance faciale ne soient pas plus suivies d’effets que celles de la vidéosurveillance. Certes, on peut poser le problème sous forme d’une question de choix de société, mais la réponse risque également de ne pas être adaptée au problème. Les choix de nouvelles technologies devraient être bien plus encadrés qu’ils ne le sont, alors que bien souvent, on assiste à l’effet inverse, les nouvelles options sont bien moins cadrées que les plus anciennes, l’expérience aidant bien souvent à construire de meilleurs barrières. Enfin, le risque majeur est celui d’un changement de fonctionnalité de ces outils, qui est très difficile à border, comme de les utiliser pour certains types de délits puis de les élargir à des délits mineurs avant de les utiliser pour des identifications qui ne relèvent d’aucun délit.

Personnellement, je pense que c’est une technologie démocratiquement dangereuse, qu’il faut très strictement encadrer et limiter. Comme le dit la Quadrature du Net : “l’intelligence artificielle transforme radicalement l’économie politique de la vidéosurveillance”. Le risque, c’est que l’on assiste à l’exact inverse. Ceux qui sont en charge de développer et d’utiliser la reconnaissance faciale ne sont pas sérieux et il n’y a donc aucune raison que nous leur confions un outil puissant et défaillant. La reconnaissance faciale n’est pas la technique fiable et magique que l’on pense, au contraire. Mais comme bien des technologies, tout son argumentaire, sa promesse, consiste à nous convaincre du contraire.

Hubert Guillaud