Dans la machine à suspicion : des limites des systèmes de scoring de l’aide sociale à Rotterdam

Depuis les travaux pionniers de Virginia Eubanks, il y a une dizaine d’années, on sait que les systèmes électroniques mis en place pour calculer, distribuer et contrôler l’aide sociale sont bien souvent particulièrement défaillants, et notamment les systèmes automatisés censés lutter contre la fraude, devenus l’alpha et l’oméga des politiques publiques austéritaires. Wired et les journalistes d’investigation néerlandais de Light House Reports, ont associé leurs forces pour enquêter sur l’un d’entre eux. Ils ont obtenu le code et les données d’entraînement du système, leur permettant de reconstruire le système de scoring de l’aide sociale à Rotterdam pour tester son fonctionnement. Dans une longue enquête en ligne, ils livrent leurs résultats. Des résultats éclairants pour comprendre les limites de ces systèmes, qui font échos aux luttes contre les décisions des systèmes sociaux en Europe et aux questions que posaient militants et chercheurs sur les systèmes de détection des fraudes sociales en France qu’on évoquait lors des rencontres du Mouton numérique. 

La Une de l’article de Wired.

A Rotterdam, ce sont quelques 30 000 personnes qui bénéficient d’aides sociales : aides au logement, aides pour payer des factures ou pour acquérir de la nourriture, rappelle l’enquête de Wired… En 2017, la ville a déployé un nouveau système de lutte contre la fraude aux allocations mis en place par Accenture. Le système génère un score de risque sur tous les bénéficiaires de l’aide sociale, selon des critères problématiques, puisqu’il prend en compte l’âge, le sexe, la maîtrise du néerlandais. 

En 2021, la ville de Rotterdam a suspendu ce système après avoir reçu un audit sur celui-ci, commandé par le gouvernement. Wired et Light House ont obtenu l’algorithme ainsi que les données d’entraînement, ce qui a permis de reconstruire le système et tester son fonctionnement. Cette machine à détecter la fraude est avant tout une “machine à soupçon”, expliquent les journalistes : “ce qui apparaît à un travailleur social comme une vulnérabilité, comme une personne montrant des signes de faiblesse, est traité par la machine comme un motif de suspicion”. Les commentaires des travailleurs sociaux sur les dossiers (qui peuvent être invasifs – comme de noter la durée de relation amoureuse – ; subjectives – comme l’avis de l’enquêteur social sur la motivation ou l’attitude d’un bénéficiaire – ; ou banales – nombre de mail envoyés aux services sociaux -; voire non pertinentes – si un bénéficiaire fait du sport) qui servent normalement à documenter l’information sont visiblement exploités par le système, d’une manière particulièrement problématique. C’est là l’information principale de cette enquête d’ailleurs. Les commentaires des travailleurs sociaux sont pris en compte. Par exemple, le fait qu’une femme sans emploi avec deux enfants soit “mal habillée” pour pouvoir aller répondre à des entretiens d’embauches, est un commentaire qui est utilisé par le système. 

L’algorithme de Rotterdam n’inclut pas explicitement l’origine ethnique ou le lieu de naissance, parmi les 315 variables qu’il utilise pour calculer le score de risque. Mais d’autres variables servent de substituts à l’ethnicité, notamment le fait qu’à Rotterdam, les bénéficiaires de l’aide sociale doivent parler néerlandais ou montrer qu’ils font des efforts pour y parvenir (il y a un test à passer qui est indiqué dans la fiche sociale). L’indication de la langue maternelle ou le fait de vivre avec des colocataires peuvent également servir de substituts. L’indication de la langue maternelle a été reconnue comme problématique par la Cour des comptes néerlandaise, et ce d’autant plus que différentes langues reçoivent des chiffres différents ayant un impact différent sur le score de risque d’une personne (ce qui signifie donc qu’il y aurait une échelle des langues en action, sans qu’il ait été possible de la connaître).

Exemples de variables qui agravent le score de risque de fraude aux allocations sociales dans le système de Rotterdam.

L’algorithme de Rotterdam comporte 54 variables basées sur des évaluations subjectives faites par des travailleurs sociaux. Cela représente 17 % du total des variables, chacune ayant des impacts variables sur le score. “L’utilisation de ces évaluations subjectives soulève des signaux d’alarme éthiques pour de nombreux universitaires et défenseurs des droits de l’homme. “Même lorsque l’utilisation de la variable ne conduit pas à un score de risque plus élevé, le fait qu’elle ait été utilisée pour sélectionner des personnes suffit à conclure qu’il y a eu discrimination”, explique Tamilla Abdul-Aliyeva, chercheuse sur la technologie et les droits de l’homme à Amnesty International.”

“Et ce n’est pas seulement l’inclusion d’évaluations subjectives qui est préoccupante – ces systèmes prennent également des informations nuancées et les aplatissent. Le champ de commentaire dans le système de Rotterdam, par exemple, où les assistants sociaux sont invités à faire des observations générales, est binaire. Tout commentaire est converti en “1”, tandis qu’un champ vide est converti en “0”. Cela signifie que les commentaires négatifs et positifs affectent le score de la même manière. Si, par exemple, un travailleur social ajoute un commentaire indiquant « ne montre aucun désir d’obtenir des résultats », cela a le même effet sur le score de risque qu’un commentaire indiquant « montre un désir d’obtenir des résultats ». Le manuel remis aux assistants sociaux pour l’évaluation des bénéficiaires ne mentionne pas que leurs commentaires seront introduits dans l’algorithme de notation des risques, ni que les commentaires positifs et négatifs seront lus de la même manière.”

Sur les 30 000 bénéficiaires de l’aide sociale à Rotterdam, environ 10 % (soit ceux classés au-dessus de 27 000 sur la liste) risquent de faire l’objet d’une enquête. Les journalistes ont montré que le fait d’être une femme impacte le classement négativement. De même, le fait d’avoir des enfants, le fait d’être seul et de sortir d’une relation longue, le fait d’avoir des difficultés financières. 

Selon l’algorithme, une femme qui ne diffère d’un profil masculin que sur 8 des 315 variables, est trois fois plus susceptible d’être signalée comme fraudeur. “L’écart entre leurs deux scores, bien qu’ils aient des données qui se chevauchent pour la plupart, découle de la façon dont la machine établit des liens entre certains traits.” Même constat sur le profil du migrant qui ne parle pas néerlandais. 

En observant les données d’entraînement du système, les journalistes ont constaté que les groupes sociaux y étaient mal représentés. Notamment, il y avait très peu de jeunes dans ces données. Or, dans les tests de l’algorithme de scoring, la jeunesse était l’attribut le plus important dans l’augmentation des scores de risque. “Pour l’algorithme, il semblait que les jeunes étaient plus susceptibles de commettre une fraude à l’aide sociale, mais il a tiré cette conclusion sur la base d’un échantillon si petit qu’il était effectivement inutile.”

L’algorithme de décision de Rotterdam repose sur un arbre de décision de 500 questions, oui/non, mais en changeant un seul attribut, le sexe, le parcours de questions se révèle très différent. Les hommes, par exemple, peuvent être évalués pour leurs compétences linguistiques et leur situation financière, tandis que les femmes peuvent être notées selon qu’elles ont des enfants ou si elles sont en couple. Ce que montre la rétroingénierie du système, c’est que les variables âge et sexe ont une énorme influence sur le score de risque. 

Un autre problème, soulignent les journalistes, tient au fait que nombre de fraudes relèvent surtout d’erreurs, liées au fait que tout changement de vie ou de revenu doit être signalé rapidement (c’est le cas notamment, on l’a vu dans le livre du sociologue Vincent Dubois, sur la mise en couple, qui est un statut binaire pour l’organisme d’aide, quand dans la réalité, c’est parfois un peu plus compliqué). Ces algorithmes pourtant traitent les erreurs comme la fraude délibérée de la même manière. 

“Les défauts dans les données de formation et la conception de l’algorithme se combinent pour créer un système d’une imprécision alarmante, affirment les experts”. Si une personne est considérée comme ayant des difficultés avec le néerlandais, elle est deux fois plus susceptible d’être signalée pour une enquête sur une fraude à l’aide sociale qu’une personne qui parle le néerlandais. L’enquête révèle également que le système discrimine les personnes vulnérables en les évaluant plus fortement en raison de leurs vulnérabilités, telles que le fait d’avoir des enfants ou des difficultés financières. Pourtant, rien ne montre que les femmes, les personnes qui ne parlent pas néerlandais ou les parents commettent plus de fraudes à l’aide sociale que les personnes appartenant à d’autres groupes ! Les journalistes ont demandé aux services sociaux s’ils ont trouvé plus de fraudes dans certains groupes spécifiques. Pour l’instant, les responsables ne leur ont pas répondu. C’est pourtant bien là le levier pour démontrer l’inanité du système : les groupes vulnérables jugés comme suspects par le système enfreignent-ils la loi plus souvent que les autres ? 

Dans l’article de Wired, il est possible de jouer avec un calculateur simplifié pour montrer comment certaines caractéristiques affectent le score de risque de fraude des allocataires. En haut, un score de risque faible (homme âgé qui parle le néerlandais…) en bas, un score élevé (femme jeune avec enfant…).

Les journalistes concluent en soulignant que Rotterdam est la seule ville qui a partagé le code de son système. Qu’elle a remis la liste des variables, les évaluations des performances du modèle, le manuel utilisé par ses data scientists, ainsi que le modèle d’apprentissage. C’est cette transparence inédite qui a permis de montrer combien le système était déficient. En 2017, Accenture promettait des résultats impartiaux et équitables. 

“La réalité de la machine à suspicion de Rotterdam est radicalement différente. Il s’agit d’un algorithme qui échoue au propre test d’équité de la ville.” Il est si opaque qu’il refuse toute procédure régulière à ceux qui en sont les victimes. 

La ville a fait son mea culpa. En partageant son expérience, elle espère montrer à nombre d’autres systèmes, leurs limites. Pour cela, la transparence est primordiale. Les systèmes publics doivent être capables de rendre des comptes sur les méthodes et outils qu’ils mobilisent. 

Bonjour @cnaf_actus, vous vous prêteriez enfin au même exercice pour voir ? https://t.co/Sym0vFTZ83

— Olivier Tesquet (@oliviertesquet) March 6, 2023

A bon entendeur !

Hubert Guillaud

MAJ du 8 mars 2023 : Wired et Light House poursuivent leur série d’articles sur les systèmes de surveillance à l’aide sociale défaillants. Signalons tout d’abord que Light House a publié un article assez exhaustif sur leur méthodologie pour recréer le système mis en place par la ville de Rotterdam. Un des articles de Wired revient sur l’algorithme de Rotterdam, en se plaçant du côté des bénéficiaires soumis à l’autorité des algorithmes. On y découvre la réalité d’un contrôle souvent brutal, qui utilise des infractions mineures dans les déclarations de revenus pour couper les aides ou réclamer des indus, comme le fait qu’un enfant ait vendu sa console de jeu sur un équivalent local du BonCoin, ou comme le fait d’avoir reçu de petites sommes de parents (la ville a depuis assouplit ses règles sur le montant d’argent que les gens peuvent recevoir de leurs proches). “Sur les quelque 30 000 personnes qui reçoivent des prestations de la ville chaque année, environ un millier font l’objet d’une enquête après avoir été signalées par l’algorithme de la ville. Au total, Rotterdam enquête sur jusqu’à 6 000 personnes par an pour vérifier si leurs paiements sont corrects. En 2019, Rotterdam a émis 2 400 sanctions en matière d’avantages sociaux, qui peuvent inclure des amendes et la suppression complète des avantages sociaux. En 2022, près d’un quart des litiges concernant des problèmes liés à l’aide sociale parvenus à la plus haute juridiction du pays provenaient de Rotterdam.” Depuis la suspension du système, la ville travaille à une nouvelle version et promet un effort de transparence, d’information et de garanties.  

Un autre article, intitulé “Le Business de la détection de fraude a un sale secret”, revient sur les difficultés, pour les citoyens, d’être confrontés à des systèmes de traitements publics opérés par des entreprises privées. L’article raconte comment le gouverneur de l’Indiana, Mitch Daniels, en 2005, a signé un contrat de 1,3 milliard de dollars avec IBM pour mettre en place un système de détection de la fraude des bénéficiaires de l’aide sociale de l’Etat. Pourtant, ce partenariat a été un désastre. Annulé en 2008, l’Indiana et IBM ont passé une décennie en conflit juridique. En 2012, la justice a rendu un verdict accablant sur le système lui-même. Ce jugement “aurait dû sonner le glas de l’activité naissante de l’automatisation de l’Etat-providence”. Il n’en a rien été. 

La une de l’article de Wired sur le business de la détection de la fraude aux prestations sociales.

Les systèmes de détection de fraude sociale constituent une part importante de l’industrie nébuleuse des “govtech”, ces entreprises qui vendent de la technologies aux autorités publiques en promettant de rendre l’administration publique plus efficace. En 2021, ce marché était estimé à 116 milliards d’euros en Europe et 440 milliards dans le monde. Des entreprises du monde entier – et notamment de grands cabinets de conseils –  vendent aux gouvernements la promesse que des algorithmes de “chasse à la fraude” vont leur permettre de mieux gérer les fonds publics. Le problème, c’est que les solutions qu’elles vendent sont surpayées et sous-supervisées. Trop souvent, le code de ces systèmes qui évalue qui est accusé de fraude, relève de la propriété intellectuelle de ces entreprises, ce qui génère une totale opacité et rend très difficile aux administrés d’obtenir des informations sur les modalités de calcul.

Au Royaume-Uni, une association, la Coalition des personnes handicapées du grand Manchester (avec l’aide du collectif militant Foxglove) tente de déterminer si les personnes handicapées sont les victimes des projets d’automatisation de l’aide sociale. L’association a lancé une action en justice contre le ministère du travail et des pensions britannique pour mettre en évidence la discrimination potentielle dans son algorithme de détection des fraudes au détriment des personnes handicapées, qui seraient plus souvent ciblées par ces systèmes (voir par exemple cette interview qui explique un peu mieux l’enjeu). En Serbie, des avocats cherchent à comprendre pourquoi un nouveau système a fait perdre à des centaines de familles roms leurs allocations. Sans transparence, il est “très difficile de contester et d’évaluer ces systèmes”, rappelle Victoria Adelmant, directrice du projet d’Etat-providence numérique de l’université de New York. 

L’automatisation des aides publiques a laissé une traînée de scandales dans son sillage, rappelle Wired, évoquant des problèmes d’accusation de fraude sociale massive dans le Michigan (j’en parlais par là), comme en Australie (j’en parlais par ici), ou aux Pays-Bas (de ce côté). Non seulement ces déploiements ont accusé des innocents de fraude sociale, mais bien souvent, en leur demandant des remboursements indus, ces systèmes leur ont enfoncé la tête sous l’eau. 

Derrière ces systèmes, on trouve certes des entreprises informatiques, mais également de grands cabinets de conseils comme Accenture, Cap Gemini, PWC… Les experts sont coûteux, et le secteur public peine à aligner ses salaires sur ceux du privé pour opérer par lui-même ces systèmes et les superviser. Et l’article de revenir sur la crise de SyRI (qu’on avait évoqué il y a peu). Aux Pays-Bas, dans la région de Walcheren, les responsables des systèmes sociaux se sont rendu compte que leurs algorithmes, développés par la startup Totta Data Lab, présentaient des similitudes frappantes avec SyRI, qui venait d’être condamné par le tribunal. Le problème, c’est que les autorités locales de Walcheren, en interne, reconnaissaient qu’ils n’avaient pas l’expertise pour vérifier l’algorithme développé par leur prestataire. Un institut de recherche indépendant a depuis effectué un audit de l’algorithme de Totta, en pointant ses nombreuses incohérences, et le fait que les scores de risques semble relever bien plus du hasard qu’autre chose. 

Le problème, c’est que ce manque de transparence a un coût. D’abord pour les victimes accusées de fraudes. Ensuite, pour la société elle-même et ceux qui luttent pour dénoncer les abus de ces systèmes : il faut des années de procédures pour montrer les lacunes techniques des systèmes. En Serbie, un bénéficiaire de l’aide sociale s’est vu refusé l’accès à une soupe populaire au prétexte que son statut de bénéficiaire aurait brutalement changé. En se renseignant, le bénéficiaire a appris que le système estimait qu’il aurait perçu de l’argent sur son compte bancaire, alors qu’il n’en disposait pas. L’enquête a montré que de très nombreux roms ont perdu leurs prestations sociales depuis l’introduction d’un nouveau mode de calcul et l’accès à de nouvelles données. Une association a demandé l’accès au code source du système de calcul, sans l’obtenir au motif que cet accès violerait le contrat que le service public a passé avec Saga, l’entreprise qui a déployé ce nouveau système… Le refrain est lassant. 

“Malgré les scandales et les allégations répétées de partialité, l’industrie qui construit ces systèmes ne montre aucun signe de ralentissement”, constate Wired A l’été 2022, le ministère italien de l’Économie et des Finances a adopté un décret autorisant le lancement d’un algorithme qui recherche les écarts dans les déclarations de revenus, les revenus, les registres de propriété et les comptes bancaires pour identifier les personnes risquant de ne pas payer leurs impôts. “Mais à mesure que de plus en plus de gouvernements adoptent ces systèmes, le nombre de personnes signalées à tort pour fraude augmente. Et une fois que quelqu’un est pris dans l’enchevêtrement des données, cela peut prendre des années pour s’en libérer”. Aux Pays-Bas, des familles ont tout perdu. Après une enquête publique, le gouvernement a accepté de verser une indemnisation conséquente aux familles qui n’a pas toujours suffit à combler les pertes qu’elles ont rencontrées. A Belgrade, les familles roms continuent de se battre pour le rétablissement de leurs droits. 

Un autre article, nous emmène, lui, au Danemark, pour nous expliquer que “le pays modèle de l’Etat-providence” est devenu un “cauchemar de surveillance”. Si le Danemark est l’un des Etats providence le plus financé au monde, sa Public Benefits Administration est depuis une dizaine d’années sous surveillance et la lutte contre la fraude sociale est devenue l’épicentre de la vie politique. En 2011, KMD, une des grandes sociétés informatiques du Danemark a estimé que 5% des versements de l’aide sociale seraient frauduleux (en France, on l’estime la fraude à 0,39% de tous les versements, aux Pays-Bas à 0,2%). Pourtant, la croyance dans une fraude sociale généralisée a permis à l’administration danoise de développer des systèmes de détection de fraude très sophistiqués, notamment en démultipliant l’accès de ses agents à des bases de données permettant de compiler de l’information sur les impôts, le logement, les revenus, la citoyenneté et même de surveiller les voyages à l’étranger des administrés. Pour le groupe de défense des droits de l’homme danois, Justitia, l’administration développe une surveillance systématique et disproportionnée par rapport au niveau de fraude sociale réel. 

La Une de l’article de Wired sur les algorithmes de détection de fraude Danois.

Suite aux estimations de KMD, le cabinet de conseil Deloitte a publié un audit sur les systèmes de l’administration, les jugeant inadaptés pour détecter la fraude et proposant de les dématérialiser pour remplir cette nouvelle mission. En 2015, un projet de loi est donc venu refondre l’Etat-providence danois en étendant les pouvoirs de l’administration chargé des prestations sociales, la dotant d’une “unité d’exploration des données”. La loi est votée en avril 2015, deux mois avant la nomination du conservateur Troels Lund Poulsen en tant que ministre de l’Emploi. Dirigée par Annika Jacobsen, responsable de la cellule d’exploration des données et de détection des fraudes de l’administration danoise des bénéfices publics, l’administration a démultiplié les contrôles tout azimuts en élargissant l’accès de son administration à nombre d’autres services de l’administration, raconte Wired. La directrice de cette administration se défend pourtant. Pour elle, les algorithmes ne font que signaler les bénéficiaires suspects. Les agents mènent des enquêtes et les citoyens peuvent faire appel des décisions, rappelle-t-elle. Sur 50 000 problèmes détectés et ayant fait l’objet d’une enquête en 2022, 4000 (soit 8%) ont reçu une sanction. L’Institut danois des droits de l’homme, un organisme indépendant, comme l’autorité danoise de protection des données, n’en ont pas moins critiqué l’ampleur et la portée de la collecte de données. Justitia compare l’administration danoise à la NSA américaine, tant rien de la vie privée des danois ne semble échapper à la surveillance du système chargé de l’aide sociale. L’administration, elle, justifie son action par l’efficacité. 

Dans toute l’Europe, la lutte contre la fraude sociale se tourne vers les algorithmes, rappelle Wired. “La France a adopté la technologie en 2010, les Pays-Bas en 2013, l’Irlande en 2016, l’Espagne en 2018, la Pologne en 2021 et l’Italie en 2022”. En 2021, le scandale hollandais qui a accusé quelque 20 000 familles de fraude à tort aurait dû alerter tous ces systèmes de leurs dérives possibles. Cela n’a pas été le cas, bien que le système ait été abandonné quand l’autorité néerlandaise de protection des données a découvert que le système avait utilisé la nationalité comme variable et qu’Amnesty International ait parlé de “profilage ethnique numérique”. La loi sur l’IA de l’Union européenne pourrait interdire tout système qui exploite les vulnérabilités de groupes spécifiques, rappelle Wired, y compris ceux qui sont vulnérables en raison de leur situation financière. Les systèmes de détection de fraude, dans ce cadre, pourraient être étiquetés comme des systèmes à hauts risques et être soumis à des exigences strictes de transparence et de précision. 

Pour Lighthouse Reports, le système danois semble utiliser lui aussi des variables problématiques, notamment la nationalité mise en cause dans le système néerlandais. Ces systèmes très intrusifs reposent sur une profonde méfiance à l’égard des pauvres, estime Victoria Adelmant, directrice du Digital Welfare and Human Rights Project. Au Danemark pourtant, là encore, seul un “très petit” nombre de cas impliquent une véritable fraude.

A croire que les défaillances des systèmes reposent d’abord sur les a priori idéologiques qui président à leur déploiement.

Advertisement