Les algorithmes contre la Sociale

Voici la présentation et le verbatim donnée à la conférence On est la Tech organisée par ce collectif militant, le 15 décembre 2022.

Le numérique est “une nouvelle ère de la productivité dont l’information, la communication et le calcul seraient les principaux ressorts” définit le sociologue Dominique Cardon dans son excellent manuel, Culture Numérique. Pour ma part, je défini le numérique comme un projet industriel total, où l’information, la communication et le calcul servent à produire de nouveaux gains d’efficacité. J’ajoute les termes industriel et total, car le projet vise à relier et interconnecter le financier au calcul comptable, les ressources, le travail comme le social au calcul comptable et financier, en temps réel. Le but, “l’objectif” comme dirait Kate Crawford, est d’inter-relier tous les points de données entre eux. Le numérique est un projet d’intégration et de maîtrise normative par les chiffres et le calcul, où chaque élément est pris en compte et influence les autres. 

Le numérique (qu’on parle de logiciels, d’algorithmes ou d’IA) propose une réponse par le calcul à la massification, c’est-à-dire une réactivité pour traiter les grands volumes, pour limiter le coût de fonctionnement des services même si pour se faire, cela suppose de supprimer les caractères différenciés des individus. 

Le numérique permet de procéder à des traitements qui passent à l’échelle (scalables, comme ont dit dans la Start-up Nation), en promettant qu’ils soient plus économes, plus rapides, plus efficients. Le problème est que cette vision du numérique est profondément idéologique – on parle de rapidité, d’économie et d’efficacité, sans montrer qu’elle se fait au bénéfice de certains et au détriment d’autres. Elle traduit la symbiose entre le capitalisme et le projet numérique. Derrière l’interconnexion totale, il y a une orientation politique, des “objectifs” assignés au calcul. Et c’est notamment le cas dans le domaine du social. 

Les travaux de Virginia Eubanks (qui ont presque 10 ans) ont montré que la mise en place de systèmes numériques dans le domaine social produit toujours une diminution des droits à l’encontre des plus démunis. Nombre de systèmes sociaux mis en place depuis (aux Etats-Unis ou en Australie comme elle l’a documenté, au Royaume-Uni, aux Pays-Bas, mais également en France) sont profondément dysfonctionnels. Les biais, les logiques austéritaires et libérales qui président au déploiement des systèmes ne produisent que la dégradation des systèmes sociaux et des services publics (“ce patrimoine de ceux qui n’en ont pas”), de la justice et de l’équité vers lesquels ils ne devraient jamais cesser de tendre. 

En fait, la numérisation accélérée des services publics, sous prétexte d’économie budgétaire, devient un levier de leur définancement, de la minimisation des droits, voire, un moyen d’empêcher les administrés d’accéder à leurs droits. Depuis les travaux d’Eubanks, on constate finalement que partout, le déploiement de systèmes de traitements de masse des bénéficiaires d’aides ou de services publics est problématique, et la cause est autant à trouver dans les choix de développement que dans les considérations idéologiques qui président à ceux-ci. Partout, le but est de gérer la pénurie et de l’étendre, de “dématérialiser” sous prétexte de “moderniser” (comme on dit dans le monde du service public). Le but n’est pas de faire des services publics qui rendent le service qu’on en attend, que de faire des services publics qui produisent des gains économiques, de la rentabilité, selon une logique austéritaire. Le numérique est l’outil pour rendre effective la rationalisation budgétaire : partout, il vise à traiter plus de bénéficiaires avec moins de personnels, plus de prestations avec moins de moyens. Le numérique est un outil non neutre, qui vise à procéder à des traitements de masse tout en réduisant leurs coûts immédiats. 

Plus qu’une privatisation, la “dématérialisation” relève d’une dépossession, expliquent Matthieu Aron et Caroline Michel-Aguirre dans leur livre, Les infiltrés. Dans le numérique : “L’Etat à perdu le contrôle”, expliquent-ils c’est-à-dire que l’administration est désorganisée par une numérisation qu’elle ne maîtrise pas (qui génère erreurs répétées, opacité, absences d’interlocuteurs, obstacles aux procédures, complexité, non recours…), vendue à la consultocratie : “90% des grands chantiers informatiques, clé de voûte de la modernisation, sont aux mains de cabinets de conseil”. Le problème, c’est que ces logiciels embarquent une vision idéologique de rentabilité à court terme des services publics, d’intensification de la gestion, d’individualisation des calculs, de transfert de charge de travail aux usagers, de surcontrôle… au détriment de leur qualité et des besoins des administrés. Pour le dire très simplement et de manière provocatrice : nous sommes cernés non seulement par des politiques et législations de droite, mais également par des logiciels de droite dont le principal objectif est de réduire et défaire l’état social.

Dans son excellent livre, Brutalisme, le philosophe Achille Mbembe ne regarde que le fonctionnement des systèmes qui organisent et brutalisent le contrôle et la police, les systèmes qui s’en prennent aux plus démunis des démunis : les migrants. Il en tire plusieurs règles. La principale, c’est la révocabilité des droits : sous l’effet du calcul, les droits sont en permanence réajustables, changeants, mouvants. Ils sont recalculés, modifiés sans cesse pour tenir les objectifs qu’on leur assigne – nous montrant que la neutralité que l’on prête aux chiffres et aux données n’est qu’une façade pour endormir toute lutte politique. 

Prenons le temps d’observer très concrètement ce qu’il se passe dans un des systèmes majeurs auxquels nous sommes tous confrontés. Un système qui ne cesse d’évoluer dans la plus grande opacité alors qu’il a des effets essentiels sur la société. On pourrait en observer plein d’autres. Regardons rapidement ce qu’il se passe à la CAF.

L’automatisation du contrôle à la CAF, c’est des milliers de données pour plus de 30 millions de contrôles automatisés annuels. C’est un dispositif disproportionné par rapport à ce qui est recouvré et plus encore par rapport au non recours, dénonce avec raison l’association Changer de Cap. Les indus récupérés par ce surcontrôle s’élèvent à 829 millions d’euros pour 98 milliards de prestations versées, soit 0,8% du total. A titre de comparaison, on estime que plus de 25% des ayants droits au RSA ne le touchent pas, ce qui représente 3 milliards d’euros. Le contrôle automatisé profile les familles selon un score de risque qui vise principalement les plus précaires et ce sans communication ni sur le score de risque ni sur les modalités de calcul, comme l’oblige pourtant la Loi pour la République numérique de 2016. Dans son livre, Contrôler les assistés, le sociologue Vincent Dubois rappelle combien cette automatisation repose sur une interconnexion des données problématique entre différents services administratifs. 

Depuis mars 2022, l’association @Changer de Cap demande que la CNAF rende publique les modalités de calcul et les données qu’elle utilise, comme l’y oblige la loi. Que les citoyens puissent avoir accès à leur score. Que les contrôles aléatoires remplacent les contrôles ciblés. Ces contrôles automatisés attaquent plus particulièrement ceux qui ont des ressources (et donc des situations) fragiles et discontinues. Le moindre changement de ressources déclenche un contrôle, pointe l’association qui dénonce le surciblage des plus précaires. A la suite du rapport du Défenseur des droits, le rapport de la petite association Changer de cap pointe de nombreuses atteintes aux droits : notifications qui ne mentionnent ni faits, ni droits, ni recours ; communication des informations rendue impossible dans les délais… “Dans les 3/4 des cas observés, cela entraîne une suspension totale de tous les droits, et pas seulement de la prestation contrôlée.” Et dans la plupart des cas, les contrôles sont découverts a posteriori par les usagers, du fait du non versement de l’allocation à date ! Les pratiques de recouvrement automatisées ignorent l’obligation légale du reste à vivre et procèdent le plus souvent par compensation entre les aides, sans fournir d’explications sur les variations de versements. Plus grave encore, dans la logique de la CAF, “l’erreur et les oublis non intentionnels sont assimilés à une fraude”, et ce malgré la complexité des règles et ce alors que la fraude ne devrait caractériser que les fraudes intentionnelles ! A ce jour, la CAF n’a répondu a aucune des demandes légitimes que pose l’association.

L’utilisation du numérique pour le contrôle social est une réalité et derrière les systèmes de calcul de droits, on voit bien qu’une logique, qu’une orientation politique, idéologique est à l’œuvre : limiter l’accès aux droits des bénéficiaires. Cette logique austéritaire est à l’oeuvre dans nombre d’autres systèmes publics à destination d’autres publics. Elle est par exemple à l’oeuvre dans les systèmes de contrôles de pratiques des soignants, par exemple à l’hôpital, dans la demande de codage des actes médicaux qui vise à mesurer les actes effectués par les praticiens sur les patients. Elle est à l’oeuvre également dans les crèches. La prestation de service unique (PSU) (initiée en 2002 et profondément réformée en 2014) est une aide au fonctionnement versée par la CAF aux gestionnaires d’établissements d’accueil du jeune enfant (Eaje). Ces versements sont liés non pas au nombre d’enfants accueillis, mais au taux de remplissage. Avant 2014, la CAF remboursait les crèches en fonction des heures facturées aux parents. Depuis, elle utilise un ratio heures de présence et heures facturées qui complique la gestion des établissements en rendant les plannings compliqués, favorise le sur-booking et donc la surcharge des personnels, voire conduit à réduire les amplitudes horaires pour limiter les heures creuses, mal remboursées, empêchant les structures de s’adapter aux besoins des familles. Là encore plusieurs actions ont été initiées – comme en 2017, celle du collectif “Nos crèches ne sont pas des dépose-minute”,  mais sans que la CAF n’assouplisse ou ne revienne sur sa politique. 

Ces exemples – parmi d’innombrables – soulignent l’importance des modes de calculs, leurs impacts directs sur la société. Les changements sociaux désormais sont liés à la modification incessante des règles de calculs, qui ne sont pas neutres, mais bien ajustés à des politiques. Le problème, c’est la dissociation croissante des calculs de leurs impacts. Nous sommes confrontés à des politiques économiques qui s’implémentent dans des logiciels, sans évaluations aucune de leurs effets ou niant leurs effets désastreux ou collatéraux par pure logique idéologique, comme le dénonçaient très clairement les journalistes économiques de Médiapart, Romaric Godin et Mathias Thépot, qui montraient combien l’évaluation des réformes avait partout été abandonné, alors qu’elles doivent normalement évaluer leurs impacts avant d’être adoptées et après leur adoption. 

Nous observons assez mal dans ces systèmes de calcul les calculs eux-mêmes. Nous avons par exemple des Délégués à la protection des données, mais aucun Délégués à la protection des calculs, capables d’orchestrer et surveiller la conformité en matière de calcul, c’est-à-dire le fait qu’il favorise bien ce qu’il devrait faire dans une société démocratique, c’est-à-dire, normalement, favoriser l’équité et la justice sociale. Qu’est-ce que les calculs produisent ? Qu’est-ce qu’ils limitent ? Comment agissent-ils ? Faute de temps, prenons un exemple et un seul : celui des calculs d’appariements. L’appariement est l’essence des calculs actuels : il consiste à assembler des choses entre elles en calculant le meilleur assemblage possible. Pour produire cet assemblage, bien souvent, les systèmes produisent un score pour chaque objet à assembler : entre un bénéficiaire potentiel et un logement social, entre un client et un prêt, entre une personne et une autre dans une application de rencontre, entre un étudiant et une formation, entre un donneur et un receveur d’organe. Le problème est de savoir comment est construit ce score, s’il est équitable, et s’il reflète bien ce qu’il est censé calculer.

Dans son récent livre, Voices in the Code, David G. Robinson raconte la longue et riche histoire de l’appariement de la transplantation rénale aux Etats-Unis. Il y rappelle que dès l’origine, affecter un rein à un patient n’est pas seulement une décision médicale, mais également une décision morale. Dès l’origine de la transplantation rénale comme de la dialyse, pour affronter la pénurie de reins comme de machines, il a fallu faire se rencontrer la considération médicale qui détermine qui est éligible et une considération morale, chargée de trancher les décisions non-médicales d’attribution, notamment de déterminer entre deux patients médicalement éligibles, lequel doit être prioritaire, selon quels critères. Robinson rappelle par cet exemple, le dialogue nécessaire entre science et société. Le risque pourtant est que ce dialogue n’ait plus lieu. Qu’on enterre la science sous le calcul. Pour attribuer un rein, on calcule une qualité des organes des donneurs, mais également une urgence du receveur pour évaluer leur comptabilité. Grâce au calcul, il est désormais possible de faire entrer dans celui-ci d’innombrables attributs pour améliorer leur “précision”… Allant de critères médicaux (mais qui ont également des contraintes sociales, comme la prise en compte des antigènes ou des groupes sanguins qui sont distribuées inégalement selon les populations et notamment selon l’origine ethnique) à d’autres qui le sont beaucoup moins, comme la distance entre le donneur et le receveur. Reste qu’au final, aujourd’hui encore, une personne peut se voir refuser une greffe au profit d’une autre parce que cette dernière habite 400 mètres plus près de l’hôpital où un greffon est disponible qu’une autre. 

On a exactement la même chose dans Parcoursup, où l’essentiel des candidats ne sont pas suffisamment différents entre eux pour être distingués les uns des autres. La distribution des candidats à une formation est surtout concentrée autour de candidats très équivalents les uns des autres. Comment distinguer deux candidats qui ont 12 de moyenne ? Pour les distinguer on va avoir recours à des critères qui ne sont pas vraiment pédagogiques, comme dans le calcul d’appariement d’un rein, nous prenons en compte des critères qui n’ont plus rien de médicaux. Par exemple, en affectant un poids à une appréciation d’un professeur, en intégrant des critères de distance à une formation ou le nombre d’absence d’un élève – sans que cette information ne soit causale. Qu’importe que ce soit parce que vous ayez manqué l’école parce que vous prenez le train tous les matins pour vous y rendre et que celui-ci est notoirement défaillant ou parce que vous êtes obligé de garder des frères et sœurs malades… ou parce que vous faites le mur.  

En fait, quand des candidats sont cliniquement ou pédagogiquement équivalents, rien ne les départage vraiment. La précision du scoring, du calcul, est bien souvent une illusion. Le risque est bien alors de transformer les questions morales en questions techniques. L’essentiel des candidats est si semblable, que rien ne les distingue dans la masse, les uns des autres. Faire croire que la solution consiste à calculer des différences qui n’ont plus rien de scientifiques est le grand mensonge de la généralisation du scoring. Or, pour ne pas rendre le monde plus inégalitaire qu’il n’est déjà, nous devrions refuser de procéder à un calcul pour le calcul, comme les médecins de la dialyse et de la greffe ont refusé de trancher les questions morales de l’attribution du rein, en estimant que c’était à la société et à ceux que ça impactait de trancher ces problèmes, d’établir les règles, les critères et leurs limites. Le risque, sinon, c’est que partout se multiplient des formes de calcul qui, sous couvert de leur objectivité produisent surtout des inégalités et des discriminations. Que les décisions prises par le calcul invisibilisent leurs lacunes morales et politiques.  

On pourrait pointer d’autres problèmes liés à la mise en calcul de la société. Par exemple, un outil très utilisé, le seuil, qui fait qu’au-delà d’un certain niveau de revenu stricte vous ne bénéficiez pas d’un droit (une aide au logement ou une bourse d’étude par exemple) ou qu’il faille avoir une certaine moyenne (12 et pas 11,85) pour être retenu par une formation… quand bien même vous ne bénéficiez que d’un euro de plus que le seuil ou que de 0,001 point de moins… Aujourd’hui, trop souvent ces seuils sont appliqués strictement sans calculer leur iniquité.

Alors comment faire pour rendre la société du calcul plus juste et plus équitable ?

Pour conclure, je veux esquisser 3 pistes parmi bien d’autres.

Les algorithmes n’ont aucune raison d’être mystérieux et leurs limites morales devraient être partagées, notamment pour que nous puissions faire collectivement le travail nécessaire pour les améliorer. Pour cela, partout où les calculs ont un impact important sur la vie des gens, les systèmes de calculs devraient être transparents. Mais pas seulement transparents à un moment T, mais transparents en continu. Débattus et discutés, via des discussions et réunions publiques… Les systèmes ayant un impact majeur sur la vie des gens devraient être des systèmes à la recherche continue de leur propre amélioration par une discussion ininterrompue et ouverte avec la société. Leurs évolutions devraient être discutées dans ce qu’on pourrait appeler des comités de parties prenantes, dont le but devrait être l’amélioration de l’équité et de la justice des calculs. Des comités qui ne devraient pas être seulement consultatifs, mais impliqués dans les décisions, capables de produire une algovernance. Des comités qui ne devraient pas seulement être composés d’experts, mais également d’usagers. On devrait les imaginer comme des structures obligatoires à tout système à fort impact social. C’est le “rien pour nous sans nous” de ceux qui réclament d’être à la table et pas seulement au menu de ce que l’on conçoit pour eux, que ce soit des associations de défense des personnes handicapées, des associations de malades, comme des collectifs qui défendent une approche féministe des données, pour prendre soin des données et des calculs. Il est temps de faire entrer à la CAF, dans Parcoursup, dans les systèmes d’attribution de prêts bancaires, des commissions d’usagers, des conventions citoyennes, des jurys d’usagers (appelez-les comme vous voulez) pour initier des dialogues bien trop inexistants et œuvrer à des améliorations continues.  

Une autre piste consiste à renverser la logique idéologique des systèmes. Si nous sommes cernés par des logiciels de droite, alors il nous faut inventer des logiciels de gauche, qui reposent sur d’autres valeurs et d’autres logiques. L’accès aux écoles publiques post-bac de la ville de New York repose sur un système comparable à Parcoursup. Chaque école établit ses propres critères de sélection (des critères qui sont publics et qui reposent le plus souvent sur une note à des tests standardisés). Pourtant, comme chez nous, le système encourage une fausse méritocratie qui attribue aux meilleurs les meilleures places, invisibilisant les discriminations sociales et raciales liées aux inégalités fondamentales de nos sociétés. Le collectif lycéen Teens Take Charge milite pour un système où les écoles ne choisiraient pas leurs élèves selon leurs mérites individuels ou leurs résultats à des tests standardisés, mais pour un système où chaque école devrait accueillir des étudiants selon une distribution représentative des résultats aux tests standardisés, afin que les meilleurs, comme les moins bons, ne soient pas concentrés dans les meilleures écoles, mais mieux distribués entre chaque école.

Trop souvent, le marché impose une solution de calcul et une seule. Les acteurs publics se rabattent sur la solution proposée sans envisager même d’alternatives. Dans le domaine du numérique nous manquons d’alternatives aux calculs. Pourtant, elles sont possibles. Prenons un exemple très polémique comme Compas, ce système d’évaluation automatisé du risque de récidive utilisé par la justice aux Etats-Unis. De nombreuses enquêtes de chercheurs, de journalistes, de défenseurs des droits… ont montré le caractère éminemment défaillant de ce système (et on pourrait élargir ce constat à d’autres formes d’évaluation du risque dans le domaine du social notamment celles qui évaluent la fraude ou le calcul de risque de violence à l’égard des enfants…). Des initiatives ont montré qu’on pouvait proposer des modes de calculs alternatifs à Compas. Compas repose sur l’idée que le risque serait inhérent aux caractéristiques individuelles d’individus, à leur histoire, à leur parcours, à leur identité. Pourtant, on pourrait imaginer d’autres systèmes. Par exemple, proposer des systèmes qui proposent pour chaque individu la meilleure solution pour qu’ils ne récidivent pas où se présentent au tribunal, en recommandant pour chacun les aides les mieux adaptées plutôt que de chercher à les empêcher de sortir du fait du risque que le système leur attribut. Un autre système, ESAS, propose lui de ne pas donner accès aux juges un score de risque pour chaque prévenu – dont ils suivent trop souvent les recommandations -, mais plutôt un logiciel qui leur donne accès aux peines similaires prononcées dans des affaires antérieures selon des antécédents de condamnations proches, leur permettant de comparer leur sentence et de relativiser leurs jugements. Comme le disent les chercheurs Marianne Berlotti ou Ben Green nous avons besoin de systèmes qui élargissent les choix plutôt qu’ils ne les réduisent, qui permettent de s’y projeter, plutôt que d’y être contraints, qui permettent de mieux réfléchir plutôt que d’accélérer la décision.

Ces quelques pistes, parmi bien d’autres, devraient nous aider à rendre le monde automatisé plus lisible, plus transparent, plus responsable, plus juste qu’il n’est. C’est désormais au cœur des systèmes que sont produites et reproduites les inégalités qui façonnent nos sociétés. C’est donc au cœur des systèmes qu’il nous faut agir. Plutôt que de nous laisser dépolitiser par le calcul, nous devons montrer combien il est politique. C’est, il me semble un enjeu stimulant à relever pour ceux qui sont la tech ! Au plaisir de nous y retrouver !

Advertisement