Sommes-nous entrés dans les sociétés du profilage ?

La couverture du livre de Philippe Huneman.

Les sociétés du profilage (Payot, 2023), le livre du philosophe des sciences, Philippe Huneman, est un livre difficile, et son manque de clarté, parfois, n’est pas aidé par son art de la digression intempestive. Bref, autant vous prévenir, il faut un certain temps pour s’y installer. Ce que le philosophe réussit pourtant, c’est de montrer la complexité de la question du calcul, en nous immergeant dans la description des différents profils qui agissent par devers nous. Ce que le philosophe rate, à mon sens, c’est de clarté sur les limites du profilage et de proposer des concepts éclairants. On peut lui faire notamment un reproche : comme Zuboff, Huneman peine à mettre en doute l’efficacité des calculs, leurs apories. Les profils veulent nous prédire, nous faire acheter… mais l’un comme l’autre oublient de souligner combien ces prédictions marchent mal. Cet infléchissement des conduites est bien souvent marginal, peu opératoire. De la police au marketing, les calculs prédictifs sont largement défaillants. Si nos outils numériques captent notre attention, je suis pour ma part plus sceptique sur leurs autres effets (nous faire acheter, nous faire changer de comportement…) qui sont pourtant le moteur de leur déploiement sans limite.  

Après les sociétés disciplinaires et de contrôle, les sociétés de profilage ?

Sommes-nous passés des sociétés de disciplines aux sociétés de contrôle, et entrons-nous dans des sociétés de profilage, plus que de surveillance ? On serait très légitime à être d’accord avec cette thèse, qui se veut le cœur du livre de Huneman. Reste que cette lecture ne m’a pas convaincu, d’abord parce que le profilage est bien moins puissant que le contrôle ou la discipline, et surtout parce que nous sommes loin de consentir au profilage, contrairement à ce qu’affirmait Bernard Harcourt. La discipline, le contrôle et la surveillance peuvent être des fantasmes d’ordres puissants, mais le profilage, lui, fait plutôt fuir tout le monde. Le calcul reste fait par devers nous, bien masqué aux utilisateurs qui se débattent avec leurs effets. Bien souvent, nous ne savons rien des profils qui sont produits sur nous et surtout de leur efficacité, très discutable. 

Pour Huneman, l’enjeu des technologies de collectes et de traitements n’est pas tant de surveiller que de prédire. C’est effectivement, avec le tri et le matching, l’un des moteurs, mais c’est oublier combien ces tris et prédictions sont surtout fausses. Leur efficacité est pourtant bien suffisante pour nous faire croire le contraire, qu’importe si le tri ou la prédiction se font sur des éléments abscons, sans réalité autre que celle d’un calcul approximatif, imprécis et surtout injuste. La prédiction calcule depuis ses biais et ses lacunes pour trouver des prédicteurs (de dépression ou d’achat par exemple) suffisamment efficaces pour nous le faire croire, mais qui sont surtout extrêmement contextuels et volatiles et qui produisent des “vérités” problématiques, comme quand le calcul du score de greffe finit par donner un petit point de plus à une personne en attente de greffe qui habite quelques mètres plus près d’un hôpital qu’un autre. 

Nous ne sommes plus tant dans le contrôle et la surveillance normative des comportements, que dans l’âge de la prédiction, qui vise à évaluer les croyances et les préférences à la volée, non pas tant pour les domestiquer, pour les discipliner que pour les rendre productives, explique assez justement Philippe Huneman. Nous voici à l’ère des traces et données massives, qui, pour les faire parler, sont comparées les unes aux autres. Cet extractivisme sans limite nous dépossède de nos données, que nous sommes incapables, nous, de faire parler, parce qu’elles ne parlent que comparées à d’autres. La plus-value est dans le traitement et dans sa rétroaction sur nos propres profils et jusqu’à nos comportements, ce “surplus comportemental” dont parlait Zuboff. Pourtant, la fiabilité n’est pas tant le fait de la quantité de données recueillie, de leur véracité ou de leur précision, que de la prévalence des calculs, c’est-à-dire du fait qu’ils imposent avec eux leur monde. L’essentiel du profilage sert à produire de la publicité sans que l’efficacité de la publicité sur le monde ne soit jamais démontrée. Certes, les images et les termes auxquels nous sommes confrontés ont une influence, mais laquelle ? Quelle est leur force ? Leur impact ? Leur résistance ? Bien souvent, les chiffres de l’impact publicitaire, même numérique, restent extrêmement bas, ce qui devrait nous rappeler que cela ne marche massivement pas. 

De même, le score de crédit n’est pas plus fiable avec plus de données. Il est plus réactif, certainement. Mais sa fiabilité ne tient pas à la quantité de données, mais à leur qualité et à leur agencement. Il n’est pas meilleur s’il évalue votre comportement depuis des données problématiques, comme le fait de mettre des patins sous vos chaises ou de prendre soin de votre voiture (qui seraient des marqueurs de personnes qui remboursent très bien leurs crédits). Au contraire, en ingérant des éléments psychologisant, le score de crédit montre surtout qu’il intègre des a priori et des biais à la neutralité du calcul qui devrait être le sien, qui ne devrait se baser que sur la capacité financière à rembourser, sans prendre en compte d’éléments fantasques. Certes, en les intégrant, il maximise peut-être pour la banque le fait d’être remboursé… mais au détriment de la justice et de l’équité. Trop souvent, on incorpore des données, toujours plus fluides, toujours plus contextuelles, toujours plus en temps réel pour produire des calculs qu’on présente comme plus précis, plus réactifs. On oublie que nombre de calculs ne devraient pas prendre en compte le temps réel. Nombre d’entre eux sont par exemple annuels plus que mensuels, ce qui permet d’apporter des perspectives aux individus (les impôts par exemple, mais c’est encore le cas de nombre d’aides sociales, comme les bourses calculées à l’année, non sans raison). En réduisant la prédiction à un calcul instantané, le risque bien sûr est de générer des droits à la volée, comme le disait très distinctement Achille Mbembe. 

Certes, Huneman a raison de dénoncer “l’opacité radicale” de ces opérations calculatoires, mais la transparence et l’explicabilité ne suffiront certainement pas à rendre les calculs plus justes, s’ils ne permettent pas de limiter ce qu’ils peuvent prendre en compte et ce qu’ils ne devraient pas prendre en compte.  

Le profilage repose bien plus sur les corrélations que la causalité, pointe très justement le philosophe. Ce qui nous fait sortir du schéma épistémologique classique, c’est-à-dire du schéma d’explications de nos connaissances. Huneman prend ainsi l’exemple de Slamtracker, l’outil d’analyse des joueurs de tennis lancé par IBM au début des années 2010, qui prédit les victoires en analysant la structure des points gagnés par les joueurs. Pour ces systèmes, les clés d’une victoire se déterminent aux points gagnés, aux nombre de premières balles passées, par une analyse fine, granulaire du jeu (dans le baseball, on parlait de sabermétrie, initié très concrètement au début des années 2000 par le manager de l’équipe d’Oakland, Billy Beane). Rémi Sussan nous le disait déjà il y a longtemps, ce qui manque, dans les prédictions, c’est le pourcentage d’incertitude sur celles-ci, tout comme le retour sur leurs défaillances. Dans le monde du profil, les erreurs n’en sont jamais. Elles sont incorporées aux données pour produire de nouvelles prédictions qui s’annoncent toujours plus justes qu’elles n’étaient… jusqu’à ne plus l’être du tout, à l’image de l’outil de la prédiction de la grippe qu’avait lancé Google. La causalité est devenue inutile au calcul, dit très justement Huneman – peut-être moins à la société. Désormais, nous sommes capables de prédire sans comprendre. Et les machines le font effectivement bien mieux que nous. Nous voici en train d’entrer dans une “science sans théorie”, mais également une science sans politique. Le problème, explique-t-il, c’est que si elles montrent des formes d’efficacité, ces méthodes ne sont pas infaillibles.  

Troubles dans les profils

Nos profilages sont multiples. Il y a à la fois nos profils individuels, toujours changeants, et les profils des autres (“collectifs”) auxquels nous sommes comparés ou associés.“Tout profilage est un ajustage”, qui vise à nous programmer, à nous manufacturer… C’est-à-dire non seulement à nous prédire, mais à nous faire agir depuis cette prédiction. Huneman en revient alors aux théories de l’économie comportementale, qui sont assurément l’un des socles idéologiques de ceux qui pensent pouvoir programmer les autres. Il rappelle combien ces systèmes cherchent à exploiter nos biais (comme les systèmes de calcul eux-mêmes, incapables de s’extraire des biais dont ils sont tissés, mais au contraire, construits pour les rendre productifs), à privilégier nos préférences individuelles (mais sont-ce vraiment les nôtres, où celles que les systèmes décident pour nous ?) au détriment de toute perspective collective, qui ne semble être qu’un terreau comparatif. Le nudge semble ici le levier d’un libéralisme sans limite, où la “somme des interventions individuelles prend la place de l’action publique”. Demain, “il suffira de rectifier les biais des agents et d’infléchir leurs comportements pour enfin réparer le monde”, ironise-t-il, en projetant un horizon où nul ne doit agir radicalement ou différemment, c’est-à-dire où nul ne doit agir politiquement. Dans la prédiction et la correction automatisée, c’est le politique qui est neutralisé. Les biais ne sont pas tant infléchis ou corrigés, qu’amplifiés. D’ailleurs, dans le profilage, il n’y a plus de chapelle définie. Dans les algorithmes de recommandation de Spotify ou de Netflix, vous n’aimez plus la techno ou la SF, votre profil est associé à des mots clefs obscurs, qui se génèrent à mesure que le système génère des croisements entre les styles. Dans les algorithmes, nous ne sommes plus des groupes sociaux lisibles, mais des groupes étiquetés par des catégories volatiles, éphémères, contextuelles. Nous n’y sommes pas tant personnalisés que massifiés. 

Huneman fait ainsi une simple mais pertinente distinction entre profils individuels et profils collectifs, ceux auxquels nous sommes comparés, associés ou dissociés. Dans nos profils, les mots sont des “prédicteurs” d’autres mots (“les mots sont des vecteurs définis par des coordonnées très simples : la fréquence avec laquelle il va être associé avec d’autres mots”). Le sens, lui, n’a que très peu d’importance par rapport à ces associations, hormis pour nous, la cible. Les profils sont associés à d’autres, formant des communautés à la volée, profondément étrangères les unes aux autres. Nous sommes caractérisés à l’instant, selon nos actions et les actions des autres. Le problème, c’est que ces données sont souvent calculées plus que déclaratives, volatiles, et qu’au final, ces systèmes croient à leurs calculs quand bien même ils sont complètement artificiels. Votre profil peut se voir attribuer un #PSG ou un #OM, sans que l’un ou l’autre ne soient vrais, ni pérennes, tout en étant, pour le système, un renforceur de croyance. Enfin, il faudrait également apprécier ce collectif créé à la volée, qu’est-ce qui détermine la création du tag #OM et pas celui de l’ASSE par exemple ? Quels volumes, quelles vélocités président aux pseudos collectifs par lesquels nous sommes catégorisés le plus souvent indûment ? Nous sommes donc constamment plongés dans des troubles dans les profils, entre normativité et subversion, sans que nous n’ayons la main sur l’un ou l’autre. “Les tags colligent les agents”, selon une grammaire sociale très simple, celle du dedans ou du dehors (ou votre profil a le tag #PSG ou il ne l’a pas), celle du pourcentage (vous êtes #PSG à 51% donc #PSG). Ces grammaires associées au profil produisent une expressivité “indifférente au vrai”. Le ralliement (l’engagement) est plus fort que la vérité. Tout est affaire d’optimalité. Nos profils sont nudgés selon une optimalité qui oublie le sens même de son calcul. Cette “indifférence au vrai” est le fondement de la post-vérité, rappelle le philosophe. Elle ne mesure que nos actions, les évalue pour leur donner un poids. Reste que Huneman oublie que ces poids sont influencés par d’innombrables autres facteurs qui correspondent peu à notre profil, par exemple, la recommandation repose aussi sur le succès qui fait qu’on va vous recommander ce qui a eu du succès ailleurs, pas seulement d’ailleurs dans des profils proches du vôtre. Netflix a beau générer des vignettes différentes pour promouvoir ses séries auprès de ses publics, au final, il promeut tout de même ses séries et les mêmes séries. Cette optimalité, cette optimisation est toujours sous influence, toujours imparfaite. Il lui suffit pourtant de nous faire croire qu’elle est suffisamment bonne pour fonctionner, il lui suffit de faire un peu mieux que l’aléatoire pour nous convaincre de sa pertinence. Et c’est cette capture qui fait un peu mieux que l’aléatoire qui est au cœur des services algorithmiques. 

Si les sociétés du profilage sont des “usines à optimalité”, elles en produisent très peu, autre que leur propre renforcement. La volatilité des données et des calculs ne produisent qu’un monde instable, à la manière dont la volatilité permet désormais de gagner de l’argent dans la finance mondialisée et automatisée, ou à la manière dont l’IA produit des textes. Les élèves vont désormais produire leurs copies avec des machines qui seront corrigées par d’autres machines qui leur attribueront des notes. Nous voici en train d’entrer dans un monde “où les machines répondent aux machines”. La commodité l’emporte partout puisque le sens n’en a plus. Les machines produisent leurs propres mèmes. Prises dans leurs propres boucles récursives, “les prédictions que génèrent les profils ne peuvent plus être réfutées ni corroborées, puisqu’elles génèrent des comportements qui s’ajustent eux-mêmes à ces prédictions”. Un peu comme si au final, le profil était construit pour qu’il se réalise. 

Plus que façonner le réel, nous façonnons ici l’irréel. A défaut de prouver le contraire, le profilage publicitaire comme le nudge fonctionnent, qu’importe si en fait, pour l’un comme pour l’autre cela reste assez marginal. Les données font illusion. Les mouches dans les urinoirs de l’aéroport d’Amsterdam (ce symbole du nudge) permettaient de réduire le nettoyage de 80% nous a-t-on longtemps asséné, avant de concéder que cette “amélioration” n’était, au mieux, que de 8%… Pas étonnant que les mouches aient été enlevées. Même chose pour le profilage. Il fonctionne a défaut d’avoir montré le contraire. Vous allez pouvoir cibler tous ceux qui aiment le PSG, même si c’est seulement à 51% ou même si cette préférence est calculée avec la plus grande approximation. Dans la masse des profils a qui est attribué le tag, ca marchera toujours mieux que l’aléatoire… 

Des biais des profils à leur nécessaire opacité pour couvrir leurs défaillances
Le biais cognitif du nudge fait écho au biais algorithmique du calcul. Ils s’auto-renforcent l’un comme l’autre. “Le résultat d’un processus accentue ses conditions, accélérant le processus, ce qui intensifie encore les conditions”. On se croirait dans la boucle du changement climatique. Il fait chaud, on monte la clim qui émet plus de CO2, donc il fait encore plus chaud et donc on monte la clim… Huneman a raison d’ailleurs de souligner que “les loopings par lesquels le profilage se boucle sur le réel, excluent toute transparence”, d’abord parce que nous ne serions les lire, comme quand on consulte l’interminable liste de mots clés publicitaires que Facebook, Instagram ou d’autres produisent sur chacun de nos profils (dans une liste qui est sans cesse mise à jour quelque soit les corrections qu’on lui apporte…), mais surtout parce nous verrions alors l’inanité de ces boucles d’auto-renforcement. 

La logique du calcul reste une logique de pouvoir. La société du profilage a besoin de l’opacité pour faire croire en sa puissance. Faire croire en sa prétention à la connaissance est sa force et sa faiblesse, à l’image de cette IA qui serait capable de déterminer à partir d’une photo l’orientation sexuelle d’une personne. On peut faire produire n’importe quelle catégorisation à l’IA. Qu’importe si ces mensonges construisent des réalités, qui sont au-delà ou en dehors de toute vérité. Pour Huneman, l’efficience, c’est-à-dire le fait d’avoir un effet, a remplacé la vérité. Dommage qu’il défende le fait que cette efficience serait neutre au regard de la norme de vérité, que la prédiction ne serait ni vraie ni fausse (il parle de “vérineutralité”). C’est là la voie ouverte au plus grand relativisme et à une grande acceptation des effets de ces systèmes. C’est oublier qu’au-delà du marketing, ces systèmes de profilage ont des effets forts sur la réalité. Quand un algorithme nous dira que nous ne sommes pas assez productifs et nous licenciera parce qu’on a envoyé deux fois moins de mails que nos collègues, on comprendra que ce sont les critères d’appréciation de la productivité qu’il nous faut discuter. La position relativiste semble accepter que tout calcul équivaut à un autre quelque soit la manière dont il est fait, sans mettre en jeu la question de la justice du calcul. Or, les faux calculs sont des calculs faux. Tout l’enjeu est bien de limiter le croisement des données, les possibilités de calculs et non pas de les accepter pour la simple raison qu’ils sont possibles. 

En 2018, Max Read, s’interrogeait : Combien d’internet est-il du fake ? Il parlait “d’inversion” pour parler du moment où “la perception du réel devient indiscernable de celle du semblant”, à l’image du moment où le trafic humain est subverti par les robots. Nous sommes entrés dans une prolifération du simulacre. “Nous vivons la miscibilité du réel”, appuie Huneman. La causalité et l’objectivité sont retirées du réel, dit-il très justement. Un peu comme si dans un monde multicloisonné par les profilages, aucun autre point de vue n’était désormais possible que celui que façonnent pour nous les machines, qui est toujours le nôtre et jamais pleinement nôtre. Nous ne pouvons consentir à rien, puisque nul ne sait ce que la combinaison des données va produire. L’ambiguïté au consentement est d’autant plus forte que l’opacité est nécessairement massive puisque nous ne connaissons pas les limites temporelles des données qui sont collectées par devers nous, pas plus que nous n’en connaissons les destinataires (ni pour quoi faire !), pas plus que les contenus (de quelles données parle-t-on exactement), ni les limites juridiques de ces consentements (notamment via les cessions à des tiers…). L’intrication des données rend certainement leur traçabilité inatteignable, estime Huneman. La seule issue, conclut le philosophe, consiste à résister à toute plateformisation. “La société du profilage est aussi une manière pour le capitalisme néolibéral de se survivre par-delà la crise environnementale qu’il a induite – ou du moins de l’espérer, via le songe de la Substitution” (la substitution de nos interactions réelles par le numérique). “Le solutionnisme technologique s’avère impuissant”, tout en étant tout puissant aujourd’hui. Le profilage ne propose qu’une solution individualisante, qui ne promet ni de changer de société, ni nos modes de consommation et de production, mais seulement de les optimiser sans fin. Le nudge se substitue à la politique. La gestion et le management individuel se substituent à la décision politique. Ce que le profilage de chacun menace c’est le collectif, et ce d’autant plus quand l’efficacité prime désormais sur la vérité. C’est la société et la politique qui sont mises en danger. Le problème, c’est que l’optimisation des flux ne nous promet rien d’autre qu’à optimiser la concentration des richesses, termine Philippe Huneman. Le profilage est un pouvoir sur lequel nous n’avons pas la main et sur lequel nous n’avons pas vraiment prise. “La norme des sociétés de disciplines traçait un dedans et un dehors ; le score des sociétés du profilage définit à chaque instant les positions mouvantes de tous dans un champ que traversent les multiples flux”. Les espaces privés prospèrent au détriment de la chose publique. Tinder sait qui je désire avant moi ! Face à cette dissolution, la résistance passe par le retrait et par les communs, c’est-à-dire soit par s’extraire des flux, soit en remettant leur sens collectif en premier. Et Huneman d’inviter à traiter ces algorithmes comme des biens communs, c’est-à-dire à les collectiviser pour sortir de l’optimisation. C’est un peu la conclusion qu’on lit dans tous les livres sur le numérique depuis quelques années.

*

A nouveau, même si nous sommes d’accord sur l’essentiel, il me semble que la critique qu’articule Philippe Huneman et dont j’ai tenté de rendre compte, est assez convenue. A mon sens, elle n’insiste pas assez sur l’aporie du profilage. S’il montre bien la vacuité des boucles que les systèmes produisent, il peine à pointer leurs déficiences fondamentales, leurs incapacité à produire ce qu’on leur demande, et d’abord de produire des identités (et c’est bien ce qu’on demande à un profil), quand ces identités sont bien plus mouvantes que fixes. Kate Crawford par exemple montre pourtant très bien dans son livre que l’identité n’est pas binaire. Le profilage joue de caractéristiques qui ne sont jamais certaines. Souriez-vous ? Aimez-vous le PSG ? Etes-vous blanc ?… Le profilage ne peut qu’échouer à dire une réalité. Si cela n’a que peu d’impact quand le profilage est mobilisé pour servir de la publicité (quoique, c’est parfois extrêmement problématique comme l’expliquait Safiya Noble dans Algorithms of oppression), quand il vise à servir des droits ou des possibilités qui ont un impact fort sur la vie des gens, son usage est bien plus problématique. L’obtention d’un emploi, d’un prêt, d’une formation, d’un rein…ne peuvent pas reposer sur un calcul qui cumule les approximations comme le propose le profilage. La société du profilage repose sur un calcul de l’injustice, mouvant, changeant, éphémère, sur lequel, ceux qui le subissent n’ont aucun levier. Là où les sociétés disciplinaires et de surveillance reposaient sur des normes claires et rigides, les sociétés du profilage reposent sur un calcul permanent, dans lequel, comme le disait très bien le philosophe Achille Mbembe, “il n’existe plus de droits durables, tous sont révocables”. Ce qui signifie qu’il n’existe plus de droit du tout. Dans la société du profilage, tous les calculs sont injustes. La société de discipline, de contrôle et de risque ne sont pas tant des moments différents, successifs – une évolution -, que des logiques agrégatives et de moins en moins fiables. Nous voici confrontés à une société de l’optimisation plus radicale qu’elle n’était, où discipline, contrôle et risque se renforcent les uns les autres, sans nous laisser aucune échappatoire. 

Quant à l’aporie du profilage, une récente étude expliquait combien les prédictions – qu’elles soient produites par des banques, gouvernements, employeurs, commerçants, réseaux sociaux… – ne sont ni précises, ni justes, ni efficaces.

Pour les chercheurs Arvind Narayanan, Angelina Wang, Sayash Kapoor et Solon Barocas ces “optimisations prédictives” échouent le plus souvent, expliquent-ils dans une très intéressante méta-étude. Le problème, c’est que, de la prédiction du risque criminel à la prédiction à l’embauche (les chercheurs en ont travaillé sur une cinquantaine de systèmes prédictifs et cherchent à en recenser d’autres…), ces prédictions prolifèrent.

Or, elles présentent toutes des défauts structurels, expliquent-ils en pointant 7 limites : 
– De bonnes prédictions ne conduisent pas à de bonnes décisions ;
– La mesure rate souvent sa cible ;
– Les données d’entraînement correspondent rarement aux périmètres de déploiements;
– Les impacts sociaux des systèmes ne sont pas prévisibles ;
– Les performances différentes des groupes ne peuvent pas être corrigées par des interventions algorithmiques ;
– La contestabilité est rendue difficile ;
– L’optimisation prédictive ne tient pas compte des comportements stratégiques.

Ces défauts n’ont pas de correctifs techniques. “L’optimisation prédictive échoue selon ses propres conditions”. Si chaque défaut est problématique, l’ensemble devrait nous conduire à remettre sérieusement en cause les applications prédictives, concluent-ils.

Les chercheurs appuient leurs constats en produisant 27 questions pour contester les systèmes de ce type. Par exemple, l’intervention affecte-t-elle les résultats prédits, et peuvent-ils déclencher une prophétie auto-réalisatrice ? Par exemple, si des montants de caution plus élevés sont fixés en raison d’une prédiction de récidive, ce score peut-il augmenter la probabilité de récidive ? Les prédictions optimales individuellement conduisent-elles à une intervention globalement optimale ? L’embauche individuelle de bons vendeurs ne prédit pas la qualité de leur capacité à travailler ensemble et peut produire une baisse globale des ventes. L’intervention crée-t-elle une boucle de rétroaction ? Rejeter un crédit en fonction du score de la personne a-t-elle une incidence supplémentaire sur la diminution de son score ? Les individus peuvent-ils accéder ou contester les données qu’un modèle utilise à leur sujet ? Les privilégiés qui comprennent le fonctionnement du système décisionnel ont-ils un avantage ? Quelle est la gravité des conséquences d’une mauvaise catégorisation ? …

Enfin, bien souvent la prédiction privilégie un critère ou un objectif sur tous les autres et au détriment des autres. Par exemple, la sélection des meilleurs élèves au détriment de leur diversité ou de leur motivation. Cet objectif est-il clairement explicité ?… 

Autant de questions qui pointent l’aporie des sociétés du profilage. Les optimisations prédictives construisent une optimalité de façade. La prédiction est surtout enfermée dans la prédiction de sa propre réussite sans apporter de preuves que celle-ci ne se réalise pas au détriment de la justice comme de l’équité ! Au contraire. 

Hubert Guillaud

A propos du livre de Philippe Huneman, Les sociétés du profilage, Evaluer, optimiser, prédire, Payot, 2023., 432 pages, 24 euros.

Advertisement

Dématérialisation, l’externalisation en question

La question du recours aux prestataires privés dans l’action publique est une question qui a émergé tout le long du cycle que le Mouton numérique a consacré au sujet de la dématérialisation, rappellent Maud et Yaël du Mouton numérique. La numérisation de l’action sociale est une politique qui ne dit pas son nom et qui produit d’abord la dégradation du travail social et la limitation de l’accès aux droits. Que ce soit face aux restrictions qu’engendre la dématérialisation, comme le rappelait la première rencontre sur l’impossibilité de prendre rendez-vous en préfecture, ou face au report du travail social sur les associations, comme le rappelait la seconde rencontre, la privatisation est toujours l’aspect masqué, mais bien concret, de ces transformations. Le recours aux cabinets de conseil a été décrite comme “tentaculaire” par l’enquête sénatoriale de 2022. A la Caisse nationale d’allocation familiale la question des développements informatiques, c’est rien de moins que 477 millions d’euros de marchés, sans parler de nombreux autres contrats, notamment de maintenance et mise à jour des systèmes. L’impression d’ensemble est que s’il n’y a pas d’argent pour l’accompagnement social, il y en a pour les développements logiciels. Peut-on commencer par dresser un état des lieux du recours aux prestataires privés ?

Gilles Jeannot, Lucie Castets, Maud et Yaël du Mouton numérique et Adrien Saint-Fargeau (avant qu’il ne soit rejoint par Simon Woillet) au Centre social du Picoulet à Paris.

La Consultocratie omniprésente

Le marché de l’externalisation ou de la sous-traitance, on l’estime à 160 milliards d’euros, soit un quart du budget de l’Etat, explique Lucie Castets, co-porte parole et cofondatrice du collectif Nos services publics (@nosservicespub), un collectif né en avril 2021, pour parler, de l’intérieur, des choix politiques, des fonctionnements et dysfonctionnements des services publics, et qui a notamment publié une note sur la question. Ce chiffre de 160 milliards prend en compte jusqu’aux délégations de service public, comme c’est le cas de l’eau. Il vise à montrer l’étendue de cette imbrication. Le recours aux cabinets de conseil, lui, est plus limité bien sûr. C’est un marché qui a longtemps été limité et qui a explosé depuis 2018. Le rapport sénatorial sur la question estime que ce recours se monte à 900 millions d’euros en 2021, alors qu’il n’était que de 380 millions en 2018. Ministère, Etats et opérateurs de l’Etat dépensent un milliard d’euros chaque année en cabinet de conseils. 

Dans cet ensemble, ce que l’on rattache aux dépenses informatiques est énorme. Il faut encore distinguer les dépenses de conseils stratégiques des dépenses en stratégie des systèmes informatiques, qui ont respectivement été multipliés par 3 et par 6 depuis 2018 [Voir les chiffres et tableaux du rapport du Sénat. Le tout récent rapport de l’Inspection générale des finances sur le sujet, évalue les prestations de conseil à 2,5 milliards d’euros en 2021, contre 764 millions en 2015, très loin des 140 millions d’euros de dépenses annuelles annoncées par l’ex-ministre de la Transformation et de la Fonction publique, Amélie de Montchalin, en janvier 2022 et plus que les évaluations du rapport sénatorial qui parlait de plus d’un milliard. Le rapport estime que les dépenses en prestation de conseil informatique et maintenance, représentent 675 millions d’euros en 2021, quand celles du recours à des agences de communication et en conseil stratégique plafonnent respectivement à 112 et 128 millions – Politico, Nouvel Obs]. 

Mais il faut comprendre pourquoi on en est là, explique Lucie Castets. Le recours au privé repose sur 3 raisons structurelles. Une raison “juridico-institutionnelle”, liée aux réformes de l’Etat qui ont cherché à réduire la taille et les missions de l’Etat par des mesures juridiques de finances publiques pour contraindre et limiter la dépense publique ainsi que la rémunération des fonctionnaires. La loi organique relative aux lois de finances (LOLF) de 2001, l’établissement du plafond d’emploi en équivalent temps plein ou encore la fongibilité asymétrique des crédits – qui permet d’utiliser le budget de personnel vers d’autres dépenses, mais interdit l’inverse -, le non remplacement de fonctionnaires voire les suppressions de postes ont fait peser des contraintes strictes sur les dépenses et l’embauche dans les services publics. Ceux-ci n’ont pas d’autres choix que d’avoir recours à des prestataires extérieurs, puisqu’ils ne peuvent pas embaucher. Qu’importe si les cabinets de conseil sont plus chers que les fonctionnaires ! Une seconde raison est d’ordre plus culturelle. Elle repose sur l’idée, diffusée par le New Public Management (qui consiste à appliquer les méthodes du management du privé dans le secteur public), que l’acteur privé ferait toujours mieux que l’acteur public. C’est inexact bien sûr, notamment parce que les prestataires privés ne connaissent pas le secteur public et ses contraintes. C’est pourtant une idée d’autant plus répandue qu’elle se double d’une fascination pour le numérique, l’intelligence artificielle et les Gafams… La numérisation s’explique aussi par cette fascination qui interroge très peu les choix techniques et politiques, entre autres parce que l’administration manque de compétences pour les piloter. Enfin, il y a un prisme technique fort. Quand on décline techniquement un projet, on pense encore que ce n’est pas un problème politique ou administratif. Chez Nos services publics, on recueille beaucoup de témoignages de gens qui ont du mal à piloter les transformations techniques actuelles. 

Vers l’Etat-plateforme (mais la plateforme de qui ?)

“L’informatisation des services administratifs est la porte d’entrée historique des cabinets de conseils dans les affaires publiques et reste aujourd’hui la plus grosse part de dépense liée au consulting”, lit-on dans Consultocratie (FYP éditions, 2022). Adrien Saint-Fargeau, l’un des co-auteur du livre, le rappelle plus en détail. C’est au lancement de la Révision générale des politiques publiques (RGPP, 2007) qu’on fait entrer les acteurs du conseil américain dans les questions publiques. Jusqu’à cette date, ils n’étaient pas très intéressés car ils jugeaient que les budgets n’étaient pas suffisants. Les politiques en faveur de la numérisation de l’État sont plus anciennes, notamment avec le lancement du portail Service Public dans les années 2000, qui ancrent l’idée de nouveaux modes d’accès. On débloque néanmoins des budgets pour l’administration électronique visant à rendre toutes démarches accessibles par internet. La numérisation s’accélère encore avec le plan France numérique 2012, lancé dès 2008, qui vise à permettre le paiement en ligne. A la même époque s’initie le modèle de l’Etat plateforme et le lancement de l’Open Data, l’ouverture des données publiques, qui visent à changer la manière d’agir de l’Etat, par la modernisation et la simplification des démarches. En 2012, la Modernisation de l’action publique (MAP) prolonge ces nouvelles manières d’agir et renforce la transformation de l’Etat plateforme via des administrations dédiées, comme le Secrétariat Général pour la Modernisation de l’action Publique (SGMAP) et le lancement de France Connect, le service d’identification et d’authenfication des administrés inter-administration. “Ici, le modèle est clair, on a cherché à copier les boutons de Facebook” qui permettaient de s’identifier sur nombre d’autres sites, rappelle Adrien Saint-Fardeau. C’est l’époque où l’on met en place des dispositifs comme celui des startups d’État pour rattraper ce qu’il se passe dans les grandes plateformes… Pour Adrien Saint-Fargeau, derrière la simplification, il faut lire un changement de l’action de l’Etat, qui se voit comme un concurrent d’autres acteurs du numérique. 

Pour Gilles Jeannot, co-auteur de La privatisation numérique (Raisons d’Agir, 2022 – dont j’avais rendu compte), l’idée d’Etat plateforme revient à l’éditeur libertaire Tim O’Reilly, qui après avoir inventé le terme Web 2.0, a proposé celui (moins populaire) de web2, puis de gouvernement 2.0 (2009), qui donnera lieu à un livre sur le gouvernement ouvert (2010) puis au concept d’Etat plateforme (2011). Pour O’Reilly, derrière l’Etat plateforme, il y a un enjeu économique pour l’Etat. Son rêve est celui d’acteurs privés qui viendraient offrir des services publics depuis les données partagées, explique Gilles Jeannot. Ce rêve est repris avec enthousiasme par Henri Verdier et Nicolas Colin dans leur livre, L’âge de la multitude (2012), avant que Henri Verdier ne prenne la direction d’Etalab. L’idée que le privé pourrait offrir des services équivalents aux services publics était moteur. C’est l’idée qu’on retrouve aujourd’hui dans le capitalisme de plateforme, à l’image de l’intermédiation d’acteurs comme Airbnb qui vient proposer un service qui ne coûte rien, qui génère beaucoup de plus-value, tout en verrouillant le marché. Et effectivement, nombres d’acteurs sont venu bouleverser le marché. Reste que les cas de privatisation sont restés rares. Il n’y a que la SNCF qui a vendu ses cars à BlablablaCar. Les services privés sont plutôt venus concurrencer des services publics à la marge, dans l’information voyageur par exemple, avec CityMapper face à la RATP, Waze face aux politiques de déplacement, où les offreurs de trottinettes venant concurrencer l’accaparement de l’espace public. La Poste, pour lutter contre l’ubérisation des services à domicile a réinternalisé une société ubérisée, Stuart. En fait, il y a surtout eu “des interférences entre les acteurs”, comme quand Airbnb assèche le marché locatif. Le projet initial de l’Etat plateforme imaginait que l’Etat resterait au centre du dispositif et pourrait superviser gentiment des acteurs bienveillants. Le décentrement de l’Etat a été plus fort qu’attendu, constate Jeannot. 

Dans ses travaux, la chercheuse Marie Alauzen insiste sur le rôle des références anti-étatiques, par exemple dans la référence à la multitude de Negri et Hardt du livre de Colin et Verdier, explique Simon Woillet, co-auteur de Consultocratie (et qui avait livré une riche interview de Marie Alauzen sur ce sujet, pour Le Vent se lève). Il rappelle d’ailleurs que la femme d’Oreilly, Jennifer Pahlka, était la cofondatrice de Code for America, une association de codeurs pour améliorer les services publics. L’un des projets emblématique de Code for America a été la refonte de l’application du programme des bons alimentaires de Californie [le programme des bons alimentaires américains fournit une aide à plus de 46 millions d’Américains]. “L’Etat plateforme commence souvent par s’intéresser aux choses qui font le plus souffrir les populations précaires”, souligne Woillet. Pourtant, avec l’Etat plateforme, vient également une forme de guichétisation de l’Etat, auquel il se réduit. “De plus en plus, on pense l’Etat comme un robinet. Dans l’idée de Gouvernement 2.0, l’Etat est un guichet qui doit devenir vertueux et non plus défectueux”. 

Pour Adrien Saint-Fargeau, c’est l’échec de la RGPP et l’Etat plateforme qui va conduire à faire appel aux cabinets de conseil… Les startups d’État, qui ne sont pas vraiment des start-up, montrent l’échec de cette politique. Pour Maud du Mouton numérique, cette question du guichet et de l’accès au droit réduit à un accès à l’information, s’oppose effectivement à un parcours de l’accès et de l’accompagnement social. On nous propose désormais des guichets, à l’image de Doctolib, plutôt qu’un parcours d’accès aux soins ou un accompagnement. 

Les solutions publiques ne sont pas remplaçables

Lucie Castets rappelle quand même qu’au début, on a tous apprécié Doctolib qui permettait de prendre rendez-vous facilement. Le problème, c’est quand le gouvernement s’appuie sur Doctolib pour la campagne vaccinale, en contraignant tout le monde à prendre rendez-vous uniquement via la plateforme. Doctolib avait des informations sur le stock de vaccins que l’ARS n’avait pas. Le problème, c’est que Doctolib a centralisé les données et les stocks via une filiale d’Amazon aux US, les faisant dépendre de juridictions américaines. L’erreur est de croire que les solutions publiques sont remplaçables par des solutions privées, explique Lucie Castets. On s’est mis dans les mains d’acteurs privés, sans le penser, sans réfléchir à la question politique qu’il y a derrière, non seulement en terme de souveraineté ou de sécurité, mais également en terme de profit. Mais c’est délirant de laisser fournir des prestations de services publics sans même se poser la question en ces termes !, s’énerve-t-elle.  

Tout à fait, abonde Simon Woillet (également co-auteur du Business de nos données médicales, FYP éditions 2021, dont on avait parlé par là). Nombre de logiques liées à la santé sont problématiques, par exemple les questions de nomenclature et de standardisation ouverte. Il faut rappeler pourtant que l’open source est une idée popularisée par le libertarien Eric Raymond dans un pamphlet un peu dingue, la Cathédrale et le bazar, et que l’open source, qui permet la réutilisation du code et des données est donc par nature très ouverte au capitalisme, rappelle-t-il. Les standards informatiques ont toujours été développés et soutenus par les entreprises privées, dans une logique d’intégration du privé dans la puissance américaine elle-même. La préfiguration du Health Data Hub qui gère nos données de santé, a été conceptualisée dans le rapport Villani [qui conçoit lui aussi, d’ailleurs, l’hôpital comme une plateforme, comme le remarquait avec mordant la Quadrature du Net] avec l’aide de Daniela Rus, une roboticienne du MIT spécialiste de questions de défense, avec qui il a signé un ouvrage sur la santé et l’IA. Les données de santé sont un enjeu de renseignement majeur pour nombre d’acteurs, et nous sommes bien naïf d’avoir pu un instant croire le contraire !, s’énerve à son tout Simon Woillet.  

Pour Gilles Jeannot, les réformes administratives privilégient beaucoup une approche des publics par ce qu’on appelle les parcours, comme le “Dites le nous une fois”. Le problème de cette guichétisation, c’est le décalage avec la réalité. Il y a certes des gens qui ont une vie administrative très simple… mais on comprendra tout de suite que ça peut être plus compliqué pour un réfugié Afghan par exemple. 

Quelles alternatives ?

La question est alors comment faire autrement, interroge l’animatrice. Qu’elles alternatives y-a-t’il à “la consultocratie” ? 

Adrien Saint-Fargeau rappelle que la commission d’enquête sénatoriale a fait des propositions concrètes. Pour les mettre en oeuvre, cela suppose également de modifier les indicateurs de l’État, de revenir sur la LOLF, d’assurer un meilleur contrôle parlementaire des dépenses d’externalisation… Cela suppose tout de même de sortir de la logique du manque de moyen et de compétence. Or, quand on a recours aux cabinets, on perd d’abord des compétences. 

Pour Lucie Castets, le gouvernement a annoncé qu’il allait réduire de 15% les prestations de conseil. Mais pourquoi 15% ou pas 30% ou 50% ? L’enjeu n’est pas tant de réduire ces recours, qui risquent de grever plus encore la qualité des services publics, car cette diminution annonce d’abord des moyens qui se détériorent encore. Pour Castets, il est nécessaire de changer les règles et les moyens sur le recrutement. Il faut que la puissance publique réinternalise les moyens, les fonctions d’exécutant pour qu’elle soit capable de construire des outils adaptés sans être attachée à des prestataires externes. Il faut sortir d’une logique délétère où aujourd’hui certains services ont des prestataires pour encadrer des prestataires ! Même la Cour des comptes, pourtant très conservatrice, le dit : le conseil coûte trop cher. On voit pourtant des initiatives au sein de l’Etat pour développer des outils publics libres… On a trop souvent le réflexe de se tourner par défaut vers le privé, avant même de regarder ailleurs, notamment dans d’autres services ou des solutions existent parfois. 

Pour Gilles Jeannot, l’opposition binaire Etat/privé est peut-être dépassée. Et le sociologue d’inviter à regarder du côté des Communs et des partenariats publics communs… Ce mouvement, à la fois collectif et militant, est présent dans certaines villes pour produire des logiciels opérationnels, comme à Rennes ou Brest. On le trouve chez Open Fisca, où s’assemblent chercheurs, codeurs, fonctionnaires militants et administrations pour mettre les règles fiscales en code et tester l’effet des lois. On les trouve aussi autour de la Base adresse nationale, avec l’IGN, la Poste et Open Street Map. Il y a là des moyens complémentaires qui peuvent se rencontrer… 

Maud du Mouton numérique, rappelle que c’est l’Etat qui développe le datamining, à l’image du contrôle à la CAF. Comment alors mettre en place des garanties ? Comment développer une informatique qui réponde à d’autres orientations politiques ?

Pour Simon Woillet, il faut sortir de ces logiques, à l’image de ce que fait InterHop en proposant des systèmes de santé déconcentrés, où les données restent au plus proche de là où elles sont produites, permettant de sortir des risques de centralisation des bases de données… Pour Lucie Castets, il faut distinguer deux questions politiques. Quelle politique veut-on mener ? A qui veut-on la confier ? La réponse à la seconde question ne se pose jamais en termes politiques, alors qu’il reste difficile de croire qu’on peut se passer de l’acteur public. De plus, nous avons besoin d’un contrôle parlementaire pour nous assurer que les outils ne deviennent pas incontrôlables. 

Plus que des questions, le public a surtout partagé ses expériences et ses constats. Une personne souligne que le recours massif aux cabinets de conseils vise d’abord à détruire le statut de la fonction publique. Elle pointe également l’incompétence des directions générales devenues elles-mêmes contractuelles, ce qui entretient le recours à des solutions extérieures dans une boucle sans fin. Une autre personne dresse le même constat. Les entreprises privées récupèrent des données et solutions publiques pour générer du parasitisme. Quant aux compétences internes, elles sont en train de disparaître. Désormais, il y a des pilotes de projets externes aux administrations publiques qui ne vérifient que les procédures et les livrables, sans être capables d’apprécier ce qu’on leur livre. Dans les administrations, on a perdu des compétences, on ne sait même plus combien devrait coûter ce qu’on développe… avant de dénoncer le développement de grandes chaînes d’incompétences. “Dans certains endroits, quelques personnes la centralisent. Mais s’ils partent demain, tout s’écroule !” 

Pour Lucie Castets, le statut de fonctionnaire est moderne, comme le soulignait Nos services publics dans une tribune. “Je ne sais pas si les gens sont incompétents. On a des gens qui font vite, qui sont peu critiques. On remet peu en question les postulats et les fondements politiques des actions”. Depuis la réforme de la fonction publique, les contractuels sont plus nombreux, mais il ne faut pas oublier qu’ils sont particulièrement mal traités. L’enjeu n’est peut-être pas tant de s’inquiéter de leur loyauté que d’internaliser la compétence, jusqu’aux fonctions stratégiques. Depuis la crise Covid, on voit qu’il manque partout des gens. Mais si tout le monde veut augmenter le nombre d’agents pour répondre aux difficultés, tout le monde pense encore qu’il faut réduire le nombre d’administrateurs, or ce sont eux qui sont en première ligne pour s’opposer au grignotage par le privé des grandes missions de l’Etat. Pour Adrien Saint-Fargeau, le new public management, symbole de l’incompétence, repose d’abord sur une critique nourrie de la bureaucratie qui reste extrêmement prégnante. Enfin, sortir de l’incompétence est difficile. Les services publics d’un côté sont rendus peu attractifs, mais de l’autre, l’Etat ne fait rien contre le pantouflage, alors qu’il y aurait là des leviers d’actions. 

D’autres témoignages interrogent. A-t-on encore les moyens de faire quelque chose en informatique publique ? Face à tant d’échecs et de projets avortés, seule la mutualisation semble permettre de faire avancer les choses. Reste que le problème est peut-être plus humain que technique : on fait plus confiance aux gens de l’extérieur qu’à l’interne. Une autre personne se demande pourquoi on n’exige pas des cabinets de conseil de transmettre leurs compétences. Une dernière questionne : faut-il un ministère de l’informatique ? 

Pour Adrien Saint-Fargeau, c’est tout de même un peu ce qu’a essayé de faire le SGMAP. Croire qu’on peut plaquer le modèle privé dans le secteur public est une erreur. On manque de formation à tous les niveaux pour avoir des compétences à plusieurs niveaux. A l’époque du nucléaire, les ingénieurs des grandes écoles faisaient leur engagement décennal dans les services de l’Etat. Ce n’est plus le cas. Celui-ci est totalement contourné désormais. Enfin, il est nécessaire de repenser les capacités de contrôle avant et après les prestations des cabinets de conseils, car bien souvent, elles sont minables sans que cela n’ait d’effet. Gilles Jeannot se montre moins critique envers la Dinum et le SGMAP. Il y avait bien une volonté de refaire de l’informatique, mais ce service est tout petit, et les rénovateurs qu’on y trouve ne sont pas dans les grosses administrations informatisées. Quand on regarde les projets informatiques publics classés par budgets, Etalab est tout en bas de la liste. Le rapport de force n’est pas possible, comme le pointait le rapport de la Cour des comptes sur les grands projets numériques de l’Etat. 

Hubert Guillaud

Nos comptes-rendu des séances du cycle “Dématérialiser pour mieux régner” du Mouton Numérique : 

Bonus, Dans les machines à suspicion.

Dans la machine à suspicion : des limites des systèmes de scoring de l’aide sociale à Rotterdam

Depuis les travaux pionniers de Virginia Eubanks, il y a une dizaine d’années, on sait que les systèmes électroniques mis en place pour calculer, distribuer et contrôler l’aide sociale sont bien souvent particulièrement défaillants, et notamment les systèmes automatisés censés lutter contre la fraude, devenus l’alpha et l’oméga des politiques publiques austéritaires. Wired et les journalistes d’investigation néerlandais de Light House Reports, ont associé leurs forces pour enquêter sur l’un d’entre eux. Ils ont obtenu le code et les données d’entraînement du système, leur permettant de reconstruire le système de scoring de l’aide sociale à Rotterdam pour tester son fonctionnement. Dans une longue enquête en ligne, ils livrent leurs résultats. Des résultats éclairants pour comprendre les limites de ces systèmes, qui font échos aux luttes contre les décisions des systèmes sociaux en Europe et aux questions que posaient militants et chercheurs sur les systèmes de détection des fraudes sociales en France qu’on évoquait lors des rencontres du Mouton numérique. 

La Une de l’article de Wired.

A Rotterdam, ce sont quelques 30 000 personnes qui bénéficient d’aides sociales : aides au logement, aides pour payer des factures ou pour acquérir de la nourriture, rappelle l’enquête de Wired… En 2017, la ville a déployé un nouveau système de lutte contre la fraude aux allocations mis en place par Accenture. Le système génère un score de risque sur tous les bénéficiaires de l’aide sociale, selon des critères problématiques, puisqu’il prend en compte l’âge, le sexe, la maîtrise du néerlandais. 

En 2021, la ville de Rotterdam a suspendu ce système après avoir reçu un audit sur celui-ci, commandé par le gouvernement. Wired et Light House ont obtenu l’algorithme ainsi que les données d’entraînement, ce qui a permis de reconstruire le système et tester son fonctionnement. Cette machine à détecter la fraude est avant tout une “machine à soupçon”, expliquent les journalistes : “ce qui apparaît à un travailleur social comme une vulnérabilité, comme une personne montrant des signes de faiblesse, est traité par la machine comme un motif de suspicion”. Les commentaires des travailleurs sociaux sur les dossiers (qui peuvent être invasifs – comme de noter la durée de relation amoureuse – ; subjectives – comme l’avis de l’enquêteur social sur la motivation ou l’attitude d’un bénéficiaire – ; ou banales – nombre de mail envoyés aux services sociaux -; voire non pertinentes – si un bénéficiaire fait du sport) qui servent normalement à documenter l’information sont visiblement exploités par le système, d’une manière particulièrement problématique. C’est là l’information principale de cette enquête d’ailleurs. Les commentaires des travailleurs sociaux sont pris en compte. Par exemple, le fait qu’une femme sans emploi avec deux enfants soit “mal habillée” pour pouvoir aller répondre à des entretiens d’embauches, est un commentaire qui est utilisé par le système. 

L’algorithme de Rotterdam n’inclut pas explicitement l’origine ethnique ou le lieu de naissance, parmi les 315 variables qu’il utilise pour calculer le score de risque. Mais d’autres variables servent de substituts à l’ethnicité, notamment le fait qu’à Rotterdam, les bénéficiaires de l’aide sociale doivent parler néerlandais ou montrer qu’ils font des efforts pour y parvenir (il y a un test à passer qui est indiqué dans la fiche sociale). L’indication de la langue maternelle ou le fait de vivre avec des colocataires peuvent également servir de substituts. L’indication de la langue maternelle a été reconnue comme problématique par la Cour des comptes néerlandaise, et ce d’autant plus que différentes langues reçoivent des chiffres différents ayant un impact différent sur le score de risque d’une personne (ce qui signifie donc qu’il y aurait une échelle des langues en action, sans qu’il ait été possible de la connaître).

Exemples de variables qui agravent le score de risque de fraude aux allocations sociales dans le système de Rotterdam.

L’algorithme de Rotterdam comporte 54 variables basées sur des évaluations subjectives faites par des travailleurs sociaux. Cela représente 17 % du total des variables, chacune ayant des impacts variables sur le score. “L’utilisation de ces évaluations subjectives soulève des signaux d’alarme éthiques pour de nombreux universitaires et défenseurs des droits de l’homme. “Même lorsque l’utilisation de la variable ne conduit pas à un score de risque plus élevé, le fait qu’elle ait été utilisée pour sélectionner des personnes suffit à conclure qu’il y a eu discrimination”, explique Tamilla Abdul-Aliyeva, chercheuse sur la technologie et les droits de l’homme à Amnesty International.”

“Et ce n’est pas seulement l’inclusion d’évaluations subjectives qui est préoccupante – ces systèmes prennent également des informations nuancées et les aplatissent. Le champ de commentaire dans le système de Rotterdam, par exemple, où les assistants sociaux sont invités à faire des observations générales, est binaire. Tout commentaire est converti en “1”, tandis qu’un champ vide est converti en “0”. Cela signifie que les commentaires négatifs et positifs affectent le score de la même manière. Si, par exemple, un travailleur social ajoute un commentaire indiquant « ne montre aucun désir d’obtenir des résultats », cela a le même effet sur le score de risque qu’un commentaire indiquant « montre un désir d’obtenir des résultats ». Le manuel remis aux assistants sociaux pour l’évaluation des bénéficiaires ne mentionne pas que leurs commentaires seront introduits dans l’algorithme de notation des risques, ni que les commentaires positifs et négatifs seront lus de la même manière.”

Sur les 30 000 bénéficiaires de l’aide sociale à Rotterdam, environ 10 % (soit ceux classés au-dessus de 27 000 sur la liste) risquent de faire l’objet d’une enquête. Les journalistes ont montré que le fait d’être une femme impacte le classement négativement. De même, le fait d’avoir des enfants, le fait d’être seul et de sortir d’une relation longue, le fait d’avoir des difficultés financières. 

Selon l’algorithme, une femme qui ne diffère d’un profil masculin que sur 8 des 315 variables, est trois fois plus susceptible d’être signalée comme fraudeur. “L’écart entre leurs deux scores, bien qu’ils aient des données qui se chevauchent pour la plupart, découle de la façon dont la machine établit des liens entre certains traits.” Même constat sur le profil du migrant qui ne parle pas néerlandais. 

En observant les données d’entraînement du système, les journalistes ont constaté que les groupes sociaux y étaient mal représentés. Notamment, il y avait très peu de jeunes dans ces données. Or, dans les tests de l’algorithme de scoring, la jeunesse était l’attribut le plus important dans l’augmentation des scores de risque. “Pour l’algorithme, il semblait que les jeunes étaient plus susceptibles de commettre une fraude à l’aide sociale, mais il a tiré cette conclusion sur la base d’un échantillon si petit qu’il était effectivement inutile.”

L’algorithme de décision de Rotterdam repose sur un arbre de décision de 500 questions, oui/non, mais en changeant un seul attribut, le sexe, le parcours de questions se révèle très différent. Les hommes, par exemple, peuvent être évalués pour leurs compétences linguistiques et leur situation financière, tandis que les femmes peuvent être notées selon qu’elles ont des enfants ou si elles sont en couple. Ce que montre la rétroingénierie du système, c’est que les variables âge et sexe ont une énorme influence sur le score de risque. 

Un autre problème, soulignent les journalistes, tient au fait que nombre de fraudes relèvent surtout d’erreurs, liées au fait que tout changement de vie ou de revenu doit être signalé rapidement (c’est le cas notamment, on l’a vu dans le livre du sociologue Vincent Dubois, sur la mise en couple, qui est un statut binaire pour l’organisme d’aide, quand dans la réalité, c’est parfois un peu plus compliqué). Ces algorithmes pourtant traitent les erreurs comme la fraude délibérée de la même manière. 

“Les défauts dans les données de formation et la conception de l’algorithme se combinent pour créer un système d’une imprécision alarmante, affirment les experts”. Si une personne est considérée comme ayant des difficultés avec le néerlandais, elle est deux fois plus susceptible d’être signalée pour une enquête sur une fraude à l’aide sociale qu’une personne qui parle le néerlandais. L’enquête révèle également que le système discrimine les personnes vulnérables en les évaluant plus fortement en raison de leurs vulnérabilités, telles que le fait d’avoir des enfants ou des difficultés financières. Pourtant, rien ne montre que les femmes, les personnes qui ne parlent pas néerlandais ou les parents commettent plus de fraudes à l’aide sociale que les personnes appartenant à d’autres groupes ! Les journalistes ont demandé aux services sociaux s’ils ont trouvé plus de fraudes dans certains groupes spécifiques. Pour l’instant, les responsables ne leur ont pas répondu. C’est pourtant bien là le levier pour démontrer l’inanité du système : les groupes vulnérables jugés comme suspects par le système enfreignent-ils la loi plus souvent que les autres ? 

Dans l’article de Wired, il est possible de jouer avec un calculateur simplifié pour montrer comment certaines caractéristiques affectent le score de risque de fraude des allocataires. En haut, un score de risque faible (homme âgé qui parle le néerlandais…) en bas, un score élevé (femme jeune avec enfant…).

Les journalistes concluent en soulignant que Rotterdam est la seule ville qui a partagé le code de son système. Qu’elle a remis la liste des variables, les évaluations des performances du modèle, le manuel utilisé par ses data scientists, ainsi que le modèle d’apprentissage. C’est cette transparence inédite qui a permis de montrer combien le système était déficient. En 2017, Accenture promettait des résultats impartiaux et équitables. 

“La réalité de la machine à suspicion de Rotterdam est radicalement différente. Il s’agit d’un algorithme qui échoue au propre test d’équité de la ville.” Il est si opaque qu’il refuse toute procédure régulière à ceux qui en sont les victimes. 

La ville a fait son mea culpa. En partageant son expérience, elle espère montrer à nombre d’autres systèmes, leurs limites. Pour cela, la transparence est primordiale. Les systèmes publics doivent être capables de rendre des comptes sur les méthodes et outils qu’ils mobilisent. 

A bon entendeur !

Hubert Guillaud

MAJ du 8 mars 2023 : Wired et Light House poursuivent leur série d’articles sur les systèmes de surveillance à l’aide sociale défaillants. Signalons tout d’abord que Light House a publié un article assez exhaustif sur leur méthodologie pour recréer le système mis en place par la ville de Rotterdam. Un des articles de Wired revient sur l’algorithme de Rotterdam, en se plaçant du côté des bénéficiaires soumis à l’autorité des algorithmes. On y découvre la réalité d’un contrôle souvent brutal, qui utilise des infractions mineures dans les déclarations de revenus pour couper les aides ou réclamer des indus, comme le fait qu’un enfant ait vendu sa console de jeu sur un équivalent local du BonCoin, ou comme le fait d’avoir reçu de petites sommes de parents (la ville a depuis assouplit ses règles sur le montant d’argent que les gens peuvent recevoir de leurs proches). “Sur les quelque 30 000 personnes qui reçoivent des prestations de la ville chaque année, environ un millier font l’objet d’une enquête après avoir été signalées par l’algorithme de la ville. Au total, Rotterdam enquête sur jusqu’à 6 000 personnes par an pour vérifier si leurs paiements sont corrects. En 2019, Rotterdam a émis 2 400 sanctions en matière d’avantages sociaux, qui peuvent inclure des amendes et la suppression complète des avantages sociaux. En 2022, près d’un quart des litiges concernant des problèmes liés à l’aide sociale parvenus à la plus haute juridiction du pays provenaient de Rotterdam.” Depuis la suspension du système, la ville travaille à une nouvelle version et promet un effort de transparence, d’information et de garanties.  

Un autre article, intitulé “Le Business de la détection de fraude a un sale secret”, revient sur les difficultés, pour les citoyens, d’être confrontés à des systèmes de traitements publics opérés par des entreprises privées. L’article raconte comment le gouverneur de l’Indiana, Mitch Daniels, en 2005, a signé un contrat de 1,3 milliard de dollars avec IBM pour mettre en place un système de détection de la fraude des bénéficiaires de l’aide sociale de l’Etat. Pourtant, ce partenariat a été un désastre. Annulé en 2008, l’Indiana et IBM ont passé une décennie en conflit juridique. En 2012, la justice a rendu un verdict accablant sur le système lui-même. Ce jugement “aurait dû sonner le glas de l’activité naissante de l’automatisation de l’Etat-providence”. Il n’en a rien été. 

La une de l’article de Wired sur le business de la détection de la fraude aux prestations sociales.

Les systèmes de détection de fraude sociale constituent une part importante de l’industrie nébuleuse des “govtech”, ces entreprises qui vendent de la technologies aux autorités publiques en promettant de rendre l’administration publique plus efficace. En 2021, ce marché était estimé à 116 milliards d’euros en Europe et 440 milliards dans le monde. Des entreprises du monde entier – et notamment de grands cabinets de conseils –  vendent aux gouvernements la promesse que des algorithmes de “chasse à la fraude” vont leur permettre de mieux gérer les fonds publics. Le problème, c’est que les solutions qu’elles vendent sont surpayées et sous-supervisées. Trop souvent, le code de ces systèmes qui évalue qui est accusé de fraude, relève de la propriété intellectuelle de ces entreprises, ce qui génère une totale opacité et rend très difficile aux administrés d’obtenir des informations sur les modalités de calcul.

Au Royaume-Uni, une association, la Coalition des personnes handicapées du grand Manchester (avec l’aide du collectif militant Foxglove) tente de déterminer si les personnes handicapées sont les victimes des projets d’automatisation de l’aide sociale. L’association a lancé une action en justice contre le ministère du travail et des pensions britannique pour mettre en évidence la discrimination potentielle dans son algorithme de détection des fraudes au détriment des personnes handicapées, qui seraient plus souvent ciblées par ces systèmes (voir par exemple cette interview qui explique un peu mieux l’enjeu). En Serbie, des avocats cherchent à comprendre pourquoi un nouveau système a fait perdre à des centaines de familles roms leurs allocations. Sans transparence, il est “très difficile de contester et d’évaluer ces systèmes”, rappelle Victoria Adelmant, directrice du projet d’Etat-providence numérique de l’université de New York. 

L’automatisation des aides publiques a laissé une traînée de scandales dans son sillage, rappelle Wired, évoquant des problèmes d’accusation de fraude sociale massive dans le Michigan (j’en parlais par là), comme en Australie (j’en parlais par ici), ou aux Pays-Bas (de ce côté). Non seulement ces déploiements ont accusé des innocents de fraude sociale, mais bien souvent, en leur demandant des remboursements indus, ces systèmes leur ont enfoncé la tête sous l’eau. 

Derrière ces systèmes, on trouve certes des entreprises informatiques, mais également de grands cabinets de conseils comme Accenture, Cap Gemini, PWC… Les experts sont coûteux, et le secteur public peine à aligner ses salaires sur ceux du privé pour opérer par lui-même ces systèmes et les superviser. Et l’article de revenir sur la crise de SyRI (qu’on avait évoqué il y a peu). Aux Pays-Bas, dans la région de Walcheren, les responsables des systèmes sociaux se sont rendu compte que leurs algorithmes, développés par la startup Totta Data Lab, présentaient des similitudes frappantes avec SyRI, qui venait d’être condamné par le tribunal. Le problème, c’est que les autorités locales de Walcheren, en interne, reconnaissaient qu’ils n’avaient pas l’expertise pour vérifier l’algorithme développé par leur prestataire. Un institut de recherche indépendant a depuis effectué un audit de l’algorithme de Totta, en pointant ses nombreuses incohérences, et le fait que les scores de risques semble relever bien plus du hasard qu’autre chose. 

Le problème, c’est que ce manque de transparence a un coût. D’abord pour les victimes accusées de fraudes. Ensuite, pour la société elle-même et ceux qui luttent pour dénoncer les abus de ces systèmes : il faut des années de procédures pour montrer les lacunes techniques des systèmes. En Serbie, un bénéficiaire de l’aide sociale s’est vu refusé l’accès à une soupe populaire au prétexte que son statut de bénéficiaire aurait brutalement changé. En se renseignant, le bénéficiaire a appris que le système estimait qu’il aurait perçu de l’argent sur son compte bancaire, alors qu’il n’en disposait pas. L’enquête a montré que de très nombreux roms ont perdu leurs prestations sociales depuis l’introduction d’un nouveau mode de calcul et l’accès à de nouvelles données. Une association a demandé l’accès au code source du système de calcul, sans l’obtenir au motif que cet accès violerait le contrat que le service public a passé avec Saga, l’entreprise qui a déployé ce nouveau système… Le refrain est lassant. 

“Malgré les scandales et les allégations répétées de partialité, l’industrie qui construit ces systèmes ne montre aucun signe de ralentissement”, constate Wired A l’été 2022, le ministère italien de l’Économie et des Finances a adopté un décret autorisant le lancement d’un algorithme qui recherche les écarts dans les déclarations de revenus, les revenus, les registres de propriété et les comptes bancaires pour identifier les personnes risquant de ne pas payer leurs impôts. “Mais à mesure que de plus en plus de gouvernements adoptent ces systèmes, le nombre de personnes signalées à tort pour fraude augmente. Et une fois que quelqu’un est pris dans l’enchevêtrement des données, cela peut prendre des années pour s’en libérer”. Aux Pays-Bas, des familles ont tout perdu. Après une enquête publique, le gouvernement a accepté de verser une indemnisation conséquente aux familles qui n’a pas toujours suffit à combler les pertes qu’elles ont rencontrées. A Belgrade, les familles roms continuent de se battre pour le rétablissement de leurs droits. 

Un autre article, nous emmène, lui, au Danemark, pour nous expliquer que “le pays modèle de l’Etat-providence” est devenu un “cauchemar de surveillance”. Si le Danemark est l’un des Etats providence le plus financé au monde, sa Public Benefits Administration est depuis une dizaine d’années sous surveillance et la lutte contre la fraude sociale est devenue l’épicentre de la vie politique. En 2011, KMD, une des grandes sociétés informatiques du Danemark a estimé que 5% des versements de l’aide sociale seraient frauduleux (en France, on l’estime la fraude à 0,39% de tous les versements, aux Pays-Bas à 0,2%). Pourtant, la croyance dans une fraude sociale généralisée a permis à l’administration danoise de développer des systèmes de détection de fraude très sophistiqués, notamment en démultipliant l’accès de ses agents à des bases de données permettant de compiler de l’information sur les impôts, le logement, les revenus, la citoyenneté et même de surveiller les voyages à l’étranger des administrés. Pour le groupe de défense des droits de l’homme danois, Justitia, l’administration développe une surveillance systématique et disproportionnée par rapport au niveau de fraude sociale réel. 

La Une de l’article de Wired sur les algorithmes de détection de fraude Danois.

Suite aux estimations de KMD, le cabinet de conseil Deloitte a publié un audit sur les systèmes de l’administration, les jugeant inadaptés pour détecter la fraude et proposant de les dématérialiser pour remplir cette nouvelle mission. En 2015, un projet de loi est donc venu refondre l’Etat-providence danois en étendant les pouvoirs de l’administration chargé des prestations sociales, la dotant d’une “unité d’exploration des données”. La loi est votée en avril 2015, deux mois avant la nomination du conservateur Troels Lund Poulsen en tant que ministre de l’Emploi. Dirigée par Annika Jacobsen, responsable de la cellule d’exploration des données et de détection des fraudes de l’administration danoise des bénéfices publics, l’administration a démultiplié les contrôles tout azimuts en élargissant l’accès de son administration à nombre d’autres services de l’administration, raconte Wired. La directrice de cette administration se défend pourtant. Pour elle, les algorithmes ne font que signaler les bénéficiaires suspects. Les agents mènent des enquêtes et les citoyens peuvent faire appel des décisions, rappelle-t-elle. Sur 50 000 problèmes détectés et ayant fait l’objet d’une enquête en 2022, 4000 (soit 8%) ont reçu une sanction. L’Institut danois des droits de l’homme, un organisme indépendant, comme l’autorité danoise de protection des données, n’en ont pas moins critiqué l’ampleur et la portée de la collecte de données. Justitia compare l’administration danoise à la NSA américaine, tant rien de la vie privée des danois ne semble échapper à la surveillance du système chargé de l’aide sociale. L’administration, elle, justifie son action par l’efficacité. 

Dans toute l’Europe, la lutte contre la fraude sociale se tourne vers les algorithmes, rappelle Wired. “La France a adopté la technologie en 2010, les Pays-Bas en 2013, l’Irlande en 2016, l’Espagne en 2018, la Pologne en 2021 et l’Italie en 2022”. En 2021, le scandale hollandais qui a accusé quelque 20 000 familles de fraude à tort aurait dû alerter tous ces systèmes de leurs dérives possibles. Cela n’a pas été le cas, bien que le système ait été abandonné quand l’autorité néerlandaise de protection des données a découvert que le système avait utilisé la nationalité comme variable et qu’Amnesty International ait parlé de “profilage ethnique numérique”. La loi sur l’IA de l’Union européenne pourrait interdire tout système qui exploite les vulnérabilités de groupes spécifiques, rappelle Wired, y compris ceux qui sont vulnérables en raison de leur situation financière. Les systèmes de détection de fraude, dans ce cadre, pourraient être étiquetés comme des systèmes à hauts risques et être soumis à des exigences strictes de transparence et de précision. 

Pour Lighthouse Reports, le système danois semble utiliser lui aussi des variables problématiques, notamment la nationalité mise en cause dans le système néerlandais. Ces systèmes très intrusifs reposent sur une profonde méfiance à l’égard des pauvres, estime Victoria Adelmant, directrice du Digital Welfare and Human Rights Project. Au Danemark pourtant, là encore, seul un “très petit” nombre de cas impliquent une véritable fraude.

A croire que les défaillances des systèmes reposent d’abord sur les a priori idéologiques qui président à leur déploiement.

Dans les angles morts du numérique

Souvent, les glossaires et dictionnaires sont à la recherche d’une forme de neutralité et d’exhaustivité qui les rend rébarbatifs. Ce n’est pas le cas de celui-ci, qui assume et revendique ses partis-pris. Tant mieux, cela lui permet d’être particulièrement intéressant. Sous la direction d’Yves Citton (dont les curieux savent qu’ils doivent lire tous les livres !), Marie Lechner et Anthony Masure paraît donc Angles morts du numérique ubiquitaire, glossaire critique et amoureux, aux Presses du réel. Ce glossaire du numérique recense 145 termes pour interroger des notions et moduler nos vocabulaires pour mieux les repolitiser. Où, dans les transformations du numérique, regardons-nous mal ? Quelles ambivalences nous échappent ? Ce dictionnaire des angles morts du numérique cherche à nous montrer là où nous devons être prudents comme là où le numérique offre encore des leviers d’émancipations. 

La couverture du livre, Angles morts du numérique ubiquitaire.

Comme souvent dans les ouvrages collectifs, les contributions sont inégales, mais beaucoup sont particulièrement enthousiasmantes, à la fois par la synthèse qu’elles produisent et par les ouvertures qu’elles tissent. Chaque entrée introduit un enjeu, une question, une critique, une prise. Bien sûr, celles signées d’Yves Citton valent à elles seules le déplacement, mais ce ne sont pas les seules qui sont de qualité. Quand j’ai reçu l’ouvrage, je pensais picorer quelques termes, et au final, j’ai tout lu ! Avec ses entrées souvent courtes, ses références essentielles et surtout sa posture qui cherche les enjeux, ce dictionnaire pourrait parfaitement relever d’un manuel, au même titre que celui de Dominique Cardon ou que le livre de Kate Crawford, qui sont selon moi deux références incontournables du numérique. 

Le glossaire commence avec le terme “Abstraction” (rappelant que les data ne sont jamais données, mais toujours extraites (extracta) et donc abstraites (abstracta) d’une réalité), et cela se termine par “Voir comme un réseau” (qui nous invite à ne pas penser le monde comme un Etat ou une entreprise, à des fins de répression ou de compétition, mais comme un réseau, c’est-à-dire à des fins de coopération, c’est-à-dire à la fois “à voir (loin) comme un réseau” et à “penser (de près) comme une assemblée”). On y trouve des entrées assez attendues (Sobriété, Numérisation, Effet rebond…) et d’autres particulièrement surprenantes (Humanectomie – oui oui, on parle bien d’une ablation de l’humain par la techno, Incomputable, Peak data…). Ce méli-mélo est très tonique : il secoue l’esprit en nous poussant à regarder là où on ne regarde pas. Ainsi, nous sommes invités à réfléchir ce que signifie “une société dans laquelle les textes ne sont pas faits pour être lus” (Copier-coller). On y apprend que les premières voitures n’avaient pas de compteur de vitesse (mais un ampèremètre pour mesurer le courant électrique, Dashboard), que le numérique introduit des angles morts droit devant nos yeux (Elaine Herzberg), que les PV de radars automatiques ont pendant longtemps continué à être signés à la main par un humain qui n’avait ni le temps de les lire ni d’en vérifier le contenu (Fiction de responsabilité), que toute inclusion sans pouvoir ou position de direction relève de la plus pure instrumentalisation (Real name policy), ou combien ceux qui sont au point de contact entre internet et le monde physique sont le point de fuite d’une dégradation relationnelle liée aux injonctions contradictoires entre les ordres des machines et les besoins humains (Vigile de Leroy-Merlin)… 

“L’angle mort du numérique ubiquitaire est de prétendre ne pas avoir d’angle mort”, rappelle Yves Citton (Ubiquitaire). Les réseaux se veulent anoptiques, sans point de vue, sans position puisque capables de regarder le monde de partout. Ils sont surtout perspectivistes, c’est-à-dire qu’ils défendent toujours une perspective, qui ne relève pas tant d’un point de vue que “du point de vie”, de leur partialité intrinsèque, comme de défendre leur existence même. C’est au final notre existence par rapport à celles des systèmes qu’interroge ce vivifiant dictionnaire.  

Notons enfin que ce glossaire se présente comme une forme originale d’actes de colloque, puisqu’il est la publication d’un colloque éponyme qui s’est tenu à Cerisy en 2020, juste après la pandémie. Il nous montre que quand les actes de colloque savent se réinventer, ils peuvent produire des productions originales et stimulantes. On regrettera seulement qu’il reste encore dans ce dictionnaire quelques contributions qui ressemblent trop à des articles de recherche, ce sont souvent les moins réussies et le dictionnaire aurait gagné à s’en détacher pleinement. Si certaines entrées sont pleinement des définitions, des synthèses argumentées, d’autres tiennent par contre de réflexions pour prendre des pas de côté. Cet assemblage de tonalités très variées les unes des autres, elles, sont assez réussies et démultiplient les angles de lecture, tout en enrichissant le rythme. 

Pour vous donner envie, je vous propose de reproduire deux des entrées du dictionnaire. Histoire de vous donner le ton et de vous inviter à vous le procurer !

Hubert Guillaud

A propos du livre dirigé par Yves Citton, Marie Lechner et Anthony Masure, Angles Morts du numérique ubiquitaire, glossaire critique et amoureux, Les presses du réel, 2023, 400p. 24 euros. 

Une présentation de l’ouvrage aura lieu à la librairie l’atelier, rue Jourdain à Paris le 28 mars à 20h.

PS : Signalons aux lecteurs que j’ai participé à ce colloque en tant qu’intervenant, mais que je n’ai pas participé à l’ouvrage.

Elaine Herzberg 

Avant de vous parler de l’histoire d’Elaine Herzberg, je dois vous avouer que – comme j’imagine un peu tout le monde aujourd’hui – je suis de plus en plus préoccupé par à peu près tout ce que je fais, vu le désastre qu’est en train d’engendrer le fonctionnement normal de notre société technicienne. Donc prendre une douche, manger une banane, aller à Strasbourg, lire des infos sur le Web – pour toute chose on se pose la question : est-ce que c’est vraiment raisonnable de faire ça, est-ce que c’est viable ? Même pour la pensée : est-ce qu’il y a une forme de pensée favorable à l’environnement, ou compatible avec l’environnement, ou l’homme est-il de toutes façons condamné à ruiner les conditions de sa survie ?

Donc c’est la question que j’ai dans la tête et que je me pose à propos de tout. Et quand j’ai un problème important comme ça, ça finit par faire une petite chanson dans ma tête. Là, ça fait : cette fiction technique est-elle viable ? Cette petite chanson pose à son tour une question à inscrire dans ce glossaire : la question de la viabilité n’est-elle pas un angle mort des façons dont nous abordons le numérique ?

Exemple : si on considère le système technique mondial dans son ensemble, on sait qu’il n’est pas viable. C’est vrai : toute cette circulation généralisée des matières et des gens avec des connexions, des réseaux, des tubes, des routes, des pipelines, des canalisations mondiales, des tunnels, dans une gigantesque plomberie mondiale, tout ce grand scénario des ingénieurs, on sait qu’il a un problème.

Il se trouve que je suis réalisateur, donc la question du scénario m’intéresse, et je me suis dit que j’allais me pencher sur le scénario des ingénieurs, mais pas avec les mêmes critères que les leurs, pas juste comment ça fonctionne ?, mais comme pour un film, en pensant à la vie, à la mort, au désir et au temps qui passe.

Donc je suis parti de l’élément de base : le tuyau. Là, honnêtement, je suis pas très sûr que ce soit la bonne méthode. Mais bon. Un matin, j’étais dans ma cuisine, je me pose devant un tuyau et je me demande : est-ce que c’est viable ? Et puis j’attends la réponse. 

Et j’attends un peu, j’attends et d’un seul coup, paf : réponse ! En fait, le tuyau contient deux promesses. Premièrement, on va pouvoir aller de A à B. Deuxièmement, il n’y aura aucun contact avec l’environnement. Là c’est une info, pour nous qui nous intéressons aux rapports avec l’environnement. Aucun contact avec l’extérieur, autrement dit, le tuyau se substitue à l’environnement. 

À partir de là, on va avoir trois scénarios. D’abord, cas normal, la circulation est fluide, tout va bien. Deuxième cas, ça ralentit, il y a des bouchons. Éventuellement, ça ralentit tellement que tout est bouché, et là, la promesse d’aller de A à B devient incertaine. Troisième cas, accident : il y a une fuite, le contenu du tuyau va dans l’environnement, ou bien c’est l’environnement qui rentre dans le tuyau, et c’est tout de suite beaucoup plus grave. Sachant aussi que : qui dit tuyau, dit fuites.

Maintenant, je vais vous raconter l’histoire d’Elaine Herzberg, qui met en scène un tuyau moitié numérique moitié physique. 

L’histoire d’Elaine Herzberg s’est passée en Arizona dans une petite ville qui s’appelle Tempe, le 18 mars 2018, elle est rentrée dans l’histoire de l’humanité en devenant le premier être humain à se faire écraser par un véhicule autonome, un véhicule Uber. Elle avait 49 ans.

Quand j’en ai entendu parler, je me suis dit avec ma petite chanson : « cette histoire technique est-elle viable ? » Et puis ça posait des problèmes de droit super importants, cette histoire, parce que : le véhicule autonome, bon, comment on fait au tribunal ? Au tribunal, il y a deux statuts : il y a les personnes morales, pour les entreprises, les groupes ; et puis, nous, les personnes physiques. Bon. Mais alors, le robot, s’il est vraiment autonome, on va lui dire quoi ? Qu’il est aussi comme nous, une personne physique ? Là, nous, les êtres humains, on se sentirait quand même sacrément déclassés, non ? Et en fait, là, il a plutôt été traité comme faisant partie de l’entreprise Uber – mais voilà les questions que cela posait. Donc j’ai commencé à me renseigner beaucoup sur cette affaire, lire des articles, etc.

C’était vers la fin mars, début avril de 2018, et les articles parlaient d’abord de la voiture. Cette voiture, c’était un gros SUV, un Volvo XC90, quelque chose d’assez massif, et cette voiture, ce qu’on savait, c’est qu’elle roulait un peu plus vite que la vitesse autorisée qui devait être autour de 60 km à l’heure, pas vraiment en excès de vitesse, mais disons : euphorique. Légère euphorie. Vous imaginez un gros véhicule légèrement euphorique : « La la laaa, ça va ».

Et puis on passait à Elaine Herzberg. En fait, c’était plutôt sur elle qu’on apprenait des tas de choses. Donc Elaine Herzberg avait 49 ans, et au moment de l’accident, elle était en train de traverser une route à deux fois deux voies, la nuit, en dehors des passages pour piétons. À un endroit pas spécialement bien éclairé. À la sortie d’un virage. Voilà pour les données un peu techniques. Après, il y avait d’autres choses, c’est qu’elle se promenait avec un vélo, elle avait presque fini de traverser la deux fois deux voies, elle poussait sa bicyclette, comme ça, et sur son vélo, elle avait un sac de bières, parce qu’en fait, elle était en train d’aller chez des amis, pour passer une soirée, ou peut-être la nuit. Et on apprenait aussi qu’il y avait eu une autopsie et qu’on avait retrouvé dans son corps des traces de drogue, de marijuana, de méthamphétamine. Donc son portrait commençait sérieusement à se dégrader. Et on apprenait même qu’elle avait fait de la prison – pour conduite sans assurance, défaut de paiement de son loyer – et d’ailleurs elle était elle-même SDF. Et le comble de l’histoire – c’est ainsi que se terminaient plusieurs articles – c’est qu’on nous disait qu’elle allait bientôt « accéder à un logement ».

Ça, c’était le coup de grâce. Le mélodrame. Et puis surtout ça voulait dire qu’elle avait vraiment besoin qu’on l’aide, Elaine Herzberg. Que – contrairement à la voiture de Uber – elle n’était vraiment pas autonome. C’était le message à retenir. 

Bref, si on résumait, avec tous ces éléments mis bout à bout, on reconnaissait la célèbre histoire de l’Erreur Humaine. C’était le cas typique de l’Erreur Humaine qui débarque n’importe où, et qui vient gâcher un super beau projet. Parce que quand même, le projet des voitures autonomes, je sais pas si vous voyez, mais c’est un super beau projet : il s’agit de protéger tous les conducteurs humains de leurs erreurs de conduite, on va faire en sorte qu’il n’y ait plus de morts sur les routes, Donc, si ça se trouve, Elaine Herzberg, en mourant comme ça, comme une espèce de bécasse, elle allait engendrer 20 000 nouveaux morts à elle toute seule ! Rien qu’aux États-Unis !

Alors, j’en parle avec ironie, mais c’est vrai que je n’ai pas une confiance totale dans ce genre de systèmes. Sans être spécialiste, mais disons à partir de mon expérience immédiate, je ne suis pas convaincu que l’intelligence artificielle soit de l’intelligence. Je la vois plutôt comme l’arôme artificiel de banane qu’on trouve dans les yaourts. C’est surprenant, c’est marrant, etc. – mais c’est pas de la banane. Pour moi, l’intelligence artificielle, c’est pareil. Elle me semble très très limitée, elle me fait toujours penser à ces tests de psychologie un peu de base, type Action > Réaction, ou Stimulus > Réponse, Cause > Conséquence, etc – enfin c’est très très loin de la complexité d’une relation d’amitié qui évolue au gré du temps. On nous promet qu’elle va se complexifier, imiter l’intelligence humaine, mais je n’ai aucun espoir qu’une intelligence artificielle devienne un jour mon confident, une amie, quelque chose comme ça. Je fais plutôt l’expérience que c’est le contraire : qu’à force d’être en contact avec ces machines, c’est les êtres humains qui commencent à se calquer sur ces comportements et qui font eux-mêmes beaucoup de Stimulus > Réponse, Action > Réaction, et certains deviennent même un peu inquiétants. Je sais pas si vous avez remarqué, il y a des gens Hyper Réactifs ! Comme si ils perdaient un peu de finesse au passage. J’y réfléchissais, c’est pas facile de caractériser cet état, je me disais peut-être quelque chose qui pourrait représenter ça pas mal, pour moi, c’est la nouille instantanée. Prochain état de l’homme : la nouille instantanée ! C’est-à-dire qu’on a quelqu’un qui est là, comme ça, calme, et d’un seul coup PFFT, il devient instantanément CHAUD ! Bouillant ! INSTANT NOODLE.

Et alors pendant que je réfléchissais, comme ça, au bien-fondé – ou pas – de comparer l’humanité aux nourritures industrielles qu’on lui propose d’ingérer, le temps passait. Et on arrivait début 2019, et voilà qu’on m’invite à faire une performance – la même performance que celle que je suis en train de faire, là ce matin, devant vous, à Cerisy pour éclairer les angles morts du numérique – et je me dis : Mais tiens, je vais aller voir où on en est de cette histoire de Elaine Herzberg, que j’avais un petit peu oubliée.

Donc je me renseigne à nouveau, et là : formidable ! En fait, l’enquête avait largement progressé. La Police de Tempe avait fait du super travail, et tout publié sur  Internet. Notamment parce que après l’autopsie d’Elaine Herzberg, ils avaient fait l’autopsie de la voiture. C’est-à-dire qu’ils avaient ouvert la boîte noire du véhicule autonome, et là on découvrait des tas de trucs incroyables, à commencer par une vidéo. 

Dans la vidéo : la vue extérieure, et dans le véhicule, c’est Rafaela Vasquez, l’opératrice de conduite et de contrôle. Alors sur les images on ne se rend pas bien compte, parce que la caméra contraste mal, mais en fait on apprenait que l’endroit où avait eu lieu l’accident était en fait plutôt bien éclairé. Et puis la route faisait un virage, c’est vrai, mais c’était un virage très très long, peut-être sur 600 mètres. En fait c’était pas vraiment un virage. Et puis tout était comme ça : la voiture ne roulait pas trop vite, mais elle roulait plutôt assez lentement ; un peu moins de cinquante à l’heure, donc un véhicule pas euphorique mais plutôt un peu déprimé. Un SUV qui manque d’allant. Qui doute.

Bref : tout était complètement changé. Et surtout, on apprenait que le détecteur de la voiture, le LIDAR, s’était aperçu qu’il y avait un obstacle sur la route six secondes avant l’impact. Six secondes ! Vous imaginez six secondes à 50 à l’heure ? Et ce que disaient les policiers, c’est que Elaine Herzberg, en traversant avec son vélo, elle était tranquille, elle n’a jamais pensé que la voiture allait lui rentrer dedans, elle pensait que le conducteur ferait un écart. Pour les policiers, c’était clair : n’importe quel conducteur, à cette vitesse, l’aurait évitée. Aucun doute là-dessus.

Donc la nouvelle question c’est : mais alors pourquoi ? Pourquoi les deux conducteurs – c’est-à-dire la voiture plus la conductrice – n’ont pas réussi à l’éviter ?

Alors je vais remettre la vidéo : là, vous voyez Rafaela Vasquez, on la voit qui regarde en bas, voilà, et puis après elle regarde devant – et moi, naïvement j’ai cru qu’elle regardait un appareil de contrôle, mais en fait pas du tout ! Grâce à une autre boîte noire – la boîte noire de son téléphone cette fois – on s’est aperçu qu’elle était en train de regarder la télé ! Elle regardait The Voice, puis des fois elle regardait un peu dehors. Elle avait complètement confiance que ça allait marcher. Donc elle, elle n’a rien vu du tout, à part au moment du choc, rien. D’ailleurs la voiture n’a pas du tout freiné. Elle n’a ni fait un écart, ni freiné. Donc Rafaela Vasquez, c’était pas le bon candidat pour faire le métier, et d’ailleurs on apprenait même qu’elle aussi elle avait un sacré casier judiciaire, elle avait, elle aussi, fait de la prison et pour des trucs autrement plus trash : des braquages à main armée, etc. Bref, le désert du Sonora, comme dans Bolaño, là, on y est en plein.

Et maintenant : pourquoi la voiture n’a pas réagi ? C’est un système qu’il faut que je vous explique un peu. En fait, Uber était en train de tester ses voitures, et il avait fait un deal avec le gouverneur de l’Arizona, mettons pour 10 mois, et ils avaient 10 mois pour tester leur système, pour vendre à leurs clients le fait qu’ils allaient pouvoir se servir de leurs voitures, et que ces voitures iraient toutes seules gentiment d’un point A à un point B, sans rentrer en contact avec l’environnement. Et ils faisaient les tests, mais ça marchait mal. Leur véhicule avançait, mais parfois il voyait une aile de papillon et il disait « Ah ! Qu’est-ce que c’est ? Une montagne ? » Ou il voyait la mer, et c’était un camion blanc. Il avait parfois du mal à comprendre l’environnement. Il percevait des signes. Il se méfiait. C’était un véhicule méfiant. Et pour compenser, il sur-réagissait, comme une nouille instantanée, hop ! Donc les gens qui étaient dedans se faisaient des fois secouer, donc ça ne marchait pas bien, et il fallait souvent intervenir, il fallait attraper le volant en moyenne une fois tous les 21 kilomètres pour reprendre en main le véhicule, sinon c’était gros danger. Le concurrent Waymo, c’est, à la même époque, une intervention décisive tous les 9000 kilomètres. C’est beaucoup mieux, mais bon, ça reste loin de 100% fiable.

Donc, ils étaient en train de terminer la phase de test, et ça commençait à devenir difficile. Et là, il y a quelqu’un chez Uber qui s’est dit : je connais le logiciel, je vais aller dans Propriétés > Réglages, et je vais baisser la réactivité du véhicule, on va valider les tests : Yo ! Et il l’a fait. Le réglage, qui était à vigilance maximale, est passé à minimale. Et paf, une fuite ! C’est-à-dire qu’on peut voir le véhicule autonome comme un tuyau, on peut dire que c’est un tuyau qui crée son chemin, qui promet d’aller de A à B sans jamais rencontrer l’environnement, et là, la personne qui modifie le réglage du logiciel, en fait elle ajoute de la porosité au tuyau. Et ça fuit. Accident : le véhicule écrase Elaine Herzberg. Donc on pourrait dire : erreur industrielle.

Maintenant, sur le plan humain, cette histoire pose toute une autre série de problèmes. C’est que, par exemple, si Elaine Herzberg meurt, c’est qu’elle n’est pas prise en compte comme être humain. Sa valeur d’être humain a été baissée. Et là j’ai reconnu un critère qu’expose très bien dans ses livres magnifiques Jeanne Favret-Saada (comme celui-ci par exemple, Comment produire une crise mondiale avec Douze petits dessins, qui raconte en détail l’histoire des caricatures de Mahomet, c’est super intéressant), et donc elle explique que à l’origine de plein de conflits, on commence par dire que l’ennemi, c’est pas vraiment des êtres humains, et après, on s’ouvre le droit de les tuer. Et je reconnaissais un peu de ça dans cette histoire. Et ce phénomène, Jeanne Favret-Saada l’appelle l’embrayeur de violence. C’est ce qui fait que quelqu’un, par exemple notre personne chez Uber, ne s’aperçoit pas vraiment qu’il y a quelqu’un qui risque de vraiment mourir, si on change un peu les critères du logiciel. C’est ce qui fait qu’on peut produire quelque chose qui va être très violent, mais sans s’en apercevoir. Et donc c’est redoutable, ça, les embrayeurs de violence. Et ça répond bien à ce qu’on associe avec un « angle mort » : quelque chose de terrible, qu’on ne voit pas venir, parce que notre regard se trouve empêché ou obstrué.

L’histoire d’Elaine Herzberg est quand même un cas très particulier d’angle mort. Les angles morts, on en a l’habitude dans les accidents de la route. Ça doit tuer, chaque année, des centaines et des milliers de personnes. Des gens à vélo, comme Elaine – mais qui viennent de derrière, ou de côté. Ce qu’il y a de bizarre dans le cas des voitures numérisées, c’est que l’angle mort qui a tué Elaine, il était droit devant le pare-brise. Là où, justement, on n’imagine pas qu’il puisse y avoir un angle mort. Là où n’importe quel conducteur humain verrait tout de suite un risque d’accident, et freinerait sans hésiter – s’il ne faisait pas une confiance aveugle au numérique.

C’est peut-être ça que nous dit cette histoire. Non pas seulement que le numérique introduit des angles morts droit devant nos yeux. Mais surtout que – en tant que tuyau qui se substitue à l’environnement – le numérique risque d’être lui-même un angle mort ubiquitaire.

Olivier Bosson

Quatre replis de médialité 

La pensée toujours vivante de Vilém Flusser (1920-1991) invite à penser notre monde sensible comme composé de la superposition et de l’enchevêtrement des quatre replis de médialité, qui se sont accumulés, supplémentés et complexifiés au fil des siècles. Leur dépliement aide à mettre en lumière des couches qui restent généralement cachées sous notre fascination commune pour les nouveautés du numérique.

Le premier repli, le plus profond, est constitué par des images subjectives, que Flusser illustre par les figures peintes sur les parois de Lascaux aussi bien que par les tableaux de la Renaissance. De tout temps, les subjectivités humaines ont perçu des formes qu’elles ont représentées ensuite de façon bi- ou tri-dimensionnelle sur différents supports (croquis, fresque, icône, statue). Même si nous continuons bien sûr à produire de telles images subjectives, elles relèvent pour Flusser d’un régime « pré-historique », dans la mesure où l’entrée dans « l’histoire » est indexée chez lui à l’apparition et à la domination de l’écrit. 

Figure 2 : Quatre replis de médialité d’après Vilém Flusser

Le deuxième repli est en effet celui de l’écriture, par quoi il désigne principalement l’effort réalisé depuis des siècles pour tenter de rendre compte des phénomènes de causalité à travers le traçage uni-dimensionnel de caractères assemblés selon un ordre linéaire. L’écriture instaure un régime « historique » en imposant à notre expérience multi-dimensionnelle et pluri-causale de passer par le fil d’une énonciation linéaire qui distingue un avant d’un après, une cause d’un effet, s’efforçant donc de calquer une articulation causale (explicative) sur une articulation temporelle (narrative). Ce deuxième régime est orienté tout entier vers la production d’un sens, que l’effort d’écriture arrache au non-sens en sélectionnant au sein de tout ce qui serait observable cela seul qui s’avère pertinent pour nous repérer dans la formidable intrication des causalités naturelles et sociales.

Le troisième repli se caractérise par la production de techno-images, c’est-à-dire par la mise en circulation de représentations issues de processus techniques automatisés ne requérant plus d’être filtrés par une subjectivité humaine, comme c’était le cas de l’écriture ainsi que des images subjectives. L’appareil photographique, le gramophone, les caméras du cinéma et de la vidéo nous ont fait basculer depuis le milieu du XIXe siècle dans un monde où les techno-images jouent un rôle de plus en plus hégémonique dans nos modes de communication, d’imagination et de décision. L’une des propriétés cruciales de ces appareils est de saisir des blocs de réalité sans y opérer le moindre filtrage entre ce qui est censé être pertinent ou non. Les images subjectives et les discours écrits ne représentaient que les traits sélectionnés par une subjectivité humaine comme contribuant à la consistance d’une forme ou à la validité d’un argument. Un appareil-photo, un microphone ou une caméra saisissent tout ce qui se trouve présent dans leur champ d’enregistrement, sans discriminer entre le beau et le laid, l’important et le secondaire, le véritable et l’illusoire. 

Pour Flusser, nous entrons progressivement, depuis plus d’un siècle, dans une ère « post-historique », au sein de laquelle la puissance analogique des techno-images prend de plus en plus le pas sur les prétentions de la rationalité scripturale à rendre compte de la réalité par des explications causales. Les différentes formes de « crises » que nous déplorons au sein de la « post-modernité » résultent toutes d’un décalage entre nos vieilles habitudes de pensée et d’action relevant de la période « historique », dominée par le régime de l’écriture, et les nouvelles conditions de médialité instaurées par la domination des techno-images, qui requièrent des comportements d’un autre ordre, que la plupart d’entre nous sommes encore tragiquement incapables de comprendre et d’exécuter.

Depuis le milieu du XXe siècle, le développement d’appareils de computation de plus en plus performants et ubiquitaires surajoute un quatrième repli, au sein duquel des programmes associent la puissance imaginative des images subjectives à la puissance analogique des techno-images, ainsi qu’à la puissance analytique de l’écriture linéaire. Nos programmations médiées par ordinateurs génèrent des modèles, dont la force de reconfiguration de nos réalités et de nos comportements à venir demeure encore largement impensée et impensable. Ces modèles mettent à profit des capacités de saisie, d’enregistrement et de traitement de quantités de données proprement inouïes, pour mettre en circulation avec des moyens de diffusion également inédits des attracteurs de comportement dont la prégnance commence à peine à révéler ses effets.

Les opérations aujourd’hui menées à travers des dispositifs numériques (au sein de la quatrième couche, la plus élevée) doivent être envisagées comme reconfigurant les trois couches inférieures tout en subissant l’inertie et les contrecoups de leurs mouvements propres.

Yves Citton

Références

Flusser, Vilém, 1984, Dans l’univers des images techniques, Dijon, Les presses du réel, 2022.
Flusser, Vilém, 1991, La civilisation des médias, Belval, Circé, 2006.

Comment les travailleurs peuvent-ils lutter contre l’extension de la surveillance ?

Plus qu’un blog, le Law and Political Economy (LPE) Project de l’école de droit de Yale tient surtout d’un réseau de chercheurs pour réfléchir aux transformations de l’économie politique en cours. On y parle donc, aussi, beaucoup de numérique. 

Récemment, le site a lancé une réflexion (un “symposium en ligne”) sur la surveillance des travailleurs et la résistance collective. La numérisation de toutes les activités de travail a profondément développé la surveillance des travailleurs. Les employeurs multiplient et complexifient les systèmes pour extraire des données sur ceux qui travaillent pour eux, jusqu’à les poursuivre où qu’ils se trouvent. Non seulement ces systèmes menacent la vie privée des travailleurs, mais bien souvent ils entravent leurs capacités à s’organiser collectivement, notamment quand les entreprises utilisent des outils d’analyse de données pour repérer et étouffer l’action collective (dans une inventivité de techniques un peu sans limites, notamment dans chez les Gafams ou dans nombre de startups où les partis pris antisyndicaux sont particulièrement virulents). Pour l’étudiante en droit Ann Sarnak qui coordonne le dossier, cette tendance pose quelques questions de fond : “Comment la loi facilite-t-elle actuellement, voire encourage-t-elle, la surveillance par les employeurs ? Dans quelle mesure la surveillance érode-t-elle précisément la dignité et le bien-être des travailleurs et sape-t-elle leur sens de la solidarité ? Quelles stratégies légales et non légales sont les mieux adaptées pour lutter contre les méfaits individuels et collectifs de la surveillance invasive au travail ? Et comment ces stratégies pourraient-elles également réduire la domination des employeurs et leur pouvoir structurel sur la vie des travailleurs ?”

De l’interopérabilité de la surveillance

Pour répondre à ces questions, le blog a recueilli plusieurs contributions de chercheurs. La sociologue Karen Levy (@karen_ec_levy, dont on a récemment rendu compte en détail de son livre, Data Driven), rappelle dans son intervention que les autorités de régulation du transport, en imposant des outils de contrôle, ont surtout renforcé les capacités de surveillance des entreprises. Un peu comme si le gouvernement avait imposé à chaque travailleur d’avoir un smartphone et que chaque entreprise avait le droit de consulter ce que les travailleurs font avec. Les autorités favorisent l’extension de la surveillance, explique la chercheuse qui parle “d’interopérabilité de la surveillance” en montrant la comptabilité des différentes formes de surveillance, leur extension, leur intensification et surtout leur élargissement, puisque la capture de nouvelles données alimente de nouveaux observateurs qui profitent de ces captures et accès. Les seuls qui n’en profitent pas vraiment, ce sont les employés, pris en tenaille par de nouvelles injonctions sous les objectifs multiples et contradictoires de tous ceux qui ont accès à ces données. Les surveillances “gouvernementales, patronales et commerciales” se superposent pour créer de nouvelles rigidités au travail. Le problème est que cette conjonction d’objectifs complémentaires laisse peu d’espace aux travailleurs pour résister à ces pressions concomitantes, pour résister à “un régime de surveillance supérieur à la somme de ses parties”. Pour Karen Levy, nous devrions oeuvrer à “dégrouper les technologies connexes”…  sans qu’elle n’explique très bien ce qu’elle entend pas là. On entend surtout que face à une surveillance omniprésente, il est très difficile de trouver les modalités concrètes pour leur imposer des limites. 

Le numérique rend la lutte collective plus difficile
La spécialiste de l’économie des plateformes, Sarrah Kassem (@kassemsarrah), auteure de Work and Alienation in the Platform Economy: Amazon and the Power of Organization, livre une réflexion sur la surveillance dans le travail des plateformes. Pour elle, nous devons nous intéresser à la nature des plateformes et comment elles organisent le travail ainsi qu’à la nature du travail, c’est-à-dire son statut et comment il est rémunéré. Pour cela, la chercheuse a livré une analyse comparative du travail dans les entrepôts d’Amazon où les salariés sont payés en salaire horaire fixe et du travail sur MTurk, la plateforme de travail externalisée d’Amazon, où les travailleurs sont payés à la micro-tâche. Dans les entrepôts, les travailleurs travaillent sous des conditions tayloriennes. Ils sont surveillés à la fois numériquement et physiquement sous un “régime de productivité algorithmique” qui nécessite de respecter les taux d’“unités par heure” (UPH). “Celles-ci diffèrent en fonction de la tâche assignée et du volume de commandes du quart de travail à venir. Ainsi, bien que les travailleurs soient payés à l’heure, ils sont évalués en fonction de leur travail à la pièce.” La résistance y est très limitée, puisque si les cadences imposées par les tâches et les volumes, ne sont pas respectées, c’est leur performance qui est dégradée et la prolongation de leur contrat qui est menacée. Reste que la présence physique des employés permet de construire des solidarités collectives, même si elles sont rendues difficiles du fait des différents contrats qui s’y rencontrent (fixes, intérimaires, sous-traitants… et des horaires fluctuants). Néanmoins et malgré les tactiques antisyndicales d’Amazon, ils peuvent participer à des débrayages, des grèves… Des formes de résistances traditionnelles y sont encore possibles. 

Dans MTurk, les travailleurs des chaînes de production numériques hyper-taylorisées produisent des “tâches d’intelligence humaine” (HIT), selon des modalités de revenus à la tâche, qui ne sont ni garanties ni stables, et varient selon la nature de la tâche de quelques centimes à plusieurs dollars. Ils ne sont pas salariés, mais indépendants, et donc sans avantages sociaux, sans assurance ni salaire garanti. La surveillance technologique repose sur la mesure du temps exact pour accomplir la tâche et l’approbation de l’employeur, qui affecte la possibilité d’accéder à d’autres tâches. La nature précaire du travail et l’absence de relation avec les autres travailleurs empêche les formes d’organisations collectives. Le système est imperturbable, les travailleurs sont interchangeables. Des espaces alternatifs pour créer des formes de solidarités et de lutte ont néanmoins émergé en dehors de ces ateliers numériques. Pour Sarrah Kassem, la surveillance assistée par la technologie est devenue intrinsèque et indissociable du travail et rend les formes d’organisation collectives plus difficiles. 

Dans l’hyper-taylorisme : la surveillance modifie les conditions d’emploi
Le chercheur Reed Shaw (@reedshaw16) s’est lui aussi intéressé aux entrepôts d’Amazon et notamment pour comprendre pourquoi le taux de blessures dans les entrepôts d’Amazon était deux fois supérieur à la moyenne nationale. Avec la mesure du taux d’unité par heure, les machines d’Amazon surveillent la “tâche de temps libre”, c’est-à-dire le temps pendant lequel les travailleurs sont inactifs entre deux colis scannés. Ce taux invite à l’intensification du travail qui génère en réponse une augmentation du risque de blessure et d’accident. Pour Shaw, “le lien entre les pratiques de surveillance des travailleurs d’Amazon et ses taux élevés de blessures est clair” : c’est l’intensification que le taylorisme numérique produit le coupable. Le problème n’est pas tant de montrer que la surveillance a des effets sur la productivité, que de trouver les parades réglementaires effectives. 

L’un des principaux problèmes, estime Shaw, est que les entreprises qui surveillent et contrôlent le travail des travailleurs ne sont pas nécessairement celles avec lesquelles ils ont un contrat de travail. Nombre de livreurs d’Amazon, contrôlés par les dispositifs d’Amazon, ne sont pas des employés d’Amazon, mais des employés de prestataires externes et de sous-traitants. La difficulté consiste donc à déterminer les chaînes de responsabilité de cette intensification. C’est le cas également dans les magasins franchisés : McDonald n’est pas responsable des procédés qu’il met pourtant en place chez ses franchisés. C’est bien sûr encore plus le cas quand les employés n’en sont pas, comme c’est le cas des indépendants des firmes de livraisons et de voiturage. Autre problème, les systèmes de mesures ne s’adaptent pas à certains types d’employés, comme les femmes enceintes ou les travailleurs handicapés, qui sont encore plus sévèrement punis par les systèmes qui évaluent les cadences sans aménagements. Pour Shaw, “la surveillance généralisée des employés devrait être considérée comme modifiant le contexte de l’emploi d’une manière qui menace un large éventail de lois et de protections du droit du travail”.

Pour rééquilibrer la relation de travail, il faut plus de droits sur les données
Pour le professeur de droit Matthew Bodie (@matthewbodie), co-auteur de Reconstructing the Corporation: From Shareholder Primacy to Shared Governance, la surveillance des employés procède d’une nouvelle collecte de données et propose une nouvelle création de valeur permettant aux employeurs de tirer une nouvelle valeur de la relation de travail, explique-t-il, sans qu’il n’y ait de recours ni de droits pour les travailleurs fournisseurs de données, ni de modalités pour exercer leur pouvoir collectifs sur ces données. L’évolution des outils de collecte de données dans le champ du travail modifie “la dynamique du pouvoir de la relation d’emploi”. Pour Bodie, la frontière traditionnelle entre les informations de travail et les informations personnelles, est en train de devenir totalement floue. Toutes sortes d’informations personnelles peuvent désormais être convoquées comme “pertinentes” pour évaluer la performance individuelle au travail : notre santé, nos relations avec nos collègues, nos opinions politiques, notre consommation de caféine, notre disposition au conflit… (sans que cette “pertinence” ne soit jamais évaluée, comme le soulignaient les chercheurs Mona Sloane, Rumman Chowdhury et Emmanuel Moss dans un excellent article qui dénonçait la prétention à la connaissance des systèmes).  

La réponse instinctive à ce problème consisterait à renforcer la protection de la vie privée sur les lieux de travail, mais cette réponse ne convainc pas Bodie, notamment parce qu’il suffit d’un pseudo consentement imposé dans une relation de travail déséquilibrée pour vider ce renforcement de sa substance. “La relation aux données ne cesse de devenir de plus en plus déséquilibrée”, constate le chercheur. C’est par les données sur les chauffeurs et leurs clients que les entreprises de covoiturage fixent les prix et affectent les chauffeurs, sans que les conducteurs puissent avoir la main sur ce qui leur est soustrait. Bodie est pessimiste : désormais, “la relation de travail nécessite un flux de données trop important pour espérer ne jamais l’arrêter”. Selon lui, les travailleurs ont besoin de plus de droits sur leurs données et leur utilisation, à l’image de ceux que déploient le RGDP en Europe (comme le droit de limitation des finalités ou les droits d’opposition à certains types de prise de décision automatisée). 

Reste pourtant à trouver les modalités d’action collectives. Ici, Bodie dresse un comparatif avec l’hypersurveillance des athlètes de haut niveau, qui, malgré cette démultiplication d’information, gardent des droits sur leurs données voire des voix collectives pour négocier la portée de la collecte de données par les équipes. Les organisations syndicales devraient avoir la capacité pour négocier avec les employeurs l’accès aux données et leur partage – mais seulement 6% des employés du secteur privé sont syndiqués aux États-Unis. Les travailleurs sans représentation collective n’ont donc pas de pouvoir collectif sur la collecte. D’autres structures organisationnelles pourraient également faire levier, allant de l’actionnariat salarié aux coopératives de plateformes, en passant par la codétermination…  et invite à imaginer des “conseils de données” habilitées à examiner toute collecte ou utilisation de données des employés. “Nous devons donner aux travailleurs la possibilité d’avoir leur mot à dire dans la gestion des données et les droits sur les données qu’ils fournissent.” Oui ! Mais là encore la contribution ne trouve pas le levier de cette activation. 

La dernière contribution est celle de l’avocat Alvin Velazquez qui travaille pour une grande organisation syndicale internationale. Il rappelle lui aussi que la surveillance des employés n’a fait que se raffiner avec le numérique et notamment les employés les plus précaires. Désormais, les pointeuses sont des applications pour téléphones mobiles et elles ne mesurent pas seulement le temps de travail, contrôlent le travail réalisé et captent également la localisation en permanence. Ces objets posent des questions de surveillance invasive, en-dehors des heures et lieux de travail et de partage de données avec des acteurs tiers. Pour l’avocat, la preuve de la surveillance, c’est-à-dire l’accès aux données des employés, devrait être une preuve d’un lien de subordination, défend-il. 

Pour lui cependant, il est essentiel que les autorités renforcent la loi sur la protection de la vie privée et promulguent un droit des travailleurs sur les données qu’ils produisent au travail, à l’image du RGPD européen, regrettant cependant que la législation sur la protection de la vie privée se concentre sur la protection des consommateurs en oubliant les travailleurs. Pour l’instant, le manque d’accès aux données du travail par les travailleurs sape leur capacité à négocier pour améliorer leurs conditions de travail ou leur rémunération. 

*

La surveillance a un impact direct sur l’employabilité et la rémunération au détriment des règles du droit du travail

On pourrait croire à lire ces billets, que le RGPD est l’alpha et l’omega de la solution. C’est oublier pourtant, comme le rappelle son intitulé complet, que celui-ci n’est pas qu’une protection vis-à-vis du traitement des données à caractère personnelles, mais qu’il organise également leur libre circulation, sous conditions.

Ce que ces billets disent assez imparfaitement, c’est ce que change cette surveillance, leurs impacts et les modalités de cet impact. Ce qui se joue dans le renforcement de la surveillance au travail est pourtant très fort au niveau RH et plus encore au niveau de la question salariale. Les données sont de plus en plus utilisées pour recruter, mais également pour produire des indicateurs de performances souvent problématiques sur de plus en plus d’employés, comme s’en émouvait un article du Washington Post prédisant l’arrivée du licenciement algorithmique. La surveillance a un impact direct sur l’employabilité et le recrutement et sur la rémunération. C’est ce qu’explique dans un autre billet du LPE Project la professeure de droit Veena Dubal (@veenadubal) paru quelques semaines plus tôt. Dans le monde des plateformes de livraison ou de transport, la rémunération n’est pas fixe. Elle est à la fois “imprévisible, variable et personnalisée”. En cas de forte demande par exemple, les prix des courses vont augmenter et les revenus des coursiers également. Mais il n’y a pas que cette tension entre l’offre et la demande qui explique les variations, et même quand c’est cette explication qui domine, les variations demeurent incohérentes. En fait, la rémunération algorithmique n’est pas du tout une forme applicative et parfaite du marché, comme elle voudrait nous le faire croire. Au contraire.

Les incohérences sont nombreuses, explique Dubal. Parfois vous pouvez obtenir une prime si vous acceptez un trajet supplémentaire, mais bien souvent cette prime n’est pas proposée à un collègue qui a le même historique de circulation. La modularité des incitations de ce type varie sans arrêt, sans que les travailleurs ne parviennent à comprendre leur logique. A l’inverse, vous pouvez attendre ce trajet et cette prime liée à un certain nombre de courses à accomplir, sans que l’algorithme ne vous donne de course, alors que d’autres conducteurs en obtiennent. Le problème, c’est que tout cela n’est pas une question de marché, de malchance ou de hasard, mais bien le résultat d’un calcul. La manipulation des données des conducteurs permet de leur faire croire que les variations de leurs rémunérations tient d’un Casino, expliquait dans Fortune Stephanie Vigil, conductrice pour DoorDash, qui rappelle par exemple que les pourboires que les clients donnent ne sont pas attribués directement à leurs livreurs, mais obscurcies par les plateformes pour que ceux-ci ne privilégient pas les courses avec pourboire. Pour elle, les conducteurs doivent récupérer l’accès à leurs données, comme le défend l’association DriverRights. Les bas salaires et les pourboires sont devenus la règle chez les plateformes de livraison de nourriture, rappelait Inayat Sabhikhi de One Faire Wage dans Points l’année dernière, rappelant qu’elles ont toutes pratiqué le vol de pourboires et que toutes les organisations réclament désormais la transparence sur ceux-ci, sans l’obtenir. 

Nous entrons dans l’ère de la discrimination salariale algorithmique qui ne permet ni de prédire ni de comprendre sa rémunération 

De plus en plus de travailleurs du transport et de la logistique sont confrontés à un salaire constamment fluctuant lié à la gestion algorithmique du travail, explique Dubal. “Dans le cadre de ces nouveaux régimes de rémunération, les travailleurs perçoivent des salaires différents – calculés à l’aide de formules opaques et en constante évolution reflétant l’emplacement, le comportement, la demande, l’offre et d’autres facteurs de chaque conducteur – pour un travail globalement similaire.” Le problème de ces situations, n’est pas seulement celui d’une rémunération variable basée sur la performance, mais la conjonction de cette variabilité avec une autre, celle de la répartition du travail basée non seulement sur le comportement des travailleurs, mais également sur d’autres critères liés eux à la profitabilité que le calcul opère pour l’entreprise entre tous les critères. Elle produit une “discrimination salariale algorithmique” (voir également son papier de recherche) qui permet aux entreprises de personnaliser et différencier les salaires d’une manière inconnue à ceux que ce calcul impacte, en les payant pour qu’ils se comportent de la manière dont l’entreprise le souhaite, à la limite de ce qu’ils sont disposés à accepter. L’asymétrie d’information laisse à l’entreprise toute latitude d’ajustement. Enfin, “la discrimination salariale algorithmique crée un marché du travail dans lequel des personnes qui effectuent le même travail, avec les mêmes compétences, pour la même entreprise, en même temps, peuvent percevoir une rémunération horaire différente”, le tout via un système obscur qui ne permet ni de prédire ni de comprendre sa rémunération. 

Pourtant, rappelle la chercheuse, les lois internationales du travail rappellent qu’à travail égal salaire égal, et que les entreprises ne peuvent pas introduire de règles nouvelles ou opaques pour obscurcir le calcul du salaire. “Si un mineur devait être payé en fonction de la quantité de charbon qu’il extrayait, la société minière ne pouvait pas peser le charbon après l’avoir fait passer à travers un tamis”. Or, les calculs algorithmiques ruinent les logiques d’équité, notamment parce que le salarié ne peut pas connaître les critères que l’entreprise a déterminé pour évaluer son travail ou le planifier, et que le calcul rend le salaire de chaque personne différent, même si le travail est le même au même moment, comme c’est le cas entre les conductrice et les conducteurs d’Uber : les femmes gagnant 7% de moins que les hommes. 

En plus de saper l’équité salariale, la rémunération algorithmique est sans cesse changeante, ce qui fait que des pratiques rémunératrices peuvent ne plus le devenir d’une manière qui semble aléatoire au travailleurs, alors qu’elles sont calculées. Les conducteurs parlent d’une “mécanique de casino”. Pour la chercheuse, le fait de reconnaître les coursiers comme des salariés ou de fixer des prix planchers pourraient améliorer les choses bien sûr. Mais la rémunération variable automatisée nécessite, elle, une réglementation supplémentaire. La contre-collecte de données (organisés par les travailleurs indépendants pour documenter les algorithmes auxquels ils n’ont pas accès, à l’image du Worker Info Exchange mis en place par les chauffeurs d’Uber) ou les appels à une plus grande transparence des calculs oeuvrent dans le bon sens, mais sont également insuffisants. La chercheuse invite à aller plus loin via une “abolition de l’extraction de données au travail”. L’extraction de données au travail n’est pas nécessaire à la gestion du travail, rappelle-t-elle en invitant à en finir avec le calcul algorithmique au travail. Radical ! 

Réguler le croisement de données

Pour ma part, il me semble que le problème ici tient du fait que nous sommes en train d’autoriser des croisements de données qui ne devraient pas l’être. A l’ère de l’Intelligence artificielle, les entreprises ont intégré l’idée que pour améliorer leurs calculs, elles devaient disposer de toujours plus de données et que de leurs croisements sortiront des indicateurs de performance nouveaux et optimaux. Mais on ne s’est jamais posé la question de savoir si certains croisements n’étaient pas souhaitables, voire contraires à l’esprit du droit du travail. Que se passe-t-il quand le calcul du salaire est corrélé au planning afin d’optimiser les deux, voire l’un plus que l’autre, comme le montrait récemment le scandale Orion à la SNCF, où les informations de planning sont corrélées avec le calcul de primes, pour les limiter. C’est typiquement ce que montre Veena Dubal quand elle souligne que la prime devient inaccessible à un chauffeur parce que son obtention vient en conflit avec l’objectif de réduction des coûts que programme également le système d’Uber. Pour ma part, il me semble qu’à l’heure où l’on promet de pouvoir croiser toutes les données les unes avec les autres, il est temps de se demander quelles données ne doivent pas être croisées entre elles. Pour poser la question des limites à la surveillance, il est nécessaire de regarder ce que produit l’interconnexion de ces données et de montrer qu’il y a des croisements de données, des calculs qui ne devraient pas être possibles. A l’heure où les entreprises partent du principe que toutes les données sont associables pour produire de meilleurs calculs et de meilleurs indicateurs, la piste qui n’est jamais évoquée dans cette libération des calculs, c’est la régulation de leurs croisements. Peut-être que certains croisements ne devraient pas être rendus possibles, parce qu’ils transforment profondément l’esprit de la loi qui régit le code du travail. En tout cas, à l’heure où tous les croisements de données sont autorisés, nous interroger sur ce qui ne devrait pas être corrélé est assurément un exercice qui pêche pas son absence.

Hubert Guillaud


PS : Cette perspective est incomplète. Il est nécessaire de trouver également des modalités pour limiter l’hypersurveillance (la proportionnalité est certainement un instrument à mobiliser pour modérer les redondances, même si on peut craindre qu’elle fonctionne assez mal, notamment parce qu’elle est toujours contextuelle…). On pourrait en tout cas interroger le nombre de surveillance mises en place, leurs types, leurs rôles, pour tenter de trouver les moyens de les limiter partout où elles se démultiplient d’une manière tragiquement redondantes, Il faudrait également trouver les modalités pour réguler l’intensification du cadencement. Une meilleure surveillance des taux de blessures et une meilleure prise en compte des accidents du travail (quels qu’en soient la nature) seraient certainement un premier pas, pour autant qu’on parvienne à en lever les dysfonctionnements actuels (voir notamment la riche série de Jules Thomas sur le Monde sur le sujet qui souligne combien la sous-déclaration des accidents du travail est un problème pour y remédier). On le sait, le numérique au travail produit une intensification inédite à laquelle il faudra bien, à un moment ou un autre, définir des limites.

Tombeau pour le Design Fiction

Dans un livre lourd, épais et gris, en forme de pierre tombale, Julian Bleecker, Nick Foster, Fabien Girardin et Nicolas Nova signent The Manual of Design Fiction (Near Future Laboratory, 2022), une somme – superbe ! – qui hésite entre l’histoire et l’épitaphe du Design Fiction. 

La couverture du manuel…

A ceux qui, comme moi, suivent depuis longtemps les travaux de ces designers/chercheurs/ingénieurs, comme à ceux qui ont suivi tout le parcours du Design Fiction, le livre n’apprendra rien (en 2006, déjà, sur InternetActu.net je parlais du “manifeste pour les objets connectés” de Julian Bleecker, et j’y ai très régulièrement évoqué Bleecker, Girardin ou Nova). Cette célébration du Design Fiction tient d’ailleurs plus d’une histoire, d’une rétrospective qui retrace ce que cette tendance à été, les débats que le Design Fiction a initié, évoque les travaux les plus remarquables qui ont rythmé son déploiement (surtout ceux du Near Future Laboratory – NFL – bien sûr, l’entreprise de conseil fondée par les 4 auteurs, vigie et représentant emblématique de la discipline), tout en pointant les enthousiasmes et les limites de cette forme d’innovation par le design. 

Rappelons donc que le design fiction consiste à créer des prototypes plausibles pour mieux évoquer et interroger les conséquences de nos choix à venir. C’est une sorte d’objet prospectif (sans être une preuve de concept), un “un moyen de développer une compréhension plus profonde d’un monde en mutation”. Une proposition pour interroger le monde, à l’image de l’affiche pour drone perdu… qui rappelle que même dans la modernité, celle-ci continuera à dysfonctionner comme aujourd’hui. 

Le design fiction est un moyen pour révéler les signaux faibles, défendent-ils. Le problème c’est que bien souvent nous ne voyons qu’une part des mutations en cours. Ceux qui ont été surpris de la crise Covid sont ceux qui n’ont pas su lire les signaux faibles, les signes précurseurs, avancent les quatre auteurs. En fait, dans certains lieux et champs disciplinaires, la question des zoonoses et de leurs impacts n’étaient pas des signaux faibles, mais des signaux d’alertes forts. L’échec de la prévision du Covid n’est pas tant liée au fait que les hommes ne savent pas faire des prédictions, mais au fait qu’on privilégie souvent certains indicateurs sur d’autres… que nos perspectives sont souvent biaisées. Les signaux faibles des uns sont souvent les signaux forts des autres. On ne voit que ce que l’on souhaite voir dans nos données, que ce que l’on souhaite qu’elles nous montrent. D’où les délires prédictivistes de certains qui se focalisent bien plus sur ce qu’ils croient que sur la diversité des possibles. Trop souvent, la prospective n’invite pas les bonnes personnes à sa table. 

Le design fiction a pour mission de montrer ce qu’on ne voit pas au premier abord. Il consiste, comme disait l’auteur de SF (et grand complice de la bande du NFL) Bruce Sterling dans Objets bavards, l’avenir par l’objet à faire de la science-fiction avec des prototypes, pour tenter, par des objets, d’avoir le même impact que la SF a eu sur la production de connaissance. Et avec eux, à questionner, par l’humour, l’ironie et la satire, les promesses de la technique, comme pour la faire redescendre sur terre. 

Dans une innovation plus modulaire, le design devient plus fonctionnel
Le futur est la plupart du temps produit dans des tableurs Excel, des slides, des rapports de tendance, des scénarios, selon des méthodes analytiques et linéaires qui peinent pourtant à rendre compte de la complexité et qui sont peu préhensibles par tout à chacun. C’est au croisement des données aujourd’hui qu’on cherche l’innovation, devenue plus modulaire, plus prévisible, et qu’il suffirait d’assembler pour la réaliser, expliquait récemment le Guardian. Dans cette panoplie d’outils prédictivistes, le design est bien convoqué. Nombre d’organisations en mobilisent désormais les méthodes. Mais ses résultats sont rendus productifs. Les prototypes produits via les techniques du Design Fiction deviennent des leviers pour la recherche, pour des études sur les utilisateurs, pour des stratégies de business ou de développement… Amazon utilise désormais dans ses processus d’innovation des méthodes de “working backwards“. Au début de n’importe quel process de définition de produit, les équipes commencent par écrire un communiqué de presse, une FAQ, comme si le produit était déjà lancé, puis travaillent à l’envers pour comprendre comment satisfaire les besoins des consommateurs que le produit cible. La méthode ne vise plus seulement à interroger le sens du monde : elle est devenue un moyen de le produire. 

Bleecker, Nova, Girardin et Foster paraissent alors comme les derniers représentants d’une méthode vertueuse, généreuse, qui ne visait pas son instrumentalisation, mais souhaitait donner à lire autrement d’autres rapports au monde. Le design-fiction ne semble plusce producteur d’accessoires évocateurs, ces objets qui rendent les films de SF fascinant, comme l’interface gestuelle de Minority Report inspirée des travaux de John Underkoffler au MIT, ou le premier téléphone portable, dont l’inventeur, Martin Cooper, en 1973 a toujours dit s’être inspiré de Star Trek. Les productions du design fiction sont en passe de devenir des promesses, des prototypes, des produits… des projets de design ou d’arts informés par la science… comme les autres. Des outils pour chercher des solutions parmi d’autres. C’est en cela que le livre ressemble finalement à un tombeau, une dernière célébration enthousiaste d’un design fiction originel qui est certainement en train de disparaître, assimilé par les méthodes marketing, vidé de ses questionnements sociaux et politiques. Le Manuel semble finalement un appel pour revenir à un Design Fiction originel, avant qu’il ne disparaisse. Une célébration. L’indisciplinarité que les 4 chercheurs revendiquent, leur curiosité, leur approche éclectique… semble être à rebours du moment. A l’aube de la subversion de la créativité par l’IA et les outils génératifs, demain saura certainement parfaitement proposer de nouvelles gammes d’outils pour produire le futur. La différenciation que les 4 amis défendent, c’est d’un design fiction qui interroge et questionne plus qu’il ne solutionne, nous montre peut-être qu’à une époque où les réponses sont déjà là, formuler des questions semble être devenu un non enjeu. Peut-être parce que quand les réponses sont là, l’enjeu n’est pas d’améliorer les questions, mais de définir des limites. 

Le Design Fiction que défendent les 4 auteurs en revisitant leurs parcours, leurs idées, leurs travaux…, refuse la célébration respectueuse des promesse de la tech, en observant ce qui n’est pas advenu, les bricolages, nos réappropriations à vivre avec le numérique (notamment l’ethnographie visuelle de Curious Rituals (2012) et de Mobile Ordinary Gestures (2016) qui nous invitaient à regarder comment nous nous étions adaptés à la prolifération du numérique jusque dans nos gestes quotidiens). Le futur plat a conquis le monde moderne. Comme ils le disent d’ailleurs : “La vérité est que le design thinking n’a pas significativement changé le monde des affaires – il a plutôt changé la place du design dans le monde des affaires, a mesure qu’il a graduellement adopté le langage, les priorités et les attitudes du monde de l’entreprise”. La banalité du futur nous a rattrapé. Il ne fonctionne ni plus ni mieux que le monde présent. 

Le plus intéressant dans cette somme, c’est assurément un sentiment qui transparaît par petites touches, un doute, une interrogation lancinante… À quoi sert le design fiction ? Qu’a-t-il transformé ? C’est une réponse qui vient le long de petites remarques éparpillées dans l’ouvrage, comme un regret. Cette somme semble montrer que le futur du design fiction est déjà derrière lui, faute de n’avoir pas produit vraiment le futur. 

Bien sûr, ce manuel reste avant tout un manuel et le cœur de l’ouvrage consiste surtout à faire son travail de manuel, c’est-à-dire aider ses lecteurs à organiser des ateliers de design fiction. On retrouve alors ici des exercices et méthodes proches des Exercices d’observations qu’a récemment publié Nicolas Nova. Et surtout des exemples de réalisations du quatuor. Mais quand on s’intéresse au mode d’emploi d’un système, c’est souvent parce qu’il est déjà en panne. C’est l’impression qu’il reste à cette lecture. On sera d’ailleurs surpris qu’il manque un chapitre sur le devenir du design fiction. On l’aura lu à travers les lignes, dans les doutes que ce livre à 4 voix fait souvent émerger. Le design fiction n’a pas changé le monde, il l’a fait émerger. 

Reste que la méthode d’observation et de questionnement subsiste, c’est certainement grâce à ce travail synthétisé ici. Le TBD catalog (qui questionne l’internet des choses à l’heure de sa généralisation sous la forme d’un catalogue IKEA), le manuel de la voiture autonome ou les exercices d’observations demeurent des étapes importantes d’une compréhension de notre rapport à la technologie. Tous nous ont invités à nous interroger dans un monde qui ne souhaite pas vraiment s’interroger, c’est déjà un pas de côté essentiel. Le design fiction n’est transformateur que pour ceux qu’il implique. Il en est souvent ainsi. Est-ce qu’il transforme au-delà que de décaler notre regard sur le monde ? Non, et c’est bien dommage. Peut-être parce que finalement, il s’arrête à l’évocation. Bien souvent, il n’est qu’une image saisissante de plus que les gens saisissent comme une promesse, à l’image des innombrables demandes qu’à reçu l’équipe pour acheter des produits du TBD catalog. Il n’est qu’un conteneur de narrations visuelles provocantes. Certes, le manuel explique également comment le design fiction doit aider au débat, comment il peut produire des ajustements de la feuille de route d’une organisation, ou pour repenser une stratégie en s’extrayant des modélisations chiffrées, pour mieux saisir les risques et les impacts sociaux. Produit-il plus d’implication que d’applications ? Le livre rappelle que les solutions sont plus complexes qu’on ne les présente. Comme le dit Julian Bleecker, le design fonction n’est pas tant un outil pour résoudre des problèmes ou fournir des réponses, mais une “approche”. Un moyen de dépasser le fait de voir la technologie comme un simple outil. Une approche moins “déterministe” que les méthodologies très structurées de la prospective, conclut Nova, un “état d’esprit” qui vise à maintenir des perspectives ouvertes par rapport aux autres outils que mobilisent les organisations pour produire le futur. A l’heure où le futur doit être plus produit que critiqué, le design est rentré dans le rang. De spéculatif, il est devenu stratégique, opérationnel, pragmatique. C’est cette transformation que le livre célèbre. A regret. 

Hubert Guillaud

A propos du livre de Julian Bleecker, Nick Foster, Fabien Girardin et Nicolas Nova, The Manual of Design Fiction, Near Future Laboratory, 2022. 

Pour vous donner envie, je vous propose à la traduction un court extrait du livre qui tient plus d’un encadré que d’une articulation dans son déroulé. 

4 pensées sur l’innovation

Nicolas : J’ai quelques problèmes avec le terme “innovation” – (1) C’est une notion vaguement définie. Correspond-il à l’invention de quelque chose de nouveau, comme un nouveau produit, un service, une technologie ou un changement social, comme de nouvelles façons de serrer la main à l’époque du COVID ? Ou est-ce lié à la diffusion d’une invention ? (2) Quelle que soit la définition, c’est comme si créer de la nouveauté était intrinsèquement bon, comme si de nouvelles choses, services ou technologies étaient toujours nécessaires dans tous les cas. (3) Une armée de pseudo-experts a émergé au cours des 20 dernières années autour de cette notion, avec des idées préconçues sur la façon de “modéliser l’innovation”, comment faire fonctionner la magie de l’innovation pour vous. Et c’est dingue, car la circulation des idées/produits n’est que partiellement prévisible.

Nick : Lorsque je travaillais chez Dyson à la fin des années 1990, l’entreprise s’est agrandie rapidement et nous avions besoin d’embaucher rapidement. Une usine de chips Walkers dans la région avait fermé ses portes, alors l’équipe de recrutement a recruté un groupe de responsables de la production et de l’ingénierie pour venir travailler chez Dyson. A l’époque j’essayais de réinventer le sèche-linge (longue histoire), et on m’a dit qu’un de ces nouveaux cadres rejoignait notre équipe en tant que chef de projet.

Lors de notre première rencontre, nous avons parlé des échéanciers. C’était une bonne conversation – elle était facile à vivre – mais à un moment donné, elle a demandé : “De combien de temps avez-vous besoin pour innover ?” Comme si je pouvais tout planifier ! Peut-être que cela avait du sens pour elle, venant d’un monde où l’innovation signifiait nouvelle “saveur de poulet barbecue”, mais c’est un bon exemple de la façon dont l’idée d’innovation frotte dans le mauvais sens. C’est devenu une phase de gestion des produits, une étape du processus de livraison. Il a été massivement dévalué en tant que terme. J’ai grandi en pensant que l’innovation concernait ces grandes percées, ces solutions orthogonales et ces approches véritablement nouvelles (la machine à vapeur ! le vaccin contre la polio ! le World Wide Web !). Au lieu de cela, c’est devenu “Que pouvons-nous faire pour donner l’impression que nous progressons en tant qu’entreprise, mais que cela corresponde toujours à notre gamme de produits pour l’année prochaine ?” C’est juste un autre mot pour “nouveau”, et il a perdu une grande partie de son “meilleur”.

Julian : Quand je pense à de grandes innovations, je pense au “Fosbury Flop” – la technique de saut en hauteur popularisée par Dick Fosbury dans les années 1960, qui consiste à approcher la barre dans un schéma incurvé puis à sauter sur le dos, l’effet de la rotation du corps aidant au dégagement. Jusque-là, les styles dominants étaient le rouleau costal et le coup de pied en ciseaux orienté vers l’avant, qui ont maintenant l’air ridiculement disgracieux. Après que Fosbury eut remporté la médaille d’or aux Jeux olympiques de 1968 à Mexico, le Fosbury est devenu la nouvelle norme pour les sauteurs en hauteur. Je suis fasciné par ce qui se passe à ce moment où nous voyons un changement aussi massif et soudain d’une normalité précédemment acceptée à quelque chose d’entièrement nouveau et inattendu, comme la fois où vous vous êtes demandé pour la première fois : “Qu’est-ce qui leur a pris si longtemps pour mettre des roues sur des bagages ?”

Malheureusement, “l’innovation”, telle qu’elle est le plus souvent comprise aujourd’hui, consiste davantage à s’appuyer sur un modèle existant du monde en tant que territoire riche en exploitation pour gagner plus d’argent ou acquérir et consolider plus de pouvoir. Les valeurs qui précèdent l’innovation sont obscurcies – les choses finissent par être hackées et exploitées pour gagner plus. L’innovation repose sur ces manières d’appréhender le sens du travail et la finalité des institutions, ce qu’est le “nouveau”, ce qui donne du sens à la nouveauté. Lorsque vous fonctionnez vraiment bien dans cette épistémologie et que vous trouvez une nouvelle façon de l’exploiter, vous êtes considérés comme innovant. Si vous essayez de changer ce qui a du sens et qui a un ensemble différent de valeurs ou d’éthique, cela est traité comme une rébellion ou un trouble-fête plutôt qu’un sens hygiénique de l’innovation.

Fabien : Comme “progrès” ou “transformation”, le terme innovation est perçu comme positif, alors que la réalité est plus complexe à l’image de la fascinante la notion de “théâtre de l’innovation” – (1) Il y a plein d’efforts pour créer des processus, des infrastructures, des écosystèmes, des méthodologies autour de “l’innovation” – incubateurs, accélérateurs, laboratoires, ateliers – qui ciblent principalement la résolution de problèmes actuels ou passés avec la technologie, un retour sur investissement rapide et un impact ou une échelle importants. (2) Toute œuvre qui n’a pas d'”impact commercial” ou de “résultat tangible” est du “théâtre”. Ou, comme on dirait dans les salles de conseil, “il faut faire bouger l’aiguille”, comme si toutes les découvertes étaient mesurables et que tout ce qui n’était pas “incroyable” ne valait pas la peine d’être poursuivi.

Pourtant, il existe de nombreux exemples de découvertes non basées sur les activités de base d’une organisation, mais motivées principalement par la curiosité. Comme la façon dont le World Wide Web a été inventé par un scientifique de l’Organisation européenne pour la recherche nucléaire (CERN), Tim Berners-Lee, qui a commencé avec une vision d’un système d’information que les chercheurs du monde entier pourraient utiliser pour partager des données.

L’illogique logique de l’expulsion


C’est un beau livre de sociologie que nous propose Camille François, avec De gré et de force, Comment l’Etat expulse les pauvres (La Découverte, 2023). On y trouvera aucun enjeu numérique, mais ce qui m’intéressait ici, c’est la question de l’organisation du tri social des populations, parce que j’ai tendance à penser que quelles que soient les méthodes et les formes, les manières de trier se ressemblent. En tout cas, la matière idéologique qui façonne le tri s’y rassemble. 

L’enquête de Camille François s’intéresse aux inégalités de traitements entre locataires menacés d’expulsion, à comment la justice, la police et l’Etat distinguent certains pauvres d’autres. Les expulsions sont à la hausse depuis 20 ans, rappelle-t-il, parce que l’Etat expulse davantage que par le passé. Le nombre de recours judiciaires intentés par les propriétaires n’est pas en cause, c’est bien la politique de l’Etat qui a changé, c’est bien l’Etat social qui a rétrécit. Face à l’endettement des familles pauvres, si l’Etat est devenu plus stricte, c’est pour n’avoir pas, lui, à suppléer aux décisions de justice, c’est-à-dire à payer les propriétaires si les locataires ne sont pas expulsés dans les deux mois après décision de justice. C’est le budget déboursé par l’Etat au titre de l’indemnisation des propriétaires (on parle de 30 millions d’euros par an) qui explique la sévérité de l’Etat. C’est à nouveau une politique d’austérité, sans jamais que ne soit évalué si le coût des conséquences de ces expulsions n’est pas plus élevé que ce budget. C’est à nouveau par le petit bout de la lorgnette du contrôle des dépenses publiques que l’Etat met à la rue les familles en décrochage.

Le livre de Camille François, De gré et de force.

Pourtant, ce que montre plutôt Camille François dans son étude, c’est que les difficultés de paiement sont souvent liées à des difficultés de vie. “Il n’y a pas de relation mécanique entre pauvreté et dettes”. L’essentiel des plus démunis paient leurs dettes, le problème c’est les délais et les aléas de la vie qui font que par moment, ce paiement décroche. Ces aléas sont on ne peut plus classiques : pertes d’emploi et problèmes de santé d’abord, avant les ruptures familiales. Or, les dettes de loyers sont l’une des rares marge de manoeuvre qu’il reste aux familles pauvres pour gérer leurs difficultés financières. Suspendre le paiement de son loyer est l’un des rares recours qu’il reste à ceux qui traversent des difficultés pour gérer leur budget. Cette suspension est fréquente et très majoritairement temporaire. Les locataires s’endettent de manière maîtrisée (on pense à Denis Colombi qui nous rappelait dans Où va l’argent des pauvres ?, que les budgets des plus démunis sont plus difficile à maîtriser que ceux de ceux qui n’ont pas de problèmes de fins mois). L’arriéré de loyer est l’un des rares postes qui permet de trouver de la flexibilité, dans des dépenses bien trop contraintes. Dans les familles où la non-mensualité des ressources est la règle, les gens sont à la recherche de moyens de paiements discrétionnaires, flexibles, adaptables à l’élasticité de leurs revenus (ce qui dit d’ailleurs que nous devrions collectivement bien plus lutter contre l’extension des paiements par prélèvements automatiques qui ne permettent aucun assouplissements aux budgets limités). Retarder des paiements est bien souvent la seule solution pour gérer un budget trop contraint et “desserrer l’étau de la domination”. La dette de loyer est l’une des rares qui peut être contractée gratuitement (contrairement aux dispendieux agios ou aux taux d’intérêts des crédits ou aux frais de procédures). François rappelle que les précaires ont besoin de souplesse et que ce qui est fixe et régulier ne convient pas à ceux qui n’ont rien de fixe ou de régulier.

Le livre de Camille François est riche d’autres ressources encore quand il décrit comment les services de recouvrement négocient et mobilisent des outils coercitifs pour ramener les locataires à payer leurs dettes, à revenir à la “discipline locative”. Ou encore, quand il nous conduit au tribunal avec les 140 000 ménages assignés pour impayés de loyer. Le sociologue rappelle que dans la logique de tri, qui procède toujours par classements, ce sont les plus précaires qui sont le plus menacés : “Plus un locataire est endetté, ou moins il a de revenus, et plus il a de chances d’être expulsé”. Dans cette justice expéditive, l’enjeu semble plus d’entériner des échéances, des niveaux de dettes, des rapports de pouvoir. Avec les services de l’administration et la police qui procèdent aux expulsions, le sociologue nous montre la production de l’acceptation de l’expulsion afin d’en prévenir la violence. Là encore, les expulsions ne frappent pas indifféremment toutes les catégories de précaires, mais surtout, “la stigmatisation sociale et raciale des locataires contribue à (…) la diminution de la charge morale du travail d’expulsion”. La justification morale permet de mieux accepter le sale boulot de l’expulsion. “Le sentiment de proximité avec les propriétaires, couplé avec la mise à distance physique et sociale des locataires, explique pour partie l’adhésion sans drame des petites mains de la force publique au travail d’expulsion”. “C’est l’une des ruses de l’ordre social que d’être activement défendu et reproduit par ses prétendants plutôt que par ses établis, par ses petits porteurs plutôt que par ses grands actionnaires”. Les petits fonctionnaires ont plus d’empathie pour les propriétaires que pour les locataires délogés, comme pour mieux en supporter la charge morale. Les premiers sont d’ailleurs plus écoutés, quand les seconds sont surtout rendus invisibles, comme pour mieux asséner cette logique politique. C’est la même qui irrigue les grands médias pour produire de l’adhésion et renvoyer toujours la charge morale sur l’individu qui a faillit plus que sur la société qui a fauté…

Enfin, Camille François nous montre bien que l’expulsion est gouvernée, c’est-à-dire qu’elle est toujours discutée, négociée. Pire, explique-t-il, la démultiplication de commissions de concertation a permis d’apaiser les tensions, de limiter les arrêtés municipaux anti-expulsion et finalement d’accepter l’inacceptable. La participation à la gouvernance s’affiche comme le meilleur moyen de limiter les radicalités, de délégitimer les mobilisations militantes, au profit d’arènes où la démocratie est moins visible, où la délibération est plus administrative que politique. Ces lieux de production du consensus visent eux aussi à produire de la pacification. Plutôt que de s’opposer, les services sociaux et les villes participent désormais à chercher des solutions, tout en entérinant la logique expulsive. Le dispositif de concertation conduit les acteurs locaux à adopter les vues de l’Etat, à se convertir aux logiques de l’expulsion, à pacifier les situations et à pousser les familles à obtempérer. Derrière la participation à ces concertations, les autorités locales s’accordent avec les autres pour continuer à affiner le tri des pauvres. Les autorités locales s’arrogent ici un pouvoir : un droit de regard sur l’expulsion, comme elles ont un droit de regard sur l’accès au logement social. Derrière l’apaisement que permet la gouvernance, il faut y lire un meilleur partage du pouvoir, pas nécessairement au bénéfice des plus en difficultés, qui eux n’y sont qu’un objet. Camille François parle, très justement, d’un “allongement des chaînes de légitimation de la force publique”, qui assure d’une pacification du tri social plus que de sa justice. 

Avec l’expulsion, c’est le droit au logement lui-même qui est contesté. C’est l’Etat social, celui qui doit venir en aide aux plus démunis qui est oublié, comme si de mettre les gens à la porte de leur domicile tenait d’une solution à quoi que ce soit, hormis à protéger la reproduction du capital. Les expulsions sont de plus en plus rapides pour des dettes de plus en plus faibles, sans que le coût social de l’expulsion ne fasse l’objet du moindre débat (par exemple, sans le mettre en rapport avec le développement du mal logement, de l’explosion de l’hébergement d’urgence ou du nombre de SDF (selon le dernier rapport annuel de la fondation Abbé Pierre, on est passé de 100 000 SDF en 2000 à 330 000 en 2022). François milite pour une garantie universelle des loyers, une sorte d’assurance des loyers pour ceux qui en auraient besoin, permettant de s’extraire de la logique austéritaire de l’Etat. Car, comme on le voit partout ailleurs, sans surprise aucune, c’est là encore la fausse logique calculatrice de l’Etat social qui est l’œuvre pour expliquer son recul, sans prendre en compte tous les éléments du calcul – et c’est, je pense, l’un des grands enjeux d’un monde où le calcul est partout : révéler qu’il est surtout partiel ! C’est la réduction des dépenses publiques qui à nouveau s’abat sur les plus démunis, plutôt que d’aller chercher des ressources pour améliorer les recettes et aider ceux qui sont dans le besoin. C’est l’intégration dans nos esprits, que l’Etat ne pourrait pas tout, qui explique ses reculs. Alors que si, l’Etat peut tout ! Ce qui lui manque, c’est d’ambition pour changer le monde, plutôt que de se racornir pour en exacerber les inégalités. Ce qui lui manque c’est de comprendre que sa parcimonie est certainement bien plus délétère que sa générosité.

Hubert Guillaud

A propos du livre de Camille François, De gré et de force, Comment l’Etat expulse les pauvres, La Découverte, 2023.

A quoi servent les luttes contre la numérisation ?

Améliorer les systèmes partout déficients ou faire reculer la surveillance ? 

Pour la quatrième rencontre du cycle “Dématérialiser pour mieux régner”, le Mouton numérique a souhaité regarder au-delà des services publics français, pour voir comment d’autres, en Europe, portent la lutte contre les algorithmes de contrôle et de profilage de l’action sociale. 

Outiller les luttes face à la numérisation des services publics d’action sociale

Après une présentation des différents partenaires de ces rencontres, les responsables du Mouton numérique rappellent que le profilage des allocataires est devenu courant. La France n’est pas un cas isolé [je me permets d’ajouter que les travaux précurseurs de Virginia Eubanks sur la numérisation des systèmes sociaux (qui ont presque 10 ans) ont montré que la mise en place de systèmes numériques dans le domaine social produit le plus souvent des dysfonctionnements, un renforcement des contrôles, et une diminution des droits à l’encontre des plus démunis, qui sont d’autant plus forts qu’ils sont renforcés par les logiques austéritaires et libérales qui président au choix de la numérisation, consistant à améliorer le contrôle pour un coût moindre]. Face aux déploiements des outils de surveillance sociale des mobilisations ont lieu ailleurs en Europe et apportent parfois des victoires sociales. C’est le cas par exemple du système mis en place à l’équivalent du Pôle emploi polonais, qu’évoque la sociologue Karolina Sztandar-Sztanderska (@sztanderska). Le système en question, mis en place en 2014, comme l’expliquait Algorithm Watch, consistait à catégoriser les chômeurs en plusieurs groupes selon leur proximité avec la recherche d’emploi pour leur fournir des aides différenciées selon leur score, au détriment de certaines catégories de la population, comme l’a montré le rapport de la fondation polonaise Panoptykon, une association militant contre la surveillance, équivalente à la Quadrature du Net. 

Elle constate beaucoup de similarités avec l’exemple français de la lutte contre la CAF qu’ont rappelé évoqué l’association Changer de Cap et la Quadrature (qui était le sujet de la réunion précédente). En Pologne également, les algorithmes n’étaient pas disponibles, et l’Agence pour l’emploi utilisait la même rhétorique que celle qu’utilise la Caisse nationale d’allocation familiale en France, à savoir que si les gens avaient accès à l’algorithme, ils pourraient l’utiliser pour tricher (alors qu’il est bien difficile de changer sa situation sociale pour parvenir à tricher avec des systèmes qui vous assignent à votre situation sociale…). Pour l’agence pour l’emploi polonaise, le grand public ne devait pas avoir accès au calcul. Pourtant, après plusieurs années de fonctionnement et 5 années de luttes, l’algorithme du Pôle emploi polonais a été déclaré inconstitutionnel en 2019. Ce système avait été critiqué dès le début par la société civile. Il était utilisé par l’agence pour catégoriser les demandeurs d’emploi et les noter en fonction de leur employabilité. Ce score décidait des prestations et services auxquels ils avaient droit (comme l’accès ou non à la formation…) et avait une influence sur les sanctions, si les demandeurs d’emplois ne faisaient pas ce qu’ils devaient faire, explique la sociologue Karolina Sztandar-Sztanderska. La principale critique à l’encontre du système, menée notamment par Panoptykon, a été de contester son opacité : le système de calcul n’était pas transparent, alors qu’il aurait dû, que les administrés avaient le droit de savoir comment l’algorithme procédait. L’autre argument reposait sur le fait qu’il n’y avait pas de mécanisme pour permettre aux chômeurs de remettre en question la classification dont ils étaient l’objet. La question de l’automatisation de la décision, était quant à elle, comme souvent, pas si claire à trancher, la frontière entre qui de la machine et de l’humain qui en valide les choix décide, étant toujours difficile à évaluer. Enfin, la dernière critique à l’encontre de ce système portait sur les données collectées, qui aurait dû être régulées par une loi votée par le parlement polonais, alors qu’ici, cette régulation était le fait d’un ministère, ce qui était pas conforme à la législation. C’est cet argument procédural qui a permis de porter l’affaire devant le tribunal constitutionnel polonais et qui a permis d’obtenir l’abrogation du programme en décembre 2019. 

La défense de l’opacité du système afin que les gens ne puissent le déjouer, a également été un argument fort pour la défense du système de contrôle social mis en place par l’Etat néerlandais, rappelle Tijmen Wisman (@TijmenWisman) de Platform Burgerrechten, une association de défense des droits civils qui a porté la lutte contre SyRI (pour system risk indication, indication de risque système), l’algorithme mis en place par les Pays-Bas pour détecter des fraudes à l’aide sociale. La lutte contre les systèmes d’oppression algorithmiques, n’est pas si simple, confesse Tijmen Wisman. Pour mener la lutte, il faut d’abord trouver des fonds, mais au début, les organisations à qui l’on s’adressait ne comprenaient pas le problème dont on parlait. On est parti au tribunal sans plaidoyer et sans campagne médiatique, qui sont pourtant nécessaires pour défier et challenger le gouvernement (mais l’association a rapidement rattrapé son retard, en lançant par exemple une campagne médiatique pour dénoncer SyRI, “Suspectés dès l’origine”, explique un excellent dossier d’Algorithm Watch sur ce combat). Par contre, il est primordial d’avoir un site pour informer les gens, rapporter et documenter. La chance de notre petite plateforme a été d’avoir reçu l’aide d’experts et d’intellectuels qui ont été les ambassadeurs de notre défense. Dans la victoire partielle remportée, la question de la transparence a été fondamentale. Le jugement final rappelle d’ailleurs que les autorités doivent expliquer les choix qu’elles font. Philip Alston, rapporteur spécial des Nations Unies sur la pauvreté extrême et les droits humains, auteur d’un rapport critique sur le déploiement de “l’Etat providence numérique”, auteur d’une lettre adressée au tribunal néérlandais, expliquait qu’accepter SyRI et la surveillance sociale et ciblée des plus pauvres signifie accepter que certains citoyens soient plus surveillés que d’autres, et donc discriminés, au profit d’un Etat de surveillance à l’encontre des plus pauvres. 

Pour une association comme  Platform Burgerrechten, il a bien sûr fallu s’entourer d’avocats, de juristes, de lobbyistes et d’ingénieurs pour mener cette bataille. Mais il faut également comprendre tout un vocabulaire de la criminalisation qui se diffuse dans les institutions publiques, comme c’est le cas de cette volonté de préserver l’opacité des systèmes, dont on peut comprendre l’importance lors d’enquêtes criminelles, mais pas lorsque les gens sont confrontés à des institutions publiques. Le risque ici, avec SyRI était de verser dans une surveillance permanente des gens. Parmi toutes les données que le système utilisait pour surveiller les quartiers pauvres où il se déployait, il était question par exemple de surveiller la consommation d’eau des ménages pour détecter à combien d’occupants cette consommation correspondait. 

Image : les intervenants au Picoulet. De gauche à droite : Nikolett Aszodi, Karolina Sztandar-Sztanderska et Tijmen Wisman au centre et l’équipe du Mouton à droite.

Quel est le but de notre opposition à la dématérialisation ?

Pour Tijmen Wisman, l’enjeu de l’opposition a SyRi n’était pas d’améliorer le système. “Le problème du déploiement de systèmes de surveillance aux aides sociales, n’est pas leurs défaillances, mais la surveillance totale qu’ils impliquent”. Dans ce cadre, la régulation des systèmes ne suffit pas. Le but n’est pas d’améliorer les systèmes, car on oublie que cette amélioration nécessite un contrôle renforcé sur les administrés. L’audit comme la régulation visent à rendre ces systèmes de surveillance plus conformes à la législation mais ne les font pas reculer.  “La régulation ne cherche pas tant à remettre en question le déploiement de ces systèmes qu’à les rendre légaux”, et à accepter la surveillance des citoyens qui va avec. Et Wisman de dénoncer la direction vers laquelle nous conduisent les décisions européennes actuelles, qui visent à renforcer la transparence des systèmes pour les rendre incontournables.  

Tous ces exemples sont parfaitement emblématiques, complète Nikolett Aszodi (@nikkiaszodi) de l’association allemande Algorithm Watch. Faire rendre des comptes aux autorités sur les systèmes qu’elles déploient est un processus long, sinueux et très coûteux. Algorithm Watch mène un travail d’enquête, qui cartographie et répertorie les systèmes de prise de décision automatisés en Europe [ si ce n’est pas déjà fait, abonnez-vous à leur excellente newsletter ! ]. L’enjeu est de les répertorier, de montrer comment ils fonctionnent, comment ils se déploient, comme de documenter les débats et contestations qu’ils soulèvent. Mais le principal constat que nous faisons, c’est que nous ne savons pas grand-chose sur ces systèmes. On ne connaît pas les raisons de leurs déploiements, on ne sait pas comment ils se mettent en place, on n’évalue pas leurs impacts sur les systèmes administratifs comme sur les administrés, on ne connaît pas leurs buts… “La transparence est le préalable nécessaire à ce que ces systèmes rendent des comptes”. Mais elle n’est pas là, constate la responsable des politiques et du plaidoyer de l’association . 

La société civile n’a ni le temps ni l’argent pour enquêter sur ces systèmes. C’est en cela que le travail des journalistes et des chercheurs est essentiel, car comprendre ces déploiements et leurs enjeux prend du temps. Algorithm Watch s’appuie sur eux pour mettre en commun les informations et récupérer des témoignages personnels qui sont toujours très importants pour rendre compte des effets des systèmes, de leurs impacts concrets. Récemment, Algorithm Watch a lancé un programme de bourses pour aider les journalistes à enquêter, à documenter les systèmes, à les rendre visibles et à améliorer nos connaissances. Reste que les moyens d’Algorithm Watch sont limités, et pour l’association, l’enjeu désormais consiste surtout à trouver des modalités de collaborations avec d’autres acteurs, pour mieux enquêter et pour toucher plus de gens. Alors que la loi européenne sur l’intelligence artificielle se formalise, les organisations civiles doivent continuer à mettre la pression à l’Union européenne. La législation européenne sur l’IA est un énorme texte législatif. Les associations doivent s’entraider pour protéger les gens, les informer, faire du plaidoyer et mener des campagnes de communication communes pour rendre ces sujets plus visibles qu’ils ne sont, alerte Nikolett Aszodi.

Certainement un peu impressionnés par ces résultats, des représentants de Changer de Cap s’interrogent… Combien de temps ces associations ont-elles passé pour défaire ou faire reculer ces systèmes ?

En Pologne, il a fallu 5 ans, précise Karolina Sztandar-Sztanderska. L’algorithme de l’agence pour l’emploi polonaise est resté en place longtemps, malgré les critiques portées par les associations comme Panoptikon ou même par d’autres autorités publiques, comme l’autorité de protection des données personnelles polonaise, la Cnil locale, les commissaires aux droits humains (l’équivalent de notre défenseur des droits), ou la Cour des comptes locale, qui avaient tous critiqués l’efficacité de l’outil très tôt. Il y a eu 2 contentieux portés en justice. L’un lancé par la fondation Panoptikon pour accéder au code, qui a été remporté. Et un autre lancé par le défenseur des droits polonais qui a contesté la constitutionnalité du système devant le tribunal. Et Karolina de rappeler que tout est parti d’un lanceur d’alerte, d’un agent du Pôle Emploi polonais qui a révélé le problème à la presse. “Chaque étape a été un marchepied pour l’étape suivante”, permettant d’accumuler les informations. La victoire est le fruit de beaucoup de collaboration et d’innombrables petites actions individuelles. 

Vers la normalisation des systèmes, malgré leurs déficiences
Aux Pays-Bas, on a entendu parlé de problèmes autour de SyRi dès 2014, rappelle Tijmen Wisman. L’association a  mis du temps à trouver des avocats. On a lancé l’action légale en 2018 et le jugement a été rendu en 2020. Comme en Pologne, nombre d’autorités et d’intellectuels ont critiqué la mise en place de ce système de contrôle social automatisé, dénonçant le fait que le gouvernement puisse s’immiscer partout, collecter toutes les données pour exercer sa surveillance. Nous n’avons pas obtenu le jugement que nous voulions, estime Wisman. Mais le tribunal a néanmoins rappelé qu’il était essentiel que les gens puissent savoir ce que font les systèmes. Dans le cas du contentieux, nombre d’arguments que nous portions n’ont pas été retenus. Le déploiement de tels systèmes n’est pas remis en cause, mais le jugement fait jurisprudence et permet désormais d’avoir un point d’appui supplémentaire pour obtenir leur transparence. La médiatisation du scandale a été un autre succès. “Il faut retourner l’éclairage intégral que les agences braquent sur les citoyens pour tout connaître d’eux, sur les agences elles-mêmes pour obtenir d’elles la même transparence que celle qu’elles demandent aux allocataires”. 

Maud du Mouton Numérique rappelle que si on évoque les similarités de pratiques de ces agences, on sait assez peu de choses des échanges que ces différents acteurs des services publics entre eux. 

C’est exact, acquiesce Nikolett Aszodi. A Algorithm Watch, on a fait plusieurs inventaires du déploiement des systèmes d’aide à la décision automatisés en Europe, mais cette cartographie évolue très vite (voir notamment l’édition en ligne ou le rapport (.pdf) en français, ainsi que l’article que j’en avais produit à l’époque). “En 2019, les systèmes d’aide à la décision automatisés étaient l’exception, en 2021, ils sont devenus la norme”, explique Nikolett Aszodi. Les déploiements sont rapides et les outils prolifèrent. 

En regard, le débat public ne suit pas. Il ne s’est pas intensifié. Nous manquons de débats démocratiques sur le déploiement de systèmes de contrôle et de surveillance, au moins pour nous interroger collectivement sur les domaines ou les tâches qu’ils doivent accomplir et là où ils ne devraient pas aller. Mais l’évaluation est également déficiente. “Partout on met en place des systèmes et seulement parfois, rarement,  on les contrôle”. Pour beaucoup d’agences, la question de la transparence est très abstraite. La raison de la mise en œuvre de ces systèmes est très rarement documentée. Les bénéfices attendus ne sont pas expliqués. Sur les algorithmes publics, il n’y a ni justification ni démonstration des avantages qu’ils apportent. L’objectif même n’est bien souvent ni clair ni partagé. Seuls une poignée d’algorithmes européens sont considérés comme efficaces, même s’ils peuvent se révéler problématiques (à l’image d’un algorithme espagnol pour prédire le risque de violence à l’encontre des femmes). En fait, très majoritairement, les systèmes ne tiennent pas leurs promesses. En Finlande, un système d’IA pour aider les citoyens en cas de changements dans leur vie est considéré comme un emprisonnement car en fait, il limite l’accès de nombre de citoyens aux services publics. La technologie est trop souvent promue comme étant capable d’apporter des solutions aux problèmes humains, mais c’est là un discours idéologique dont on ne trouve pas d’exemple concrets dans le déploiement des systèmes sociaux, rappelle Nikolett Aszodi. 

Dans le public, les interrogations surgissent. Y’a-t-il des systèmes qui s’intéressent aux riches et pas seulement aux pauvres ? Les chômeurs, les précaires interrogent assez peu la manière dont ils sont calculés… 

Pour Algorithm Watch, ce constat est partagé. La surveillance et le profilage se dirigent uniquement vers les plus démunis, les plus marginaux. “C’est un regard à sens unique”. C’est un regard vers le bas, qui cible toujours les communautés et les personnes marginalisées et dominées, en l’élargissant souvent aux oppositions politiques, comme c’est le cas avec la vidéosurveillance. La Quadrature approuve et rappelle que les projets de profilage des publics sont également en projet en France, par exemple chez Pôle Emploi qui fourmille de projets avec son incubateur de startup dédié. L’association souligne d’ailleurs qu’une nouvelle version du site de Pôle Emploi est en déploiement. “Qui dit nouvelle version de site, dit nouvelles données collectées”. Wisman lui fait référence à un documentaire (j’ai pas retrouvé la référence, si quelqu’un l’a) qui expliquait que depuis l’introduction de l’ordinateur, l’achat sur les marchés mondiaux est devenu particulièrement flou. On ne sait plus qui vend ni achète. On pourrait même imaginer demain que des organisations puissent acheter suffisamment de nourriture pour créer des pénuries. L’asymétrie de l’information est partout. L’ordinateur a facilité les échanges monétaires et de marchandises, mais a rendu plus difficile la mobilité des personnes. On pourrait pourtant imaginer utiliser ces outils différemment, estime Karolina Sztandar-Sztanderska, par exemple pour diminuer le non recours aux aides publiques. Au risque d’une surveillance démultipliée, comme le concluait la rencontre précédente.

D’autres questions fusent encore. La discrimination est-elle intrisèque à ces technologies ? Le contrôle des pauvres est bien antérieur aux systèmes techniques, rappelle une autre personne. Mais sommes-nous réunis ici pour améliorer la conformité de ces systèmes ou pour augmenter la capacité à nous y opposer ? 

Pour Wisman, l’efficacité de l’automatisation ne peut produire qu’une société ségrégée. Nous sommes face à une crise de l’efficacité, mais elle ne se résoudra pas par une surveillance toujours plus forte. On ne peut pas utiliser l’IA pour prédire des situations sociales : ça ne marche pas et ça n’a jamais marché. C’est de l’huile de serpent, du Snake Oil comme on dit. Il y a un risque qu’en challengeant le système on l’aide à s’améliorer. En 2008, les banques ont fait n’importe quoi, et on les a aidé à se renflouer avec nos impôts. En retour, elles ont imposé l’austérité, et l’automatisation a été la réponse aux coupes budgétaires. On manque cruellement de discussion sur le rôle et la place de l’automatisation dans la société, conclut Wisman. Ce débat devrait venir d’en bas, de ceux qui sont les plus impactés par ces systèmes. “Et ça peut commencer en France !”, lance-t-il comme pour redonner courage après des constats trop amers. 

Pour Karolina Sztandar-Sztanderska, la Pologne a la chance d’avoir très peu de systèmes d’aides à la décision automatisée. Depuis la fin du système de profilage des demandeurs d’emplois, on est retourné à la situation précédente. Les agents au guichet ont retrouvé leurs pouvoirs, avec les limites interpersonnelles que cela implique. En Pologne, finalement, on a la chance de ne pas avoir suffisamment d’argent pour envisager de développer des systèmes numériques. Comme quoi, l’austérité a aussi ses avantages, ironise la chercheuse. Pour le moment, le contrôle n’y est pas très sophistiqué. Notre principal moyen d’action sur ces transformations consiste à décrire ce qu’il se passe, conclut la chercheuse. Et rendre les enjeux des transformations accessibles pour les faire comprendre à plus de gens. 

Hubert Guillaud

La prochaine et dernière rencontre du cycle aura lieu le 9 mars.  Elle aura pour sujet la production de ces technologies : qui produit ces systèmes partout déficients ?

Nos comptes-rendu des séances du cycle “Dématérialiser pour mieux régner” du Mouton Numérique : 

Bonus, Dans les machines à suspicion.

Ce que la surveillance change au travail

La couverture du livre de Karen Levy, Data Driven.

Dans son livre, Data Driven : Truckers, Technology and the new workplace surveillance(Princeton University Press, 2023, non traduit), la sociologue Karen Levy (@karen_ec_levy) a enquêté sur les routiers américains à l’époque où leur a été imposé les systèmes de surveillance électronique (Electronic logging devices, ELD, devenus obligatoires depuis 2017 ; en France on parle de chronotachygraphes numériques, devenus obligatoires dans les camions neufs depuis 2006). Ces systèmes électroniques (qui ressemblent à des autoradio), capturent des données sur l’activité des camions et donc des routiers. Ils poursuivent une longue histoire de la régulation du transport, qui depuis les années 30, d’abord avec des journaux papiers que les conducteurs étaient censés tenir, tente de tracer le travail des routiers pour mieux le contrôler. C’est donc très tôt, dès le développement du transport routier, que le régulateur a cherché à s’attaquer à la fatigue et au surtravail des routiers. L’introduction du numérique ici, utilise un des grands arguments de sa légitimation : l’infalsifiabilité !

Le numérique commande, le numérique surveille, le numérique punit
Le livre de Karen Levy s’intéresse à comment la surveillance numérique transforme le lieu de travail et la nature du travail des routiers. Son titre s’amuse de la formule très usitée de Data Driven, qui évoque les entreprises où toutes les approches sont “conduites par la donnée”, c’est-à-dire pilotées par les technologies et l’analyse de données. Ici, l’enjeu est de regarder comment les données conduisent désormais les camions et le sens de ce changement de pilote, de cette transformation par le numérique. Ce qui change avec les données, c’est la manière dont elles mettent en application les métriques qu’elles produisent, dont elles les imposent pour gouverner la réalité. L’enjeu est d’interroger comment « l’exécution numérique » (traduction très imparfaite du « digital enforcement », c’est-à-dire l’usage de la technologie pour imposer et faire respecter les règles) repose sur un ensemble de directives légales et organisationnelles qui bouleversent l’autonomie traditionnelle des conducteurs routiers. Ici, le numérique joue un rôle particulier et qu’on lui prête souvent : celui d’imposer, de commander, d’ordonner. Il est le garant de l’application des règles, il est le moyen pour contraindre et soumettre l’individu aux commandements légaux et hiérarchiques dont il dépend. Il est à la fois l’outil de mesure et de contrôle. Il assure un calcul dont l’humain sera tenu pour responsable. 

Pourtant, « les règles ne sont pas toujours des règles », rappelle Karen Levy. Elles sont bien souvent façonnées par des réalités sociales, culturelles et économiques et ne sont jamais aussi simples qu’elles paraissent : même une limitation de vitesse engendre des formes de tolérances. Les pratiques de travail s’ajustent plus ou moins aux règles et obligations qui leurs incombent, certaines étant plus strictes que d’autres, plus réprimées, plus surveillées. Le problème, c’est que ce respect sélectif des règles est le lieu de l’arbitraire et des discriminations. Et quand une autorité décide de renforcer une disposition réglementaire par la technologie sans prendre en compte le fossé des pratiques, elle perturbe l’ordre social.

La technologie est de plus en plus convoquée pour réduire le fossé entre la loi et la pratique, comme si ce fossé pouvait se réduire par un simple renforcement, une boîte de Skinner pour altérer nos comportements, à l’image des rats de laboratoires qu’on dresse à coups de récompenses et de décharges électriques. Elle est souvent convoquée pour rendre les règles plus strictes, plus difficiles à briser. Pourtant, estime Karen Levy, les technos n’empêchent pas les comportements déviants. Elle permet parfois de mieux les détecter, les documente et oblige ceux qui y ont recours à devoir en rendre compte. Elle permet peut-être de dissuader les comportements sanctionnés, de les réprimer, mais certainement bien plus de les déporter et de les transformer. 

Nos représentations de l’avenir du travail balancent entre un futur ou nous disposons de plus d’autonomie, aidés par les machines, et son exact inverse, celui où le moindre de nos comportements est scruté, prédit et optimisé par la machine. La vérité est que le futur du travail ressemble surtout aux pratiques d’aujourd’hui et aux pratiques d’hier, rappelle avec raison la sociologue. L’avenir du travail reste construit sur les mêmes fondations : à savoir « la motivation, l’efficacité, la minimisation des pertes, l’optimisation des process et l’amélioration de la productivité ». Et pour atteindre ces différents objectifs, la stratégie la plus commune reste la surveillance accrue des travailleurs. Qu’importe si elle marche assez mal…

Ce qui change avec la surveillance numérique, c’est qu’elle est capable de s’introduire dans de nouveaux types d’espaces (et la cabine du chauffeur routier en est un bon exemple). Elle est capable de produire de nouveaux types de données, plus granulaires, depuis de nouveaux capteurs (biométriques notamment) pour produire toujours plus de métriques… qui permettent de produire de nouvelles analyses qui impactent la gestion des travailleurs en temps réel et de manière prédictive. Des analyses bien souvent produites via des systèmes opaques et asymétriques, conçus d’abord au bénéfice exclusif des employeurs. Enfin, cette surveillance produit de nouveaux enchevêtrements, par exemple quand le télétravail capture des données relatives à la vie privée ou à la santé… qui posent de nouveaux enjeux en termes de sécurité ou de vie privée.

Si les chauffeurs routiers ont longtemps eu plus de liberté et d’autonomie que bien des travailleurs en cols bleu, cela a bien changé, raconte la chercheuse. Certes, la route est restée avant tout une identité, où règne une culture d’appartenance très marquée, éminemment viriliste, très libertarienne. Mais la surveillance électronique a réduit l’autonomie des routiers – et c’est bien souvent ce qu’elle produit, partout où elle s’impose : elle produit de nouvelles régulations de l’autonomie, de nouvelles négociations autour de la liberté (c’est ce que j’ai essayé de montrer en analysant le déploiement des outils de visioconférence tels que Zoom). Pour Karen Levy, les technologies déstabilisent bien plus les relations de pouvoir qu’elles ne renforcent l’autorité du surveillant. Son livre est une très bonne parabole des transformations du monde du travail par la technologie, qui font écho à d’autres travaux, par exemple, à ceux du sociologue David Gaborieau sur le monde de la logistique transformée par la commande vocale et les PDA.

Le business dégradé de la route

En 2018, aux Etats-Unis, 37 millions de camions sont enregistrés dans un but commercial, accomplissant des milliards de kilomètres chaque année pour transporter 20 milliards de tonnes de fret. Cette industrie emploi 8 millions de personnes, dont 3,6 millions de chauffeurs, dont 2 millions sont chargés du transport longue distance. Comme nombre d’industrie, le transport est une industrie contrôlée et les prix y sont assez standardisés. Pourtant, le secteur a connu plusieurs chocs de dérégulation depuis la fin des années 70. Dans les années 80, les tarifs d’expédition se sont effondrés de 25% alors que de nouveaux transporteurs entraient sur le marché. Des centaines de camionneurs ont connu la crise et perdus leurs jobs. Pour les autres, leurs salaires ont chuté de 44% (entre 1977 et 1987). Pour compenser cette perte de salaire, les camionneurs ont dû allonger leurs heures de travail. La dérégulation des années 80 a été un cataclysme, explique la sociologue. Dans les années 80 un camionneur pouvait se faire 110 000 $ par an quand il n’en gagne en moyenne plus que 47 000 aujourd’hui. Bas salaires et surtravail ont transformé le transport en « atelier clandestin sur roue ». Les routiers sont les plus tués ou blessés des travailleurs américains : 1 travailleur sur 6 tué au travail aux US est un camionneur, et ce chiffre se dégrade malgré le déploiement de toujours plus de mesure de sécurité (sans compter les autres problèmes de santé qui les touchent particulièrement, comme le fait qu’ils fassent peu d’exercice qui conduit la profession à avoir la plus forte incidence de taux d’obésité du pays, comme une forte pratique médicamenteuse, et les déplacements incessants qui rendent difficiles l’accès à un médecin, pour une population qui vieillit plus qu’elle ne rajeunit : l’âge moyen est de 46 ans et augmente. 2/3 des conducteurs sont blancs, même si la proportion de conducteurs noirs et latinos augmente…). Si conduire un camion est l’un des jobs le plus courant dans la plupart des États américains, le turnover y est phénoménal. Chez les grands transporteurs, il est de 100% sur l’année et chez les petits, il est très élevé également. Pour les entreprises, qui en ont pris leur parti, il est devenu plus simple de s’adapter au turnover que de chercher à traiter le problème. 90% des entreprises ont au maximum 6 camions, et un grand nombre de routiers (10%) sont indépendants, c’est-à-dire sont les propriétaires de leur propre camion. Pourtant, le marché est surtout détenu désormais par de très grandes entreprises : 20% des entreprises de transport contrôlent 80% des actifs de l’industrie. Derrière cette description, on voit que la figure du camionneur, chevalier solitaire des autoroutes, tient désormais plus d’une représentation que d’une réalité.

Le surtravail des routiers est le résultat direct de la façon dont ils sont payés, rappelle Levy. Ils sont payés au kilomètres : à l’origine, c’était bien sûr pour aligner leurs objectifs à ceux de leurs entreprises, les pousser à maximiser le temps de conduite. Pourtant, depuis toujours les routiers ne font pas que conduire… Ils inspectent et réparent leur camion, ils remplissent le réservoir, font des pauses, se coordonnent avec les expéditeurs et les réceptionneurs, et surtout passent beaucoup de temps à attendre lors des chargements et déchargements de leurs cargaisons (les conducteurs parlent de « temps de détention »). Mais les routiers ne gagnent pas d’argent sur ces moments. Avant la dérégulation des années 80, un grand nombre de routiers étaient payés à l’heure pour les tâches où ils ne conduisaient pas, mais la concurrence a fait disparaître ces petits avantages. Alors que les syndicats ont été un puissant levier de la profession pendant longtemps (au début des années 70, le transport était la plus syndiquée des industries américaines, avec plus de 80% de travailleurs syndiqués… En 2000, ce taux n’est plus que de 25%, et il est à moins de 10% aujourd’hui), ils sont désormais un repoussoir. Politiquement, les routiers sont surtout majoritairement libertariens. La route est devenue un mauvais métier, mais est resté un métier avec une identité, une fierté et une empreinte culturelle forte, particulièrement masculiniste.

Plus de surveillance, plus de pression !
Si la régulation est de retour, plus que de s’intéresser aux conditions de travail, elle s’est surtout intéressée au contrôle des véhicules. Concernant les employés, elle s’est concentrée sur un seul aspect : le temps consacré à la conduite. Le surtravail et le manque de sommeil sont endémiques dans une profession payée au kilomètre. Les semaines de 65 heures ou plus sont nombreuses, les nuits de 5 heures sont courantes. Chaque année, les accidents de la route impliquant des camions tuent 5 000 personnes et blessent 150 000 personnes. Pour résoudre ces problèmes, les autorités ont cherché à réguler la durée de travail, en imposant des pauses et des durées de conduites, des limites. Restait à en assurer le contrôle. Dès les années 40, les autorités ont imposés aux conducteurs de tenir un journal de bord où ils devaient consigner leur temps de travail, sous la forme d’un graphe (des documents soigneusement et uniquement destinés au contrôle, pas à la paye !). Ce contrôle souvent documenté a posteriori a longtemps été assez permissif, permettant beaucoup d’arrangements pour tenir les délais imposés par les employeurs. Mais plus qu’imposer une solution économique, le régulateur a imposé une solution technique afin de rendre plus difficile aux routiers de falsifier l’enregistrement de leur temps de travail. Envisagée dès 2003, l’imposition des ELD électroniques sera longue et progressive. Annoncée dès 2012, elle sera effective et obligatoire en décembre 2017 seulement (permettant aux employeurs de se préparer : en 2016, 80% des grands transporteurs s’étaient déjà équipés contre seulement 30% des petits).

Un chronotachygraphe numérique.

Cette obligation a été bien sûr très contestée. Pour les routiers, ces objets sont avant tout un affront à leur vie privée, à leur dignité, à leur indépendance… Pour eux, ces objets et la surveillance qu’ils imposent, les considère comme des criminels ou des enfants. Pourtant, rappelle Karen Levy, le problème n’est pas qu’ils falsifiaient leurs journaux de bords papiers (assez marginalement visiblement), mais que l’industrie soit tout entière orientée pour leur demander de contourner les règles. Le renforcement du contrôle s’impose alors sur le moins puissant de la chaîne industrielle du transport : le chauffeur. Il est considéré comme un menteur dont le comportement doit être redressé, plutôt que comme un professionnel qui doit faire face à des injonctions contradictoires. Surtout, plutôt que de résoudre le problème de la paye au kilomètre, la surveillance l’entérine, sans s’intéresser par exemple au temps d’attente sur les docks (63% des camionneurs rapportent qu’ils peuvent y passer plus de 3 heures).

Pour finir, rapporte Levy, la surveillance n’a pas résolue le problème qu’elle était censée résoudre. La surveillance rend-t-elle les routes plus sures ? Certes, les appareils ont amélioré la conformité des conducteurs aux règles. Avant l’obligation des appareils, les violations du nombre d’heures de travail étaient constatées lors de 6% des contrôles quand elle est descendue à 2,9% depuis. Le gain est notable, mais le problème n’était pas si prégnant que le clame le discours des autorités. Les études n’ont pas trouvé non plus que les appareils électroniques permettaient de réduire le nombre d’accidents (au contraire, les accidents ont tendance à augmenter, notamment chez les petits transporteurs). Les appareils n’ont pas permis de résoudre le temps d’attente des routiers, qui est bien souvent la source d’une prise de risque supplémentaire pour tenir ses délais et ne pas dépasser des horaires qu’ils doivent plus strictement respecter. En fait, l’inflexibilité qu’introduit la surveillance électronique a surtout généré plus de pression sur les conducteurs : les infractions pour conduite dangereuse ont augmenté de 35%.

Derrière la régulation, la gestion : un contrôle social étendu pour aligner les travailleurs aux objectifs des organisations

Les appareils, imposés par le régulateur pour la régulation, n’ont pas été que des outils de régulation, mais sont vite devenus des outils de gestion. Alors que les camions ont longtemps été immunisé d’une surveillance étroite par les managers, les appareils ont changé cela. « La surveillance numérique conduit à deux importantes dynamiques de changement dans la façon dont les routiers sont gérés par leurs entreprises. D’abord, la surveillance résume les connaissances organisationnelles, les extrait de leurs contextes locaux ou biophysiques (c’est-à-dire ce qu’il se passe sur la route, dans le corps et autour du conducteur) pour les agréger dans des bases de données qui fournissent aux managers de nouveaux indicateurs pour évaluer le travail des routiers. » Ces indicateurs permettent aux managers de construire un contre-narratif de celui de leurs employés, une autre interprétation qui peut venir contredire l’employé, permettant de surveiller la réalité de ses déclarations en regardant sur le GPS où il se trouve précisément. Ensuite, « les entreprises resocialisent les données de surveillance abstraites en les réinsérant dans des contextes sociaux et en créant des pressions sociales sur les camionneurs pour qu’ils se conforment aux exigences organisationnelles. » Par exemple en encourageant une comparaison entre conducteurs sur celui qui conduit le mieux ou celui qui conduit en dépensant le moins de carburant. Le but, ici, clairement, est d’ajouter de nouvelles pressions sur le conducteur pour qu’il se conforme à ses tâches.

La surveillance des travailleurs n’est pas nouvelle. La techno permet aux employeurs d’avoir une meilleure visibilité sur les tâches et par là de mieux discipliner les travailleurs. Les nouveaux outils ont pour but de capturer des informations toujours plus fines et de nouvelles informations (comme les données biométriques) en abaissant le coût de cette surveillance. Ce faisant, la surveillance rationalise le travail : le découpe en microprocessus, le décontextualise, et convertit le travail en pratiques objectivables et calculables. En fait, les ELD se sont révélés plutôt intéressantes pour les employeurs qui ont déployés avec ces outils, des systèmes de management de flotte qui leur permettent d’avoir des informations plus précises sur l’activité des routiers, de connaître en temps réel la géolocalisation des camions, mais aussi d’avoir des informations sur leurs modes de conduites (freinage, consommation de carburant…) ainsi que des informations sur la maintenance et le diagnostic du véhicule. Ces systèmes ont renforcé la communication entre le camionneur et son employeur. Enfin, ces données permettent également de faire de la prédiction de risque.

Les entreprises se servent de ces données pas seulement pour elles, mais également pour d’autres. Ces données sont souvent rendues visibles ou accessibles à leurs clients, pour renforcer la fluidité de la chaîne logistique et prévoir l’arrivée des cargaisons. En fait, ces outils sont utilisés pour aller au-delà de ce que proposait la loi (ainsi, celle-ci n’impose un enregistrement de la localisation qu’une fois toutes les 60 minutes, alors que les dispositifs procèdent à un enregistrement en continu). Les dispositifs ont changé la nature de qui détenait l’information. Désormais, les conducteurs n’ont plus l’exclusivité de l’information contextuelle, ce qui modifie leur relation avec leurs employeurs et donc leur indépendance. Les firmes ont même à leur disposition de nouvelles informations dont les conducteurs ne disposent pas, comme des informations sur leur conduite (freinages intempestifs, consommation d’essence…). Les outils permettent enfin une surveillance et une communication plus intensive et plus fréquente, et également plus immédiate, en temps réel, par exemple en informant immédiatement d’une durée de conduite trop longue par rapport à son stricte cadre horaire. Avec le déploiement de la technologie, c’est souvent l’autonomie qui recule : les employés devant répondre et être pénalisés pour chaque problème qui remonte des pipelines informationnels.

Ces nouveaux flots d’information conduisent à de nouvelles stratégies de gestion des hommes, que ce soit par l’évaluation des performances des conducteurs comme leur comparaison entre eux. Les données sont ainsi « resocialisées », c’est-à-dire que les métriques sur les conducteurs sont partagées entre eux pour créer une pression sociale pour les pousser à se conformer aux règles. Beaucoup de gestionnaires de flotte postent ou classent les conducteurs selon leur score de conduite pour créer une pression sociale comparative et pousser les conducteurs à s’améliorer. Certaines entreprises les couplent avec de petites primes financières. Parfois, ces incitations dépassent le cadre de l’entreprise : quelques rares entreprises procèdent à des cérémonies ou des banquets, invitant les familles des conducteurs ou remettant la prime à leurs femmes pour renforcer cette pression sociale. Pour Karen Levy « le contrôle social basé sur les données dépend toujours beaucoup du fait qu’il se situe dans des forces sociales “douces” comme les soins familiaux – contrairement au récit courant selon lequel la gestion basée sur les données est abstraite et impersonnelle ».

Image d’un tableau de bord pour gérer une flotte de camion via OverDriveOnline.

Les dispositifs de contrôle des chauffeurs ne sont donc pas qu’une technologie de conformité réglementaire. Ils sont avant tout des outils de contrôle organisationnel qui visent à aligner les incitations pour que les travailleurs se conforment aux objectifs de profits des organisations.

Nouvelles données, nouveaux profits
La production de nouvelles données nécessite qu’elles soient rendues productives. Elles sont donc vendues ou partagées bien au-delà de l’entreprise. Avec les clients par exemple, mais aussi avec d’autres acteurs, comme les assureurs pour réduire le montant des primes. Elles peuvent également permettre de générer de nouveaux revenus, comme c’est le cas de tout un écosystème d’applications numériques dédiées à la conduite. Désormais, les routiers peuvent réserver des places dans des parking dédiés, via des applications comme Trucker Path. Sur la même application d’ailleurs, des entreprises vendent des correspondances de chargement, pour remplir les camions sur des segments de disponibilités, à la manière des chauffeurs sur Uber. D’autres utilisent ces données pour prédire de la maintenance, détecter l’état des routes, ou améliorer les délais de chargement/déchargement et les temps d’attente, comme Motive. Cette surveillance et ces nouvelles métriques pour améliorer la productivité ont bien plus profité aux gros transporteurs qu’aux petits, estime Karen Levy.

Mais surtout, la surveillance imposée par les autorités et celles des entreprises sont « profondément interopérables », même si elles accomplissent des buts différents. Elles sont « profondément compatibles », et l’une facilite le développement de l’autre. En fait, la collecte de données est elle-même au croisement des intérêt des autorités, des entreprises et d’acteurs tiers qui vont la faire fructifier. Les usages des données se chevauchent et s’entretiennent dans un ensemble d’intérêts légaux, socioculturels, économiques et techniques. « Ces synergies rende les systèmes de surveillance publics et privés pragmatiquement inséparables. La superposition d’intérêts de surveillance par le biais de systèmes interopérables se traduit par une plus grande capacité de surveillance nette que celle que l’État ou la société pourraient atteindre par eux-mêmes, créant un assemblage hybride de régimes de surveillance qui s’appliquent mutuellement. »

Karen Kelly a ensuite un long développement sur la manière dont les dispositifs changent le travail des officiers chargés du contrôle des temps de travail des camionneurs, soulignant combien ce qui devait être facilité est en fait devenu plus difficile. Les inspections sont devenues difficiles, notamment parce qu’il est plus difficile pour les inspecteurs de recueillir les données depuis une multitude d’appareils et de formats différents nécessitant des manipulations parfois complexes, dans des situations où ils ne sont pas mis en situation d’autorité (il leur faut pénétrer dans les cabines des conducteurs et bien souvent recevoir leur aide), les conduisant souvent à des inspections moins poussées et moins rigoureuses qu’avant. Sans surprise, les dispositifs qui devaient d’abord améliorer le contrôle par les autorités ne l’a pas vraiment rendu possible. Il a plutôt déporté le contrôle ailleurs et autrement.

Résister à la surveillance ?
La chercheuse évoque également la résistance des routiers au déploiement des appareils. La littérature sur les formes de résistances est nourrie, que ce soit sur l’évitement, l’obfuscation en passant par la surveillance inversée pour surveiller les dispositifs de surveillance, voir le sabotage… Chez les conducteurs, Levy note qu’on trouve des procédés pour tenter d’altérer l’enregistrement des données (mettre du scotch sur une caméra, tenter de créer des interférences avec le système, ou par l’utilisation de dispositifs de brouillages de GPS…), la manipulation des données (qui nécessite souvent la complicité de l’entreprise, mais qui est difficile car les logiciels des dispositifs signalent les données éditées), les tentatives pour exploiter les limites techniques des systèmes (en s’appuyant sur ce que les dispositifs ne savent pas mesurer ou détecter, par exemple en se connectant au dispositif depuis un compte fantôme ou celui d’un autre utilisateur quand le conducteur a atteint sa limite de conduite, ou encore en jouant sur le travail non enregistré, comme les temps d’attente de chargement ou de repos) et la résistance sociale et organisationnelle (comme de quitter les firmes qui déploient des systèmes trop invasifs ou des grèves contre le déploiement des dispositifs – mais qui n’ont pas été très suivies -… d’autres formes d’oppositions aux contrôles se sont développées comme de ne pas présenter d’autres documents exigés, ou de collecter des factures de péage ou d’essence sans dates pour dérouter les contrôleurs).

Mais nombre de stratégies sont rapidement éventées et rendues impossibles par l’évolution des systèmes. Karen Levy concède qu’il est plus difficile de briser les règles avec des appareils électroniques de surveillance. Les stratégies de résistance collectives sont défaites par les outils de mesures individuels. Et les stratégies de résistance individuelle relèvent d’un « microluddisme sans grand effet », comme je le disais ailleurs. Pour Karen Levy, les routiers sont pris dans des injonctions contradictoires qui renforcent la pression qu’ils rencontrent. Leurs employeurs les poussent à tricher alors que les systèmes rendent la triche moins accessible. En fait, quand ils en arrivent à conduire avec un faux compte de conducteur, ou quand ils n’enregistrement pas correctement les heures de non-conduite, les routiers renforcent surtout les structures économiques qui les exploitent. Les routiers qui résistent s’autorisent surtout à travailler plus longtemps et donc plus dangereusement. En fait, derrière la résistance, il faut comprendre contre qui et contre quoi on résiste, au bénéfice de qui ? Le routier qui roule en s’enregistrant sur l’ELD depuis un compte fantôme ne s’oppose pas à la loi, il négocie sa relation avec son employeur qui lui fournit les ressources pour ce subterfuge. Dans le monde de la route, résister, c’est faire appelle à une identité d’indépendance, qui n’est plus mise au service du conducteur, mais bien de l’entreprise. L’autorité est déplacée : ce n’est plus l’autorité de régulation qui est injuste ou l’employeur qui est autoritaire, mais la machine dont il faut se défier. Pour Levy, la résistance dans le monde des transports est surtout un exercice d’auto-exploitation, une victoire fantôme qui donne l’illusion qu’on est encore maître de la relation de pouvoir qui s’impose au conducteur. Le routier s’oppose désormais à la machine plutôt qu’aux injonctions impossibles de son supérieur.

La promesse de l’autonomisation masque toujours la réalité de la surveillance
Levy livre ensuite un excellent chapitre sur la menace de l’autonomisation, à savoir la perspective de déploiement de véhicules autonomes. La chercheuse souligne que la menace de l’autonomisation et la disparition à terme des conducteurs humains est très exagérée : nous en sommes très loin. Nous sommes loin d’une « apocalypse robotique » sur nos routes. Le risque d’une transformation et d’une dégradation de l’emploi des routiers est bien plus certain que leur disparition.

L’automatisation de la conduite oublie que le travail du routier ne consiste pas seulement à conduire un camion d’un endroit à un autre. Il est là également pour inspecter et maintenir le véhicule, protéger son chargement, charger et décharger, parler aux clients… L’automatisation menace certaines tâches, plus qu’elle n’est appelée à remplacer des emplois entiers. James Bessen nous a montré que si remplacement il y a, il prend du temps. Les guichets distributeurs d’argents n’ont pas remplacé les guichetiers des banques tout de suite, c’est seulement une fois la vague d’automatisation passée que l’emploi dans le secteur bancaire s’est réduit et transformé. L’avenir consiste bien plus en une démultiplication de technologies d’assistances que dans une automatisation radicale (à l’image des 5 niveaux de l’autonomie des véhicules, qui permettent, comme le dit d’une manière très imagée la chercheuse : de lever le pied, de lever les mains, de lever les yeux puis de lever le cerveau avant de lever l’être humain du siège du conducteur…). Le risque à terme du déploiement de véhicules autonomes devrait surtout permettre de précariser plus encore la profession. Si demain les chauffeurs n’ont rien à faire en cabine ou s’ils pilotent des camions à distance, ce sont des gens moins expérimentés que l’on pourra embaucher pour cela. La seule promesse de l’automatisation reste toujours d’améliorer les gains de productivité.

Enfin, rappelle la chercheuse, l’ironie de l’automatisation ne doit pas oublier le paradoxe qu’elle génère : les compétences se détériorent lorsqu’elles ne sont pas utilisées, tout le contraire de ce qu’on attend de l’humain face à la machine. Les humains sont très mauvais à devoir rester attentifs sans agir : « si vous construisez des véhicules où les conducteurs sont rarement obligés de prendre les commandes, alors ils répondront encore plus rarement encore lorsqu’ils devront prendre les commandes ». Pour le dire autrement, enlever ce qui est facile à accomplir d’une tâche par l’automatisation peut rendre plus difficile l’accomplissement des tâches plus difficiles. Enfin, les promesses de l’autonomisation des véhicules tiennent surtout d’un fantasme. Il y a 10 ans, dans la Technology Review, Will Knight nous avertissait déjà que les voitures autonomes ne sont pas pour demain (j’en parlais là). 10 ans plus tard et malgré plus 100 milliards d’investissements, elles ne vont toujours nulle part, expliquait récemment Max Chafkin pour Bloomberg. Contrairement à ce qu’on nous a raconté, les humains sont de très bons conducteurs par rapport aux robots. Une voiture autonome panique devant un pigeon sur la route. Aucune démo en condition réelle ne s’est avérée concluante, pas même chez Tesla. Pour l’un des pontes du domaine, le sulfureux Anthony Levandowski, le pape de la voiture autonome : “Vous auriez du mal à trouver une autre industrie qui a investi autant de dollars dans la R&D et qui a livré si peu”. La voiture du futur est dans l’impasse. Comme le dit Paris Marx dans son livre, Road to Nowhere (Verso, 2022, non traduit), ou dans d’excellentes interviews, les échecs dans l’innovation dans le transport sont majeures. Voiture autonome, covoiturage, services de micromobilité, voiture électrique, hyperloop… n’ont rien transformés ! Karen Levy rappelle qu’en 2018, Uber a fini par fermer sa division qui travaillait sur le camion autonome. L’idée de créer des réseaux de véhicules sur des voies spécifiques conduit par des humains à distance a fait également long feu : Ford a fermé sa division quand après des essais, le constructeur a constaté qu’il perdait le signal des camions rendant leur pilotage à distance impossible. Quel que soit l’angle par lequel on la prend, l’autonomisation demeure surtout une promesse qui n’engage que ceux qui souhaitent y croire.

En route vers l’hypersurveillance !
Dans les années 60, Manfred Clynes et Nathan Kline ont lancé le terme et l’idée de cyborg, un hybride de robot et d’humain qui devait permettre aux corps de s’adapter aux contraintes du voyage spatial. L’idée était de modifier le corps humain pour qu’il s’adapte à des environnements hostiles. Plus qu’une modification ou même une augmentation des capacités par des systèmes qui se portent (wearables), l’avenir de l’automatisation semble résider bien plus dans une surveillance continue et de plus en plus intime des individus. Caméras, capteurs et habits viennent mesurer en continue les données biologiques des conducteurs pour évaluer leur niveau de stress ou de fatigue (les projets sont innombrables : comme ceux de SmartCap, Rear View Safety, Optalert, Maven Machines, Actigraph…). Outre ces outils, on voit fleurir aussi des caméras pointées vers le conducteur pour surveiller son regard et sa fatigue (Seeing Machine ou Netradyne). Il est probable que ces systèmes s’imposent rapidement, estime la chercheuse, via des obligations légales comme celles qui ont imposées les ELD, ou comme des fonctions additionnelles aux outils de gestion de flotte (à l’image des fonctions qui analyses les comportements de conduite chez Blue Tree Systems). Récemment, le National Transportation Safety Board américain, l’organisme de régulation du transport, a jugé que le système d’autopilote de Tesla n’était pas suffisant pour assurer l’engagement du conducteur et a suggéré de lui ajouter un système de surveillance du regard des conducteurs. L’Europe a exigé que des systèmes de surveillance des conducteurs soient installés dans tous les véhicules neufs vendus dès 2026 et une législation similaire est en discussion aux Etats-Unis. Le renforcement de la surveillance est en marche.

Ces machines ne serviront pas seulement à l’alerte, à la détection de la fatigue, mais également comme preuve en cas d’accident, et surtout comme outils pour renforcer encore l’intensification du travail et le contrôle de l’attention. Pour Karen Levy, nous sommes sur la pente glissante des technologies, dont le seul avenir consiste à entrer dans le cerveau des conducteurs pour vérifier qu’ils ne pensent pas à autre chose qu’à conduire ! « Il y a quelque chose de viscéralement agressif lié au micro-management permis par ces technologies ».

L’enjeu de l’IA dans le transport consiste surtout à pointer les faiblesses humaines, via une surveillance constante, intime, viscérale. Si la menace du remplacement des chauffeurs par des robots est lointaine, celle d’une « hybridation forcée », une invasion intime de la technique dans le travail et le corps des routiers, semble bien plus réaliste. « L’IA dans le transport aujourd’hui, ne vous fout pas dehors de la cabine, il envoie des textos à votre boss et à votre femme, envoie une lumière dans vos yeux et vous fout des coups de pieds au cul ». Les conducteurs sont toujours dans la cabine, mais avec des systèmes qui les surveillent, transformant la relation entre le travailleur et la machine en un ensemble conflictuel.

En fait, estime Levy, l’automatisation et la surveillance sont complémentaires. L’un ne se substitue pas à l’autre. « L’automatisation n’est pas la solution pour diminuer la surveillance », au contraire, elle la renforce. Les camions devraient continuer à être conduits par des humains pour longtemps, mais ceux-ci risquent d’être de plus en plus en conflit avec la technique, à défaut de pouvoir l’être avec leurs donneurs d’ordres. Avec la technique, quelques emplois disparaissent, d’autres s’améliorent, mais la plupart deviennent pire qu’ils n’étaient avant. La technologie a tendance à les rendre moins pénible, certes, mais bien plus intenses qu’ils n’étaient. Avec les outils numériques, le travailleur est surveillé d’une façon « plus intime et plus intrusive » qu’auparavant – à l’image de systèmes qui observent tout l’habitacle, et donc le comportement des autres passagers également. La techno surveille, harcèle et impose une responsabilité supplémentaire à ceux sur qui elle s’abat, qui doivent répondre de la moindre de leur défaillance que relèvent les indicateurs qui les monitorent. Certes, ces systèmes peuvent être déjoués. Même les systèmes qui surveillent la position du regard peuvent l’être avec des lunettes, mais ces détournements ne peuvent être que circonscrits.

A nouveau plus d’automatisation implique d’abord plus de surveillance. Reste que la grande question qui n’est jamais débattue est de savoir jusqu’où la surveillance doit aller ? Le storytelling de l’automatisation promet toujours que nous allons être libérés des tâches les plus ingrates pour nous concentrer sur les plus intéressantes. Mais ce n’est pas la réalité, rappelle la chercheuse. En réalité, les routiers font face à une double menace des technologies. La première, c’est leur déplacement, qui est plus lent et graduel que prévu, mais qui est bien réel, et ce déplacement est d’abord celui d’une précarisation qui prévoit qu’à terme n’importe qui pourra faire ce travail pour bien moins cher qu’aujourd’hui. De l’autre, c’est l’intensification de la surveillance, et avec elle, la dégradation de la qualité, de l’autonomie et de la dignité du travail.

De l’exécutabilité du travail

Dans Against Security (Princeton University Press, 2014, non traduit), le sociologue Harvey Molotch explique que trop souvent on impose des solutions top-down aux problèmes sociaux. Ces solutions sont basées sur comment certains pensent que le monde fonctionne. Trop souvent, « on efface les mécanismes tacites et les modes de contournements que les gens utilisent pour que les choses soient faites », explique-t-il. On impose un ordre apparent au détriment de l’ordre réel. En renforçant les règles par la surveillance numérique, on renforce cet ordre apparent, et on ignore les causes sociales, économiques et politiques des problèmes. Les dispositifs numériques introduits dans les camions supposent qu’on ne peut pas faire confiance aux conducteurs et que la seule solution consiste à limiter leur autonomie, plutôt que de la renforcer. Les dispositifs de surveillance n’ont rien changé à ce qui motive les routiers à contourner les règles, ils n’ont rien fait bouger des problèmes de  l’industrie du transport, à savoir le manque de protections des travailleurs, les problèmes liés à la façon dont le paiement est structuré… Au mieux, il empêche quelques abus, mais il reste possible aux routiers et à leurs employeurs d’exploiter les limites des outils de surveillance – en renforçant encore et toujours la responsabilité des routiers. Pour Karen Levy, s’il y a des solutions aux problèmes du transport, elles ne sont pas technologiques. La technologie n’est qu’une façon superficielle de masquer un problème qui ne s’adresse jamais à ses causes profondes. L’enjeu devrait être bien plus de regarder la structuration économique du transport pour rendre sa décence au travail des routiers. Le premier enjeu pour mettre fin à ces « ateliers clandestins sur roue » consiste à payer les routiers pour leur travail, et non pas seulement pour les kilomètres qu’ils abattent, en prenant en compte et en payant les temps d’attente et de services. On en est loin. Les réponses technologiques semblent partout plus simples à déployer que les réponses sociales et économiques… et ce d’autant plus que les déploiement techniques ne remettent jamais en cause les infrastructures de pouvoir existantes, au contraire.

Karen Levy suggère qu’on pourrait utiliser les données produites par les systèmes de surveillance pour mieux adresser les problèmes, comme la question du temps de détention. Pour elle, nous devrions réorienter la collecte de données pour passer d’outils de contrôle individuels à des moyens de réforme collective, même si, rappelle-t-elle, assigner des chiffres ne créée pas d’une manière magique la volonté politique d’en adresser l’enjeu. Les preuves ne suffisent pas toujours, comme le disait très justement Mimi Onuoha en parlant de l’immense documentation existante sur le racisme et la discrimination. Sans accompagnement social, économique, culturel et légaux, les mesures ne produisent rien. « Si nous construisons des outils qui permettent aux patrons de surveiller l’activité des travailleurs, nous devrions les accompagner de protections légales renforcées pour ces travailleurs », explique très justement Karen Levy, et « nous soucier de leur intégration dans la culture du travail ». Or, cette culture n’est pas la même partout.

Une intéressante étude a montré que les routiers ne répondaient pas tous de la même manière à la publication de leurs performances mesurées par les systèmes. Dans les entreprises où la culture au travail est très individualiste, ces publications tendent à favoriser la compétition entre employés. Dans les entreprises où la culture du travail est plus collectiviste, ces performances ont l’effet opposé et poussent le collectif à limiter la compétition. Le but de la démonstration n’est pas de montrer que les entreprises devraient se défier des cultures du travail coopératives, que de montrer que les effets de la surveillance ne sont pas uniformes, qu’ils privilégient un mode de rapport au monde sur d’autres, une culture et une idéologie sur d’autres. Sévir sur la rupture des règles sans reconnaître que les travailleurs sont contraints de le faire, consiste seulement à les conduire à des situations intenables dont ils seront tenus pour seuls responsables. C’est un peu comme si finalement ce type de régulation technique n’avait pour but que d’absoudre le régulateur (le politique) et l’organisation (l’économique) pour faire peser toutes les contraintes sur le plus petit et plus faible maillon de la chaîne : l’individu. Au final, celui-ci n’a plus d’autres choix que d’enfreindre la règle de sa responsabilité, sous la pression de la loi, de la technique, de la chaîne économique. « La meilleure façon de penser au changement technologique n’est pas de se concentrer uniquement sur la technologie, mais de renforcer les institutions sociales et les relations qui l’entourent », conclut Levy. Certes. Mais dans la perspective d’une amélioration de la productivité sans limite, il est finalement plus simple pour toute la société, de renvoyer toutes les injonctions contradictoires et les responsabilités sur le dernier maillon de la chaîne de responsabilité. Au final, c’est au routier de gérer toutes les contradictions que la société lui impose. Et dans tous les cas, il perd !

*

La monographie de Karen Levy est une belle illustration des contradictions où s’enferme le monde du travail moderne. Elle montre que dans ces transformations, le travailleur n’a aucun levier sur les conséquences du développement du numérique au travail. Partout, le numérique réduit ses marges de manœuvre pour résister à l’intensification, pour garder de  l’autonomie, pour limiter le contrôle et lutter contre la précarisation. Le travailleur est renvoyé à un conflit solitaire avec la machine, au détriment d’un conflit avec ceux qui les  exploitent et les déploient et au détriment de toute collectivisation du conflit. Même le simple enjeu d’arriver à limiter le niveau de surveillance, pour qu’elle reste proportionnelle, est débordée par les capacités de la technique. Avec une surveillance qui vise à repousser les injonctions contradictoires entre le légal et l’économique sur les épaules des seuls individus plutôt qu’au niveau de la société, la technologie fait reculer la justice, et donc avec elle, notre possibilité même de faire société.

Hubert Guillaud

A propos du livre de Karen Levy, Data Driven, Truckers, Technology, and the new workplace surveillance, Princeton University Press, 2023.

Le contrôle social automatisé, dans la plus grande opacité

Pour cette 3e séance du cycle de rencontres “Dématérialiser pour mieux régner”, organisé par le Mouton numérique, il a été à nouveau question d’interroger les orientations politiques qui se cachent derrière les outils numériques. Les technologies complexifient les démarches pour renforcer le contrôle et restreindre l’accès aux droits, rappelle Maud du Mouton. Et c’est incontestablement le cas des technologies de scoring mises qui révèlent en creux l’idéologie du “gouvernement des pauvres” que pratique la Caisse d’allocations familiales (CAF). 

Image : Le sociologue Vincent Dubois, Bernadette Nantois de l’Apiced et de Changer de Cap, Maud et Yaël Benayoun du Mouton Numérique.

Modéliser les comportements

Deux des membres de la Quadrature du Net, venus présenter le travail spécifique que réalise l’association de défense des libertés fondamentales sur les questions de dématérialisation, rappellent que la Quadrature s’est longtemps battue contre la surveillance privée, la surveillance d’État et la surveillance policière. S’intéresser à d’autres formes de surveillance et d’administration est resté longtemps une préoccupation de basse intensité. L’intérêt est devenu plus manifeste quand on a rencontré quelqu’un qui a été radié parce qu’il ne souhaitait pas communiquer avec Pôle Emploi autrement que par courrier papier, ce qui a permis à la Quadrature de rencontrer le collectif Stop Contrôle. Mais c’est le livre du sociologue  Vincent Dubois (Contrôler les assistés : genèses et usages d’un mot d’ordre, Raison d’Agir, 2021) qui a pointé l’ampleur systémique du problème. Les juristes et techos de la Quadrature se sont d’abord documentés, pour comprendre quelle surveillance les techniques mises en place par la CAF impliquaient. A l’origine, la CAF a utilisé les données des allocataires pour construire des profils très fins afin de lutter contre la fraude.  Elle a construit un profil type des fraudeurs et a cherché des correspondances, des ressemblances dans les profils de tous les allocataires, en les affectant d’un score, qui, selon son niveau de correspondance avec le modèle, invite à approfondir le contrôle. Le problème consiste à savoir quels critères sont retenus par la CAF. Certains sont connus : ne pas être un ressortissant de l’Union européenne ou le fait d’être un parent isolé sont des critères de risques. Mais de nombreux autres ne le sont pas… (voir l’édifiant récit de l’association suite à sa demande d’accès au code source du système de la CAF qui lui a été transmis caviardé rendant impossible l’identification des critères pris en compte par le calcul). 

Cette production du contrôle n’est pas cantonnée à la CAF, rappellent les deux intervenants de la Quadrature. Elle existe également à l’assurance maladie, à l’assurance vieillesse, à l’administration fiscale…  et Pôle emploi a beaucoup communiqué sur ses projets d’automatisation, pour “remobiliser” les demandeurs d’emploi qui ne sont pas assez actifs. Ces outils se déploient partout. Ce sont les mêmes techniques que celles mobilisées par la technopolice et notamment par la vidéosurveillance algorithmique. Là aussi, la détection de comportements suspects consiste d’abord à repérer des profils types depuis des paramètres pré-établis. Cela consiste donc à la fois à établir des critères de normalité pour l’action policière et à accentuer la surveillance automatisée. “Chaque institution a ses profils types de fraudeurs, de suspects, de risques… Quelques soient les techniques, les idées sont les mêmes. Partout, des scores sont produits. Le problème, c’est qu’aucune règle pour les produire ne sont transparentes. Elles sont même particulièrement opaques en France. Et au final, les mêmes logiques produisent partout les mêmes violences”. 

“La complexité des prestations multiplie la probabilité des erreurs”
La médiatisation récente du scoring des allocataires de la CAF (notamment dans l’émission Envoyé spécial de décembre) passe assez mal auprès du grand public : symboliquement, cette notation des gens est délétère, alors que la CAF s’empêtre dans ses discours de justification. 

Le scoring après une phase d’expérimentation a été généralisé en 2012, rappellent les deux intervenants de la Quadrature. Au début, la CAF a entraîné ses systèmes pour détecter la fraude, mais ils ne marchaient pas si bien, notamment parce que la fraude suppose de prouver l’intention. Par contre, elle s’est rendue compte que cela marchait extrêmement bien sur le calcul des trop perçus, d’abord et avant tout parce que “la complexité des prestations multiplie la probabilité des erreurs”. La CAF a étendu ses calculs à d’autres allocataires, notamment aux bénéficiaires du RSA, qui, parmi les prestations sociales, sont celles qui génèrent le plus d’erreurs, notamment parce que le calcul d’attribution et de droits y est particulièrement complexe. 

Depuis des années, la CAF est le très bon élève de la lutte contre la fraude dans l’administration publique. Aujourd’hui, quand on leur dit qu’ils notent les gens, ils répondent qu’ils ne font que détecter des erreurs. Comme le système est opaque, la CAF peut imposer son vocabulaire, sa communication. D’où l’enjeu pour la Quadrature de sortir de la boîte noire en demandant l’accès au calcul, afin de produire un contre-discours. Mais tant que cela reste une boîte noire, l’institution peut continuer à imposer les termes du débat. 

Le contrôle est différent selon les prestations et les catégories socio-démographiques, rappelle Maud. Oui, complète le sociologue Vincent Dubois, qui rappelle d’abord qu’il y a 3 formes essentielles de contrôle. Le premier, celui qui nous intéresse ce soir, c’est le contrôle automatisé. Il repose d’abord sur l’échange d’information entre administrations. Ce sont les différences repérées dans les données entre différentes administrations qui déclenchent une suspicion d’erreur de déclaration. Les échanges de données se sont démultipliées ces dernières années au gré de conventions bilatérales entre administrations dont il est très difficile de reconstituer l’écheveau complexe, précise le sociologue (c’est ce qu’il nous avait expliqué en interview, à la sortie de son livre, cf. “Le calcul de risque : cette révolution industrielle de l’administration publique construite à notre insu”). Complexité d’ailleurs qui empêche de mettre en visibilité publique ce type d’échange. L’efficacité de ces échanges a considérablement progressé avec la possibilité de croiser les NIR, le numéro de sécurité sociale des usagers (et Dubois de rappeler pour l’anecdote que la possibilité de ce croisement a été rendue possible par un amendement du député du parti communiste, Jean-Pierre Brard en 1995, qui voulait que l’administration l’utilise pour lutter contre la fraude fiscale). A la fin des années 70, lors du scandale Safari, la menace était que toutes les données soient concentrées en un seul endroit. Mais cela ne s’est pas passé ainsi. “C’est le croisement de données qui s’est imposé, avec des données qui sont bien plus importantes, volumineuses et précises qu’elles ne l’étaient en 1978”. Le second type de contrôle qui existe, c’est le contrôle sur pièces, à la demande des agents. Le 3e, c’est le contrôle sur place, l’enquête à domicile, qui mobilise des techniques quasi policières, voir plus intrusives que les enquêtes policières, puisque les agents de la CAF ont le droit de s’introduire au domicile, de procéder à des enquêtes de voisinage, procèdent à un interrogatoire des administrés… 

Ces 3 outils de contrôle sont inégalement appliqués en fonction des caractéristiques sociales des administrés. La plupart des familles, celles qui ont un foyer stable, un emploi stable… ne sont contrôlées qu’à distance, la plupart du temps sans qu’elles le sachent. Les contrôles sur place, les plus intrusifs, sont réservés aux dossiers les plus complexes, c’est-à-dire aux allocataires les plus précaires. 

Le datamining, la fouille de données, est née, comme le disait la Quadrature, d’une pratique d’enquête régulière de la CAF qui a extrait 5000 de ses dossiers pour identifier les caractéristiques des dossiers frauduleux. Elle a mobilisé les statistiques prédictives pour modéliser les corrélations de ces dossiers et construire des modèles qu’elle applique ensuite à l’ensemble des dossiers des allocataires. Chaque mois, elle calcule des scores de risques et envoie les listings des dossiers signalés à ces agences pour qu’elles lancent des contrôles adaptés. Les dossiers les plus scorés sont systématiquement contrôlés. L’outil de détection des risques sert donc au déclenchement des contrôles. Là encore, la différenciation sociale est forte. La CAF pratique le calcul a un haut niveau de sophistication depuis les années 90, produisant nombre d’indicateurs, depuis des objectifs de rationalisation de ses actions nombreux. Avant l’intégration du scoring, les contrôles reposaient déjà sur des ciblages à priori, des incohérences de situation surtout, comme un montant de loyer trop élevé par rapport au revenu déclaré. Avec le datamining, on est passé à une déduction par les données mêmes des dossiers, ce qui permet à l’institution de se dédouaner. “Personne ne décide de contrôler les bénéficiaires du RSA, c’est la machine qui le dit”. 

“Personne ne décide de contrôler les bénéficiaires du RSA, c’est la machine qui le dit”.

Pourquoi la technologie a-t-elle un tel effet discriminatoire ?

Mais la question principale est de savoir pourquoi la technologie a un tel effet discriminatoire. “Plus les situations sont précaires, plus les gens sont éligibles à des aides aux critères nombreux et complexes. Et le RSA est l’une des aides qui comporte le plus de critères d’attribution différents”, explique Vincent Dubois. Assez logiquement, plus il y a de critères, plus les risques d’erreurs, de retards, de décalage entre les documents à fournir sont élevés. En fait, explique Dubois, rien ne prouve que les bénéficiaires du RSA trichent plus que ceux des APL, mais mathématiquement, parce que le RSA repose sur des déclarations trimestrielles et non pas annuelles, comme les APL, le risque d’erreur est multiplié par 4 — d’où le risque à passer à des calculs de droits de moins en moins annualisés et de plus en plus en temps réel ! Le score de risque est bien plus le fait de la technique que du comportement des allocataires. Ensuite, les personnes précaires, par nature, vivent dans des temporalités où tout est instable : la situation familiale, le logement, les revenus… Ils vivent davantage de changements de situations que d’autres ce qui explique qu’ils aient plus d’erreurs et qui justifie techniquement le sur-contrôle. On est là dans un art martial, où la CAF utilise la faiblesse de l’adversaire pour mieux le renverser, notamment parce qu’elle dispose d’une quantité et d’une précision de données sur les allocataires que nombre d’administrations ne disposent pas. En fait, comme Vincent Dubois le montre dans son livre, “les contrôles croissent avec la précarité”, à une exception près, ceux qui ne sont jamais en emploi, car ceux-ci ont moins de changement de situations. 

On a compris que les algorithmes étaient un alibi technique… Mais quels sont les objectifs de cette politique ? Elle est d’abord motivée par une volonté de réduire les dépenses ?, interroge ingénument Maud. 

Pour la Quadrature, les aides sociales sont de plus en plus conditionnées. Dans les années 90, une volonté de restriction des droits pour limiter les dépenses publiques s’est mise en place, qui est allée de pair avec la diabolisation des personnes qui perçoivent des aides. Les algorithmes sont le reflet de ces politiques. En ciblant les plus précaires, ils reflètent d’abord la volonté de limiter l’accès aux aides. Depuis que l’idée de fraude s’est développée, le bénéficiaire doit être redevable de l’aide qu’il reçoit. La surveillance est le corollaire de l’aide, dans une longue tradition de criminalisation de la pauvreté. 

Les pauvres coûtent-ils trop chers ?
Pour Bernadette Nantois de l’Apiced et de l’association Changer de Cap, la surveillance des plus démunis est l’expression d’une logique néolibérale qui vise à réduire les coûts des dépenses publiques. Elle fait écho à la multiplication des obstacles pour accéder aux droits, aux législations pour les réduire… D’un côté on affiche dans les discours la volonté de lutter contre le non recours, c’est-à-dire contre le fait que les gens qui auraient des droits à faire valoir ne les réclament pas, mais de l’autre, on fait tout pour que ce non recours perdure. Pour Bernardette Nantois, la logique à l’œuvre est que “les pauvres ont un coût et ils coûtent trop cher”. 

Vincent Dubois rappelle quelques ordres de grandeur. Le montant de la fraude détectée dans la branche famille est de 320 millions par an. Elle s’améliore régulièrement, puisque “plus on en cherche, plus on en trouve”. La CAF évalue la fraude réelle entre 1,9 à 2,6 milliards par an… Mais ce chiffre ne représente que 3% des prestations versées par la CAF, toutes allocations confondues. Or, le seul non recours au RSA dépasse largement les 3 milliards selon les estimations. On pourrait aussi regarder le travail non déclaré ou la fraude fiscale : les ordres de grandeur sont d’une toute autre échelle (la fraude aux cotisations sociales est estimée entre 7 et 9 milliards par an, quand la fraude fiscale est estimée entre 80 à 100 milliards). Les objectifs de ces politiques ne sont pas uniques, mais multiples, tempère Vincent Dubois. Sur l’objectif proprement financier, on constate que le contrôle ne produit pas tant de rentrées d’argent que ça, par rapport aux autres formes de fraudes et de contrôles. Les travaux d’Alexis Spire ont montré, qu’alors qu’on durcit les règles du contrôle social et qu’on élargit la définition de la fraude, on a allégé les règles du contrôle fiscal. On est passé de 500 à 700 contrôleurs dans les CAF alors qu’aux impôts, dans le même temps, les effectifs ont décliné. La CAF produit enfin des indicateurs pour tout… sauf sur le coût du contrôle — hormis sur le contrôle sur place, où la CAF a montré qu’il était bénéficiaire, c’est-à-dire qu’il rapportait plus qu’il ne coûtait. La motivation du renforcement du contrôle sous principe qu’il assurerait une bonne gestion n’est donc pas probante… cela n’a pas empêché la culture du contrôle d’essaimer partout… Un autre objectif pourrait être de favoriser le non recours. Mais là encore, les objectifs politiques s’entremêlent et il est probable que ce soit leur conjonction qui les renforcent sans qu’un objectif ne soit décisif sur d’autres. 

Le coût humain de ce que certains appellent la fraude

Reste à saisir les conséquences de cette politique sur les gens. Bernadette Nantois rappelle quelques chiffres. En 2022, la CAF, c’est 13,7 millions d’allocataires, plus de 30 millions de personnes concernées par les allocations de la branche famille, à savoir les allocations familiales, les aides aux logement (APL) et les aides de solidarité (RSA, prime d’activité et Allocation d’adulte handicapé, AAH). Hormis le RSA, toutes sont des aides d’Etat. Hormis les allocations familiales, toutes sont versées sous condition de ressource. Le RSA, primes d’activité et les AAH concernent 7,43 millions de bénéficiaires et sont calculées au trimestre, quand l’essentiel des autres aides sont calculées annuellement. La CAF procède à une grosse collecte de données, avec des informations provenant de l’Urssaf, de Pôle emploi, de l’assurance maladie… qui sont mises en écho avec les données déclarées par les bénéficiaires, elles aussi massives. Les incohérences entre ces données sont nombreuses et pour de nombreuses raisons. 

D’abord, il y a des erreurs liées à des temporalités différentes, comme le fait de faire une estimation de ressource parce que sa feuille de salaire n’est pas arrivée à temps pour la déclaration et que ce salaire n’est ni régulier, ni le même d’un mois sur l’autre. Les variations de ressources et les variations entre les déclarations et les données collectées déclenchent des contrôles, dès qu’il y a une différence de 50 à 100 euros. Le problème, c’est que l’allocataire n’est pas mis au courant d’un contrôle. Il ne l’apprend qu’à postériori, quand il constate que l’allocation n’est pas tombée le 5 du mois. La CAF procède à 31,6 millions de contrôles automatisés par an pour 13 millions d’allocataires ! C’est donc un contrôle extrêmement important. Les contrôles sur pièces, c’est 4 millions de contrôles par an. Les contrôles sur place : 106 000 (attention, ils sont inopinés, rappelle Bernadette Nantois, c’est-à-dire que l’allocataire n’est pas au courant du passage d’un contrôleur et si l’allocataire n’était pas à son domicile, la CAF considère que le contrôle a été refusé !). Le contrôle automatisé est donc massif et induit une suspension des droits qui peut durer des mois. Certains ménages subissent 2 à 3 contrôles par an. En Ile-de-France, les contrôles et la suspension peuvent être déclenchés du fait de pertes de documents ou de délais de traitements trop longs (à Paris, en janvier 2023, la CAF traite les dossiers de juillet 2022). Pour déclarer leurs  ressources trimestriellement, les allocataires doivent le faire en ligne, dans des procédures qui restent complexes aux gens. Les trois quart des contrôles automatisés génèrent des suspensions préventives de droits, ce qui coupe toutes les prestations liées à des déclarations de ressources, comme l’AAH ou les APL. En moyenne, il faut 3 à 4 mois pour rétablir une suspension de droits, si on ne passe pas par le contentieux. En attendant, pour les allocataires, c’est la spirale de l’endettement qui se met en place : dettes de loyers, dettes d’emprunts auprès de proches, frais bancaires qui s’envolent (les banques facturent 20 euros par refus de prélèvement), qui plongent les gens dans des situations de profonde détresse. En cas de trop perçu ou d’indu, les allocataires n’ont pas non plus d’information ni de notification. On ne leur explique pas les modalités de calcul, pas plus qu’on ne leur propose de pouvoir rectifier, malgré le “droit à l’erreur”. Les notifications quand elles existent sont sommaires et génériques, et ne permettent pas de se défendre, même quand elles concernent des montant de retenus qui ne respectent pas le “reste à vivre”… Les suspensions de droits qui durent des mois engendrent d’autres effets collatéraux sur d’autres droits, comme l’obtention de la complémentaire santé solidarité… 

Pour Bernadette Nantois, une grande part des problèmes relèvent bien plus d’erreurs internes que de fraudes, comme c’est le cas des indus ou des trop perçus. Face à une suspension de droits, il faut faire une demande de motif qui ne donne lieu à aucune réponse. Il faut ensuite faire un recours amiable devant la commission de recours amiable, qui ne répondent jamais non plus. Au bout de deux mois sans réponse, il faut aller au contentieux au pôle social des affaires judiciaires. Le recours est censé être suspensif, même pour le RSA, mais en réalité, dans 80% des cas, ça ne suspend pas la suspension de droits, se désole Bernadette Nantois. Il faut bien sûr compter plusieurs mois pour avoir une audience, à moins de faire valoir une urgence, et quand on en obtient une, bien souvent elle est renvoyée alors que la CAF déclenche un nouveau contrôle, pour pousser les plaignants au désistement. Dans la pratique, très concrètement, des gens se retrouvent sans ressource aucune pendant un an !  

On le comprend, beaucoup d’allocataires sont dans des impasses, plaide Bernadette Nantois. A Changer de cap, on tente de mobiliser, au moins médiatiquement, mais aussi associativement, pour que de plus grosses associations, qui sont présentes dans des instances de concertation, prennent notre relai et pèsent par exemple sur les Convention d’objectif et de gestion (Cog), qui sont en train d’être discutées pour établir la feuille de route de la CAF pour les 5 prochaines années. Notre travail, c’est de sensibiliser l’opinion et les gens au problème, de créer des groupes d’entraides qui s’appuient sur des collectifs locaux. Changer de Cap porte plusieurs revendications auprès de la CAF : sortir de l’illégalité des pratiques, humaniser les relations en restaurant un accompagnement social de qualité, créer des postes (2500 ont été supprimés entre 2017 et 2022), restaurer la transparence par la publication des instructions internes, organiser un débat public sur l’externalisation des traitements, associer les usagers aux interfaces pour les améliorer… en finir avec la diminution de la protection sociale. 

La solidarité à la source : le risque d’une surveillance sans limite
La Quadrature également continue sa mobilisation. Elle a demandé le code source du système de scoring, a saisi la Cada qui a dit que la demande était légitime. La CAF ressort le sempiternel argument que la transparence du calcul pourrait permettre aux fraudeurs de mieux frauder, mais il faudrait que les gens puissent jouer de leurs situations de précarité, ce qui n’est pas du tout le cas. On souhaite également s’intéresser à Cristal, le système qui calcule les prestations sociales, expliquent les deux intervenants de la Quadrature. Visiblement, c’est un système qui a plein d’erreurs qui fait que certains droits sont refusés quand ils ne le devraient pas. La CAF est au courant du problème, notamment du fait des recours concentrés sur certaines allocations mal calculées, sans qu’elle agisse. Enfin, l’inquiétude de la Quadrature porte désormais sur la lutte contre le non recours, qui s’affiche désormais sous le vocable de “solidarité à la source”. Le problème de cette perspective qui propose l’automatisation du versement des droits, c’est qu’elle nécessite une nouvelle inflation de la collecte de données. Elle implique une transparence totale par le chantage, puisqu’elle dit aux gens que vous n’aurez pas d’aides si vous n’êtes pas totalement transparents avec l’administration. Pour la Quadrature, cette interconnexion de données devient très problématique, notamment quand la police obtient des informations de l’Urssaf, de la Caf, de Pôle emploi, de la caisse d’assurance maladie… “Accéder aux données, c’est un pouvoir qu’on donne à l’Etat et qu’il nous faut trouver comment limiter”. 

“Accéder aux données, c’est un pouvoir qu’on donne à l’Etat et qu’il nous faut trouver comment limiter”. 

Dans la discussion qui suit la rencontre, l’une des questions qui revient, face à cette description cauchemardesque, sonne comme un cri du cœur :  “Mais pourquoi font-ils ça ?” Nul ne semble comprendre la motivation profonde à ce déchainement de violence administrative à l’encontre des plus précaires. 

Vincent Dubois le rappelle pourtant à nouveau : la motivation n’est pas financière. L’évaluation de la fraude ne fonde pas ces politiques puisqu’il n’y avait pas d’évaluation de la fraude quand elles se sont mises en place. Par contre, la mise en scène d’une gestion rigoureuse, elle est très prégnante. En 95, Juppé met en avant des pratiques abusives contre lesquelles il faudrait lutter. On peut accuser le néolibéralisme, mais en France, il apparaît en 1986, avec des personnalités politiques comme Alain Madelin. Or, à cette époque personne ne parle de fraude sociale. Le discours à l’encontre des fraudes sociales monte avec les années 2000, mais c’est avec Sarkozy en 2007, que ce discours moral envahit la politique. Le projet de société de Sarkozy, c’est le travail, ce qui nécessite d’identifier et dénoncer son exact contraire, l’assistanat et l’abus de prestations sociales. La stigmatisation permet, par contraste, de promouvoir le travail. Mais à nouveau, les logiques sont enchevêtrées. Le renforcement du contrôle, qui relève aussi d’un changement de rapports de forces entre organismes… rend compliqué l’identification d’une logique unique. Mais surtout, il rend cette stigmatisation peu réversible. Les logiques politiques, morales puis médiatiques qui se sont imposées rendent ces orientations difficiles à critiquer et à renverser. Tout le monde semble convaincu que des gens abusent du service public, et dire le contraire semble être devenu impossible.  

Un autre moment de discussion porte sur le non recours. C’est assez récemment que le non recours est devenu un objet de communication politique, rappelle Vincent Dubois, en faisant référence aux travaux de la sociologue Clara Deville qui intervenait lors d’une séance précédente. Or, le datamining utilisé pour identifier les fraudes, pourrait également être utilisé pour identifier le non recours et on pourrait tout à fait construire des modèles pour lutter contre. L’idée pourtant ne séduit pas Bernadette Nantois : “Quand on voit  le niveau de dysfonctionnement de l’automatisation actuelle, on n’a pas envie de voir ce que donnera plus d’automatisation encore !” Les allocataires ont souvent des alertes qui leur disent qu’ils ont droit à la prime d’activité ou à la prime de soutien familial… Mais d’abord, ce n’est pas toujours vrai. Et ensuite, bien des gens ne souhaitent pas demander certains droits car ils savent que cela implique de nouvelles surveillances et/ou que leur situation est compliquée, comme c’est le cas de la prime de soutien familial.

“Quand on voit  le niveau de dysfonctionnement de l’automatisation actuelle, on n’a pas envie de voir ce que donnera plus d’automatisation encore !”

Pour la Quadrature, le non recours vise surtout à mieux justifier un contrôle renforcé. Voilà 10 ans qu’ils auraient pu le faire et jusqu’à présent, cela les arrangeait bien de ne pas le faire. Désormais, le non recours risque surtout d’être la pilule pour faire accepter le scoring. Dans la foule, quelqu’un s’énerve : on est toujours le fraudeur d’un autre. Or il n’y a pas de bons fraudeurs ni de mauvais fraudeurs. La fraude repose sur une logique travailliste, qui nous pousse à travailler et à contrôler. Moi, c’est à gauche que j’ai entendu parler du renforcement de la lutte contre la fraude, en oubliant totalement la lutte contre la logique de contrôle ! Effectivement, la logique de contrôle a tout emporté avec elle, nous faisant oublier qu’elle était certainement bien moins productive, socialement, qu’une générosité qui repose sur la confiance. 

Hubert Guillaud

La prochaine réunion du Mouton Numérique pour le cycle dématérialiser pour mieux régner aura lieu le 2 février 2023 et portera sur le contrôle social en Europe. 

Nos comptes-rendu des séances du cycle “Dématérialiser pour mieux régner” du Mouton Numérique : 

Bonus, Dans les machines à suspicion.