Monthly Archives: March 2023

Un moratoire pour aller où ?

Faut-il mettre en pause l’IA comme le demande une lettre ouverte signée par un millier de personnalités de la tech (voir sa traduction sur le Grand Continent) ?

L’appel semble un peu contradictoire voire hypocrite. Contradictoire car les signataires demandent de mettre en pause en les développements de l’IA, sous prétexte d’améliorer les garde-fous, alors que les entreprises de la tech ont considérablement dégraissé, quand elles n’ont pas supprimé, leurs équipes chargées de l’éthique de l’IA. Hypocrite, parce que les signataires, outre quelques chercheurs, sont pour beaucoup des concurrents aux entreprises de l’IA qui sont parties devant, comme OpenAI dont aucun membre n’est signataire. 

Capture d’image du site d’appel à un moratoire de l’IA.

Reste à savoir si les propositions de cette lettre ouverte peuvent vraiment faire quelque chose pour remettre le génie de l’IA dans sa lampe. Pour le chercheur Arvind Narayanan, cette lettre ouverte risque bien plus d’alimenter le battage médiatique autour de l’IA que le calmer. Elle risque au final de rendre plus difficile la lutte contre les préjudices réels et déjà existants de l’IA. Et le risque est qu’elle profite bien plus aux entreprises qu’elle appelle à réglementer qu’à la société, explique-t-il dans un thread sur Twitter.  

La lettre énumère 4 dangers de l’IA générative, explique le chercheur. Le premier, la désinformation, est le seul qui soit un peu crédible, même s’il est certainement exagéré. Pourquoi ? Parce que le goulot d’étranglement n’est pas le coût, déjà très bas, de la production de désinformation. Pour l’instant, aucun cas d’utilisation malveillantes depuis les systèmes d’IA génératives type GPT n’ont été documentés, rappelle le chercheur. Pour l’instant, nous avons des cas d’utilisation abusive, comme le fait d’élèves qui l’utilisent pour faire leurs devoirs. Or, ce n’est pas la même chose de former les modèles type ChatGPT à ce qu’ils ne génèrent pas d’informations erronées et empêcher des étudiants qu’ils utilisent l’outil pour tricher à leurs contrôles. Le coût de production des mensonges n’est pas le facteur limitant dans les opérations de désinformation ou de spam, la difficulté pour eux est de trouver les personnes susceptibles de tomber dans le piège de leurs escroqueries. Pour le chercheur, nous devrions être surtout prudent face aux arguments en faveur du maintien voire du renforcement de la propriété de ces systèmes sous prétexte d’utilisation abusives sans preuves, étant donné que ces entreprises ont surtout un intérêt manifeste à défendre la non ouverture de leurs modèles. Les plateformes d’outils d’IA générative devraient surtout être obligées de publier des audits sur la manière dont leurs outils sont utilisés et les abus constatés. 

Le second danger qu’évoque la proposition de moratoire repose sur le risque de l’automatisation de tous les emplois, “y compris ceux qui sont gratifiants”. La formule est ridicule, comme si le danger sur les emplois des cadres supérieurs n’était pas le même que celui qui risque de miner les autres emplois. Pour Arvind Narayanan, l’IA générative va bien avoir des effets sur le travail, mais penser qu’elle remplacera demain tous les professionnels est ridicule. La dernière pseudo étude en date, signée Goldman Sachs annonce qu’un quart du travail pourrait être automatisé dans les prochaines années, soit 300 millions d’emplois, permettant d’améliorer le PIB de 7%… Mais ces éléments d’évaluation sont pour l’instant très difficile à valider.

Quand on regarde autrement les résultats d’OpenAI pourtant, on se rend compte que ses bons résultats à des tests de code ou à des examens professionnels ne signifie pas qu’il soit capable de les dépasser. Sur les tests de code, OpenAI résout des questions faciles de tests anciens, mais pas du tout de tests récents, au-delà de la date de mise à jour de sa base d’information. Le fait qu’OpenAI passe des examens et concours humains avec succès ne prédit pas son comportement avec des tâches réelles : le fait qu’il passe l’examen du barreau ne signifie pas qu’il puisse défendre et argumenter un cas concret devant la justice, comme le ferait un avocat. L’inclusion des questions d’examen dans son corpus d’entraînement exagère certainement ses capacités réelles. “La mémorisation est un spectre. Même si un modèle de langage n’a pas rencontré un problème exact dans un ensemble d’entraînement, il a inévitablement vu des exemples assez proches, simplement en raison de la taille du corpus d’entraînement. Cela signifie qu’il peut s’en tirer avec un niveau de raisonnement beaucoup plus superficiel. Les résultats des tests de référence ne prouvent donc pas que les modèles de langage acquièrent le type de compétences de raisonnement approfondi dont les testeurs humains ont besoin, compétences qu’ils appliquent ensuite dans le monde réel.” Comme le souligne la chercheuse Emily Bender, les tests conçus pour les humains manquent de validité de construction lorsqu’ils sont appliqués à des robots. Enfin, sur la question du remplacement des humains par des robots, nous aurions surtout besoin d’études qui évaluent réellement les professionnels utilisant l’aide d’outils d’IA pour faire leur travail. Deux études préliminaires – une sur l’aide au codage et l’autre sur l’aide à la rédaction – montrent une productivité explosive. Mais encore une fois, nous avons besoin d’études qualitatives plus que quantitatives. “Par exemple, Scott Guthrie de Microsoft rapporte un chiffre qui attire l’attention : 40 % du code vérifié par les utilisateurs de GitHub Copilot est généré par l’IA et n’a pas été modifié. Mais tout programmeur vous dira qu’en particulier dans les applications d’entreprise, un grand pourcentage du code est constitué de modèles et d’autres logiques banales que nous copions-collons habituellement. Si c’est cette partie que Copilot automatise, l’amélioration de la productivité serait négligeable. Pour être clair, nous ne disons pas que Copilot est inutile, mais simplement que les mesures n’ont pas de sens sans une compréhension qualitative de la façon dont les professionnels utilisent l’IA. En outre, le principal avantage du codage assisté par l’IA n’est peut-être même pas l’amélioration de la productivité.” Pour Narayanan, il est probable que travailler avec une IA apporte surtout un soutien psychologique, comme de travailler en binôme. Les messages d’erreurs génèrent moins de frustration car les outils d’IA peuvent plus facilement en repérer les causes. 

Enfin, rappelle Narayanan, le modèle économique extractif des entreprises de l’IA devrait avoir des contreparties. Elles devraient être taxées sur le matériel qu’elles utilisent… explique-t-il en défendant par exemple une taxe sur les images que l’IA utilise pour financer la culture et le secteur des arts graphiques. Pour cela, encore faudrait-il une volonté politique ! 

Les 3e et 4e dangers évoqués par la lettre défendant le moratoire sont des risques existentiels (comme le risque “de perdre le contrôle de notre civilisation”). Ce sont des préoccupations que l’on retrouve souvent, des risques à long terme, mais qui sont souvent utilisées de manière stratégique pour détourner l’attention des dangers actuels, notamment des risques en matière de sécurité, les risques de piratage d’information, les mauvaises réponses aux requêtes… Pour faire face aux risques de sécurité, il serait nécessaire surtout que ces entreprises coopèrent plus qu’elles ne le font, mais l’exagération sur les capacités et risques existentiels risque surtout de conduire à un verrouillage accru des modèles rendant plus difficile la compréhension des risques. 

Au cours des 6 derniers mois, rappelle Narayanan, on a surtout débattu de la question de la taille des modèles, avec des modèles qui promettent de traiter toujours plus de données. Mais ces améliorations masquent surtout l’explosion de leur connexion au monde réel. Les assistants personnels utilisant ces technologies arrivent et peuvent être construits en quelques heures, sans avoir même à coder quoi que ce soit. Désormais, ce sont des milliers d’applications intégrant l’IA générative qui sont disponibles… et le moratoire ne dit rien à leur propos. 

Sayash Kapoor et Arvind Narayanan, qui préparent un livre sur le sujet, ont résumés leurs arguments contre la proposition de moratoire dans un billet qui reprend les points qu’il développait sur Twitter.

Dans un autre fil twitter – repris lui aussi en billet –  la chercheuse Emily Bender réagit a son tour à la proposition de moratoire. Elle rappelle d’abord que le moratoire est publié par l’Institut pour le futur de la vie, une organisation longtermiste, dont les fondements sont problématiques, comme nous le rappelait un article de Mais où va le web. Ce mouvement plaide pour un solutionnisme technologique au bénéfice d’une seule “élite”.

Mais surtout, rappelle-t-elle, pour mieux comprendre ces systèmes, nous avons besoin que ceux qui les développent fassent preuve de transparence sur leurs données d’entraînement, l’architecture des modèles et les régimes d’entraînement. Plus que d’un moratoire, c’est de transparence dont nous avons besoin. “Les risques et les dommages n’ont jamais été liés à une “IA trop puissante””, rappelle la co-signatrice de l’article sur les perroquets stochastiques. Le risque repose bien plus sur la concentration de pouvoir entre les mains de quelques-uns et les dangers biens réels que l’IA active déjà que sur les dangers à long terme de l’IA. Pour les déjouer, nous avons bien plus besoin d’améliorer la précision, la sécurité, l’interprétabilité, la transparence, la robustesse, la fiabilité et la loyauté des systèmes… 

Même constat chez le chercheur Olivier Ertzscheid, qui rappelle en citant Bostrom et Yudowski : “Les algorithmes de plus en plus complexes de prise de décision sont à la fois souhaitables et inévitables tant qu’ils restent transparents à l’inspection, prévisibles pour ceux qu’ils gouvernent et robustes contre toute manipulation”. Les principes de régulation demeurent, certes, ils sont rendus plus complexes avec la complexification des technologies mobilisées, mais il n’y en a pas d’autres. L’enjeu n’est donc pas d’établir un moratoire, que d’exiger encore plus une transparence inédite. 

Pour la chercheuse Timnit Gebru, ce n’est pas à la société de s’adapter aux machines, comme le conclut la demande de moratoire, mais bien aux machines de respecter les exigences de la société. Les mêmes qui ont mis au silence leurs équipes éthiques tentent désormais de reprendre la main sur le débat selon leurs propres termes. 

Dans un bon résumé de la polémique sur Vice, la journaliste Chloe Xiang rappelle que le moratoire finalement ne propose aucune action concrète sur les problèmes que posent dès à présent ces systèmes. On est d’accord. 

Hubert Guillaud

MAJ : Le DAIR (Distributed AI Research Institute), fondé notamment par Timnit Gebru, vient de publier une réponse à la demande de mise en pause de l’IA qui regrette notamment que cette lettre surestime les potentialités de l’IA et sous-estime ses effets réels et immédiats. “La responsabilité n’incombe pas aux artefacts, mais à leurs concepteurs.” Et les autrices de rappeler que nous avons d’abord besoin de transparence et de responsabilité à utiliser des outils sûrs à utiliser. “

“Les personnes les plus touchées par les systèmes d’IA, les immigrés soumis à des “murs frontaliers numériques”, les femmes forcées de porter des vêtements spécifiques, les travailleurs souffrant de stress post-traumatique lorsqu’ils filtrent les résultats des systèmes génératifs, les artistes qui voient leur travail volé au profit des entreprises et les travailleurs itinérants qui luttent pour payer leurs factures devraient avoir leur mot à dire dans cette conversation.” Et la réponse de conclure en rappelant que nous n’avons pas à nous “adapter aux priorités de quelques individus privilégiés et à ce qu’ils décident de construire et de faire proliférer”. “Il est en effet temps d’agir : mais le centre de nos préoccupations ne devrait pas être des “esprits numériques puissants” imaginaires. Nous devrions plutôt nous concentrer sur les pratiques d’exploitation très réelles et très présentes des entreprises qui prétendent les construire, qui centralisent rapidement le pouvoir et augmentent les inégalités sociales.”

MAJ : Sur son blog, l’un des grands spécialistes de l’IA, Yoshua Bengio, a fait une mise au point par rapport à la demande de moratoire qu’il a signé. Il souligne notamment que ce qui l’y pousse est une accélération du secteur qui ne va pas dans le sens de la transparence et de la science ouverte nécessaires à la responsabilité des systèmes. Il appelle à un investissement public dans ces technologies… passant certainement un peu vite sur la difficulté à rééquilibrer économiquement la donne. Le Financial Times regrettait récemment, en pointant la capture totale de l’IA par l’industrie, que l’université n’était déjà plus capable de créer de grands modèles de langage (même constat dans le AI Index 2023, repéré par The Verge). Ce qui signifie que la science ne peut plus prétendre contrôler ou auditer, indépendamment, ce que font ces modèles. En terme d’investissement, le phénomène suit la même courbe : le secteur privé a investi 340 milliards de dollars dans l’IA en 2021, quand les agences gouvernementales américaines allouent 1,5 milliard au secteur (et un milliard au niveau européen). Bengio explique cependant bien que le problème n’est pas tant la puissance supposée de l’IA que la concentration de pouvoir qu’elle implique ainsi qu’une concurrence effrénée qui donne un avantage aux acteurs les moins responsables, mais qui accaparent par le développement technique des positions économiques stratégiques.

Signalons encore une autre pétition, lancée par les porteurs du projet Laion, qui appelle à créer une organisation internationale pour faire progresser la recherche, la transparence et la sécurité des systèmes d’IA, sous forme d’une institution semblable au Cern et d’une plateforme dédiée à la recherche.

Signalons enfin, une succession d’analyses plutôt pertinentes de Frédéric Cavazza qui rappelle par exemple que nous n’avons pas besoin de plus de contenus, mais de meilleures analyses et son corollaire : la question posée à nouveau n’est pas la suppression du travail, mais sa transformation.

Giada Pistilli, responsable de l’éthique chez HuggingFace, explique pour Hello Future, assez concrètement, les enjeux à la maîtrise des données introduites dans ces systèmes et de leurs productions.

Advertisement

Sommes-nous entrés dans les sociétés du profilage ?

La couverture du livre de Philippe Huneman.

Les sociétés du profilage (Payot, 2023), le livre du philosophe des sciences, Philippe Huneman, est un livre difficile, et son manque de clarté, parfois, n’est pas aidé par son art de la digression intempestive. Bref, autant vous prévenir, il faut un certain temps pour s’y installer. Ce que le philosophe réussit pourtant, c’est de montrer la complexité de la question du calcul, en nous immergeant dans la description des différents profils qui agissent par devers nous. Ce que le philosophe rate, à mon sens, c’est de clarté sur les limites du profilage et de proposer des concepts éclairants. On peut lui faire notamment un reproche : comme Zuboff, Huneman peine à mettre en doute l’efficacité des calculs, leurs apories. Les profils veulent nous prédire, nous faire acheter… mais l’un comme l’autre oublient de souligner combien ces prédictions marchent mal. Cet infléchissement des conduites est bien souvent marginal, peu opératoire. De la police au marketing, les calculs prédictifs sont largement défaillants. Si nos outils numériques captent notre attention, je suis pour ma part plus sceptique sur leurs autres effets (nous faire acheter, nous faire changer de comportement…) qui sont pourtant le moteur de leur déploiement sans limite.  

Après les sociétés disciplinaires et de contrôle, les sociétés de profilage ?

Sommes-nous passés des sociétés de disciplines aux sociétés de contrôle, et entrons-nous dans des sociétés de profilage, plus que de surveillance ? On serait très légitime à être d’accord avec cette thèse, qui se veut le cœur du livre de Huneman. Reste que cette lecture ne m’a pas convaincu, d’abord parce que le profilage est bien moins puissant que le contrôle ou la discipline, et surtout parce que nous sommes loin de consentir au profilage, contrairement à ce qu’affirmait Bernard Harcourt. La discipline, le contrôle et la surveillance peuvent être des fantasmes d’ordres puissants, mais le profilage, lui, fait plutôt fuir tout le monde. Le calcul reste fait par devers nous, bien masqué aux utilisateurs qui se débattent avec leurs effets. Bien souvent, nous ne savons rien des profils qui sont produits sur nous et surtout de leur efficacité, très discutable. 

Pour Huneman, l’enjeu des technologies de collectes et de traitements n’est pas tant de surveiller que de prédire. C’est effectivement, avec le tri et le matching, l’un des moteurs, mais c’est oublier combien ces tris et prédictions sont surtout fausses. Leur efficacité est pourtant bien suffisante pour nous faire croire le contraire, qu’importe si le tri ou la prédiction se font sur des éléments abscons, sans réalité autre que celle d’un calcul approximatif, imprécis et surtout injuste. La prédiction calcule depuis ses biais et ses lacunes pour trouver des prédicteurs (de dépression ou d’achat par exemple) suffisamment efficaces pour nous le faire croire, mais qui sont surtout extrêmement contextuels et volatiles et qui produisent des “vérités” problématiques, comme quand le calcul du score de greffe finit par donner un petit point de plus à une personne en attente de greffe qui habite quelques mètres plus près d’un hôpital qu’un autre. 

Nous ne sommes plus tant dans le contrôle et la surveillance normative des comportements, que dans l’âge de la prédiction, qui vise à évaluer les croyances et les préférences à la volée, non pas tant pour les domestiquer, pour les discipliner que pour les rendre productives, explique assez justement Philippe Huneman. Nous voici à l’ère des traces et données massives, qui, pour les faire parler, sont comparées les unes aux autres. Cet extractivisme sans limite nous dépossède de nos données, que nous sommes incapables, nous, de faire parler, parce qu’elles ne parlent que comparées à d’autres. La plus-value est dans le traitement et dans sa rétroaction sur nos propres profils et jusqu’à nos comportements, ce “surplus comportemental” dont parlait Zuboff. Pourtant, la fiabilité n’est pas tant le fait de la quantité de données recueillie, de leur véracité ou de leur précision, que de la prévalence des calculs, c’est-à-dire du fait qu’ils imposent avec eux leur monde. L’essentiel du profilage sert à produire de la publicité sans que l’efficacité de la publicité sur le monde ne soit jamais démontrée. Certes, les images et les termes auxquels nous sommes confrontés ont une influence, mais laquelle ? Quelle est leur force ? Leur impact ? Leur résistance ? Bien souvent, les chiffres de l’impact publicitaire, même numérique, restent extrêmement bas, ce qui devrait nous rappeler que cela ne marche massivement pas. 

De même, le score de crédit n’est pas plus fiable avec plus de données. Il est plus réactif, certainement. Mais sa fiabilité ne tient pas à la quantité de données, mais à leur qualité et à leur agencement. Il n’est pas meilleur s’il évalue votre comportement depuis des données problématiques, comme le fait de mettre des patins sous vos chaises ou de prendre soin de votre voiture (qui seraient des marqueurs de personnes qui remboursent très bien leurs crédits). Au contraire, en ingérant des éléments psychologisant, le score de crédit montre surtout qu’il intègre des a priori et des biais à la neutralité du calcul qui devrait être le sien, qui ne devrait se baser que sur la capacité financière à rembourser, sans prendre en compte d’éléments fantasques. Certes, en les intégrant, il maximise peut-être pour la banque le fait d’être remboursé… mais au détriment de la justice et de l’équité. Trop souvent, on incorpore des données, toujours plus fluides, toujours plus contextuelles, toujours plus en temps réel pour produire des calculs qu’on présente comme plus précis, plus réactifs. On oublie que nombre de calculs ne devraient pas prendre en compte le temps réel. Nombre d’entre eux sont par exemple annuels plus que mensuels, ce qui permet d’apporter des perspectives aux individus (les impôts par exemple, mais c’est encore le cas de nombre d’aides sociales, comme les bourses calculées à l’année, non sans raison). En réduisant la prédiction à un calcul instantané, le risque bien sûr est de générer des droits à la volée, comme le disait très distinctement Achille Mbembe. 

Certes, Huneman a raison de dénoncer “l’opacité radicale” de ces opérations calculatoires, mais la transparence et l’explicabilité ne suffiront certainement pas à rendre les calculs plus justes, s’ils ne permettent pas de limiter ce qu’ils peuvent prendre en compte et ce qu’ils ne devraient pas prendre en compte.  

Le profilage repose bien plus sur les corrélations que la causalité, pointe très justement le philosophe. Ce qui nous fait sortir du schéma épistémologique classique, c’est-à-dire du schéma d’explications de nos connaissances. Huneman prend ainsi l’exemple de Slamtracker, l’outil d’analyse des joueurs de tennis lancé par IBM au début des années 2010, qui prédit les victoires en analysant la structure des points gagnés par les joueurs. Pour ces systèmes, les clés d’une victoire se déterminent aux points gagnés, aux nombre de premières balles passées, par une analyse fine, granulaire du jeu (dans le baseball, on parlait de sabermétrie, initié très concrètement au début des années 2000 par le manager de l’équipe d’Oakland, Billy Beane). Rémi Sussan nous le disait déjà il y a longtemps, ce qui manque, dans les prédictions, c’est le pourcentage d’incertitude sur celles-ci, tout comme le retour sur leurs défaillances. Dans le monde du profil, les erreurs n’en sont jamais. Elles sont incorporées aux données pour produire de nouvelles prédictions qui s’annoncent toujours plus justes qu’elles n’étaient… jusqu’à ne plus l’être du tout, à l’image de l’outil de la prédiction de la grippe qu’avait lancé Google. La causalité est devenue inutile au calcul, dit très justement Huneman – peut-être moins à la société. Désormais, nous sommes capables de prédire sans comprendre. Et les machines le font effectivement bien mieux que nous. Nous voici en train d’entrer dans une “science sans théorie”, mais également une science sans politique. Le problème, explique-t-il, c’est que si elles montrent des formes d’efficacité, ces méthodes ne sont pas infaillibles.  

Troubles dans les profils

Nos profilages sont multiples. Il y a à la fois nos profils individuels, toujours changeants, et les profils des autres (“collectifs”) auxquels nous sommes comparés ou associés.“Tout profilage est un ajustage”, qui vise à nous programmer, à nous manufacturer… C’est-à-dire non seulement à nous prédire, mais à nous faire agir depuis cette prédiction. Huneman en revient alors aux théories de l’économie comportementale, qui sont assurément l’un des socles idéologiques de ceux qui pensent pouvoir programmer les autres. Il rappelle combien ces systèmes cherchent à exploiter nos biais (comme les systèmes de calcul eux-mêmes, incapables de s’extraire des biais dont ils sont tissés, mais au contraire, construits pour les rendre productifs), à privilégier nos préférences individuelles (mais sont-ce vraiment les nôtres, où celles que les systèmes décident pour nous ?) au détriment de toute perspective collective, qui ne semble être qu’un terreau comparatif. Le nudge semble ici le levier d’un libéralisme sans limite, où la “somme des interventions individuelles prend la place de l’action publique”. Demain, “il suffira de rectifier les biais des agents et d’infléchir leurs comportements pour enfin réparer le monde”, ironise-t-il, en projetant un horizon où nul ne doit agir radicalement ou différemment, c’est-à-dire où nul ne doit agir politiquement. Dans la prédiction et la correction automatisée, c’est le politique qui est neutralisé. Les biais ne sont pas tant infléchis ou corrigés, qu’amplifiés. D’ailleurs, dans le profilage, il n’y a plus de chapelle définie. Dans les algorithmes de recommandation de Spotify ou de Netflix, vous n’aimez plus la techno ou la SF, votre profil est associé à des mots clefs obscurs, qui se génèrent à mesure que le système génère des croisements entre les styles. Dans les algorithmes, nous ne sommes plus des groupes sociaux lisibles, mais des groupes étiquetés par des catégories volatiles, éphémères, contextuelles. Nous n’y sommes pas tant personnalisés que massifiés. 

Huneman fait ainsi une simple mais pertinente distinction entre profils individuels et profils collectifs, ceux auxquels nous sommes comparés, associés ou dissociés. Dans nos profils, les mots sont des “prédicteurs” d’autres mots (“les mots sont des vecteurs définis par des coordonnées très simples : la fréquence avec laquelle il va être associé avec d’autres mots”). Le sens, lui, n’a que très peu d’importance par rapport à ces associations, hormis pour nous, la cible. Les profils sont associés à d’autres, formant des communautés à la volée, profondément étrangères les unes aux autres. Nous sommes caractérisés à l’instant, selon nos actions et les actions des autres. Le problème, c’est que ces données sont souvent calculées plus que déclaratives, volatiles, et qu’au final, ces systèmes croient à leurs calculs quand bien même ils sont complètement artificiels. Votre profil peut se voir attribuer un #PSG ou un #OM, sans que l’un ou l’autre ne soient vrais, ni pérennes, tout en étant, pour le système, un renforceur de croyance. Enfin, il faudrait également apprécier ce collectif créé à la volée, qu’est-ce qui détermine la création du tag #OM et pas celui de l’ASSE par exemple ? Quels volumes, quelles vélocités président aux pseudos collectifs par lesquels nous sommes catégorisés le plus souvent indûment ? Nous sommes donc constamment plongés dans des troubles dans les profils, entre normativité et subversion, sans que nous n’ayons la main sur l’un ou l’autre. “Les tags colligent les agents”, selon une grammaire sociale très simple, celle du dedans ou du dehors (ou votre profil a le tag #PSG ou il ne l’a pas), celle du pourcentage (vous êtes #PSG à 51% donc #PSG). Ces grammaires associées au profil produisent une expressivité “indifférente au vrai”. Le ralliement (l’engagement) est plus fort que la vérité. Tout est affaire d’optimalité. Nos profils sont nudgés selon une optimalité qui oublie le sens même de son calcul. Cette “indifférence au vrai” est le fondement de la post-vérité, rappelle le philosophe. Elle ne mesure que nos actions, les évalue pour leur donner un poids. Reste que Huneman oublie que ces poids sont influencés par d’innombrables autres facteurs qui correspondent peu à notre profil, par exemple, la recommandation repose aussi sur le succès qui fait qu’on va vous recommander ce qui a eu du succès ailleurs, pas seulement d’ailleurs dans des profils proches du vôtre. Netflix a beau générer des vignettes différentes pour promouvoir ses séries auprès de ses publics, au final, il promeut tout de même ses séries et les mêmes séries. Cette optimalité, cette optimisation est toujours sous influence, toujours imparfaite. Il lui suffit pourtant de nous faire croire qu’elle est suffisamment bonne pour fonctionner, il lui suffit de faire un peu mieux que l’aléatoire pour nous convaincre de sa pertinence. Et c’est cette capture qui fait un peu mieux que l’aléatoire qui est au cœur des services algorithmiques. 

Si les sociétés du profilage sont des “usines à optimalité”, elles en produisent très peu, autre que leur propre renforcement. La volatilité des données et des calculs ne produisent qu’un monde instable, à la manière dont la volatilité permet désormais de gagner de l’argent dans la finance mondialisée et automatisée, ou à la manière dont l’IA produit des textes. Les élèves vont désormais produire leurs copies avec des machines qui seront corrigées par d’autres machines qui leur attribueront des notes. Nous voici en train d’entrer dans un monde “où les machines répondent aux machines”. La commodité l’emporte partout puisque le sens n’en a plus. Les machines produisent leurs propres mèmes. Prises dans leurs propres boucles récursives, “les prédictions que génèrent les profils ne peuvent plus être réfutées ni corroborées, puisqu’elles génèrent des comportements qui s’ajustent eux-mêmes à ces prédictions”. Un peu comme si au final, le profil était construit pour qu’il se réalise. 

Plus que façonner le réel, nous façonnons ici l’irréel. A défaut de prouver le contraire, le profilage publicitaire comme le nudge fonctionnent, qu’importe si en fait, pour l’un comme pour l’autre cela reste assez marginal. Les données font illusion. Les mouches dans les urinoirs de l’aéroport d’Amsterdam (ce symbole du nudge) permettaient de réduire le nettoyage de 80% nous a-t-on longtemps asséné, avant de concéder que cette “amélioration” n’était, au mieux, que de 8%… Pas étonnant que les mouches aient été enlevées. Même chose pour le profilage. Il fonctionne a défaut d’avoir montré le contraire. Vous allez pouvoir cibler tous ceux qui aiment le PSG, même si c’est seulement à 51% ou même si cette préférence est calculée avec la plus grande approximation. Dans la masse des profils a qui est attribué le tag, ca marchera toujours mieux que l’aléatoire… 

Des biais des profils à leur nécessaire opacité pour couvrir leurs défaillances
Le biais cognitif du nudge fait écho au biais algorithmique du calcul. Ils s’auto-renforcent l’un comme l’autre. “Le résultat d’un processus accentue ses conditions, accélérant le processus, ce qui intensifie encore les conditions”. On se croirait dans la boucle du changement climatique. Il fait chaud, on monte la clim qui émet plus de CO2, donc il fait encore plus chaud et donc on monte la clim… Huneman a raison d’ailleurs de souligner que “les loopings par lesquels le profilage se boucle sur le réel, excluent toute transparence”, d’abord parce que nous ne serions les lire, comme quand on consulte l’interminable liste de mots clés publicitaires que Facebook, Instagram ou d’autres produisent sur chacun de nos profils (dans une liste qui est sans cesse mise à jour quelque soit les corrections qu’on lui apporte…), mais surtout parce nous verrions alors l’inanité de ces boucles d’auto-renforcement. 

La logique du calcul reste une logique de pouvoir. La société du profilage a besoin de l’opacité pour faire croire en sa puissance. Faire croire en sa prétention à la connaissance est sa force et sa faiblesse, à l’image de cette IA qui serait capable de déterminer à partir d’une photo l’orientation sexuelle d’une personne. On peut faire produire n’importe quelle catégorisation à l’IA. Qu’importe si ces mensonges construisent des réalités, qui sont au-delà ou en dehors de toute vérité. Pour Huneman, l’efficience, c’est-à-dire le fait d’avoir un effet, a remplacé la vérité. Dommage qu’il défende le fait que cette efficience serait neutre au regard de la norme de vérité, que la prédiction ne serait ni vraie ni fausse (il parle de “vérineutralité”). C’est là la voie ouverte au plus grand relativisme et à une grande acceptation des effets de ces systèmes. C’est oublier qu’au-delà du marketing, ces systèmes de profilage ont des effets forts sur la réalité. Quand un algorithme nous dira que nous ne sommes pas assez productifs et nous licenciera parce qu’on a envoyé deux fois moins de mails que nos collègues, on comprendra que ce sont les critères d’appréciation de la productivité qu’il nous faut discuter. La position relativiste semble accepter que tout calcul équivaut à un autre quelque soit la manière dont il est fait, sans mettre en jeu la question de la justice du calcul. Or, les faux calculs sont des calculs faux. Tout l’enjeu est bien de limiter le croisement des données, les possibilités de calculs et non pas de les accepter pour la simple raison qu’ils sont possibles. 

En 2018, Max Read, s’interrogeait : Combien d’internet est-il du fake ? Il parlait “d’inversion” pour parler du moment où “la perception du réel devient indiscernable de celle du semblant”, à l’image du moment où le trafic humain est subverti par les robots. Nous sommes entrés dans une prolifération du simulacre. “Nous vivons la miscibilité du réel”, appuie Huneman. La causalité et l’objectivité sont retirées du réel, dit-il très justement. Un peu comme si dans un monde multicloisonné par les profilages, aucun autre point de vue n’était désormais possible que celui que façonnent pour nous les machines, qui est toujours le nôtre et jamais pleinement nôtre. Nous ne pouvons consentir à rien, puisque nul ne sait ce que la combinaison des données va produire. L’ambiguïté au consentement est d’autant plus forte que l’opacité est nécessairement massive puisque nous ne connaissons pas les limites temporelles des données qui sont collectées par devers nous, pas plus que nous n’en connaissons les destinataires (ni pour quoi faire !), pas plus que les contenus (de quelles données parle-t-on exactement), ni les limites juridiques de ces consentements (notamment via les cessions à des tiers…). L’intrication des données rend certainement leur traçabilité inatteignable, estime Huneman. La seule issue, conclut le philosophe, consiste à résister à toute plateformisation. “La société du profilage est aussi une manière pour le capitalisme néolibéral de se survivre par-delà la crise environnementale qu’il a induite – ou du moins de l’espérer, via le songe de la Substitution” (la substitution de nos interactions réelles par le numérique). “Le solutionnisme technologique s’avère impuissant”, tout en étant tout puissant aujourd’hui. Le profilage ne propose qu’une solution individualisante, qui ne promet ni de changer de société, ni nos modes de consommation et de production, mais seulement de les optimiser sans fin. Le nudge se substitue à la politique. La gestion et le management individuel se substituent à la décision politique. Ce que le profilage de chacun menace c’est le collectif, et ce d’autant plus quand l’efficacité prime désormais sur la vérité. C’est la société et la politique qui sont mises en danger. Le problème, c’est que l’optimisation des flux ne nous promet rien d’autre qu’à optimiser la concentration des richesses, termine Philippe Huneman. Le profilage est un pouvoir sur lequel nous n’avons pas la main et sur lequel nous n’avons pas vraiment prise. “La norme des sociétés de disciplines traçait un dedans et un dehors ; le score des sociétés du profilage définit à chaque instant les positions mouvantes de tous dans un champ que traversent les multiples flux”. Les espaces privés prospèrent au détriment de la chose publique. Tinder sait qui je désire avant moi ! Face à cette dissolution, la résistance passe par le retrait et par les communs, c’est-à-dire soit par s’extraire des flux, soit en remettant leur sens collectif en premier. Et Huneman d’inviter à traiter ces algorithmes comme des biens communs, c’est-à-dire à les collectiviser pour sortir de l’optimisation. C’est un peu la conclusion qu’on lit dans tous les livres sur le numérique depuis quelques années.

*

A nouveau, même si nous sommes d’accord sur l’essentiel, il me semble que la critique qu’articule Philippe Huneman et dont j’ai tenté de rendre compte, est assez convenue. A mon sens, elle n’insiste pas assez sur l’aporie du profilage. S’il montre bien la vacuité des boucles que les systèmes produisent, il peine à pointer leurs déficiences fondamentales, leurs incapacité à produire ce qu’on leur demande, et d’abord de produire des identités (et c’est bien ce qu’on demande à un profil), quand ces identités sont bien plus mouvantes que fixes. Kate Crawford par exemple montre pourtant très bien dans son livre que l’identité n’est pas binaire. Le profilage joue de caractéristiques qui ne sont jamais certaines. Souriez-vous ? Aimez-vous le PSG ? Etes-vous blanc ?… Le profilage ne peut qu’échouer à dire une réalité. Si cela n’a que peu d’impact quand le profilage est mobilisé pour servir de la publicité (quoique, c’est parfois extrêmement problématique comme l’expliquait Safiya Noble dans Algorithms of oppression), quand il vise à servir des droits ou des possibilités qui ont un impact fort sur la vie des gens, son usage est bien plus problématique. L’obtention d’un emploi, d’un prêt, d’une formation, d’un rein…ne peuvent pas reposer sur un calcul qui cumule les approximations comme le propose le profilage. La société du profilage repose sur un calcul de l’injustice, mouvant, changeant, éphémère, sur lequel, ceux qui le subissent n’ont aucun levier. Là où les sociétés disciplinaires et de surveillance reposaient sur des normes claires et rigides, les sociétés du profilage reposent sur un calcul permanent, dans lequel, comme le disait très bien le philosophe Achille Mbembe, “il n’existe plus de droits durables, tous sont révocables”. Ce qui signifie qu’il n’existe plus de droit du tout. Dans la société du profilage, tous les calculs sont injustes. La société de discipline, de contrôle et de risque ne sont pas tant des moments différents, successifs – une évolution -, que des logiques agrégatives et de moins en moins fiables. Nous voici confrontés à une société de l’optimisation plus radicale qu’elle n’était, où discipline, contrôle et risque se renforcent les uns les autres, sans nous laisser aucune échappatoire. 

Quant à l’aporie du profilage, une récente étude expliquait combien les prédictions – qu’elles soient produites par des banques, gouvernements, employeurs, commerçants, réseaux sociaux… – ne sont ni précises, ni justes, ni efficaces.

Pour les chercheurs Arvind Narayanan, Angelina Wang, Sayash Kapoor et Solon Barocas ces “optimisations prédictives” échouent le plus souvent, expliquent-ils dans une très intéressante méta-étude. Le problème, c’est que, de la prédiction du risque criminel à la prédiction à l’embauche (les chercheurs en ont travaillé sur une cinquantaine de systèmes prédictifs et cherchent à en recenser d’autres…), ces prédictions prolifèrent.

Or, elles présentent toutes des défauts structurels, expliquent-ils en pointant 7 limites : 
– De bonnes prédictions ne conduisent pas à de bonnes décisions ;
– La mesure rate souvent sa cible ;
– Les données d’entraînement correspondent rarement aux périmètres de déploiements;
– Les impacts sociaux des systèmes ne sont pas prévisibles ;
– Les performances différentes des groupes ne peuvent pas être corrigées par des interventions algorithmiques ;
– La contestabilité est rendue difficile ;
– L’optimisation prédictive ne tient pas compte des comportements stratégiques.

Ces défauts n’ont pas de correctifs techniques. “L’optimisation prédictive échoue selon ses propres conditions”. Si chaque défaut est problématique, l’ensemble devrait nous conduire à remettre sérieusement en cause les applications prédictives, concluent-ils.

Les chercheurs appuient leurs constats en produisant 27 questions pour contester les systèmes de ce type. Par exemple, l’intervention affecte-t-elle les résultats prédits, et peuvent-ils déclencher une prophétie auto-réalisatrice ? Par exemple, si des montants de caution plus élevés sont fixés en raison d’une prédiction de récidive, ce score peut-il augmenter la probabilité de récidive ? Les prédictions optimales individuellement conduisent-elles à une intervention globalement optimale ? L’embauche individuelle de bons vendeurs ne prédit pas la qualité de leur capacité à travailler ensemble et peut produire une baisse globale des ventes. L’intervention crée-t-elle une boucle de rétroaction ? Rejeter un crédit en fonction du score de la personne a-t-elle une incidence supplémentaire sur la diminution de son score ? Les individus peuvent-ils accéder ou contester les données qu’un modèle utilise à leur sujet ? Les privilégiés qui comprennent le fonctionnement du système décisionnel ont-ils un avantage ? Quelle est la gravité des conséquences d’une mauvaise catégorisation ? …

Enfin, bien souvent la prédiction privilégie un critère ou un objectif sur tous les autres et au détriment des autres. Par exemple, la sélection des meilleurs élèves au détriment de leur diversité ou de leur motivation. Cet objectif est-il clairement explicité ?… 

Autant de questions qui pointent l’aporie des sociétés du profilage. Les optimisations prédictives construisent une optimalité de façade. La prédiction est surtout enfermée dans la prédiction de sa propre réussite sans apporter de preuves que celle-ci ne se réalise pas au détriment de la justice comme de l’équité ! Au contraire. 

Hubert Guillaud

A propos du livre de Philippe Huneman, Les sociétés du profilage, Evaluer, optimiser, prédire, Payot, 2023., 432 pages, 24 euros.

Dématérialisation, l’externalisation en question

La question du recours aux prestataires privés dans l’action publique est une question qui a émergé tout le long du cycle que le Mouton numérique a consacré au sujet de la dématérialisation, rappellent Maud et Yaël du Mouton numérique. La numérisation de l’action sociale est une politique qui ne dit pas son nom et qui produit d’abord la dégradation du travail social et la limitation de l’accès aux droits. Que ce soit face aux restrictions qu’engendre la dématérialisation, comme le rappelait la première rencontre sur l’impossibilité de prendre rendez-vous en préfecture, ou face au report du travail social sur les associations, comme le rappelait la seconde rencontre, la privatisation est toujours l’aspect masqué, mais bien concret, de ces transformations. Le recours aux cabinets de conseil a été décrite comme “tentaculaire” par l’enquête sénatoriale de 2022. A la Caisse nationale d’allocation familiale la question des développements informatiques, c’est rien de moins que 477 millions d’euros de marchés, sans parler de nombreux autres contrats, notamment de maintenance et mise à jour des systèmes. L’impression d’ensemble est que s’il n’y a pas d’argent pour l’accompagnement social, il y en a pour les développements logiciels. Peut-on commencer par dresser un état des lieux du recours aux prestataires privés ?

Gilles Jeannot, Lucie Castets, Maud et Yaël du Mouton numérique et Adrien Saint-Fargeau (avant qu’il ne soit rejoint par Simon Woillet) au Centre social du Picoulet à Paris.

La Consultocratie omniprésente

Le marché de l’externalisation ou de la sous-traitance, on l’estime à 160 milliards d’euros, soit un quart du budget de l’Etat, explique Lucie Castets, co-porte parole et cofondatrice du collectif Nos services publics (@nosservicespub), un collectif né en avril 2021, pour parler, de l’intérieur, des choix politiques, des fonctionnements et dysfonctionnements des services publics, et qui a notamment publié une note sur la question. Ce chiffre de 160 milliards prend en compte jusqu’aux délégations de service public, comme c’est le cas de l’eau. Il vise à montrer l’étendue de cette imbrication. Le recours aux cabinets de conseil, lui, est plus limité bien sûr. C’est un marché qui a longtemps été limité et qui a explosé depuis 2018. Le rapport sénatorial sur la question estime que ce recours se monte à 900 millions d’euros en 2021, alors qu’il n’était que de 380 millions en 2018. Ministère, Etats et opérateurs de l’Etat dépensent un milliard d’euros chaque année en cabinet de conseils. 

Dans cet ensemble, ce que l’on rattache aux dépenses informatiques est énorme. Il faut encore distinguer les dépenses de conseils stratégiques des dépenses en stratégie des systèmes informatiques, qui ont respectivement été multipliés par 3 et par 6 depuis 2018 [Voir les chiffres et tableaux du rapport du Sénat. Le tout récent rapport de l’Inspection générale des finances sur le sujet, évalue les prestations de conseil à 2,5 milliards d’euros en 2021, contre 764 millions en 2015, très loin des 140 millions d’euros de dépenses annuelles annoncées par l’ex-ministre de la Transformation et de la Fonction publique, Amélie de Montchalin, en janvier 2022 et plus que les évaluations du rapport sénatorial qui parlait de plus d’un milliard. Le rapport estime que les dépenses en prestation de conseil informatique et maintenance, représentent 675 millions d’euros en 2021, quand celles du recours à des agences de communication et en conseil stratégique plafonnent respectivement à 112 et 128 millions – Politico, Nouvel Obs]. 

Mais il faut comprendre pourquoi on en est là, explique Lucie Castets. Le recours au privé repose sur 3 raisons structurelles. Une raison “juridico-institutionnelle”, liée aux réformes de l’Etat qui ont cherché à réduire la taille et les missions de l’Etat par des mesures juridiques de finances publiques pour contraindre et limiter la dépense publique ainsi que la rémunération des fonctionnaires. La loi organique relative aux lois de finances (LOLF) de 2001, l’établissement du plafond d’emploi en équivalent temps plein ou encore la fongibilité asymétrique des crédits – qui permet d’utiliser le budget de personnel vers d’autres dépenses, mais interdit l’inverse -, le non remplacement de fonctionnaires voire les suppressions de postes ont fait peser des contraintes strictes sur les dépenses et l’embauche dans les services publics. Ceux-ci n’ont pas d’autres choix que d’avoir recours à des prestataires extérieurs, puisqu’ils ne peuvent pas embaucher. Qu’importe si les cabinets de conseil sont plus chers que les fonctionnaires ! Une seconde raison est d’ordre plus culturelle. Elle repose sur l’idée, diffusée par le New Public Management (qui consiste à appliquer les méthodes du management du privé dans le secteur public), que l’acteur privé ferait toujours mieux que l’acteur public. C’est inexact bien sûr, notamment parce que les prestataires privés ne connaissent pas le secteur public et ses contraintes. C’est pourtant une idée d’autant plus répandue qu’elle se double d’une fascination pour le numérique, l’intelligence artificielle et les Gafams… La numérisation s’explique aussi par cette fascination qui interroge très peu les choix techniques et politiques, entre autres parce que l’administration manque de compétences pour les piloter. Enfin, il y a un prisme technique fort. Quand on décline techniquement un projet, on pense encore que ce n’est pas un problème politique ou administratif. Chez Nos services publics, on recueille beaucoup de témoignages de gens qui ont du mal à piloter les transformations techniques actuelles. 

Vers l’Etat-plateforme (mais la plateforme de qui ?)

“L’informatisation des services administratifs est la porte d’entrée historique des cabinets de conseils dans les affaires publiques et reste aujourd’hui la plus grosse part de dépense liée au consulting”, lit-on dans Consultocratie (FYP éditions, 2022). Adrien Saint-Fargeau, l’un des co-auteur du livre, le rappelle plus en détail. C’est au lancement de la Révision générale des politiques publiques (RGPP, 2007) qu’on fait entrer les acteurs du conseil américain dans les questions publiques. Jusqu’à cette date, ils n’étaient pas très intéressés car ils jugeaient que les budgets n’étaient pas suffisants. Les politiques en faveur de la numérisation de l’État sont plus anciennes, notamment avec le lancement du portail Service Public dans les années 2000, qui ancrent l’idée de nouveaux modes d’accès. On débloque néanmoins des budgets pour l’administration électronique visant à rendre toutes démarches accessibles par internet. La numérisation s’accélère encore avec le plan France numérique 2012, lancé dès 2008, qui vise à permettre le paiement en ligne. A la même époque s’initie le modèle de l’Etat plateforme et le lancement de l’Open Data, l’ouverture des données publiques, qui visent à changer la manière d’agir de l’Etat, par la modernisation et la simplification des démarches. En 2012, la Modernisation de l’action publique (MAP) prolonge ces nouvelles manières d’agir et renforce la transformation de l’Etat plateforme via des administrations dédiées, comme le Secrétariat Général pour la Modernisation de l’action Publique (SGMAP) et le lancement de France Connect, le service d’identification et d’authenfication des administrés inter-administration. “Ici, le modèle est clair, on a cherché à copier les boutons de Facebook” qui permettaient de s’identifier sur nombre d’autres sites, rappelle Adrien Saint-Fardeau. C’est l’époque où l’on met en place des dispositifs comme celui des startups d’État pour rattraper ce qu’il se passe dans les grandes plateformes… Pour Adrien Saint-Fargeau, derrière la simplification, il faut lire un changement de l’action de l’Etat, qui se voit comme un concurrent d’autres acteurs du numérique. 

Pour Gilles Jeannot, co-auteur de La privatisation numérique (Raisons d’Agir, 2022 – dont j’avais rendu compte), l’idée d’Etat plateforme revient à l’éditeur libertaire Tim O’Reilly, qui après avoir inventé le terme Web 2.0, a proposé celui (moins populaire) de web2, puis de gouvernement 2.0 (2009), qui donnera lieu à un livre sur le gouvernement ouvert (2010) puis au concept d’Etat plateforme (2011). Pour O’Reilly, derrière l’Etat plateforme, il y a un enjeu économique pour l’Etat. Son rêve est celui d’acteurs privés qui viendraient offrir des services publics depuis les données partagées, explique Gilles Jeannot. Ce rêve est repris avec enthousiasme par Henri Verdier et Nicolas Colin dans leur livre, L’âge de la multitude (2012), avant que Henri Verdier ne prenne la direction d’Etalab. L’idée que le privé pourrait offrir des services équivalents aux services publics était moteur. C’est l’idée qu’on retrouve aujourd’hui dans le capitalisme de plateforme, à l’image de l’intermédiation d’acteurs comme Airbnb qui vient proposer un service qui ne coûte rien, qui génère beaucoup de plus-value, tout en verrouillant le marché. Et effectivement, nombres d’acteurs sont venu bouleverser le marché. Reste que les cas de privatisation sont restés rares. Il n’y a que la SNCF qui a vendu ses cars à BlablablaCar. Les services privés sont plutôt venus concurrencer des services publics à la marge, dans l’information voyageur par exemple, avec CityMapper face à la RATP, Waze face aux politiques de déplacement, où les offreurs de trottinettes venant concurrencer l’accaparement de l’espace public. La Poste, pour lutter contre l’ubérisation des services à domicile a réinternalisé une société ubérisée, Stuart. En fait, il y a surtout eu “des interférences entre les acteurs”, comme quand Airbnb assèche le marché locatif. Le projet initial de l’Etat plateforme imaginait que l’Etat resterait au centre du dispositif et pourrait superviser gentiment des acteurs bienveillants. Le décentrement de l’Etat a été plus fort qu’attendu, constate Jeannot. 

Dans ses travaux, la chercheuse Marie Alauzen insiste sur le rôle des références anti-étatiques, par exemple dans la référence à la multitude de Negri et Hardt du livre de Colin et Verdier, explique Simon Woillet, co-auteur de Consultocratie (et qui avait livré une riche interview de Marie Alauzen sur ce sujet, pour Le Vent se lève). Il rappelle d’ailleurs que la femme d’Oreilly, Jennifer Pahlka, était la cofondatrice de Code for America, une association de codeurs pour améliorer les services publics. L’un des projets emblématique de Code for America a été la refonte de l’application du programme des bons alimentaires de Californie [le programme des bons alimentaires américains fournit une aide à plus de 46 millions d’Américains]. “L’Etat plateforme commence souvent par s’intéresser aux choses qui font le plus souffrir les populations précaires”, souligne Woillet. Pourtant, avec l’Etat plateforme, vient également une forme de guichétisation de l’Etat, auquel il se réduit. “De plus en plus, on pense l’Etat comme un robinet. Dans l’idée de Gouvernement 2.0, l’Etat est un guichet qui doit devenir vertueux et non plus défectueux”. 

Pour Adrien Saint-Fargeau, c’est l’échec de la RGPP et l’Etat plateforme qui va conduire à faire appel aux cabinets de conseil… Les startups d’État, qui ne sont pas vraiment des start-up, montrent l’échec de cette politique. Pour Maud du Mouton numérique, cette question du guichet et de l’accès au droit réduit à un accès à l’information, s’oppose effectivement à un parcours de l’accès et de l’accompagnement social. On nous propose désormais des guichets, à l’image de Doctolib, plutôt qu’un parcours d’accès aux soins ou un accompagnement. 

Les solutions publiques ne sont pas remplaçables

Lucie Castets rappelle quand même qu’au début, on a tous apprécié Doctolib qui permettait de prendre rendez-vous facilement. Le problème, c’est quand le gouvernement s’appuie sur Doctolib pour la campagne vaccinale, en contraignant tout le monde à prendre rendez-vous uniquement via la plateforme. Doctolib avait des informations sur le stock de vaccins que l’ARS n’avait pas. Le problème, c’est que Doctolib a centralisé les données et les stocks via une filiale d’Amazon aux US, les faisant dépendre de juridictions américaines. L’erreur est de croire que les solutions publiques sont remplaçables par des solutions privées, explique Lucie Castets. On s’est mis dans les mains d’acteurs privés, sans le penser, sans réfléchir à la question politique qu’il y a derrière, non seulement en terme de souveraineté ou de sécurité, mais également en terme de profit. Mais c’est délirant de laisser fournir des prestations de services publics sans même se poser la question en ces termes !, s’énerve-t-elle.  

Tout à fait, abonde Simon Woillet (également co-auteur du Business de nos données médicales, FYP éditions 2021, dont on avait parlé par là). Nombre de logiques liées à la santé sont problématiques, par exemple les questions de nomenclature et de standardisation ouverte. Il faut rappeler pourtant que l’open source est une idée popularisée par le libertarien Eric Raymond dans un pamphlet un peu dingue, la Cathédrale et le bazar, et que l’open source, qui permet la réutilisation du code et des données est donc par nature très ouverte au capitalisme, rappelle-t-il. Les standards informatiques ont toujours été développés et soutenus par les entreprises privées, dans une logique d’intégration du privé dans la puissance américaine elle-même. La préfiguration du Health Data Hub qui gère nos données de santé, a été conceptualisée dans le rapport Villani [qui conçoit lui aussi, d’ailleurs, l’hôpital comme une plateforme, comme le remarquait avec mordant la Quadrature du Net] avec l’aide de Daniela Rus, une roboticienne du MIT spécialiste de questions de défense, avec qui il a signé un ouvrage sur la santé et l’IA. Les données de santé sont un enjeu de renseignement majeur pour nombre d’acteurs, et nous sommes bien naïf d’avoir pu un instant croire le contraire !, s’énerve à son tout Simon Woillet.  

Pour Gilles Jeannot, les réformes administratives privilégient beaucoup une approche des publics par ce qu’on appelle les parcours, comme le “Dites le nous une fois”. Le problème de cette guichétisation, c’est le décalage avec la réalité. Il y a certes des gens qui ont une vie administrative très simple… mais on comprendra tout de suite que ça peut être plus compliqué pour un réfugié Afghan par exemple. 

Quelles alternatives ?

La question est alors comment faire autrement, interroge l’animatrice. Qu’elles alternatives y-a-t’il à “la consultocratie” ? 

Adrien Saint-Fargeau rappelle que la commission d’enquête sénatoriale a fait des propositions concrètes. Pour les mettre en oeuvre, cela suppose également de modifier les indicateurs de l’État, de revenir sur la LOLF, d’assurer un meilleur contrôle parlementaire des dépenses d’externalisation… Cela suppose tout de même de sortir de la logique du manque de moyen et de compétence. Or, quand on a recours aux cabinets, on perd d’abord des compétences. 

Pour Lucie Castets, le gouvernement a annoncé qu’il allait réduire de 15% les prestations de conseil. Mais pourquoi 15% ou pas 30% ou 50% ? L’enjeu n’est pas tant de réduire ces recours, qui risquent de grever plus encore la qualité des services publics, car cette diminution annonce d’abord des moyens qui se détériorent encore. Pour Castets, il est nécessaire de changer les règles et les moyens sur le recrutement. Il faut que la puissance publique réinternalise les moyens, les fonctions d’exécutant pour qu’elle soit capable de construire des outils adaptés sans être attachée à des prestataires externes. Il faut sortir d’une logique délétère où aujourd’hui certains services ont des prestataires pour encadrer des prestataires ! Même la Cour des comptes, pourtant très conservatrice, le dit : le conseil coûte trop cher. On voit pourtant des initiatives au sein de l’Etat pour développer des outils publics libres… On a trop souvent le réflexe de se tourner par défaut vers le privé, avant même de regarder ailleurs, notamment dans d’autres services ou des solutions existent parfois. 

Pour Gilles Jeannot, l’opposition binaire Etat/privé est peut-être dépassée. Et le sociologue d’inviter à regarder du côté des Communs et des partenariats publics communs… Ce mouvement, à la fois collectif et militant, est présent dans certaines villes pour produire des logiciels opérationnels, comme à Rennes ou Brest. On le trouve chez Open Fisca, où s’assemblent chercheurs, codeurs, fonctionnaires militants et administrations pour mettre les règles fiscales en code et tester l’effet des lois. On les trouve aussi autour de la Base adresse nationale, avec l’IGN, la Poste et Open Street Map. Il y a là des moyens complémentaires qui peuvent se rencontrer… 

Maud du Mouton numérique, rappelle que c’est l’Etat qui développe le datamining, à l’image du contrôle à la CAF. Comment alors mettre en place des garanties ? Comment développer une informatique qui réponde à d’autres orientations politiques ?

Pour Simon Woillet, il faut sortir de ces logiques, à l’image de ce que fait InterHop en proposant des systèmes de santé déconcentrés, où les données restent au plus proche de là où elles sont produites, permettant de sortir des risques de centralisation des bases de données… Pour Lucie Castets, il faut distinguer deux questions politiques. Quelle politique veut-on mener ? A qui veut-on la confier ? La réponse à la seconde question ne se pose jamais en termes politiques, alors qu’il reste difficile de croire qu’on peut se passer de l’acteur public. De plus, nous avons besoin d’un contrôle parlementaire pour nous assurer que les outils ne deviennent pas incontrôlables. 

Plus que des questions, le public a surtout partagé ses expériences et ses constats. Une personne souligne que le recours massif aux cabinets de conseils vise d’abord à détruire le statut de la fonction publique. Elle pointe également l’incompétence des directions générales devenues elles-mêmes contractuelles, ce qui entretient le recours à des solutions extérieures dans une boucle sans fin. Une autre personne dresse le même constat. Les entreprises privées récupèrent des données et solutions publiques pour générer du parasitisme. Quant aux compétences internes, elles sont en train de disparaître. Désormais, il y a des pilotes de projets externes aux administrations publiques qui ne vérifient que les procédures et les livrables, sans être capables d’apprécier ce qu’on leur livre. Dans les administrations, on a perdu des compétences, on ne sait même plus combien devrait coûter ce qu’on développe… avant de dénoncer le développement de grandes chaînes d’incompétences. “Dans certains endroits, quelques personnes la centralisent. Mais s’ils partent demain, tout s’écroule !” 

Pour Lucie Castets, le statut de fonctionnaire est moderne, comme le soulignait Nos services publics dans une tribune. “Je ne sais pas si les gens sont incompétents. On a des gens qui font vite, qui sont peu critiques. On remet peu en question les postulats et les fondements politiques des actions”. Depuis la réforme de la fonction publique, les contractuels sont plus nombreux, mais il ne faut pas oublier qu’ils sont particulièrement mal traités. L’enjeu n’est peut-être pas tant de s’inquiéter de leur loyauté que d’internaliser la compétence, jusqu’aux fonctions stratégiques. Depuis la crise Covid, on voit qu’il manque partout des gens. Mais si tout le monde veut augmenter le nombre d’agents pour répondre aux difficultés, tout le monde pense encore qu’il faut réduire le nombre d’administrateurs, or ce sont eux qui sont en première ligne pour s’opposer au grignotage par le privé des grandes missions de l’Etat. Pour Adrien Saint-Fargeau, le new public management, symbole de l’incompétence, repose d’abord sur une critique nourrie de la bureaucratie qui reste extrêmement prégnante. Enfin, sortir de l’incompétence est difficile. Les services publics d’un côté sont rendus peu attractifs, mais de l’autre, l’Etat ne fait rien contre le pantouflage, alors qu’il y aurait là des leviers d’actions. 

D’autres témoignages interrogent. A-t-on encore les moyens de faire quelque chose en informatique publique ? Face à tant d’échecs et de projets avortés, seule la mutualisation semble permettre de faire avancer les choses. Reste que le problème est peut-être plus humain que technique : on fait plus confiance aux gens de l’extérieur qu’à l’interne. Une autre personne se demande pourquoi on n’exige pas des cabinets de conseil de transmettre leurs compétences. Une dernière questionne : faut-il un ministère de l’informatique ? 

Pour Adrien Saint-Fargeau, c’est tout de même un peu ce qu’a essayé de faire le SGMAP. Croire qu’on peut plaquer le modèle privé dans le secteur public est une erreur. On manque de formation à tous les niveaux pour avoir des compétences à plusieurs niveaux. A l’époque du nucléaire, les ingénieurs des grandes écoles faisaient leur engagement décennal dans les services de l’Etat. Ce n’est plus le cas. Celui-ci est totalement contourné désormais. Enfin, il est nécessaire de repenser les capacités de contrôle avant et après les prestations des cabinets de conseils, car bien souvent, elles sont minables sans que cela n’ait d’effet. Gilles Jeannot se montre moins critique envers la Dinum et le SGMAP. Il y avait bien une volonté de refaire de l’informatique, mais ce service est tout petit, et les rénovateurs qu’on y trouve ne sont pas dans les grosses administrations informatisées. Quand on regarde les projets informatiques publics classés par budgets, Etalab est tout en bas de la liste. Le rapport de force n’est pas possible, comme le pointait le rapport de la Cour des comptes sur les grands projets numériques de l’Etat. 

Hubert Guillaud

Nos comptes-rendu des séances du cycle “Dématérialiser pour mieux régner” du Mouton Numérique : 

Bonus, Dans les machines à suspicion.

Dans la machine à suspicion : des limites des systèmes de scoring de l’aide sociale à Rotterdam

Depuis les travaux pionniers de Virginia Eubanks, il y a une dizaine d’années, on sait que les systèmes électroniques mis en place pour calculer, distribuer et contrôler l’aide sociale sont bien souvent particulièrement défaillants, et notamment les systèmes automatisés censés lutter contre la fraude, devenus l’alpha et l’oméga des politiques publiques austéritaires. Wired et les journalistes d’investigation néerlandais de Light House Reports, ont associé leurs forces pour enquêter sur l’un d’entre eux. Ils ont obtenu le code et les données d’entraînement du système, leur permettant de reconstruire le système de scoring de l’aide sociale à Rotterdam pour tester son fonctionnement. Dans une longue enquête en ligne, ils livrent leurs résultats. Des résultats éclairants pour comprendre les limites de ces systèmes, qui font échos aux luttes contre les décisions des systèmes sociaux en Europe et aux questions que posaient militants et chercheurs sur les systèmes de détection des fraudes sociales en France qu’on évoquait lors des rencontres du Mouton numérique. 

La Une de l’article de Wired.

A Rotterdam, ce sont quelques 30 000 personnes qui bénéficient d’aides sociales : aides au logement, aides pour payer des factures ou pour acquérir de la nourriture, rappelle l’enquête de Wired… En 2017, la ville a déployé un nouveau système de lutte contre la fraude aux allocations mis en place par Accenture. Le système génère un score de risque sur tous les bénéficiaires de l’aide sociale, selon des critères problématiques, puisqu’il prend en compte l’âge, le sexe, la maîtrise du néerlandais. 

En 2021, la ville de Rotterdam a suspendu ce système après avoir reçu un audit sur celui-ci, commandé par le gouvernement. Wired et Light House ont obtenu l’algorithme ainsi que les données d’entraînement, ce qui a permis de reconstruire le système et tester son fonctionnement. Cette machine à détecter la fraude est avant tout une “machine à soupçon”, expliquent les journalistes : “ce qui apparaît à un travailleur social comme une vulnérabilité, comme une personne montrant des signes de faiblesse, est traité par la machine comme un motif de suspicion”. Les commentaires des travailleurs sociaux sur les dossiers (qui peuvent être invasifs – comme de noter la durée de relation amoureuse – ; subjectives – comme l’avis de l’enquêteur social sur la motivation ou l’attitude d’un bénéficiaire – ; ou banales – nombre de mail envoyés aux services sociaux -; voire non pertinentes – si un bénéficiaire fait du sport) qui servent normalement à documenter l’information sont visiblement exploités par le système, d’une manière particulièrement problématique. C’est là l’information principale de cette enquête d’ailleurs. Les commentaires des travailleurs sociaux sont pris en compte. Par exemple, le fait qu’une femme sans emploi avec deux enfants soit “mal habillée” pour pouvoir aller répondre à des entretiens d’embauches, est un commentaire qui est utilisé par le système. 

L’algorithme de Rotterdam n’inclut pas explicitement l’origine ethnique ou le lieu de naissance, parmi les 315 variables qu’il utilise pour calculer le score de risque. Mais d’autres variables servent de substituts à l’ethnicité, notamment le fait qu’à Rotterdam, les bénéficiaires de l’aide sociale doivent parler néerlandais ou montrer qu’ils font des efforts pour y parvenir (il y a un test à passer qui est indiqué dans la fiche sociale). L’indication de la langue maternelle ou le fait de vivre avec des colocataires peuvent également servir de substituts. L’indication de la langue maternelle a été reconnue comme problématique par la Cour des comptes néerlandaise, et ce d’autant plus que différentes langues reçoivent des chiffres différents ayant un impact différent sur le score de risque d’une personne (ce qui signifie donc qu’il y aurait une échelle des langues en action, sans qu’il ait été possible de la connaître).

Exemples de variables qui agravent le score de risque de fraude aux allocations sociales dans le système de Rotterdam.

L’algorithme de Rotterdam comporte 54 variables basées sur des évaluations subjectives faites par des travailleurs sociaux. Cela représente 17 % du total des variables, chacune ayant des impacts variables sur le score. “L’utilisation de ces évaluations subjectives soulève des signaux d’alarme éthiques pour de nombreux universitaires et défenseurs des droits de l’homme. “Même lorsque l’utilisation de la variable ne conduit pas à un score de risque plus élevé, le fait qu’elle ait été utilisée pour sélectionner des personnes suffit à conclure qu’il y a eu discrimination”, explique Tamilla Abdul-Aliyeva, chercheuse sur la technologie et les droits de l’homme à Amnesty International.”

“Et ce n’est pas seulement l’inclusion d’évaluations subjectives qui est préoccupante – ces systèmes prennent également des informations nuancées et les aplatissent. Le champ de commentaire dans le système de Rotterdam, par exemple, où les assistants sociaux sont invités à faire des observations générales, est binaire. Tout commentaire est converti en “1”, tandis qu’un champ vide est converti en “0”. Cela signifie que les commentaires négatifs et positifs affectent le score de la même manière. Si, par exemple, un travailleur social ajoute un commentaire indiquant « ne montre aucun désir d’obtenir des résultats », cela a le même effet sur le score de risque qu’un commentaire indiquant « montre un désir d’obtenir des résultats ». Le manuel remis aux assistants sociaux pour l’évaluation des bénéficiaires ne mentionne pas que leurs commentaires seront introduits dans l’algorithme de notation des risques, ni que les commentaires positifs et négatifs seront lus de la même manière.”

Sur les 30 000 bénéficiaires de l’aide sociale à Rotterdam, environ 10 % (soit ceux classés au-dessus de 27 000 sur la liste) risquent de faire l’objet d’une enquête. Les journalistes ont montré que le fait d’être une femme impacte le classement négativement. De même, le fait d’avoir des enfants, le fait d’être seul et de sortir d’une relation longue, le fait d’avoir des difficultés financières. 

Selon l’algorithme, une femme qui ne diffère d’un profil masculin que sur 8 des 315 variables, est trois fois plus susceptible d’être signalée comme fraudeur. “L’écart entre leurs deux scores, bien qu’ils aient des données qui se chevauchent pour la plupart, découle de la façon dont la machine établit des liens entre certains traits.” Même constat sur le profil du migrant qui ne parle pas néerlandais. 

En observant les données d’entraînement du système, les journalistes ont constaté que les groupes sociaux y étaient mal représentés. Notamment, il y avait très peu de jeunes dans ces données. Or, dans les tests de l’algorithme de scoring, la jeunesse était l’attribut le plus important dans l’augmentation des scores de risque. “Pour l’algorithme, il semblait que les jeunes étaient plus susceptibles de commettre une fraude à l’aide sociale, mais il a tiré cette conclusion sur la base d’un échantillon si petit qu’il était effectivement inutile.”

L’algorithme de décision de Rotterdam repose sur un arbre de décision de 500 questions, oui/non, mais en changeant un seul attribut, le sexe, le parcours de questions se révèle très différent. Les hommes, par exemple, peuvent être évalués pour leurs compétences linguistiques et leur situation financière, tandis que les femmes peuvent être notées selon qu’elles ont des enfants ou si elles sont en couple. Ce que montre la rétroingénierie du système, c’est que les variables âge et sexe ont une énorme influence sur le score de risque. 

Un autre problème, soulignent les journalistes, tient au fait que nombre de fraudes relèvent surtout d’erreurs, liées au fait que tout changement de vie ou de revenu doit être signalé rapidement (c’est le cas notamment, on l’a vu dans le livre du sociologue Vincent Dubois, sur la mise en couple, qui est un statut binaire pour l’organisme d’aide, quand dans la réalité, c’est parfois un peu plus compliqué). Ces algorithmes pourtant traitent les erreurs comme la fraude délibérée de la même manière. 

“Les défauts dans les données de formation et la conception de l’algorithme se combinent pour créer un système d’une imprécision alarmante, affirment les experts”. Si une personne est considérée comme ayant des difficultés avec le néerlandais, elle est deux fois plus susceptible d’être signalée pour une enquête sur une fraude à l’aide sociale qu’une personne qui parle le néerlandais. L’enquête révèle également que le système discrimine les personnes vulnérables en les évaluant plus fortement en raison de leurs vulnérabilités, telles que le fait d’avoir des enfants ou des difficultés financières. Pourtant, rien ne montre que les femmes, les personnes qui ne parlent pas néerlandais ou les parents commettent plus de fraudes à l’aide sociale que les personnes appartenant à d’autres groupes ! Les journalistes ont demandé aux services sociaux s’ils ont trouvé plus de fraudes dans certains groupes spécifiques. Pour l’instant, les responsables ne leur ont pas répondu. C’est pourtant bien là le levier pour démontrer l’inanité du système : les groupes vulnérables jugés comme suspects par le système enfreignent-ils la loi plus souvent que les autres ? 

Dans l’article de Wired, il est possible de jouer avec un calculateur simplifié pour montrer comment certaines caractéristiques affectent le score de risque de fraude des allocataires. En haut, un score de risque faible (homme âgé qui parle le néerlandais…) en bas, un score élevé (femme jeune avec enfant…).

Les journalistes concluent en soulignant que Rotterdam est la seule ville qui a partagé le code de son système. Qu’elle a remis la liste des variables, les évaluations des performances du modèle, le manuel utilisé par ses data scientists, ainsi que le modèle d’apprentissage. C’est cette transparence inédite qui a permis de montrer combien le système était déficient. En 2017, Accenture promettait des résultats impartiaux et équitables. 

“La réalité de la machine à suspicion de Rotterdam est radicalement différente. Il s’agit d’un algorithme qui échoue au propre test d’équité de la ville.” Il est si opaque qu’il refuse toute procédure régulière à ceux qui en sont les victimes. 

La ville a fait son mea culpa. En partageant son expérience, elle espère montrer à nombre d’autres systèmes, leurs limites. Pour cela, la transparence est primordiale. Les systèmes publics doivent être capables de rendre des comptes sur les méthodes et outils qu’ils mobilisent. 

A bon entendeur !

Hubert Guillaud

MAJ du 8 mars 2023 : Wired et Light House poursuivent leur série d’articles sur les systèmes de surveillance à l’aide sociale défaillants. Signalons tout d’abord que Light House a publié un article assez exhaustif sur leur méthodologie pour recréer le système mis en place par la ville de Rotterdam. Un des articles de Wired revient sur l’algorithme de Rotterdam, en se plaçant du côté des bénéficiaires soumis à l’autorité des algorithmes. On y découvre la réalité d’un contrôle souvent brutal, qui utilise des infractions mineures dans les déclarations de revenus pour couper les aides ou réclamer des indus, comme le fait qu’un enfant ait vendu sa console de jeu sur un équivalent local du BonCoin, ou comme le fait d’avoir reçu de petites sommes de parents (la ville a depuis assouplit ses règles sur le montant d’argent que les gens peuvent recevoir de leurs proches). “Sur les quelque 30 000 personnes qui reçoivent des prestations de la ville chaque année, environ un millier font l’objet d’une enquête après avoir été signalées par l’algorithme de la ville. Au total, Rotterdam enquête sur jusqu’à 6 000 personnes par an pour vérifier si leurs paiements sont corrects. En 2019, Rotterdam a émis 2 400 sanctions en matière d’avantages sociaux, qui peuvent inclure des amendes et la suppression complète des avantages sociaux. En 2022, près d’un quart des litiges concernant des problèmes liés à l’aide sociale parvenus à la plus haute juridiction du pays provenaient de Rotterdam.” Depuis la suspension du système, la ville travaille à une nouvelle version et promet un effort de transparence, d’information et de garanties.  

Un autre article, intitulé “Le Business de la détection de fraude a un sale secret”, revient sur les difficultés, pour les citoyens, d’être confrontés à des systèmes de traitements publics opérés par des entreprises privées. L’article raconte comment le gouverneur de l’Indiana, Mitch Daniels, en 2005, a signé un contrat de 1,3 milliard de dollars avec IBM pour mettre en place un système de détection de la fraude des bénéficiaires de l’aide sociale de l’Etat. Pourtant, ce partenariat a été un désastre. Annulé en 2008, l’Indiana et IBM ont passé une décennie en conflit juridique. En 2012, la justice a rendu un verdict accablant sur le système lui-même. Ce jugement “aurait dû sonner le glas de l’activité naissante de l’automatisation de l’Etat-providence”. Il n’en a rien été. 

La une de l’article de Wired sur le business de la détection de la fraude aux prestations sociales.

Les systèmes de détection de fraude sociale constituent une part importante de l’industrie nébuleuse des “govtech”, ces entreprises qui vendent de la technologies aux autorités publiques en promettant de rendre l’administration publique plus efficace. En 2021, ce marché était estimé à 116 milliards d’euros en Europe et 440 milliards dans le monde. Des entreprises du monde entier – et notamment de grands cabinets de conseils –  vendent aux gouvernements la promesse que des algorithmes de “chasse à la fraude” vont leur permettre de mieux gérer les fonds publics. Le problème, c’est que les solutions qu’elles vendent sont surpayées et sous-supervisées. Trop souvent, le code de ces systèmes qui évalue qui est accusé de fraude, relève de la propriété intellectuelle de ces entreprises, ce qui génère une totale opacité et rend très difficile aux administrés d’obtenir des informations sur les modalités de calcul.

Au Royaume-Uni, une association, la Coalition des personnes handicapées du grand Manchester (avec l’aide du collectif militant Foxglove) tente de déterminer si les personnes handicapées sont les victimes des projets d’automatisation de l’aide sociale. L’association a lancé une action en justice contre le ministère du travail et des pensions britannique pour mettre en évidence la discrimination potentielle dans son algorithme de détection des fraudes au détriment des personnes handicapées, qui seraient plus souvent ciblées par ces systèmes (voir par exemple cette interview qui explique un peu mieux l’enjeu). En Serbie, des avocats cherchent à comprendre pourquoi un nouveau système a fait perdre à des centaines de familles roms leurs allocations. Sans transparence, il est “très difficile de contester et d’évaluer ces systèmes”, rappelle Victoria Adelmant, directrice du projet d’Etat-providence numérique de l’université de New York. 

L’automatisation des aides publiques a laissé une traînée de scandales dans son sillage, rappelle Wired, évoquant des problèmes d’accusation de fraude sociale massive dans le Michigan (j’en parlais par là), comme en Australie (j’en parlais par ici), ou aux Pays-Bas (de ce côté). Non seulement ces déploiements ont accusé des innocents de fraude sociale, mais bien souvent, en leur demandant des remboursements indus, ces systèmes leur ont enfoncé la tête sous l’eau. 

Derrière ces systèmes, on trouve certes des entreprises informatiques, mais également de grands cabinets de conseils comme Accenture, Cap Gemini, PWC… Les experts sont coûteux, et le secteur public peine à aligner ses salaires sur ceux du privé pour opérer par lui-même ces systèmes et les superviser. Et l’article de revenir sur la crise de SyRI (qu’on avait évoqué il y a peu). Aux Pays-Bas, dans la région de Walcheren, les responsables des systèmes sociaux se sont rendu compte que leurs algorithmes, développés par la startup Totta Data Lab, présentaient des similitudes frappantes avec SyRI, qui venait d’être condamné par le tribunal. Le problème, c’est que les autorités locales de Walcheren, en interne, reconnaissaient qu’ils n’avaient pas l’expertise pour vérifier l’algorithme développé par leur prestataire. Un institut de recherche indépendant a depuis effectué un audit de l’algorithme de Totta, en pointant ses nombreuses incohérences, et le fait que les scores de risques semble relever bien plus du hasard qu’autre chose. 

Le problème, c’est que ce manque de transparence a un coût. D’abord pour les victimes accusées de fraudes. Ensuite, pour la société elle-même et ceux qui luttent pour dénoncer les abus de ces systèmes : il faut des années de procédures pour montrer les lacunes techniques des systèmes. En Serbie, un bénéficiaire de l’aide sociale s’est vu refusé l’accès à une soupe populaire au prétexte que son statut de bénéficiaire aurait brutalement changé. En se renseignant, le bénéficiaire a appris que le système estimait qu’il aurait perçu de l’argent sur son compte bancaire, alors qu’il n’en disposait pas. L’enquête a montré que de très nombreux roms ont perdu leurs prestations sociales depuis l’introduction d’un nouveau mode de calcul et l’accès à de nouvelles données. Une association a demandé l’accès au code source du système de calcul, sans l’obtenir au motif que cet accès violerait le contrat que le service public a passé avec Saga, l’entreprise qui a déployé ce nouveau système… Le refrain est lassant. 

“Malgré les scandales et les allégations répétées de partialité, l’industrie qui construit ces systèmes ne montre aucun signe de ralentissement”, constate Wired A l’été 2022, le ministère italien de l’Économie et des Finances a adopté un décret autorisant le lancement d’un algorithme qui recherche les écarts dans les déclarations de revenus, les revenus, les registres de propriété et les comptes bancaires pour identifier les personnes risquant de ne pas payer leurs impôts. “Mais à mesure que de plus en plus de gouvernements adoptent ces systèmes, le nombre de personnes signalées à tort pour fraude augmente. Et une fois que quelqu’un est pris dans l’enchevêtrement des données, cela peut prendre des années pour s’en libérer”. Aux Pays-Bas, des familles ont tout perdu. Après une enquête publique, le gouvernement a accepté de verser une indemnisation conséquente aux familles qui n’a pas toujours suffit à combler les pertes qu’elles ont rencontrées. A Belgrade, les familles roms continuent de se battre pour le rétablissement de leurs droits. 

Un autre article, nous emmène, lui, au Danemark, pour nous expliquer que “le pays modèle de l’Etat-providence” est devenu un “cauchemar de surveillance”. Si le Danemark est l’un des Etats providence le plus financé au monde, sa Public Benefits Administration est depuis une dizaine d’années sous surveillance et la lutte contre la fraude sociale est devenue l’épicentre de la vie politique. En 2011, KMD, une des grandes sociétés informatiques du Danemark a estimé que 5% des versements de l’aide sociale seraient frauduleux (en France, on l’estime la fraude à 0,39% de tous les versements, aux Pays-Bas à 0,2%). Pourtant, la croyance dans une fraude sociale généralisée a permis à l’administration danoise de développer des systèmes de détection de fraude très sophistiqués, notamment en démultipliant l’accès de ses agents à des bases de données permettant de compiler de l’information sur les impôts, le logement, les revenus, la citoyenneté et même de surveiller les voyages à l’étranger des administrés. Pour le groupe de défense des droits de l’homme danois, Justitia, l’administration développe une surveillance systématique et disproportionnée par rapport au niveau de fraude sociale réel. 

La Une de l’article de Wired sur les algorithmes de détection de fraude Danois.

Suite aux estimations de KMD, le cabinet de conseil Deloitte a publié un audit sur les systèmes de l’administration, les jugeant inadaptés pour détecter la fraude et proposant de les dématérialiser pour remplir cette nouvelle mission. En 2015, un projet de loi est donc venu refondre l’Etat-providence danois en étendant les pouvoirs de l’administration chargé des prestations sociales, la dotant d’une “unité d’exploration des données”. La loi est votée en avril 2015, deux mois avant la nomination du conservateur Troels Lund Poulsen en tant que ministre de l’Emploi. Dirigée par Annika Jacobsen, responsable de la cellule d’exploration des données et de détection des fraudes de l’administration danoise des bénéfices publics, l’administration a démultiplié les contrôles tout azimuts en élargissant l’accès de son administration à nombre d’autres services de l’administration, raconte Wired. La directrice de cette administration se défend pourtant. Pour elle, les algorithmes ne font que signaler les bénéficiaires suspects. Les agents mènent des enquêtes et les citoyens peuvent faire appel des décisions, rappelle-t-elle. Sur 50 000 problèmes détectés et ayant fait l’objet d’une enquête en 2022, 4000 (soit 8%) ont reçu une sanction. L’Institut danois des droits de l’homme, un organisme indépendant, comme l’autorité danoise de protection des données, n’en ont pas moins critiqué l’ampleur et la portée de la collecte de données. Justitia compare l’administration danoise à la NSA américaine, tant rien de la vie privée des danois ne semble échapper à la surveillance du système chargé de l’aide sociale. L’administration, elle, justifie son action par l’efficacité. 

Dans toute l’Europe, la lutte contre la fraude sociale se tourne vers les algorithmes, rappelle Wired. “La France a adopté la technologie en 2010, les Pays-Bas en 2013, l’Irlande en 2016, l’Espagne en 2018, la Pologne en 2021 et l’Italie en 2022”. En 2021, le scandale hollandais qui a accusé quelque 20 000 familles de fraude à tort aurait dû alerter tous ces systèmes de leurs dérives possibles. Cela n’a pas été le cas, bien que le système ait été abandonné quand l’autorité néerlandaise de protection des données a découvert que le système avait utilisé la nationalité comme variable et qu’Amnesty International ait parlé de “profilage ethnique numérique”. La loi sur l’IA de l’Union européenne pourrait interdire tout système qui exploite les vulnérabilités de groupes spécifiques, rappelle Wired, y compris ceux qui sont vulnérables en raison de leur situation financière. Les systèmes de détection de fraude, dans ce cadre, pourraient être étiquetés comme des systèmes à hauts risques et être soumis à des exigences strictes de transparence et de précision. 

Pour Lighthouse Reports, le système danois semble utiliser lui aussi des variables problématiques, notamment la nationalité mise en cause dans le système néerlandais. Ces systèmes très intrusifs reposent sur une profonde méfiance à l’égard des pauvres, estime Victoria Adelmant, directrice du Digital Welfare and Human Rights Project. Au Danemark pourtant, là encore, seul un “très petit” nombre de cas impliquent une véritable fraude.

A croire que les défaillances des systèmes reposent d’abord sur les a priori idéologiques qui président à leur déploiement.

Dans les angles morts du numérique

Souvent, les glossaires et dictionnaires sont à la recherche d’une forme de neutralité et d’exhaustivité qui les rend rébarbatifs. Ce n’est pas le cas de celui-ci, qui assume et revendique ses partis-pris. Tant mieux, cela lui permet d’être particulièrement intéressant. Sous la direction d’Yves Citton (dont les curieux savent qu’ils doivent lire tous les livres !), Marie Lechner et Anthony Masure paraît donc Angles morts du numérique ubiquitaire, glossaire critique et amoureux, aux Presses du réel. Ce glossaire du numérique recense 145 termes pour interroger des notions et moduler nos vocabulaires pour mieux les repolitiser. Où, dans les transformations du numérique, regardons-nous mal ? Quelles ambivalences nous échappent ? Ce dictionnaire des angles morts du numérique cherche à nous montrer là où nous devons être prudents comme là où le numérique offre encore des leviers d’émancipations. 

La couverture du livre, Angles morts du numérique ubiquitaire.

Comme souvent dans les ouvrages collectifs, les contributions sont inégales, mais beaucoup sont particulièrement enthousiasmantes, à la fois par la synthèse qu’elles produisent et par les ouvertures qu’elles tissent. Chaque entrée introduit un enjeu, une question, une critique, une prise. Bien sûr, celles signées d’Yves Citton valent à elles seules le déplacement, mais ce ne sont pas les seules qui sont de qualité. Quand j’ai reçu l’ouvrage, je pensais picorer quelques termes, et au final, j’ai tout lu ! Avec ses entrées souvent courtes, ses références essentielles et surtout sa posture qui cherche les enjeux, ce dictionnaire pourrait parfaitement relever d’un manuel, au même titre que celui de Dominique Cardon ou que le livre de Kate Crawford, qui sont selon moi deux références incontournables du numérique. 

Le glossaire commence avec le terme “Abstraction” (rappelant que les data ne sont jamais données, mais toujours extraites (extracta) et donc abstraites (abstracta) d’une réalité), et cela se termine par “Voir comme un réseau” (qui nous invite à ne pas penser le monde comme un Etat ou une entreprise, à des fins de répression ou de compétition, mais comme un réseau, c’est-à-dire à des fins de coopération, c’est-à-dire à la fois “à voir (loin) comme un réseau” et à “penser (de près) comme une assemblée”). On y trouve des entrées assez attendues (Sobriété, Numérisation, Effet rebond…) et d’autres particulièrement surprenantes (Humanectomie – oui oui, on parle bien d’une ablation de l’humain par la techno, Incomputable, Peak data…). Ce méli-mélo est très tonique : il secoue l’esprit en nous poussant à regarder là où on ne regarde pas. Ainsi, nous sommes invités à réfléchir ce que signifie “une société dans laquelle les textes ne sont pas faits pour être lus” (Copier-coller). On y apprend que les premières voitures n’avaient pas de compteur de vitesse (mais un ampèremètre pour mesurer le courant électrique, Dashboard), que le numérique introduit des angles morts droit devant nos yeux (Elaine Herzberg), que les PV de radars automatiques ont pendant longtemps continué à être signés à la main par un humain qui n’avait ni le temps de les lire ni d’en vérifier le contenu (Fiction de responsabilité), que toute inclusion sans pouvoir ou position de direction relève de la plus pure instrumentalisation (Real name policy), ou combien ceux qui sont au point de contact entre internet et le monde physique sont le point de fuite d’une dégradation relationnelle liée aux injonctions contradictoires entre les ordres des machines et les besoins humains (Vigile de Leroy-Merlin)… 

“L’angle mort du numérique ubiquitaire est de prétendre ne pas avoir d’angle mort”, rappelle Yves Citton (Ubiquitaire). Les réseaux se veulent anoptiques, sans point de vue, sans position puisque capables de regarder le monde de partout. Ils sont surtout perspectivistes, c’est-à-dire qu’ils défendent toujours une perspective, qui ne relève pas tant d’un point de vue que “du point de vie”, de leur partialité intrinsèque, comme de défendre leur existence même. C’est au final notre existence par rapport à celles des systèmes qu’interroge ce vivifiant dictionnaire.  

Notons enfin que ce glossaire se présente comme une forme originale d’actes de colloque, puisqu’il est la publication d’un colloque éponyme qui s’est tenu à Cerisy en 2020, juste après la pandémie. Il nous montre que quand les actes de colloque savent se réinventer, ils peuvent produire des productions originales et stimulantes. On regrettera seulement qu’il reste encore dans ce dictionnaire quelques contributions qui ressemblent trop à des articles de recherche, ce sont souvent les moins réussies et le dictionnaire aurait gagné à s’en détacher pleinement. Si certaines entrées sont pleinement des définitions, des synthèses argumentées, d’autres tiennent par contre de réflexions pour prendre des pas de côté. Cet assemblage de tonalités très variées les unes des autres, elles, sont assez réussies et démultiplient les angles de lecture, tout en enrichissant le rythme. 

Pour vous donner envie, je vous propose de reproduire deux des entrées du dictionnaire. Histoire de vous donner le ton et de vous inviter à vous le procurer !

Hubert Guillaud

A propos du livre dirigé par Yves Citton, Marie Lechner et Anthony Masure, Angles Morts du numérique ubiquitaire, glossaire critique et amoureux, Les presses du réel, 2023, 400p. 24 euros. 

Une présentation de l’ouvrage aura lieu à la librairie l’atelier, rue Jourdain à Paris le 28 mars à 20h.

PS : Signalons aux lecteurs que j’ai participé à ce colloque en tant qu’intervenant, mais que je n’ai pas participé à l’ouvrage.

Elaine Herzberg 

Avant de vous parler de l’histoire d’Elaine Herzberg, je dois vous avouer que – comme j’imagine un peu tout le monde aujourd’hui – je suis de plus en plus préoccupé par à peu près tout ce que je fais, vu le désastre qu’est en train d’engendrer le fonctionnement normal de notre société technicienne. Donc prendre une douche, manger une banane, aller à Strasbourg, lire des infos sur le Web – pour toute chose on se pose la question : est-ce que c’est vraiment raisonnable de faire ça, est-ce que c’est viable ? Même pour la pensée : est-ce qu’il y a une forme de pensée favorable à l’environnement, ou compatible avec l’environnement, ou l’homme est-il de toutes façons condamné à ruiner les conditions de sa survie ?

Donc c’est la question que j’ai dans la tête et que je me pose à propos de tout. Et quand j’ai un problème important comme ça, ça finit par faire une petite chanson dans ma tête. Là, ça fait : cette fiction technique est-elle viable ? Cette petite chanson pose à son tour une question à inscrire dans ce glossaire : la question de la viabilité n’est-elle pas un angle mort des façons dont nous abordons le numérique ?

Exemple : si on considère le système technique mondial dans son ensemble, on sait qu’il n’est pas viable. C’est vrai : toute cette circulation généralisée des matières et des gens avec des connexions, des réseaux, des tubes, des routes, des pipelines, des canalisations mondiales, des tunnels, dans une gigantesque plomberie mondiale, tout ce grand scénario des ingénieurs, on sait qu’il a un problème.

Il se trouve que je suis réalisateur, donc la question du scénario m’intéresse, et je me suis dit que j’allais me pencher sur le scénario des ingénieurs, mais pas avec les mêmes critères que les leurs, pas juste comment ça fonctionne ?, mais comme pour un film, en pensant à la vie, à la mort, au désir et au temps qui passe.

Donc je suis parti de l’élément de base : le tuyau. Là, honnêtement, je suis pas très sûr que ce soit la bonne méthode. Mais bon. Un matin, j’étais dans ma cuisine, je me pose devant un tuyau et je me demande : est-ce que c’est viable ? Et puis j’attends la réponse. 

Et j’attends un peu, j’attends et d’un seul coup, paf : réponse ! En fait, le tuyau contient deux promesses. Premièrement, on va pouvoir aller de A à B. Deuxièmement, il n’y aura aucun contact avec l’environnement. Là c’est une info, pour nous qui nous intéressons aux rapports avec l’environnement. Aucun contact avec l’extérieur, autrement dit, le tuyau se substitue à l’environnement. 

À partir de là, on va avoir trois scénarios. D’abord, cas normal, la circulation est fluide, tout va bien. Deuxième cas, ça ralentit, il y a des bouchons. Éventuellement, ça ralentit tellement que tout est bouché, et là, la promesse d’aller de A à B devient incertaine. Troisième cas, accident : il y a une fuite, le contenu du tuyau va dans l’environnement, ou bien c’est l’environnement qui rentre dans le tuyau, et c’est tout de suite beaucoup plus grave. Sachant aussi que : qui dit tuyau, dit fuites.

Maintenant, je vais vous raconter l’histoire d’Elaine Herzberg, qui met en scène un tuyau moitié numérique moitié physique. 

L’histoire d’Elaine Herzberg s’est passée en Arizona dans une petite ville qui s’appelle Tempe, le 18 mars 2018, elle est rentrée dans l’histoire de l’humanité en devenant le premier être humain à se faire écraser par un véhicule autonome, un véhicule Uber. Elle avait 49 ans.

Quand j’en ai entendu parler, je me suis dit avec ma petite chanson : « cette histoire technique est-elle viable ? » Et puis ça posait des problèmes de droit super importants, cette histoire, parce que : le véhicule autonome, bon, comment on fait au tribunal ? Au tribunal, il y a deux statuts : il y a les personnes morales, pour les entreprises, les groupes ; et puis, nous, les personnes physiques. Bon. Mais alors, le robot, s’il est vraiment autonome, on va lui dire quoi ? Qu’il est aussi comme nous, une personne physique ? Là, nous, les êtres humains, on se sentirait quand même sacrément déclassés, non ? Et en fait, là, il a plutôt été traité comme faisant partie de l’entreprise Uber – mais voilà les questions que cela posait. Donc j’ai commencé à me renseigner beaucoup sur cette affaire, lire des articles, etc.

C’était vers la fin mars, début avril de 2018, et les articles parlaient d’abord de la voiture. Cette voiture, c’était un gros SUV, un Volvo XC90, quelque chose d’assez massif, et cette voiture, ce qu’on savait, c’est qu’elle roulait un peu plus vite que la vitesse autorisée qui devait être autour de 60 km à l’heure, pas vraiment en excès de vitesse, mais disons : euphorique. Légère euphorie. Vous imaginez un gros véhicule légèrement euphorique : « La la laaa, ça va ».

Et puis on passait à Elaine Herzberg. En fait, c’était plutôt sur elle qu’on apprenait des tas de choses. Donc Elaine Herzberg avait 49 ans, et au moment de l’accident, elle était en train de traverser une route à deux fois deux voies, la nuit, en dehors des passages pour piétons. À un endroit pas spécialement bien éclairé. À la sortie d’un virage. Voilà pour les données un peu techniques. Après, il y avait d’autres choses, c’est qu’elle se promenait avec un vélo, elle avait presque fini de traverser la deux fois deux voies, elle poussait sa bicyclette, comme ça, et sur son vélo, elle avait un sac de bières, parce qu’en fait, elle était en train d’aller chez des amis, pour passer une soirée, ou peut-être la nuit. Et on apprenait aussi qu’il y avait eu une autopsie et qu’on avait retrouvé dans son corps des traces de drogue, de marijuana, de méthamphétamine. Donc son portrait commençait sérieusement à se dégrader. Et on apprenait même qu’elle avait fait de la prison – pour conduite sans assurance, défaut de paiement de son loyer – et d’ailleurs elle était elle-même SDF. Et le comble de l’histoire – c’est ainsi que se terminaient plusieurs articles – c’est qu’on nous disait qu’elle allait bientôt « accéder à un logement ».

Ça, c’était le coup de grâce. Le mélodrame. Et puis surtout ça voulait dire qu’elle avait vraiment besoin qu’on l’aide, Elaine Herzberg. Que – contrairement à la voiture de Uber – elle n’était vraiment pas autonome. C’était le message à retenir. 

Bref, si on résumait, avec tous ces éléments mis bout à bout, on reconnaissait la célèbre histoire de l’Erreur Humaine. C’était le cas typique de l’Erreur Humaine qui débarque n’importe où, et qui vient gâcher un super beau projet. Parce que quand même, le projet des voitures autonomes, je sais pas si vous voyez, mais c’est un super beau projet : il s’agit de protéger tous les conducteurs humains de leurs erreurs de conduite, on va faire en sorte qu’il n’y ait plus de morts sur les routes, Donc, si ça se trouve, Elaine Herzberg, en mourant comme ça, comme une espèce de bécasse, elle allait engendrer 20 000 nouveaux morts à elle toute seule ! Rien qu’aux États-Unis !

Alors, j’en parle avec ironie, mais c’est vrai que je n’ai pas une confiance totale dans ce genre de systèmes. Sans être spécialiste, mais disons à partir de mon expérience immédiate, je ne suis pas convaincu que l’intelligence artificielle soit de l’intelligence. Je la vois plutôt comme l’arôme artificiel de banane qu’on trouve dans les yaourts. C’est surprenant, c’est marrant, etc. – mais c’est pas de la banane. Pour moi, l’intelligence artificielle, c’est pareil. Elle me semble très très limitée, elle me fait toujours penser à ces tests de psychologie un peu de base, type Action > Réaction, ou Stimulus > Réponse, Cause > Conséquence, etc – enfin c’est très très loin de la complexité d’une relation d’amitié qui évolue au gré du temps. On nous promet qu’elle va se complexifier, imiter l’intelligence humaine, mais je n’ai aucun espoir qu’une intelligence artificielle devienne un jour mon confident, une amie, quelque chose comme ça. Je fais plutôt l’expérience que c’est le contraire : qu’à force d’être en contact avec ces machines, c’est les êtres humains qui commencent à se calquer sur ces comportements et qui font eux-mêmes beaucoup de Stimulus > Réponse, Action > Réaction, et certains deviennent même un peu inquiétants. Je sais pas si vous avez remarqué, il y a des gens Hyper Réactifs ! Comme si ils perdaient un peu de finesse au passage. J’y réfléchissais, c’est pas facile de caractériser cet état, je me disais peut-être quelque chose qui pourrait représenter ça pas mal, pour moi, c’est la nouille instantanée. Prochain état de l’homme : la nouille instantanée ! C’est-à-dire qu’on a quelqu’un qui est là, comme ça, calme, et d’un seul coup PFFT, il devient instantanément CHAUD ! Bouillant ! INSTANT NOODLE.

Et alors pendant que je réfléchissais, comme ça, au bien-fondé – ou pas – de comparer l’humanité aux nourritures industrielles qu’on lui propose d’ingérer, le temps passait. Et on arrivait début 2019, et voilà qu’on m’invite à faire une performance – la même performance que celle que je suis en train de faire, là ce matin, devant vous, à Cerisy pour éclairer les angles morts du numérique – et je me dis : Mais tiens, je vais aller voir où on en est de cette histoire de Elaine Herzberg, que j’avais un petit peu oubliée.

Donc je me renseigne à nouveau, et là : formidable ! En fait, l’enquête avait largement progressé. La Police de Tempe avait fait du super travail, et tout publié sur  Internet. Notamment parce que après l’autopsie d’Elaine Herzberg, ils avaient fait l’autopsie de la voiture. C’est-à-dire qu’ils avaient ouvert la boîte noire du véhicule autonome, et là on découvrait des tas de trucs incroyables, à commencer par une vidéo. 

Dans la vidéo : la vue extérieure, et dans le véhicule, c’est Rafaela Vasquez, l’opératrice de conduite et de contrôle. Alors sur les images on ne se rend pas bien compte, parce que la caméra contraste mal, mais en fait on apprenait que l’endroit où avait eu lieu l’accident était en fait plutôt bien éclairé. Et puis la route faisait un virage, c’est vrai, mais c’était un virage très très long, peut-être sur 600 mètres. En fait c’était pas vraiment un virage. Et puis tout était comme ça : la voiture ne roulait pas trop vite, mais elle roulait plutôt assez lentement ; un peu moins de cinquante à l’heure, donc un véhicule pas euphorique mais plutôt un peu déprimé. Un SUV qui manque d’allant. Qui doute.

Bref : tout était complètement changé. Et surtout, on apprenait que le détecteur de la voiture, le LIDAR, s’était aperçu qu’il y avait un obstacle sur la route six secondes avant l’impact. Six secondes ! Vous imaginez six secondes à 50 à l’heure ? Et ce que disaient les policiers, c’est que Elaine Herzberg, en traversant avec son vélo, elle était tranquille, elle n’a jamais pensé que la voiture allait lui rentrer dedans, elle pensait que le conducteur ferait un écart. Pour les policiers, c’était clair : n’importe quel conducteur, à cette vitesse, l’aurait évitée. Aucun doute là-dessus.

Donc la nouvelle question c’est : mais alors pourquoi ? Pourquoi les deux conducteurs – c’est-à-dire la voiture plus la conductrice – n’ont pas réussi à l’éviter ?

Alors je vais remettre la vidéo : là, vous voyez Rafaela Vasquez, on la voit qui regarde en bas, voilà, et puis après elle regarde devant – et moi, naïvement j’ai cru qu’elle regardait un appareil de contrôle, mais en fait pas du tout ! Grâce à une autre boîte noire – la boîte noire de son téléphone cette fois – on s’est aperçu qu’elle était en train de regarder la télé ! Elle regardait The Voice, puis des fois elle regardait un peu dehors. Elle avait complètement confiance que ça allait marcher. Donc elle, elle n’a rien vu du tout, à part au moment du choc, rien. D’ailleurs la voiture n’a pas du tout freiné. Elle n’a ni fait un écart, ni freiné. Donc Rafaela Vasquez, c’était pas le bon candidat pour faire le métier, et d’ailleurs on apprenait même qu’elle aussi elle avait un sacré casier judiciaire, elle avait, elle aussi, fait de la prison et pour des trucs autrement plus trash : des braquages à main armée, etc. Bref, le désert du Sonora, comme dans Bolaño, là, on y est en plein.

Et maintenant : pourquoi la voiture n’a pas réagi ? C’est un système qu’il faut que je vous explique un peu. En fait, Uber était en train de tester ses voitures, et il avait fait un deal avec le gouverneur de l’Arizona, mettons pour 10 mois, et ils avaient 10 mois pour tester leur système, pour vendre à leurs clients le fait qu’ils allaient pouvoir se servir de leurs voitures, et que ces voitures iraient toutes seules gentiment d’un point A à un point B, sans rentrer en contact avec l’environnement. Et ils faisaient les tests, mais ça marchait mal. Leur véhicule avançait, mais parfois il voyait une aile de papillon et il disait « Ah ! Qu’est-ce que c’est ? Une montagne ? » Ou il voyait la mer, et c’était un camion blanc. Il avait parfois du mal à comprendre l’environnement. Il percevait des signes. Il se méfiait. C’était un véhicule méfiant. Et pour compenser, il sur-réagissait, comme une nouille instantanée, hop ! Donc les gens qui étaient dedans se faisaient des fois secouer, donc ça ne marchait pas bien, et il fallait souvent intervenir, il fallait attraper le volant en moyenne une fois tous les 21 kilomètres pour reprendre en main le véhicule, sinon c’était gros danger. Le concurrent Waymo, c’est, à la même époque, une intervention décisive tous les 9000 kilomètres. C’est beaucoup mieux, mais bon, ça reste loin de 100% fiable.

Donc, ils étaient en train de terminer la phase de test, et ça commençait à devenir difficile. Et là, il y a quelqu’un chez Uber qui s’est dit : je connais le logiciel, je vais aller dans Propriétés > Réglages, et je vais baisser la réactivité du véhicule, on va valider les tests : Yo ! Et il l’a fait. Le réglage, qui était à vigilance maximale, est passé à minimale. Et paf, une fuite ! C’est-à-dire qu’on peut voir le véhicule autonome comme un tuyau, on peut dire que c’est un tuyau qui crée son chemin, qui promet d’aller de A à B sans jamais rencontrer l’environnement, et là, la personne qui modifie le réglage du logiciel, en fait elle ajoute de la porosité au tuyau. Et ça fuit. Accident : le véhicule écrase Elaine Herzberg. Donc on pourrait dire : erreur industrielle.

Maintenant, sur le plan humain, cette histoire pose toute une autre série de problèmes. C’est que, par exemple, si Elaine Herzberg meurt, c’est qu’elle n’est pas prise en compte comme être humain. Sa valeur d’être humain a été baissée. Et là j’ai reconnu un critère qu’expose très bien dans ses livres magnifiques Jeanne Favret-Saada (comme celui-ci par exemple, Comment produire une crise mondiale avec Douze petits dessins, qui raconte en détail l’histoire des caricatures de Mahomet, c’est super intéressant), et donc elle explique que à l’origine de plein de conflits, on commence par dire que l’ennemi, c’est pas vraiment des êtres humains, et après, on s’ouvre le droit de les tuer. Et je reconnaissais un peu de ça dans cette histoire. Et ce phénomène, Jeanne Favret-Saada l’appelle l’embrayeur de violence. C’est ce qui fait que quelqu’un, par exemple notre personne chez Uber, ne s’aperçoit pas vraiment qu’il y a quelqu’un qui risque de vraiment mourir, si on change un peu les critères du logiciel. C’est ce qui fait qu’on peut produire quelque chose qui va être très violent, mais sans s’en apercevoir. Et donc c’est redoutable, ça, les embrayeurs de violence. Et ça répond bien à ce qu’on associe avec un « angle mort » : quelque chose de terrible, qu’on ne voit pas venir, parce que notre regard se trouve empêché ou obstrué.

L’histoire d’Elaine Herzberg est quand même un cas très particulier d’angle mort. Les angles morts, on en a l’habitude dans les accidents de la route. Ça doit tuer, chaque année, des centaines et des milliers de personnes. Des gens à vélo, comme Elaine – mais qui viennent de derrière, ou de côté. Ce qu’il y a de bizarre dans le cas des voitures numérisées, c’est que l’angle mort qui a tué Elaine, il était droit devant le pare-brise. Là où, justement, on n’imagine pas qu’il puisse y avoir un angle mort. Là où n’importe quel conducteur humain verrait tout de suite un risque d’accident, et freinerait sans hésiter – s’il ne faisait pas une confiance aveugle au numérique.

C’est peut-être ça que nous dit cette histoire. Non pas seulement que le numérique introduit des angles morts droit devant nos yeux. Mais surtout que – en tant que tuyau qui se substitue à l’environnement – le numérique risque d’être lui-même un angle mort ubiquitaire.

Olivier Bosson

Quatre replis de médialité 

La pensée toujours vivante de Vilém Flusser (1920-1991) invite à penser notre monde sensible comme composé de la superposition et de l’enchevêtrement des quatre replis de médialité, qui se sont accumulés, supplémentés et complexifiés au fil des siècles. Leur dépliement aide à mettre en lumière des couches qui restent généralement cachées sous notre fascination commune pour les nouveautés du numérique.

Le premier repli, le plus profond, est constitué par des images subjectives, que Flusser illustre par les figures peintes sur les parois de Lascaux aussi bien que par les tableaux de la Renaissance. De tout temps, les subjectivités humaines ont perçu des formes qu’elles ont représentées ensuite de façon bi- ou tri-dimensionnelle sur différents supports (croquis, fresque, icône, statue). Même si nous continuons bien sûr à produire de telles images subjectives, elles relèvent pour Flusser d’un régime « pré-historique », dans la mesure où l’entrée dans « l’histoire » est indexée chez lui à l’apparition et à la domination de l’écrit. 

Figure 2 : Quatre replis de médialité d’après Vilém Flusser

Le deuxième repli est en effet celui de l’écriture, par quoi il désigne principalement l’effort réalisé depuis des siècles pour tenter de rendre compte des phénomènes de causalité à travers le traçage uni-dimensionnel de caractères assemblés selon un ordre linéaire. L’écriture instaure un régime « historique » en imposant à notre expérience multi-dimensionnelle et pluri-causale de passer par le fil d’une énonciation linéaire qui distingue un avant d’un après, une cause d’un effet, s’efforçant donc de calquer une articulation causale (explicative) sur une articulation temporelle (narrative). Ce deuxième régime est orienté tout entier vers la production d’un sens, que l’effort d’écriture arrache au non-sens en sélectionnant au sein de tout ce qui serait observable cela seul qui s’avère pertinent pour nous repérer dans la formidable intrication des causalités naturelles et sociales.

Le troisième repli se caractérise par la production de techno-images, c’est-à-dire par la mise en circulation de représentations issues de processus techniques automatisés ne requérant plus d’être filtrés par une subjectivité humaine, comme c’était le cas de l’écriture ainsi que des images subjectives. L’appareil photographique, le gramophone, les caméras du cinéma et de la vidéo nous ont fait basculer depuis le milieu du XIXe siècle dans un monde où les techno-images jouent un rôle de plus en plus hégémonique dans nos modes de communication, d’imagination et de décision. L’une des propriétés cruciales de ces appareils est de saisir des blocs de réalité sans y opérer le moindre filtrage entre ce qui est censé être pertinent ou non. Les images subjectives et les discours écrits ne représentaient que les traits sélectionnés par une subjectivité humaine comme contribuant à la consistance d’une forme ou à la validité d’un argument. Un appareil-photo, un microphone ou une caméra saisissent tout ce qui se trouve présent dans leur champ d’enregistrement, sans discriminer entre le beau et le laid, l’important et le secondaire, le véritable et l’illusoire. 

Pour Flusser, nous entrons progressivement, depuis plus d’un siècle, dans une ère « post-historique », au sein de laquelle la puissance analogique des techno-images prend de plus en plus le pas sur les prétentions de la rationalité scripturale à rendre compte de la réalité par des explications causales. Les différentes formes de « crises » que nous déplorons au sein de la « post-modernité » résultent toutes d’un décalage entre nos vieilles habitudes de pensée et d’action relevant de la période « historique », dominée par le régime de l’écriture, et les nouvelles conditions de médialité instaurées par la domination des techno-images, qui requièrent des comportements d’un autre ordre, que la plupart d’entre nous sommes encore tragiquement incapables de comprendre et d’exécuter.

Depuis le milieu du XXe siècle, le développement d’appareils de computation de plus en plus performants et ubiquitaires surajoute un quatrième repli, au sein duquel des programmes associent la puissance imaginative des images subjectives à la puissance analogique des techno-images, ainsi qu’à la puissance analytique de l’écriture linéaire. Nos programmations médiées par ordinateurs génèrent des modèles, dont la force de reconfiguration de nos réalités et de nos comportements à venir demeure encore largement impensée et impensable. Ces modèles mettent à profit des capacités de saisie, d’enregistrement et de traitement de quantités de données proprement inouïes, pour mettre en circulation avec des moyens de diffusion également inédits des attracteurs de comportement dont la prégnance commence à peine à révéler ses effets.

Les opérations aujourd’hui menées à travers des dispositifs numériques (au sein de la quatrième couche, la plus élevée) doivent être envisagées comme reconfigurant les trois couches inférieures tout en subissant l’inertie et les contrecoups de leurs mouvements propres.

Yves Citton

Références

Flusser, Vilém, 1984, Dans l’univers des images techniques, Dijon, Les presses du réel, 2022.
Flusser, Vilém, 1991, La civilisation des médias, Belval, Circé, 2006.