Faut-il mettre en pause l’IA comme le demande une lettre ouverte signée par un millier de personnalités de la tech (voir sa traduction sur le Grand Continent) ?
L’appel semble un peu contradictoire voire hypocrite. Contradictoire car les signataires demandent de mettre en pause en les développements de l’IA, sous prétexte d’améliorer les garde-fous, alors que les entreprises de la tech ont considérablement dégraissé, quand elles n’ont pas supprimé, leurs équipes chargées de l’éthique de l’IA. Hypocrite, parce que les signataires, outre quelques chercheurs, sont pour beaucoup des concurrents aux entreprises de l’IA qui sont parties devant, comme OpenAI dont aucun membre n’est signataire.
Reste à savoir si les propositions de cette lettre ouverte peuvent vraiment faire quelque chose pour remettre le génie de l’IA dans sa lampe. Pour le chercheur Arvind Narayanan, cette lettre ouverte risque bien plus d’alimenter le battage médiatique autour de l’IA que le calmer. Elle risque au final de rendre plus difficile la lutte contre les préjudices réels et déjà existants de l’IA. Et le risque est qu’elle profite bien plus aux entreprises qu’elle appelle à réglementer qu’à la société, explique-t-il dans un thread sur Twitter.
La lettre énumère 4 dangers de l’IA générative, explique le chercheur. Le premier, la désinformation, est le seul qui soit un peu crédible, même s’il est certainement exagéré. Pourquoi ? Parce que le goulot d’étranglement n’est pas le coût, déjà très bas, de la production de désinformation. Pour l’instant, aucun cas d’utilisation malveillantes depuis les systèmes d’IA génératives type GPT n’ont été documentés, rappelle le chercheur. Pour l’instant, nous avons des cas d’utilisation abusive, comme le fait d’élèves qui l’utilisent pour faire leurs devoirs. Or, ce n’est pas la même chose de former les modèles type ChatGPT à ce qu’ils ne génèrent pas d’informations erronées et empêcher des étudiants qu’ils utilisent l’outil pour tricher à leurs contrôles. Le coût de production des mensonges n’est pas le facteur limitant dans les opérations de désinformation ou de spam, la difficulté pour eux est de trouver les personnes susceptibles de tomber dans le piège de leurs escroqueries. Pour le chercheur, nous devrions être surtout prudent face aux arguments en faveur du maintien voire du renforcement de la propriété de ces systèmes sous prétexte d’utilisation abusives sans preuves, étant donné que ces entreprises ont surtout un intérêt manifeste à défendre la non ouverture de leurs modèles. Les plateformes d’outils d’IA générative devraient surtout être obligées de publier des audits sur la manière dont leurs outils sont utilisés et les abus constatés.
Le second danger qu’évoque la proposition de moratoire repose sur le risque de l’automatisation de tous les emplois, “y compris ceux qui sont gratifiants”. La formule est ridicule, comme si le danger sur les emplois des cadres supérieurs n’était pas le même que celui qui risque de miner les autres emplois. Pour Arvind Narayanan, l’IA générative va bien avoir des effets sur le travail, mais penser qu’elle remplacera demain tous les professionnels est ridicule. La dernière pseudo étude en date, signée Goldman Sachs annonce qu’un quart du travail pourrait être automatisé dans les prochaines années, soit 300 millions d’emplois, permettant d’améliorer le PIB de 7%… Mais ces éléments d’évaluation sont pour l’instant très difficile à valider.
Quand on regarde autrement les résultats d’OpenAI pourtant, on se rend compte que ses bons résultats à des tests de code ou à des examens professionnels ne signifie pas qu’il soit capable de les dépasser. Sur les tests de code, OpenAI résout des questions faciles de tests anciens, mais pas du tout de tests récents, au-delà de la date de mise à jour de sa base d’information. Le fait qu’OpenAI passe des examens et concours humains avec succès ne prédit pas son comportement avec des tâches réelles : le fait qu’il passe l’examen du barreau ne signifie pas qu’il puisse défendre et argumenter un cas concret devant la justice, comme le ferait un avocat. L’inclusion des questions d’examen dans son corpus d’entraînement exagère certainement ses capacités réelles. “La mémorisation est un spectre. Même si un modèle de langage n’a pas rencontré un problème exact dans un ensemble d’entraînement, il a inévitablement vu des exemples assez proches, simplement en raison de la taille du corpus d’entraînement. Cela signifie qu’il peut s’en tirer avec un niveau de raisonnement beaucoup plus superficiel. Les résultats des tests de référence ne prouvent donc pas que les modèles de langage acquièrent le type de compétences de raisonnement approfondi dont les testeurs humains ont besoin, compétences qu’ils appliquent ensuite dans le monde réel.” Comme le souligne la chercheuse Emily Bender, les tests conçus pour les humains manquent de validité de construction lorsqu’ils sont appliqués à des robots. Enfin, sur la question du remplacement des humains par des robots, nous aurions surtout besoin d’études qui évaluent réellement les professionnels utilisant l’aide d’outils d’IA pour faire leur travail. Deux études préliminaires – une sur l’aide au codage et l’autre sur l’aide à la rédaction – montrent une productivité explosive. Mais encore une fois, nous avons besoin d’études qualitatives plus que quantitatives. “Par exemple, Scott Guthrie de Microsoft rapporte un chiffre qui attire l’attention : 40 % du code vérifié par les utilisateurs de GitHub Copilot est généré par l’IA et n’a pas été modifié. Mais tout programmeur vous dira qu’en particulier dans les applications d’entreprise, un grand pourcentage du code est constitué de modèles et d’autres logiques banales que nous copions-collons habituellement. Si c’est cette partie que Copilot automatise, l’amélioration de la productivité serait négligeable. Pour être clair, nous ne disons pas que Copilot est inutile, mais simplement que les mesures n’ont pas de sens sans une compréhension qualitative de la façon dont les professionnels utilisent l’IA. En outre, le principal avantage du codage assisté par l’IA n’est peut-être même pas l’amélioration de la productivité.” Pour Narayanan, il est probable que travailler avec une IA apporte surtout un soutien psychologique, comme de travailler en binôme. Les messages d’erreurs génèrent moins de frustration car les outils d’IA peuvent plus facilement en repérer les causes.
Enfin, rappelle Narayanan, le modèle économique extractif des entreprises de l’IA devrait avoir des contreparties. Elles devraient être taxées sur le matériel qu’elles utilisent… explique-t-il en défendant par exemple une taxe sur les images que l’IA utilise pour financer la culture et le secteur des arts graphiques. Pour cela, encore faudrait-il une volonté politique !
Les 3e et 4e dangers évoqués par la lettre défendant le moratoire sont des risques existentiels (comme le risque “de perdre le contrôle de notre civilisation”). Ce sont des préoccupations que l’on retrouve souvent, des risques à long terme, mais qui sont souvent utilisées de manière stratégique pour détourner l’attention des dangers actuels, notamment des risques en matière de sécurité, les risques de piratage d’information, les mauvaises réponses aux requêtes… Pour faire face aux risques de sécurité, il serait nécessaire surtout que ces entreprises coopèrent plus qu’elles ne le font, mais l’exagération sur les capacités et risques existentiels risque surtout de conduire à un verrouillage accru des modèles rendant plus difficile la compréhension des risques.
Au cours des 6 derniers mois, rappelle Narayanan, on a surtout débattu de la question de la taille des modèles, avec des modèles qui promettent de traiter toujours plus de données. Mais ces améliorations masquent surtout l’explosion de leur connexion au monde réel. Les assistants personnels utilisant ces technologies arrivent et peuvent être construits en quelques heures, sans avoir même à coder quoi que ce soit. Désormais, ce sont des milliers d’applications intégrant l’IA générative qui sont disponibles… et le moratoire ne dit rien à leur propos.
Sayash Kapoor et Arvind Narayanan, qui préparent un livre sur le sujet, ont résumés leurs arguments contre la proposition de moratoire dans un billet qui reprend les points qu’il développait sur Twitter.
Dans un autre fil twitter – repris lui aussi en billet – la chercheuse Emily Bender réagit a son tour à la proposition de moratoire. Elle rappelle d’abord que le moratoire est publié par l’Institut pour le futur de la vie, une organisation longtermiste, dont les fondements sont problématiques, comme nous le rappelait un article de Mais où va le web. Ce mouvement plaide pour un solutionnisme technologique au bénéfice d’une seule “élite”.
Mais surtout, rappelle-t-elle, pour mieux comprendre ces systèmes, nous avons besoin que ceux qui les développent fassent preuve de transparence sur leurs données d’entraînement, l’architecture des modèles et les régimes d’entraînement. Plus que d’un moratoire, c’est de transparence dont nous avons besoin. “Les risques et les dommages n’ont jamais été liés à une “IA trop puissante””, rappelle la co-signatrice de l’article sur les perroquets stochastiques. Le risque repose bien plus sur la concentration de pouvoir entre les mains de quelques-uns et les dangers biens réels que l’IA active déjà que sur les dangers à long terme de l’IA. Pour les déjouer, nous avons bien plus besoin d’améliorer la précision, la sécurité, l’interprétabilité, la transparence, la robustesse, la fiabilité et la loyauté des systèmes…
Même constat chez le chercheur Olivier Ertzscheid, qui rappelle en citant Bostrom et Yudowski : “Les algorithmes de plus en plus complexes de prise de décision sont à la fois souhaitables et inévitables tant qu’ils restent transparents à l’inspection, prévisibles pour ceux qu’ils gouvernent et robustes contre toute manipulation”. Les principes de régulation demeurent, certes, ils sont rendus plus complexes avec la complexification des technologies mobilisées, mais il n’y en a pas d’autres. L’enjeu n’est donc pas d’établir un moratoire, que d’exiger encore plus une transparence inédite.
Pour la chercheuse Timnit Gebru, ce n’est pas à la société de s’adapter aux machines, comme le conclut la demande de moratoire, mais bien aux machines de respecter les exigences de la société. Les mêmes qui ont mis au silence leurs équipes éthiques tentent désormais de reprendre la main sur le débat selon leurs propres termes.
Dans un bon résumé de la polémique sur Vice, la journaliste Chloe Xiang rappelle que le moratoire finalement ne propose aucune action concrète sur les problèmes que posent dès à présent ces systèmes. On est d’accord.
Hubert Guillaud
MAJ : Le DAIR (Distributed AI Research Institute), fondé notamment par Timnit Gebru, vient de publier une réponse à la demande de mise en pause de l’IA qui regrette notamment que cette lettre surestime les potentialités de l’IA et sous-estime ses effets réels et immédiats. “La responsabilité n’incombe pas aux artefacts, mais à leurs concepteurs.” Et les autrices de rappeler que nous avons d’abord besoin de transparence et de responsabilité à utiliser des outils sûrs à utiliser. “
“Les personnes les plus touchées par les systèmes d’IA, les immigrés soumis à des “murs frontaliers numériques”, les femmes forcées de porter des vêtements spécifiques, les travailleurs souffrant de stress post-traumatique lorsqu’ils filtrent les résultats des systèmes génératifs, les artistes qui voient leur travail volé au profit des entreprises et les travailleurs itinérants qui luttent pour payer leurs factures devraient avoir leur mot à dire dans cette conversation.” Et la réponse de conclure en rappelant que nous n’avons pas à nous “adapter aux priorités de quelques individus privilégiés et à ce qu’ils décident de construire et de faire proliférer”. “Il est en effet temps d’agir : mais le centre de nos préoccupations ne devrait pas être des “esprits numériques puissants” imaginaires. Nous devrions plutôt nous concentrer sur les pratiques d’exploitation très réelles et très présentes des entreprises qui prétendent les construire, qui centralisent rapidement le pouvoir et augmentent les inégalités sociales.”
MAJ : Sur son blog, l’un des grands spécialistes de l’IA, Yoshua Bengio, a fait une mise au point par rapport à la demande de moratoire qu’il a signé. Il souligne notamment que ce qui l’y pousse est une accélération du secteur qui ne va pas dans le sens de la transparence et de la science ouverte nécessaires à la responsabilité des systèmes. Il appelle à un investissement public dans ces technologies… passant certainement un peu vite sur la difficulté à rééquilibrer économiquement la donne. Le Financial Times regrettait récemment, en pointant la capture totale de l’IA par l’industrie, que l’université n’était déjà plus capable de créer de grands modèles de langage (même constat dans le AI Index 2023, repéré par The Verge). Ce qui signifie que la science ne peut plus prétendre contrôler ou auditer, indépendamment, ce que font ces modèles. En terme d’investissement, le phénomène suit la même courbe : le secteur privé a investi 340 milliards de dollars dans l’IA en 2021, quand les agences gouvernementales américaines allouent 1,5 milliard au secteur (et un milliard au niveau européen). Bengio explique cependant bien que le problème n’est pas tant la puissance supposée de l’IA que la concentration de pouvoir qu’elle implique ainsi qu’une concurrence effrénée qui donne un avantage aux acteurs les moins responsables, mais qui accaparent par le développement technique des positions économiques stratégiques.
Signalons encore une autre pétition, lancée par les porteurs du projet Laion, qui appelle à créer une organisation internationale pour faire progresser la recherche, la transparence et la sécurité des systèmes d’IA, sous forme d’une institution semblable au Cern et d’une plateforme dédiée à la recherche.
Signalons enfin, une succession d’analyses plutôt pertinentes de Frédéric Cavazza qui rappelle par exemple que nous n’avons pas besoin de plus de contenus, mais de meilleures analyses et son corollaire : la question posée à nouveau n’est pas la suppression du travail, mais sa transformation.
Giada Pistilli, responsable de l’éthique chez HuggingFace, explique pour Hello Future, assez concrètement, les enjeux à la maîtrise des données introduites dans ces systèmes et de leurs productions.
Hubert Guillaud 
2 thoughts on “Un moratoire pour aller où ?”