L’informatique ne peut pas faire d’erreur !

Le “scandale de la Poste britannique” n’a pas fait grand bruit chez nous (hormis notamment dans Le Monde, dès 2021, et documenté régulièrement depuis). C’est l’histoire d’un logiciel de comptabilité et d’inventaire pour gérants de petits bureaux de Poste (le logiciel Horizon, développé par Fujitsu) qui produisait des soldes comptables incorrects qui a conduit a accuser plus de 3000 personnes de fraude, conduisant à d’innombrables drames humains : condamnations, faillites, emprisonnements, suicides… comme le résume très bien l’article de Wikipédia. La diffusion en janvier d’une série au succès spectaculaire sur les ondes britanniques sur le sujet (Mr Bates vs The Post Office) a bouleversé l’opinion et poussé jusqu’au Premier Ministre a réagir.

La série Mr Bates vs. the Post Office.

Dans l’édito que la revue Nature consacre à ce scandale, le magazine souligne que l’un des problèmes qu’a rencontré la justice britannique… était que la jurisprudence considère que l’informatique ne peut pas faire d’erreur ! En Angleterre et au Pays de Galles, les tribunaux considèrent que, en droit, les ordinateurs fonctionnent correctement, sauf preuve du contraire.

“La principale source d’injustice potentielle avec une loi qui présume que les opérations informatiques sont fondamentalement correctes est que si quelqu’un veut remettre en question ou contester les preuves informatiques… il lui incombe de produire la preuve d’une utilisation ou d’un fonctionnement inapproprié.” Or, apporter cette preuve est particulièrement difficile sans accéder au code du logiciel. Les accusés d’Horizon n’en avaient aucun moyen et il a fallu une procédure collective et opiniâtre pour qu’ils arrivent à se faire entendre par la justice et par la Poste britannique.

L’avocat britannique Paul Marshall et ses collègues estiment que la présomption de fiabilité doit être remplacée par l’exigence que les données et le code puissent être divulgués devant les tribunaux. “Si nécessaire, cette divulgation doit inclure les normes et protocoles de sécurité des informations ; les rapports d’audits de systèmes ; les preuves démontrant que les rapports d’erreurs et les modifications du système ont été gérés de manière fiable ; et les enregistrements des mesures prises pour garantir que les preuves ne soient pas falsifiées.” Si ces éléments montrent que le système est problématique, alors le juge doit pouvoir demander une inspection plus précise.

Quand ils sont mis en cause, les systèmes informatiques devraient pouvoir être inspectés par les tribunaux. Leur supposée fiabilité, comme le secret commercial, ne devraient pas être des obstacles à la vérité.

Hubert Guillaud

One thought on “L’informatique ne peut pas faire d’erreur !

  1. Et je crois que le malentendu est dû à un manque de pédagogie des informaticiens… Plutôt que de dire que l’ordinateur est une machine déterministe, qui pour une entrée A sortira toujours B, on a dit que la machine “ne se trompait pas”… Ceci dit, on trouve d’une certaine manière déjà l’idée de l’infaillibilité dans la première nouvelle portant mettant en scène une forme d’IA, “l’Homme le plus doué du monde”, par Edward Page Mitchell (1879).

    Like

Leave a comment