Comprendre les algorithmes publics

Mick Levy : Des algorithmes dans les services publics ? Oui, et pas seulement pour prédire des fraudes ! De la CAF à Parcoursup [3], ils orientent, ils trient, ils priorisent nos choix, nos décisions, peut-être même nos destinées, parfois sans qu’on le sache vraiment et, le plus souvent, sans comprendre ni comment ni pourquoi. C’est tout cela qu’on va voir ensemble, Soizic il faut que tu nous éclaires là-dessus. Concrètement, qu’est-ce qu’un algorithme public, aujourd’hui, et comment décide-t-on ce qu’il fait ou ce qu’il ne fait pas ?

Soizic Pénicaud : Vaste question. On peut rentrer dans le dur directement.
Déjà, on peut tout de suite mentionner une chose. Effectivement, on a déjà abordé les IA prédictives, les robots tueurs, les IA absolument tentaculaires. Dans l’administration, les algorithmes publics prennent des formes très différentes, parfois beaucoup plus simples, avec des technologies qui sont beaucoup moins complexes que celles auxquelles nous pouvons penser dans notre imaginaire. L’automatisation de l’administration publique commence par l’automatisation, par exemple, du calcul des impôts, ce sont les années 70, par des systèmes très simples ; c’est une première forme d’algorithme public.

Mick Levy : Tu dis « très simple », c’est d’un point de vue technique, parce que d’un point de vue des règles qui sont dedans, on connaît la complexité des impôts !

Soizic Pénicaud : Oui, exactement. Et en vrai, même d’un point de vue technique, c’est assez compliqué, mais là où je veux en venir c’est qu’on pense souvent, notamment en ce moment, à l’intelligence artificielle avec du machine learning, du deep learning, voire de l’IA générative, alors qu’en fait, dans l’administration, ça prend des formes très diverses, notamment des fichiers excel, des tableurs de calcul, ce genre de chose ; les impôts ne sont pas calculés dans un tableur de calcul excel, je vous rassure.

Cyrille Chaudoit : Non, c’est dans une base Access !

Mick Levy : Non plus. Ce que tu nous dis c’est que les impôts c’est ce qu’on appelle quelque chose de déterministe, ce que chacun va payer d’impôt est défini par des règles de fonctionnement qui sont basées, d’ailleurs, sur la loi, en l’occurrence c’est légal, alors que dans des applications plus avancées techniquement en intelligence artificielle, on va y venir, c’est ce qu’on appelle du non-déterminisme, ce n’est pas un humain qui est venu déterminer quel allait être le résultat du calcul de l’IA, mais des mécanismes beaucoup plus complexes, c’est ce que tu vas nous expliquer.

Soizic Pénicaud : Exactement. Peut-être pour citer d’autres exemples très concrets, comme ça on a une base sur laquelle parler, tu as parlé de Parcoursup dans ton introduction, donc Parcoursup, pareil, c’est un système qui n’est pas prédictif, c’est un système qui attribue un score en fonction de paramètres pour faire de l’appariement entre une offre et une demande, l’offre ce sont les places dans l’enseignement supérieur, la demande ce sont les candidates/candidats. On pense aussi aux algorithmes qui sont utilisés pour attribuer les greffons, les dons d’organes. Pour les greffons cardiaques, par exemple, il peut aussi y avoir des algorithmes. Ensuite on a tous ces systèmes auxquels on pense beaucoup plus spontanément, qui sont les systèmes prédictifs, qui vont potentiellement être basés sur des méthodes statistiques ou plus avancées type deep learning [4], même si c’est encore assez rare dans l’administration, qui vont permettre de prédire des situations futures, qui peuvent être utilisés dans la lutte contre la fraude, en tout cas dans le système social, donc côté CNAF, côté France Travail, mais aussi dans d’autres applications. Je rajouterais un dernier exemple de ces algorithmes : maintenant, avec l’IA générative, de nouvelles applications peuvent s’envisager, notamment pour générer du contenu, et là on peut penser à plein de chatbots qui existaient avant mais qui embarquent de nouvelles technologies.

Mick Levy : On va entrer dans le détail. On veut justement que tu nous donnes du concret sur ces usages.
Pour bien résumer, si j’ai bien compris, l’attribution des impôts, le choix des personnes qui vont bénéficier d’un greffon quand elles ont besoin d’une greffe, pour tous ces exemples, c’est déterminé par des règles, c’est déterminé par des humains derrière, et il y a eu un encodage de ces règles dans un ordinateur qui les exécute sans aucune surprise. Là où ça devient un peu plus tricky, on va dire, c’est quand on a des algorithmes, tu as cité le deep learning et autres, ou simplement d’intelligence artificielle, qui vont commencer à émettre des règles avec aussi de l’intelligence artificielle générative, ce sont les exemples que tu as commencé à nous donner. Un exemple dont on parle beaucoup dans les médias, c’est celui de la CAF [Caisse d’allocations familiales]. Peux-tu nous en parler un peu plus en détail parce que là on est bien dans de l’intelligence artificielle complète.

Soizic Pénicaud : C’est hyper-intéressant que tu mentionnes tout de suite la CAF comme exemple, parce que, en réalité, l’algorithme de la CAF n’est pas si complexe que ça. Pour les statisticiens/statisticiennes d’entre vous c’est une régression logistique [5]. C’est un système statistique déterministe.

Mick Levy : C’est un système statistique déterministe : on sait dire à l’avance quel résultat il va y avoir en fonction de la donnée qu’on lui donne en entrée.

Soizic Pénicaud : Exactement. Tout le monde pourrait calculer s’il avait accès aux paramètres.
Je vais peut-être recadrer ce qu’est l’algorithme de la CNAF parce qu’on en parle. Je dis CNAF, mais ce sont les CAF. En gros, la CNAF c’est la Caisse nationale des allocations familiales, c’est la cheffe des autres CAF.
Les CAF utilisent, depuis le début des années 2010, un algorithme pour attribuer à chaque foyer d’allocataire un score de risque qui correspond à la probabilité que ce dossier allocataire comporte des erreurs, des erreurs qui, souvent ont entraîné la CAF à avoir versé trop d’argent aux allocataires, même si ça peut être aussi, parfois, trop peu d’argent. On peut en parler comme d’un algorithme de lutte contre la fraude, parce que certaines de ces erreurs, certaines de ces incohérences sont frauduleuses, mais, en réalité, c’est une minorité et ce que disent les CAF c’est qu’elles cherchent surtout n’importe quel type d’erreur pour pouvoir verser le bon montant à chaque allocataire.
Pour revenir sur le côté technique, ce système est un système qui est prédictif mais qui se base sur des méthodes qu’on peut expliquer, ce n’est donc pas une boîte noire, on peut l’ouvrir. Je pense que c’est important de le dire pour deux raisons. La première c’est de redire que malgré les imaginaires qui peuvent se cacher derrière, en fait, la plupart des systèmes, même s’ils s’affichent comme compliqués, ils ne le sont pas techniquement, et quand bien même les systèmes sont des boîtes noires, par exemple avec les techniques de deep learning, il y a toujours des choix humains derrière, c’est juste que les choix humains se situent à un autre niveau, par exemple sur la décision d’avoir recours à un algorithme, mais aussi les jeux de données qui vont être utilisés, les paramétrages, etc. Donc, même si les règles ne sont pas décidées par des humains, on a toujours des choix humains derrière, ce qui est hyper-important à retenir.

Mick Levy : Explique-nous quel est le problème avec l’algorithme de la CAF. Pourquoi en a-t-on autant entendu parler dans les médias ? Quel est le problème ?

Soizic Pénicaud : Oui, et dans votre podcast aussi, j’ai entendu plusieurs invités en parler.

Mick Levy : Certains l’ont effectivement dénoncé.

Cyrille Chaudoit : On salue Marius [6] au passage, il est venu en parler.

Mick Levy : Il revient très vite.
C’est un exemple un peu iconique de la mauvaise utilisation de l’IA et ce n’en est pas complètement au sens technique du terme, ce n’est pas encore de l’IA dans les algorithmes publics. Quel est le problème ?

Soizic Pénicaud : Avec une vraie question sur ce qu’est la définition de l’intelligence artificielle, je pense qu’on pourra y revenir.
Pour présenter le problème très concret de l’algorithme de score de risque des CAF, le problème c’est que cet algorithme est amené à attribuer un score de risque beaucoup plus haut aux personnes les plus précaires et les plus vulnérables.
Très concrètement, parmi les critères qui font augmenter votre score, il va y avoir si vous êtes une famille monoparentale, les familles monoparentales, en France, sont d’ailleurs majoritairement des femmes. On voit donc déjà que les mères célibataires sont désavantagées.
Un autre critère qui va faire augmenter votre score de risque, c’est si vous touchez l’allocation adulte handicapé et que vous travaillez en même temps.
Ce qui va faire augmenter votre score, c’est si vous avez des variations dans vos revenus. C’est souvent le cas des personnes qui cumulent différents jobs ou bien qui ont des situations professionnelles instables.
es personnes les plus contrôlées vont donc être les personnes qui vont toucher le RSA, la prime d’activité, donc les minima sociaux, par opposition, par exemple, aux allocations familiales qui sont beaucoup moins contrôlées, qui sont aussi versées par la CAF. C’est, en gros, le problème.

Cyrille Chaudoit : Si on résume, à ce stade, le problème qui concerne les CAF, la CNAF, c’est que le système en lui-même n’est pas si complexe que ça, tu l’as dit, en revanche dans son paramétrage ou dans son déterminisme il a tendance à être un peu biaisé, parce que, du coup, il va aller s’intéresser davantage à des situations qui sont déjà précaires, pour éviter les trop-perçus, parce que derrière, on comprend bien la mécanique, c’est compliqué d’aller récupérer, ensuite, l’argent, une fois que ça a été versé, etc. C’est sujet à débat, évidemment, mais on comprend.
On comprend aussi qu’il y a algorithmes d’un côté, intelligence artificielle de l’autre, quand bien même on pourrait définir à nouveau intelligence artificielle, etc. La grosse différence entre l’informatique d’hier, qui était déterministe, avec des algorithmes qui répondaient justement à des arbres de décision, et une intelligence artificielle qui est censée, entre guillemets, « raisonner » elle-même, on retrouve là cette dichotomie. On a évoqué un certain nombre d’outils et d’algorithmes déterministes, on a parlé pour l’instant de la CAF, des impôts, de Parcoursup, etc. Malgré tout, autant on comprend à peu près comment fonctionnent les impôts parce qu’on a déjà rempli sa déclaration des revenus, autant quand on entend parler de Parcoursup, à chaque fois on a l’impression que ça reste malgré tout une boîte noire, parce qu’on ne comprend pas bien comment ça fonctionne. La transparence ne commence-t-elle pas là ?, c’est-à-dire expliquer quelles sont les règles déterministes, avant même de se poser la question de quand une intelligence artificielle prend des décisions, entre guillemets, « elle-même », là, on va encore un cran plus loin. Qu’en est-il de cette transparence des algorithmes publics aujourd’hui ?

Soizic Pénicaud : Tout à fait, c’est exactement ça. En fait, il y a des systèmes qui ne sont pas si compliqués techniquement, dont on pourrait rendre transparents les paramètres, dont les paramètres ne sont actuellement pas rendus transparents et je pourrai y revenir. Pour moi, la transparence doit être encore plus large que ça.
L’un des problèmes actuels, c’est que ces critères-là sont rarement rendus publics par l’administration. J’irais même plus loin, l’administration rend rarement publique l’existence des algorithmes qu’elle utilise.
Il y a plusieurs raisons avancées par l’administration.
Par exemple, pour Parcoursup, un article de loi a d’ailleurs introduit une exception à la règle de publication des critères de calcul qui est « protéger le secret des délibérations pédagogiques ». On dit que les systèmes ne doivent pas être connus par défaut pour protéger le libre arbitre, ce genre de chose. On peut y revenir, on peut contester ça.
Côté CNAF, la CNAF a dit que si on ouvre les paramètres de l’algorithme les fraudeurs vont s’en servir pour tromper le système. Un argument, je vais y revenir, qui est assez intéressant à deux niveaux : d’une part, parce qu’on voit bien que la CNAF joue habilement entre la double utilisation à la fois pour les erreurs et pour les fraudes, puisqu’il est majoritairement utilisé pour détecter les erreurs, donc, techniquement, c’est un argument qui tient pour une partie du système, mais pas pour toute son utilisation ;
la deuxième chose, c’est que la plupart des critères utilisés par la CNAF, je l’ai rappelé précédemment, sont des critères socio-économiques, ça voudrait dire qu’il faudrait que j’abandonne un de mes enfants, ça changerait mon score, mais je ne sais pas si quelqu’un veut abandonner son enfant pour changer son score.

Cyrille Chaudoit : Il y en a bien qui en font pour avoir des prestations sociales.

Soizic Pénicaud : Apparemment ! Bon !

Mick Levy : Ça veut dire qu’il faut juste traverser la rue pour avoir un emploi stable, comme dirait Emmanuel Macron ! À un moment donné, ce n’est pas très compliqué ! Merde !

Soizic Pénicaud : Je ne ferai aucun commentaire !
On voit que ce sont des arguments qui sont avancés par les administrations, qu’on peut contester aussi.

Cyrille Chaudoit : On voit donc qu’il y a un certain nombre de risques avec tout ça, les risques d’exclusion, d’erreurs, de discrimination, etc., mais bon passons ! Tu as le bonjour d’Albert. Passons aux intelligences artificielles, passons à Albert qui a fait notamment l’objet de toute une partie d’un sujet dans une émission sur France TV, Cash Investigation en l’occurrence [7] . Quelles sont ses particularités de Albert ? Qui a pensé à Albert ? Ce qui nous interroge beaucoup aussi c’est de savoir qui sont les faiseurs de ces technos qu’utilise ensuite l’administration publique française. Est-ce que c’est fait en interne ? Est-ce que c’est acheté à l’extérieur ? Partons sur Albert et explorons cette piste pour savoir qui est derrière ces technos qui arrivent aujourd’hui sur les postes de travail de nos fonctionnaires, des agents.

Soizic Pénicaud : Albert, en tout cas Albert France services [8] est un outil qui a été développé par la Direction interministérielle du numérique [9] en lien avec des prestataires, une espèce de collaboration entre l’administration et des prestataires privés, pour mettre à disposition des agents des maisons France services un chatbot/moteur de recherche pour pouvoir répondre aux questions des personnes qui viennent prendre rendez-vous dans les maisons France services.

Cyrille Chaudoit : Un mini ChatGPT à échelle française.

Soizic Pénicaud : Exactement, et c’est basé sur un LLM [Large Language Model]. Je ne sais pas s’il faut que j’explique LLM dans votre émission, quelqu’un s’en charge pour moi je crois.

Mick Levy : Ne t’inquiète pas, on s’en charge. C’est un grand modèle de langage, ce sont les grands modèles qu’on retrouve derrière ChatGPT. En fait, ils ont refait un modèle à la ChatGPT mais entraîné beaucoup sur des données françaises, dédié à l’administration et recréé, je crois, quasiment de zéro ou à partir d’une souche en open source pour que ce soit aussi le plus souverain possible, le mieux maîtrisé.

Soizic Pénicaud : C’est ça. En tout cas, l’objectif affiché c’est la souveraineté. Un certain nombre d’informations techniques sont disponibles sur GitHub, donc, si les plus techniques d’entre vous veulent aller voir, ils peuvent. Il y avait cette volonté que ça soit souverain et que ça ne soit pas dépendant, justement, d’entreprises américaines.

Mick Levy : Du coup, quel est le problème avec Albert ? Est-ce que ça fonctionne bien ? Est-ce que ça donne satisfaction ? Est-ce que ça y est, peut-on dire que l’administration française fait de l’IA ou pas ?

Soizic Pénicaud : Personnellement, je n’ai pas travaillé directement sur Albert. En revanche, je peux vous dire ce qui me pose question dans la démarche. Ceci étant dit, je voudrais aussi dire que je considère qu’Albert France services est un algorithme qui est moins dangereux que l’algorithme de score de risque de la CAF, je pense qu’il faut aussi faire la distinction entre des usages plus ou moins dommageables pour certaines personnes.

Cyrille Chaudoit : Oui c’est important. Il faut rappeler qu’Albert est au service des agents pour les aider à formuler des réponses plus facilement à des administrés, c’est ça ?

Soizic Pénicaud : C’est ça, en tout cas c’est c’est l’objectif du système. On peut se poser plusieurs questions. Est-ce que ce sont les agents qui ont fait cette demande ? Qui a décidé que les agents avaient besoin d’un tel outil ? Par exemple, est-ce que les agents manquent vraiment de temps, dans les maisons France services, pour répondre à des demandes ? Peut-être, mais c’est quelque chose qu’il faut vérifier. Si le problème c’est le manque de temps, quand on sait, par définition, que même si un LLM cite ses sources, il faut aller vérifier systématiquement les informations, est-ce que ça permet ce gain de temps ? Je ne sais pas. Ce sont des questions qu’on peut se poser et après on peut se poser aussi la question des résultats : si on s’est fixé des objectifs, Albert atteint-il ces objectifs ? Par ailleurs, on sait qu’il y a des exemples : dans la ville de New-York, un chatbot mis à disposition des chefs d’entreprise par la municipalité donnait des résultats complètement désastreux, donc les exemples publics qu’on a ne sont pas très probants.
Partant de tout cela, la question principale que j’ai pour Albert c’est : où est le programme d’expérimentation public et où sont les évaluations ? L’enjeu n’est pas de ne pas expérimenter, on peut expérimenter sur des choses, notamment si le problème est bien défini, qu’on a fait participer les utilisateurices et les personnes touchées, ça me paraît très intéressant, mais quelles sont les conditions de cette expérimentation ? Est-ce qu’on sait comment on va évaluer le système ? Quels ont été les résultats de cette évaluation ? Et si les résultats ne sont pas probants, est-ce qu’on va décider de stopper l’expérimentation ? Pour le coup, ce sont des choses qui ne sont pratiquement jamais rendues transparentes, ce sont des chiffres qu’on produit avec l’ODAR, l’Observatoire des algorithmes publics, sur lequel je pourrai revenir, mais qui sont très importants pour le débat démocratique, notamment parce que ça coûte aussi beaucoup d’argent public.

Cyrille Chaudoit : Exactement. Et c’est non seulement frappé au coin du bon sens, mais, en plus, tu faisais mention de notre public, ça devrait parler à notre public parce que c’est exactement la même logique en entreprise, il y a une notion d’UX design [User">eXperience design]. Pourquoi a-t-on besoin, ou pas, d’une IA à un moment donné, d’un LLM à un moment donné ? Pour quoi faire ? Plutôt que foncer tête baissée sur un truc parce que, entre guillemets, « c’est à la mode », ou parce qu’on a l’impression qu’on va laisser passer le train et qu’on va encore être pris pour des guignols, c’est se poser cette question-là d’abord et puis mettre les moyens qui vont bien pour mesurer l’efficacité du truc. Tout le monde se gargarise des soi-disant gains de productivité qu’on est censé obtenir avec et, parfois, c’est vécu comme un caillou dans la chaussure par ceux qui l’utilisent, donc, de fait, ils ne l’utilisent pas.
Effectivement, ça ne communique pas sur l’intérêt, sur les résultats, sur les critères d’évaluation. Comment faites-vous, à l’ODAP, pour enquêter là-dessus ?

Soizic Pénicaud : Peut-être, avant de répondre à ta question, je voudrais souligner un point par rapport à ça. Cette approche par la tech, par l’outil, par la technologie plutôt que par le problème, a des conséquences qui sont très concrètes en matière de politiques publiques. On peut remonter à l’exemple de la CAF. À la CAF, on se rend compte que les erreurs dans les dossiers des allocataires, qui génèrent notamment des trop-perçus, sont dus à un manque d’information préalable des allocataires, les allocataires ne savent pas quelles ressources ils doivent exactement déclarer. Au lieu d’essayer de trouver une solution en aval, donc après coup, de contrôler les allocataires pour rectifier les erreurs, on pourrait essayer de les prévenir.

Cyrille Chaudoit : Plus de pédagogie et de communication en amont.

Soizic Pénicaud : Pédagogie, communication, adaptation de la législation, ça pourrait même être du numérique, il y a plein de choses à imaginer. Le fait de se concentrer sur la technologie pour le contrôle ou bien améliorer l’algorithme de contrôle ce qui, à mon sens, est un non-sens mais c’est un autre sujet, nous empêche d’ouvrir notre imagination, d’être créatifs et d’être innovants, justement, dans les solutions qu’on peut proposer.

Mick Levy : Est-ce que ce n’est pas la même chose. Tu peux dire que ce score sert finalement à cibler les personnes pour une bonne information auprès d’elles, de celles qui ont plus besoin de la bonne information pour ne pas faire d’erreurs.

Soizic Pénicaud : On pourrait dire ça, mais si on voulait vraiment aider les personnes, parce qu’il y a des personnes qui ne reçoivent pas assez d’argent de la CAF, ça s’appelle les rappels, on pourrait imaginer qu’on utilise cet algorithme en priorité pour identifier les personnes qui devraient percevoir plus d’argent. Ce n’est pas le choix de la CAF. En fait, la CAF a optimisé son modèle pour les indus. On voit donc que, dans les choix techniques, on a des décisions qui sont très politiques mais qui sont cachées sous couvert d’objectivité, je pense que c’est important de le rappeler. Et le même outil peut être utilisé pour des emplois très différents, donc ça peut être aussi une pente glissante ou alors quelque chose qui pourrait être bénéfique. Je ne suis pas là à dire que la technologie est neutre.

Mick Levy : Surtout pas.

Cyrille Chaudoit : Si on revient à la question de la façon dont vous allez chercher ces fameuses informations, tu es passée d’abord par un petit chemin de traverse en rappelant qu’il y avait quand même un impact politique très fort. Il y a en un qui est évident, notamment dont on a conscience aujourd’hui parce qu’on parle de budget : ne pas se poser la question d’aller développer ou faire développer par d’autres des outils dont on n’a pas forcément besoin et qui ne sont pas forcément efficaces, ça a aussi un coût, rappelons-le.

Soizic Pénicaud : Tout à fait un coup, un coût qu’on connaît assez mal parce que ces informations-là ne sont pas publiques. Donc en gros, le constat duquel on est parti avec mes deux cofondatrices de l’Observatoire des algorithmes publics, qui s’appellent Estelle Hary et Camille Girard-Chanudet – bonjour à elles, on les salue – c’est que malgré l’utilisation croissante de l’automatisation, des algorithmes, de l’intelligence artificielle dans l’administration, on n’a toujours pas un panorama de ce que l’administration utilise, malgré l’existence de certaines obligations légales, mais qui, de toute façon, ne couvrent pas tous les systèmes.

Cyrille Chaudoit : Tu veux dire qu’on ne sait pas, qu’on n’a pas une cartographie de tous les algorithmes qui sont utilisés par l’administration française aujourd’hui, il y a des zones d’ombre.

Soizic Pénicaud : Exactement, il y a majoritairement de l’ombre.
Déjà, dans un premier temps, on s’est dit qu’il existe déjà, en réalité, un certain nombre d’informations sur quelques algorithmes qui existent publiquement, qui sont partagés soit par les administrations elles-mêmes, donc via de la communication, dans des rapports, dans ce genre de chose, ou alors parfois, si elles ont respecté leurs obligations légales, sur des pages en ligne, ou bien par des chercheurs, des chercheuses, ou bien par des associations comme La Quadrature du Net qui a également fait un gros travail sur les algorithmes de la CNAF [10].

Cyrille Chaudoit : Et la Cour des comptes justement. La Cour des comptes fait le job, comme ce sont des investissements, normalement tout ça doit être audité. Non ?

Soizic Pénicaud : La Cour des comptes a sorti un rapport [11] très intéressant, l’année dernière, sur l’IA au ministère de l’Économie et des Finances que je vous invite à lire. J’ai trouvé que c’était une lecture très divertissante, je ne suis pas sûre que ça soit le cas de tout le monde. On a les passe-temps qu’on peut, qu’on mérite, je ne sais pas !

Mick Levy : Moi je suis dans le rapport l’AIE, l’Agence internationale de l’énergie sur le poids environnemental de l’IA, je vous le conseille aussi, 300 pages ! Passionnant, pareil.

Soizic Pénicaud : Je vois qu’on a les mêmes week-ends, super !
On voit, par exemple, que la Cour des comptes a réussi à avoir des informations sur des algorithmes dont on ne connaissait pas l’existence, parce que, pour leur audit ils ont fait des demandes, ils sont dans le détail. La Cour des comptes a notamment accès à des informations auxquelles nous n’avons pas accès.
À l’ODAP, on n’a pas forcément les moyens, mais, dans un premier temps, on veut montrer que c’est possible, avec les informations qui existent, de rassembler déjà des informations de base sur un certain nombre d’algorithmes qu’on va mettre sur une base de données en ligne, accessible à tout le monde et c’est ce qu’on a fait.

Mick Levy : Soizic, dans la deuxième partie on va revenir en détail sur tous ces éléments de solutions, de transparence qui sont nécessaires, etc. J’ai une autre question avant, je me dis que dans l’administration on est régulièrement face à un grand dilemme : comment faire pour qu’à la fois l’administration ne soit pas has been et qu’on ne dise pas « de toute façon, avant que l’administration mette de l’IA, il va se passer encore des décades », tu entends le refrain.

Cyrille Chaudoit : Avec cette voix-là en plus.

Mick Levy : Avec cette voix-là, il y a toujours une voix de vieux con dans ces moments-là. Et en même temps qu’on mette de l’innovation dans l’administration, pourquoi pas avec l’IA, parce que c’est évidemment un grand levier d’innovation en ce moment, de façon éclairée, raisonnée, sans que ça coûte trop cher, ce que tu nous dis, et sans que ça pose de problème aussi. Tu nous as en donné quelques illustrations. Comment fait-on ? Parce que si l’administration ne faisait rien en IA, n’avait pas tenté Albert qui est effectivement une initiative souveraine, qui n’utilise pas OpenAI et tous les autres trucs américains, ce qui est quand même une bonne approche, c’est une première, et malgré ça tout le monde leur tombe dessus en leur disant « ce que vous faites, c’est nul ! ». Comment fait-on dans l’administration avec ça ?

Soizic Pénicaud : Encore une fois, allez voir les informations sur Albert, je suis pas sûre qu’ils n’aient pas eu du tout recours à OpenAI. Il faut rappeler, je ne rentrerai pas dans les détails, qu’il est impossible faire une IA souveraine aujourd’hui parce que faire une chaîne de production d’une IA, on peut faire des efforts, mais c’est très difficile.

Mick Levy : Déjà, si le modèle est hébergé sur une infrastructure de confiance, souveraine, voire avec le certificat SecNumCloud [12] si on va au bout du bout, et qu’elle a été, a minima, fine-tunée, ré-entraînée à partir de données francophones et qu’on a pris un modèle open source au départ, on est quand même pas mal.

Soizic Pénicaud : Tu dis que c’est mieux que rien.

Mick Levy : Mais comment résout-on le dilemme ?

Soizic Pénicaud : Le dilemme que tu te poses c’est comment on n’empêche pas l’administration d’innover tout en le faisant avec des garde-fous suffisants. C’est ça ?

Mick Levy : Voire comment on incite l’administration à innover, parce que je pense, j’imagine qu’elle en a besoin aussi.

Soizic Pénicaud : Je suis désolée, mais j’aimerais quand même reposer cette question : que veut dire innover ? On peut innover de plein de manières et, parfois, on a tendance à penser que la technologie c’est forcément une innovation.

Mick Levy : En tout cas, comment on active ce levier de l’IA ?, et ce n’est pas le seul, bien sûr.

Soizic Pénicaud : Je suis désolée, je suis un peu poil à gratter, mais il y a vraiment aussi cette question : est-ce qu’on a vraiment besoin de tester toutes les technologies, d’innover absolument et de les intégrer absolument ? C’est vraiment une question que je veux réitérer, elle est importante, parce que sinon, parfois, ça nous force à essayer de trouver des solutions à un problème qui n’existe pas.

Mick Levy : Tu accepterais le fait qu’on dise que l’administration n’a aucune initiative en IA pour l’instant, parce que trop coûteux, parce que trop incertain.

Cyrille Chaudoit : Parce que peut-être pas utile, tout simplement, c’est encore une question de cas d’usage.

Soizic Pénicaud : C’est ça.

Mick Levy : C’est même le point de vue que tu encouragerais ?

Soizic Pénicaud : Je ne dis pas qu’il faut pas utiliser l’IA, je demande juste si le jeu en vaut effectivement la chandelle sur certains usages. Albert France services, si on reprend cet exemple, mais il y en a d’autres, est-ce que c’était vraiment un besoin exprimé par les agents ?

Cyrille Chaudoit : C’est une question à laquelle nous n’avons pas la réponse. En revanche, j’ai un élément de réponse intéressant. Yann Fergusson, de l’Inria, qu’on a reçu dans Trench Tech, on vous invite à lire ses publications et surtout à écouter son épisode [13], dit dans un quotidien : « Albert atteint près de 65 % de pertinence, ce qui correspond aux performances les plus avancées des grands modèles de langage – tempère Yann Ferguson –, avec cependant une forte volatilité – c’est là que ça devient intéressant – parfois c’est parfait, parfois ce sont des hallucinations », comme on en trouve dans tous les LLM. 65 % de pertinence.

Mick Levy : Je voudrais amener un autre élément qui a été amené par quelqu’un qu’on a reçu aussi, Jacques Priol [14] qui a fait l’Observatoire des usages de l’IA dans le domaine public, Datapublica [15], qui dit « 60 % de shadows AI », je vais expliquer ce que sont des shadows AI : ce sont des agents publics, dans les collectivités, il est allé voir, qui utilisent des IA grand public dans le cadre professionnel, donc en partageant, en laissant fuiter des données dans les échanges qu’ils ont. Donc ça montre bien que oui, il faut, a minima parce qu’on y est poussé par les agents.

Cyrille Chaudoit : Quand tu bosses dans une agence France services, tu ne vas pas faire avec ChatGPT, l’équivalent en « RAC », entre guillemets, de ce que tu pourrais faire avec Albert qui a été entraîné spécifiquement sur les sources, on sait que ce sont de trucs particuliers, mais bon.

Soizic Pénicaud : Dans les collectivités, pour reprendre les observations de Jacques Priol, qu’on salue, il y a des offres qui se constituent autour d’outils spécifiques pour les collectivités, pour faire du RAG [Retrieval Augmented Generation] [16] pour faire des recherches, pour rédiger des délibérations, je ne pense pas que cela soit complètement aberrant. Je dis juste que souvent le problème est mal posé : on se dit qu’on veut utiliser l’IA, où est-ce qu’on va aller pour utiliser de l’IA ? Au lieu de se demander ce qu’on peut améliorer dans le service public et, partant de ce qu’on veut améliorer, se demander si l’IA peut répondre à ce problème. Dans ces cas-là pourquoi pas ! Une fois qu’on a décidé cela, quelles conditions on met en place. C’est pareil, je ne suis pas très fan de dire que le privé fait mieux que le public.

Mick Levy : On ne tombera pas là-dedans non plus.

Soizic Pénicaud : Exactement. Partout on demande, quand on teste un truc, qu’on ait des conditions de réussite, des objectifs, et, si on n’atteint pas les objectifs il y a des conséquences et cela n’est pas forcément tout à fait suivi dans l’administration et ailleurs. C’est-à-dire que même quand l’expérimentation est un échec ou n’a pas les résultats escomptés, on est amené à vouloir continuer parce qu’on a peur de dire qu’on s’est trompé. S’il y avait vraiment cette culture de l’expérimentation et de modération, pourquoi pas ! Mais, en l’occurrence, je constate c’est que tout ça n’est pas rempli, donc, à partir du moment où ces conditions-là ne sont pas remplies, c’est compliqué de se targuer d’être innovant, parce que, pour moi, on est juste en train d’essayer de trouver des solutions à des problèmes qui n’existent pas forcément.

Mick Levy : Super. Merci Soizic pour tous ces éléments, pour avoir accepté. On n’a pas si souvent des bouts de débats où on souffle un peu, comme ça, c’est bien, c’est chouette.

Cyrille Chaudoit : Je t’avais annoncé la couleur. Aujourd’hui, bienvenue dans cet épisode de Trench Tech, avec Mister Spicy and Tasty.

Mick Levy : C’est le moment de prendre une petite respiration avec la « Tech entre les lignes » de Louis de Diesbach.

La « Tech entre les lignes » – L’effet ELIZA

Greg : Aujourd’hui, Louis j’adore, parce qu’on m’a parlé d’un texte qui a posé un concept pour les années qui ont suivi, l’effet ELIZA.

Louis de Diesbach : C’est bien ça, même si, comme souvent, ce n’est pas du tout l’intention de l’auteur.
L’article de Joseph Weizenbaum intitulé « ELIZA » [17], un programme informatique pour l’analyse de la communication en langage naturel entre l’homme et la machine, publié en 1966, c’est d’abord et avant tout un article d’ingénierie qui revient sur le travail d’une équipe qui configure un chatbot.

Greg : Donc, c’est un papier technique à destination d’un public technique.

Louis de Diesbach : En gros, oui, une super lecture de vendredi soir.
L’article s’ouvre avec des considérations techniciennes sur le type de machine qui fait tourner ELIZA et sur le but recherché. Pour faire simple, l’objectif c’est que la machine lise et inspecte le texte d’entrée, ce qu’on appelle aujourd’hui le prompt et tente d’y trouver des mots-clés. Si un tel mot est trouvé, le prompt est transformé en fonction d’une règle spécifique et ça donne une réponse qui, puisqu’elle est formulée sous forme de question, entraîne une réponse, donc un dialogue.
Par exemple, tu pourrais mettre « mon père a peur de tout le monde » et ça donnerait comme réponse : « Qu’est ce qui vous vient à l’esprit quand vous pensez à votre père ? ».
Weizenbaum explique alors que la difficulté principale, d’un point de vue technique, réside dans le fait de trouver le mot-clé et ne pas se tromper parce qu’il pourrait y en avoir plusieurs dans un seul prompt, etc. Il faut ensuite choisir la bonne transformation et l’appliquer convenablement, ce qui n’est pas évident. Et l’auteur de poursuivre sur des questions statistiques et mathématiques pendant une large majorité de l’article.

Greg : D’accord. Donc, en fait, c’est juste du code, un algo et pourtant.

Louis de Diesbach : Et pourtant oui, tout est là parce que Weizenbaum constate qu’il a été très difficile, parfois, de convaincre certains utilisateurs du caractère non-humain d’ELIZA. Et l’auteur de s’impressionner devant cette démonstration d’un succès au test de Turing en 1966. Le chercheur explique, c’est d’ailleurs en fait facilité par la posture que prend la machine, qu’elle adopte celle d’un psychologue rogerien dont, en gros, la méthodologie part du principe que le thérapeute peut ne rien connaître du monde. En fait, c’est idéal quand, derrière, tu as juste du code.

Greg : Et Weizenbaum, qu’en tire-t-il lui ?

Louis de Diesbach : D’abord, il rappelle que ce n’est pas son domaine. Il dit que la question de la crédibilité de la machine devrait être davantage explorée. Il ne peut pas s’empêcher d’être abasourdi à quel point il semble facile de créer et de maintenir une certaine illusion de la compréhension et de la relation. La machine était initialement nommée ELIZA en rapport avec l’Élissa de Pygmalion qui semble réelle mais qui ne l’est pas. Si le psychologue rogerien ELIZA dit « je comprends », en fait, il ou elle ne comprend rien du tout, ce n’est que du code.

Greg : Et plus de 50 ans plus tard, ça nous dit quoi ?

Louis de Diesbach : Ça nous dit qu’il serait bon de relire les vieux textes ou d’écouter « La tech entre les lignes ». Weizenbaum explique, dans sa conclusion, qu’il y a clairement quelque chose de dangereux dans le fait de pouvoir si facilement manipuler l’opinion. Je pense que la relecture de cet article nous rappelle aussi à quel point on n’est pas maître de ses articles. Turing n’a jamais parlé de test de Turing et Weizenbaum ne mentionne aucun effet ELIZA. Ils ont pourtant vu leur texte leur échapper d’une certaine manière.
Enfin, dans ses deux dernières phrases, l’auteur rappelle qu’il souhaite enlever l’aura magique de son chatbot et que, dans le sens le plus froid, ELIZA n’est qu’un, je cite, translating processor. Pour tomber amoureux, on repassera !

Voix off : Trench Tech – Esprits critiques pour Tech Éthique.

Transparence, régulation et pouvoir

Cyrille Chaudoit : Superbe chronique de l’ami Louis et, vous l’aurez noté, Greg, le monteur, s’est désormais approprié les chroniques de Trench Tech, c’est lui qui pose les questions. On le salue. Salut Greg.
On a coutume de dire que lorsqu’on a un marteau, on voit des clous partout. On a vu, dans cette première séquence, que le risque de vouloir mettre de l’IA de façon un petit peu rapide, peut-être gratuite parfois, est un véritable risque. Parallèlement, on demande aux citoyens de faire confiance aux algorithmes, mais sur quelle base, d’ailleurs la rhétorique nous y pousse : on nous parle d’IA de confiance, d’IA responsable, etc., et on vient d’évoquer que les règles, les biais, les effets, restent quand même souvent opaques, de même, parfois, que l’identité des entreprises qui les ont codés au service de l’administration française dont on aimerait être sûr, au passage, qu’elle-même sait bien ce qu’elle achète pour des bonnes raisons, pas uniquement pour l’effet de mode ou pour la passion qu’elle nourrit pour les plateformes américaines, je me comprends. Alors comment nous assurer que ces algorithmes publics soient au service du bien commun, Soizic ? Que dit la loi française sur ce sujet, tu l’as évoqué plusieurs fois, mais on aimerait bien, quand même, en savoir un tout petit peu plus ?

Soizic Pénicaud : Tout à fait. Pour commencer peut-être deux choses. Je vais, dans un instant, parler de la loi française sur la transparence des algorithmes publics.

Cyrille Chaudoit : C’est bien. Soizic fait le teasing.

Mick Levy : Elle nous prépare, attention.

Soizic Pénicaud : C’est pour construire, un tout petit peu de patience.
Juste avant, je voudrais redire que quand on parle d’algorithmes publics, on parle de politiques publiques. Et, quand on parle de politiques publiques, on a plein de lois qui ne concernent pas la tech mais qui s’appliquent aux algorithmes. Par là, j’entends par exemple tout le cadre sur la non-discrimination, un cadre qui s’applique à toute politique publique, tout algorithme, voire tout usage dans le secteur privé. Je pense que c’est important de le rappeler parce qu’on a tendance, tout de suite, quand on voit algorithme, quand on voit IA, à se focaliser sur les choses qui sont spécifiques à ces systèmes techniques, alors qu’il y a tout un ensemble de choses qui sont beaucoup plus larges et qui sont aussi très utiles pour se rappeler qu’il y a des droits fondamentaux à respecter et que ça devrait être la base de tout.

Cyrille Chaudoit : Le Bigger Than Us mais appliqué à la technique. L’algorithme n’est qu’un moyen, il faut donc vraiment parler d’autre chose que simplement être focalisé sur les réglementations en matière d’algorithmie.

Soizic Pénicaud : C’est ça et ne pas réinventer la roue.
Ceci étant dit, on peut considérer la transparence comme non suffisante mais un préalable, un prérequis au fait que l’administration développe des systèmes de manière raisonnée, éclairée, etc., restant redevable, en fait, envers les citoyens et citoyennes, de la transparence. Il y a un cadre français, spécifique, qui n’est pas le RGPD [Règlement général sur la protection des données], qui est encore autre chose, qui est dans le Code des relations entre le public et l’administration, pour les gens qui aiment ce genre de chose, et je vais en parler aussi en termes de droits plutôt qu’en termes d’obligations des administrations.
Donc vous, en tant que citoyen ou citoyenne, si un algorithme est utilisé pour prendre ou pour aider à prendre une décision administrative qui vous concerne, vous avez le droit de savoir qu’un algorithme a été utilisé, c’est l’obligation de mention explicite des administrations. Par exemple, quand vous recevez vos allocations chômage, vous avez le droit de savoir qu’un algorithme a été utilisé pour ce calcul.
Vous avez le droit de comprendre ce qui a mené à cette décision, notamment les paramètres, mais aussi la manière dont le système a été utilisé par un agent, par exemple.
Et tout le monde a le droit de connaître les principaux algorithmes utilisés par les administrations, donc les administrations ont l’obligation de réaliser un inventaire de leurs algorithmes et de le publier, par exemple sur leur site internet.

Cyrille Chaudoit : Vous avez le droit de : vous avez le droit de savoir, vous avez le droit de comprendre, vous avez le droit de connaître, ça ne dit pas comment on exerce ce droit. Est-ce que, parce qu’on a le droit, l’administration est obligée de nous communiquer de façon proactive ou est-ce qu’on a le droit de poser la question ? Ce qui n’est pas tout à fait la même chose.

Soizic Pénicaud : C’est très vrai.
Mention explicite, c’est une obligation proactive des administrations, elles doivent le dire ;
l’explication individuelle, donc les paramètres, c’est à la demande de la personne ;
et la publication de l’inventaire c’est une obligation par défaut, pareil, sans demande de personne.

Mick Levy : Soizic, comment fait-on pour les algorithmes complexes qu’on a pu évoquer, par exemple Albert ? Albert ce sont des milliards de paramètres, comment les communique-t-on au public ? Il n’y a pas d’explicabilité, ces algorithmes-là sont des boîtes noires, donc comment donne-t-on des traces au public ?

Soizic Pénicaud : Il y a deux choses.
Déjà, Albert ne tombe pas sous le coup de ces obligations parce que ce n’est pas un algorithme qui permet de prendre des décisions. Il y a donc aussi les limites de cette loi qui ne s’applique qu’à des cas très spécifiques. On peut aussi aller plus loin avec la transparence. Si on voulait rendre transparent Albert, il faut se souvenir de deux choses.

Mick Levy : Ou d’autres algorithmes. Prenons un exemple d’algorithme réel. Parfois ce sont aussi des dizaines ou des centaines de paramètres, ça peut donc être complexe en termes de transparence. Comment fait-on ?

Soizic Pénicaud : Ce qu’on entend par transparence, ce n’est pas que la transparence technique du système, ce ne sont pas que les paramètres, ce sont tous les choix qui vont être autour et dans les choix ça peut être, notamment sur les algorithmes plus complexes, les jeux de données utilisés, les poids qu’on peut rendre publics aussi, ce sont des choses techniques, mais ça peut être aussi le processus qui a mené à la décision de recourir à un algorithme. Ça peut être, pareil, les documents d’évaluation, ça peut être les documents des budgets, ça peut être un schéma qui montre quel rôle joue l’algorithme dans la prise de décision, par exemple si c’est un score qui est utilisé par un agent de contrôle comme à la CAF, quel rôle le score joue dans la décision de l’agent de contrôler ou non les dossiers. On voit donc que l’opacité technique n’est pas un obstacle à la transparence parce qu’il y a plein de choses qu’on peut rendre transparentes au-delà de la technique. Il y a d’ailleurs des pays qui le font, qui ont des guides sur ça, notamment le Royaume-Uni qui a un inventaire assez fourni et les Pays-Bas aussi qui encouragent à aller au-delà de cette transparence technique.

Mick Levy : Nous sommes sur Nantes, on le dit souvent, on enregistre à Nantes, on enregistre, d’ailleurs rappelons-le, dans les locaux de l’ISEGCOM, on les remercie, merci Guillaume, bisous, merci de nous prêter le studio.

Cyrille Chaudoit : C’est l’épisode de tous les bonjours, des mercis.

Mick Levy : Nantes a été assez précurseure puisqu’il y a publication directement, sur le site web de la ville, mais aussi sur des sites ouverts, des algorithmes qui étaient utilisés dans le public, notamment sur la tarification solidaire des transports, je crois aussi sur le domaine de la cantine, bref. Est-ce que c’est le type d’initiative à suivre ? Est-ce que c’est suffisant ? Est-ce que d’autres domaines publics ont emboîté le pas ?

Soizic Pénicaud : Oui, tout à fait. Typiquement Nantes a été une des premières, voire une des seules administrations à faire un pas vers le respect de son obligation légale de publication des algorithmes.

Mick Levy : Nous sommes bons les Nantais, je vous le dis !

Soizic Pénicaud : Oui, et même en Europe. Oui, tout à fait. Je viens de rendre un rapport sur les inventaires d’algorithmes publics en Europe et j’ai fait un inventaire d’inventaires, on est bien dans le meta, il y en a une quarantaine et Nantes fait partie de ces villes. À Nantes, ils ont été assez ambitieux aussi parce que, justement, il me semble qu’ils ont voulu publier les codes sources aussi des algorithmes publiés. Ce qui veut dire aussi que si on n’a pas le code source, qu’on ne peut pas publier le code source, il peut y avoir une hésitation à publier des algorithmes pas finis ou moins bien documentés. Le message que j’aurais c’est : publiez même s’il y a moins d’informations. Ce qui est très important, pour l’instant, c’est de savoir que les algorithmes existent, c’est déjà un premier pas qui est hyper-important.
En tout cas dans le domaine de la transparence, avoir une liste des algorithmes que les administrations utilisent, c’est un premier pas qui est essentiel et qui, pour l’instant, est encore très balbutiant.

Mick Levy : Si on résume un peu. En termes de prescriptions, tu nous as dit plusieurs choses, je prends un peu de recul.
Tu nous as dit qu’il faut d’abord réfléchir à là où on met des algorithmes et puis ne pas tout comme des clous quand on a un marteau, il faut se poser la question : est-ce utile, judicieux ?
Tu nous dis qu’il faut faire preuve de transparence, donc déjà indiquer qu’il y a un algorithme pour ça, c’est le niveau zéro de la transparence, je pense qu’on peut le dire, c’est une obligation légale.
Et puis faire de la transparence sur la façon dont sont prises les décisions, comment est construit l’algorithme, quels en sont les résultats.
Docteur Soizic, as-tu d’autres éléments, dans la prescription, à nous donner pour un bon usage des algorithmes dans le domaine public ?

Soizic Pénicaud : C’est une bonne question. On peut aussi parler de participation citoyenne, de participation des personnes concernées. Parfois, j’ai peur de ça parce que je pense qu’il peut y avoir un peu un théâtre de la participation, une participation washing. Par exemple, pour Parcoursup, c’est assez rigolo. Suite à la réforme d’APB, ils avaient fait une réforme de tout le système et le public avait été amené à choisir le nom de la plateforme. On voit donc que le niveau de la participation ! C’est intéressant.

Mick Levy : C’est effectivement du democratic washing, c’est clair.

Soizic Pénicaud : Un de mes chevaux de bataille, mon grand cheval de bataille, c’est la discrimination et les conséquences sur les droits fondamentaux. Ça va être se concentrer sur l’impact que ces systèmes vont avoir sur les droits fondamentaux et ça peut passer par des évaluations techniques, ça peut effectivement passer par la participation des personnes concernées.

Mick Levy : Ça me fait penser à un exemple qui, pour le coup, est positif, je crois, mais je veux être sûr que ça a bien tourné. France Travail, en l’occurrence, a monté un comité d’éthique autour de l’IA, j’avais entendu Jean-Gabriel Ganascia s’exprimer là-dessus et expliquer que le comité éthique s’était exprimé contre le fait de faire un score d’employabilité pour tous les chercheurs d’emploi parce que c’était trop discriminant et ça n’avait pas dû être appliqué. Je crois avoir entendu ça il y a environ deux/trois ans. Où ça en est ?

Soizic Pénicaud : C’est une bonne question. Je crois que La Quadrature du Net a publié un article sur France Travail [18] qui parle de ce score d’employabilité.
Je pense que les comités d’éthique c’est intéressant parce que c’est toujours intéressant de mettre en place des garde-fous. La question c’est : est-ce que l’avis de ce comité d’éthique a effectivement été suivi ? Et souvent, avec ce genre d’instance, on constate que c’est un avis consultatif, que l’administration n’est pas tenue de donner suite. Je peux donner un exemple positif que je trouve vraiment bien, c’est sympa. En termes de participation, la ville de Portland a mis en place – il y en a aussi en France, mais je vais parler de Portland pour nous faire un peu voyager –, un comité de trois personnes qui sont choisies annuellement, qui sont rémunérées, qui siègent dans ce comité pour avoir un droit de regard sur les technologies de surveillance utilisées par la ville, donc tout ce qui va être caméras, etc. Ce que j’aime dans cet exemple, c’est que ce sont des personnes qui sont rémunérées, il y a donc une compensation de leur travail qui est importante, ce sont des personnes qui sont choisies pour être représentatives des différentes populations qui sont servies dans la ville de Portland et qui peuvent donc porter aussi une voix un peu plus collective, cet aspect collectif me paraît hyper-important, avec vraiment cette volonté d’écouter leur voix et pas seulement que ça soit une consultation qui viendrait entériner, apporter une espèce de tampon participatif sans qu’en réalité ces personnes aient vraiment pris part à la décision.

Cyrille Chaudoit : Tu nous as dit que les comités éthiques c’est bien, mais ce n’est pas toujours suivi parce que c’est consultatif, néanmoins ça intervient quand même en amont plutôt que d’aller chercher en aval des preuves du bien-fondé de la démarche, de l’évaluation des risques mais aussi de l’évaluation des performances, etc. On voit bien qu’il y a quand même un gap notamment avec ce qui est légalement obligatoire, on n’y est pas. Quelles sont les autres initiatives pour combler ce manque de transparence, quand bien même il est légal ? C’est entre les mains de qui ? C’est, une fois de plus, aux citoyens à devoir faire l’effort de comprendre tout ça, ensuite de se regrouper pour demander des comptes ? Que faut-il faire ? Je sais que tu milites, tu as écrit, tu as contribué avec un collectif de journalistes, Lighthouse Reports [19] je crois, à révéler un certain nombre de choses. Est-ce que ça ne doit passer que par des activistes ?, auquel cas on va mettre du temps, je pense. Quelles sont les autres initiatives ?

Soizic Pénicaud : C’est une très bonne question. Je pense qu’il y a deux niveaux.
Il faut que l’administration s’empare de ces sujets et il faut déjà que l’administration remplisse mieux ses obligations légales et se prépare aussi à l’entrée en vigueur de l’AI Act, du règlement européen sur l’intelligence artificielle [20] qui pose de nouvelles obligations, c’est intéressant, notamment des obligations avant la mise en œuvre des systèmes, etc.

Cyrille Chaudoit : Il faut que l’administration française respecte ses obligations, d’accord, à qui cela appartient-il de les lui faire respecter puisque, pour le moment, elle ne les respecte pas totalement ? Quel est le cadre contraignant qu’il faut mettre en place pour qu’elle les respecte ?

Soizic Pénicaud : C’est une bonne question et, pour tout vous dire, sur qui pour faire respecter, en termes de recommandations de politiques publiques, ce sont des questions sur lesquelles je me concentre moins, en tout cas maintenant, parce que je pense que c’est aussi très important de constituer des contre-pouvoirs citoyens. La charge de ce travail ne devrait pas reposer uniquement sur les associations, les collectifs de journalistes, les citoyens/citoyennes, en fait c’est injuste de faire ça et ce n’est pas à eux de faire respecter la loi. Idéalement, c’est au régulateur, ça va être la CNIL qui, normalement, devrait aussi être chargée de la mise en application de l’AI Act, ça va être aussi les équipes de la Défenseure des droits qui ont des pouvoirs et qui peuvent porter un regard sur ces systèmes, ça pourrait être la DINUM, puisqu’elle développe des systèmes. Quand je travaillais à Etalab, je travaillais justement sur la mise en œuvre de ce cadre légal de la transparence, mais la DINUM est une administration, ce n’est pas un pouvoir externe, on peut le rappeler aussi. Il y a donc des gens, dans l’administration, qui peuvent s’en saisir. Il y a aussi des collectivités qui le font très bien. On peut penser à tout ce qui va être les personnes en charge de la protection des données, les personnes en charge de la non-discrimination, les directions de la transformation numérique soit interministérielles, soit ministérielles, soit dans les collectivités, toutes ces personnes-là peuvent s’engager, en fait, pour parler de ces systèmes et aussi, je finis ma longue litanie, les administrations métiers qui sont en charge de secteurs, par exemple la protection sociale. Donc les administrations elles-mêmes doivent se poser la question : comment je fais dans mon domaine ou dans mon travail ? On a parlé de France Travail, on a parlé de la CNAF, toutes ces administrations doivent s’en saisir en fait.

Cyrille Chaudoit : C’est super cette longue liste. Si, parmi vous, il y en a qui font partie de cette liste, on compte vraiment sur vous, sincèrement.

Mick Levy : C’est un appel.

Soizic Pénicaud : C’est tout à fait vrai.

Mick Levy : Est-ce que tu vois d’autres domaines qui sont à risque, qui vont être particulièrement à surveiller dans les mois qui viennent ? Je parle pour la France mais peut-être qu’on peut s’inspirer de ce qu’ont fait d’autres pays qui ont peut-être une forme d’avance, pas très bonne pour le coup, qui pourraient arriver en France et dont il faut se méfier de façon un peu proactive ?

Cyrille Chaudoit : Continuons de voyager.

Soizic Pénicaud : C’est une question très intéressante. J’ai un prisme très protection sociale, on en a déjà parlé donc je ne vais pas m’étendre. Après, ce sont des tendances qui sont très importantes en Europe et dans le monde, c’est donc un sujet qu’il faut continuer à regarder.

Mick Levy : Je pense au domaine de la sécurité, par exemple avec les caméras, etc. Beaucoup d’expérimentations pendant les JO vont être continuées.

Cyrille Chaudoit : C’est une donnée structurelle.

Soizic Pénicaud : Exactement. Qui vont être continuées, prolongées. Dans le domaine de la santé, aussi, pas mal d’initiatives peuvent être aussi dans les administrations publiques.

Cyrille Chaudoit : Comment mettre le débat démocratique là-dessus ? Il faut solliciter les citoyens dans ce cas-là ? On parle beaucoup de référendum sur d’autres sujets, mais quel serait le meilleur moyen de solliciter l’avis des citoyens pour la vie démocratique ?

Soizic Pénicaud : Je n’ai pas d’injonction globale. Ma démarche a été de me dire qu’il y a déjà des gens qui travaillent sur ce sujet dans différents secteurs, des gens organisés. Ça va être des associations, par exemple, dans le domaine de la santé, des associations de patients. Il y a aussi des syndicats qui travaillent sur la question ; sur les droits sociaux, la CNAF sait travailler avec des associations d’accès aux droits sociaux. Ma démarche c’est de travailler avec ces collectifs-là qui réfléchissent déjà à ces questions, qui ont une expertise de terrain et qui peuvent ensuite intégrer les problématiques numériques dans leur mandat global et dans leur réflexion globale. Je pense que c’est quelque chose qui peut être puissant, parce que, encore une fois, on ne réinvente pas la roue : les algorithmes servent à mettre en œuvre des politiques publiques spécifiques et on peut travailler avec des gens qui sont déjà concernés par ça.

Cyrille Chaudoit : Exactement. Je crois qu’on va conclure cet épisode sur cette phrase tout à fait positive : il faut que chacun se prenne en main, il faut un véritable maillage et, avant tout ça, il faut une sensibilisation pour que tout le monde comprenne ces enjeux et tout ce qu’il y a derrière. J’espère que, modestement, nous y aurons contribué grâce à toi, Soizic dans cet épisode.
Un grand merci.
On vous invite, vous qui écoutez l’épisode de Soizic, à réécouter notre épisode avec Laure Lucchesi [21], que tu connais puisque tu l’as croisée à Etalab, Laure avec qui on m’avait parlé d’open data, « Les données au secours de la démocratie », justement, saison 3, épisode 8, allez sur notre site web.
Merci Soizic.
Vous qui nous écoutez ou qui nous regardez, restez encore quelques minutes, on va débriefer juste Mick, moi-même et Greg le monteur, des bonnes idées qui ont été partagées avec Soizic.
À très bientôt Soizic.

Mick Levy : Au revoir Soizic. À bientôt.

Soizic Pénicaud : Merci. Au revoir.

Voix off : Trench Tech – Esprits critiques pour Tech Éthique.

Le Debrief

Mick Levy : Les algos, c’est de la politique publique et il faut remettre les algos au service de la politique publique et pas la politique publique qui va se faire influencer par les algos, finalement. C’est fort cette pensée.

Cyrille Chaudoit : Oh, là, là, ça y est, il est parti comme en 40.
J’ai fait une petite boulette. J’ai oublié, au moment de remercier notre ami Soizic, de rappeler l’adresse de l’Observatoire des algorithmes publics, odap.fr, et vous pouvez suivre Soizic sur Linkedin et sur Bluesky.

Mick Levy : On avait dit qu’on l’appelait Soiz, c’était sympa cet épisode en déente

Cyrille Chaudoit : Très sympa, avec Soizic qui était en détente, effectivement, mais qui nous a un peu tendus sur deux/trois sujets. On reproche très souvent aux GAFAM, pour les nommer, en tout cas aux entreprises privées, de pomper toutes nos data, de nous surveiller avec, etc., avec tout un tas de biais des algorithmes, voire des IA, qu’on ne comprend pas bien. Quand ça se situe au niveau de l’administration, française monsieur, de surcroît, ça a aussi de quoi nous inquiéter, surtout qu’on voit que l’administration publique commet la même erreur, malheureusement, que pas mal d’entreprises, toi qui accompagnes les entreprises et moi aussi, c’est-à-dire « on y va parce qu’il faut en faire » et, parfois, on ne s’est pas posé la question : est-ce qu’on en a vraiment besoin ? Salue Albert !

Mick Levy : Tu veux directement aller sur cette question-là, c’était le moment chaud de l’épisode, ça nous a fait complètement déraper du timing, sachez que normalement on est sur 20 minutes environ sur chacune des séquences, ça a duré une demi-heure, il fallait en parler. Il y a une vraie tension là-dessus, tu dis qu’on le voit dans le privé, mais on le voit aussi dans le public : comment, en même temps, faire de l’innovation, le volet technologique de l’innovation, qui nécessite forcément de tester, forcément de ne pas être sûr, forcément de dépenser de l’argent pour explorer puis voir ce qui va se passer, puis parfois ça marche, parfois ça ne marche pas, et en même temps être bien respectueux des politiques publiques et se dire qu’on veut répondre à un problème et pas juste tester un nouvel outil parce qu’il y a un nouvel outil qui sort. L’innovation est là aussi. Je suis assez partagé sur ce point-là du truc. Bien sûr, au moment de généraliser, il faudrait être hyper prudent sur les l’IA, mais il faut que même dans le public on puisse tester pour savoir ce qui va marcher ou pas.

Cyrille Chaudoit : Elle ne dit pas qu’il ne faut pas tester, elle ne dit pas qu’il ne faut absolument pas d’IA, etc., elle dit simplement qu’il ne faut pas mettre la charrue avant les bœufs, de façon assez triviale.
Ce que j’ai aimé aussi, c’est qu’on a remis un peu la mairie au centre du village, comme on dit, en matière d’algorithmes et d’intelligence artificielle. Il y a eu beaucoup de bruit autour d’Albert, les maisons France services, etc., mais il y a déjà énormément d’algorithmes qui sont à l’œuvre, ces fameux algorithmes dits déterministes, dans la plupart des administrations françaises, on a parlé des impôts, on a parlé de Parcoursup, on a parlé du gros scandale autour de la CNAF et des différentes CAF. Savoir qu’il y en a qui sont programmés de façon déterministe, disant « s’il se passe ça, alors tu décides ça, etc. », c’est déjà une première avancée pour comprendre la différence avec les IA. Mais, dedans, elle nous dit « attention, ce n’est pas parce que c’est déterministe que c’est plus clair, qu’on comprend tout – ceux qui pratiquent Parcoursup comprendrons. Il y a aussi des biais humains : quand elle nous dit que la CNAF préfére cibler les trop-perçus, plutôt ceux qui ne touchent pas suffisamment d’argent, en tout cas en temps et en heure, ça fait partie de choix qui sont des choix qui nous engagent tous à l’échelle démocratique : est-ce qu’on considère ça normal ?

Mick Levy : Elle a redit que l’algo c’est de la politique publique et pas l’inverse. Tu as effectivement raison, il faut vraiment le voir, c’est ce qu’elle nous dit, sous l’angle de ce que ça crée, des services que ça crée, des problèmes que ça va poser et au service de la politique publique finalement.
Son grand combat, c’est finalement celui de la transparence.

Cyrille Chaudoit : Et du débat démocratique.

Mick Levy : Tu as raison, elle ne dit pas qu’il ne faut pas faire d’innovation, j’ai un petit peu caricaturé. Par contre, elle a raison de le dire, toute expérimentation doit être faite en transparence, doit être pilotée, doit être maîtrisée, doit être mesurée, il doit y avoir une évaluation de cette expérimentation et, dans le domaine public, elle devrait être totalement transparente, elle devrait être livrée aux citoyens pour l’exercice démocratique.

Cyrille Chaudoit : Par design et par obligation et il y a des obligations légales, elle nous le rappelle, et tout le monde ne les suit pas. Il y a donc un véritable sujet, là aussi éminemment démocratique : si tu ne suis pas les obligations, tu vas te faire rattraper par la patrouille. Tout à l’heure on a parlé de municipalité en citant Nantes. Si tout le monde ne joue pas le jeu, qui va leur taper sur les doigts et est-ce que c’est fondamentalement le job, à chaque fois, des citoyens, des journalistes, des collectifs, dont, en plus, certains ont beau jeu de dire que ce sont toujours les mêmes qui viennent nous enquiquiner, etc. ». Je trouve qu’il y a un jeu de dupes, là-dedans, qui n’est pas très agréable à entendre et en prendre conscience ça énerve un petit peu.

Mick Levy : Tu as bien raison et elle montrait bien que, finalement, il faut que ce soit toute la société qui puisse s’impliquer dans cet exercice démocratique autour des algorithmes. Elle a cité des agences étatiques, elle a cité la CNIL et autres, elle a cité des collectifs de citoyens mais aussi des associations et, finalement, on voit que c’est un vrai point de choix démocratique dont il faut se saisir aussi aujourd’hui.

Cyrille Chaudoit : Et pour cela, il faut d’abord que les gens soient éclairés. Tout le monde a tendance à penser que ces sujets de la tech, des algorithmes et des IA en particulier, sont tellement techniques que c’est l’apanage de simplement quelques experts et qu’ils ne peuvent pas les penser par eux-mêmes. J’espère que modestement, chez Trench Tech, on vous aide sur ce plan-là. Merci nous écouter. Merci de nous suivre.

Nous avons passé plus ou moins 60 minutes ensemble pour exercer notre esprit critique sur la transparence des algorithmes publics. On espère que cet épisode avec Soizic Pénicaud vous a autant plu qu’à nous et on espère aussi que vous allez continuer à exercer votre esprit critique pour une tech plus éthique en notre compagnie. Si c’est le cas, n’oubliez pas de nous mettre cinq étoiles sur Apple Podcasts ou sur Spotify, peu importe, là où vous nous écoutez, en tout cas de lever un pouce sur les réseaux sociaux et sur YouTube, ça vous prend quelques secondes et ça donne du sens à ce que l’on fait.
Et puis, pour nous quitter, Mick, j’ai envie de vous laisser méditer sur ce que nous disait Patrick McGoohan. Vous savez qui est Patrick McGoohan ? Non, ça ne vous dit rien ? Eh bien, c’est le célèbre agent Numéro 6 de la série Le Prisonnier en 1968, il nous disait : « Je ne suis pas un numéro, je suis un homme libre alors je ne veux pas être pressé, fiché, estampillé, marqué, démarqué ou numérisé, numéroté ». Dites-nous ce que vous en pensez en commentaire sur nos réseaux sociaux.
À très bientôt.