Voix off : France culture – Les matins d’été – Julie Gacon.

Julie Gacon : En arrivant au bureau tôt ce matin, j’ai voulu retrouver une phrase croisée chez Hannah Arendt, évoquant l’État moderne au tournant des années 60. Je ne l’avais plus précisément en tête, mais il me semblait que l’avènement de l’intelligence artificielle dans les services publics, dont nous parlons ce matin, était une confirmation de ce qu’avait théorisé la politologue et philosophe. J’écris donc dans la barre de recherche « dans une bureaucratie développée, il ne reste plus personne à qui l’on puisse présenter des griefs », c’est à peu près ce que j’avais en mémoire. J’avais oublié que, depuis la fin juillet, Google propose avant toute chose une réponse formulée par intelligence artificielle. L’IA me confirme la phrase, la complète, me donne quelques éléments de contexte et m’interroge : « Souhaitez-vous explorer comment Hannah Arendt explique ce problème ou parler de son impact sur la vie de tous les jours ? Bien sûr la vie de tous les jours, mais je l’ai gardé pour moi ; « Merci Monsieur, restons-en là, on a beaucoup mieux dans ce studio. »
Bonjour Soizic Pénicaud.

Soizic Pénicaud : Bonjour.

Julie Gacon : Merci d’être avec nous, bienvenue. Vous êtes chercheuse et consultante indépendante en politique publique de l’intelligence artificielle. Vous êtes cofondatrice de l’Observatoire des algorithmes publics [1] et enseignante à Sciences Po Paris.
D’abord Soizic Pénicaud, pour bien poser le cadre de cette discussion, parler de l’IA dans les services publics c’est parler d’intelligence artificielle générative, d’algorithmes, d’outils d’assistance ou de prise de décision ? De quoi parle-t-on ce matin ?

Soizic Pénicaud : Oui, c’est vrai que ça fait beaucoup de termes en même temps. Peut-être que le point d’entrée très actuel c’est l’IA générative, l’intelligence artificielle générative que sont donc ces nouveaux systèmes type ChatGPT ou Google Overview dont vous venez de parler, qui permettent de générer du contenu – du texte, des images, des sons – à partir d’une requête en langage naturel, en langage humain. Des annonces ont été faites par le gouvernement, il y a quelques semaines, selon lesquelles l’administration allait accélérer l’utilisation de ces outils pour faire de la transcription d’entretiens ou de réunions, pour assister les agents publics avec l’Assistant IA [2] dans la rédaction de textes, dans la synthèse, pour faire de la traduction également. Mais en réalité, quand on parle d’automatisation au sens plus global dans l’administration, c’est une histoire qui est beaucoup plus longue. Dès les années 70 notamment, on a eu une numérisation du système des impôts et une automatisation des calculs. Il est vrai qu’on ne voudrait peut-être pas que les humains calculent à la main nos impôts ou nos allocations sociales. Mais c’est aussi, notamment depuis le début des années 2010, une accélération des systèmes pour faire des prédictions, par exemple des algorithmes utilisés par la Direction générale des entreprises pour prédire les entreprises à risque de faillite et mieux les accompagner, mais aussi les algorithmes utilisés par les administrations sociales pour contrôler les allocataires. On a beaucoup entendu parler du score de risque des CAF, également de France Travail plus récemment.

Julie Gacon : On développera bien sûr tout à l’heure.

Soizic Pénicaud : C’est aussi notamment Parcoursup [3], tout le monde connaît Parcoursup. On voit qu’on a tout un ensemble de systèmes qui sont utilisés, qui recouvrent des technologies très différentes, mais qui ont des impacts très importants.

Julie Gacon : D’ailleurs certains systèmes sont plutôt présentés comme améliorant le quotidien des agents, automatisant des tâches répétitives. Quoi qu’il arrive, nous dit-on, un humain vérifiera que le résultat est correct. Par exemple, pour les systèmes de retranscription d’entretiens dont vous parlez et qu’utilise la police, le système PAROLE pour retranscrire par exemple des auditions d’enfants victimes. Sur ces outils d’intelligence artificielle présentés comme bénins, avez-vous déjà des interrogations ?

Soizic Pénicaud : J’ai des interrogations sur cela parce que, en réalité, on retrouve à peu près les mêmes discours qu’on avait sur des algorithmes qui étaient plutôt des systèmes statistiques où on nous disait « ça va assister les agents, les agents vont vérifier, ne vous inquiétez pas, tout est contrôlé. » En réalité, sur de la retranscription d’entretiens, notamment dans des contextes de grande importance, on sait que l’IA générative peut faire des erreurs puisqu’on rappelle que ce sont des systèmes qui ne raisonnent pas, qui vont fonctionner par probabilités. Par exemple, dans la retranscription d’entretiens, il peut y avoir des erreurs de retranscription qui, si elles ne sont pas vérifiées, peuvent avoir des conséquences très importantes.
Un exemple sur de la retranscription ou de la synthèse : dans le système médical on s’est rendu compte que certains modèles vont avoir tendance à minimiser les problèmes de santé des femmes et à prendre au sérieux ceux des hommes. Généralement ces systèmes fonctionnent plutôt bien, nous avons donc tendance à abaisser notre vigilance. Mais si une erreur se glisse, ne serait-ce que dans une retranscription sur 100 ou une synthèse sur 100, quelle est la conséquence pour cette personne ? Et cela pose vraiment question, même si ces systèmes sont présentés comme de simples systèmes de productivité ou d’assistance des agents.

Julie Gacon : D’autant qu’on ne sait pas encore aujourd’hui à quel point cette intelligence artificielle peut déresponsabiliser au bout d’un moment, parce que c’est répétitif, parce qu’on ne sait plus tellement ce qu’on fait tous les jours ; ça s’accumule. En plus, ces technologies sont censées supprimer les temps morts donc le rythme s’accélère et peut-être qu’un agent, à la fin, se sent un peu déresponsabilisé et moins vigilant. Ce sont des choses qu’on ne sait pas. En tout cas, la France va investir 655 millions d’euros supplémentaires dans le développement de l’IA. Aujourd’hui quels services publics l’utilisent déjà et lesquels ne l’utilisent pas ? Je ne sais pas si c’est encore le cas, mais, il y a encore deux ans, certaines collectivités, par exemple, s’étaient engagées à ne pas l’utiliser. La municipalité de Marseille, par exemple, avait bloqué ChatGPT sur les ordinateurs, je ne sais pas si c’est encore le cas. Il y avait des réticences. Est-ce qu’elles existent encore ?

Soizic Pénicaud : Je pense que Montpellier aussi avait mis des lignes rouges.
C’est une très bonne question. En réalité c’est très difficile de savoir où sont utilisés les systèmes et comment ils sont utilisés. Il n’existe pas, à ce jour, de cartographie spécifique des usages ne serait-ce que dans les ministères mais aussi dans les collectivités, on a donc un vrai problème de transparence à la base. Il y a des agents qui utilisent ces systèmes et des agents qui ne les utilisent pas, du coup, je mettrais une nuance en disant que, surtout avec les systèmes d’intelligence artificielle générative, on est parfois sur des initiatives individuelles de leur utilisation. D’ailleurs c’est ce que le gouvernement utilise comme argument pour dire qu’il faut proposer une alternative officielle à des outils commerciaux parce que les agents les utilisent déjà. Mais en réalité, comme vous le dites, il y a des agents qui n’utilisent pas ces outils et qui n’ont peut-être pas envie de les utiliser. En tout état de cause, c’est très difficile d’avoir un aperçu exhaustif des pratiques.

Julie Gacon : Donc les ministères de la Justice et de l’Intérieur, par exemple, disposeront, dès cette année nous dit-on, des technologies les plus avancées dans l’IA pour traiter des données sensibles, accélérer notamment le traitement de visas. Vous nous disiez, Soizic Pénicaud, que la Direction numérique des impôts est pionnière en la matière, mais ça s’est bien sûr accéléré, on parle d’autre chose. L’assurance retraite en parle comme d’un moyen d’apporter des réponses de premier niveau d’assistance informatique, mais encore une fois avec toutes les questions que ça pose pour la suite. Et puis les collectivités territoriales aussi, qui sont essentielles dans le mouvement qui se déploie actuellement sur les usages et ces collectivités territoriales touchent des services publics très proches des usagers, touchent à notre vie quotidienne.

Soizic Pénicaud : La ligne rouge, dans les collectivités territoriales, c’est notamment celle de ne pas utiliser d’agents conversationnels, donc de chatbots, en lien direct avec les usagers, c’est une ligne rouge qu’on voit. Après, en tout état de cause, je n’ai connaissance d’aucune administration qui ait mis une ligne rouge complète, surtout quand il s’agit d’outils officiels. Il est clair que l’injonction globale c’est d’utiliser de plus en plus ces outils, avec le postulat que ce sont des outils qui vont permettre d’améliorer les services rendus, d’améliorer aussi, c’est l’autre argument, le travail des agents. Si on décrypte ce que le gouvernement a annoncé, il a annoncé une IA souveraine, utile et humaine en parlant des agents, en parlant de qui maîtrisait ces technologies, mais il n’a pas parlé directement des citoyens et citoyennes et de la manière dont nous serons associés à ces prises de décision.

Julie Gacon : Pour les places en crèche par exemple, pour les tarifs pour la cantine, le péri-scolaire, la taxe de séjour, aujourd’hui tous ces services publics passent par l’intelligence artificielle.

Soizic Pénicaud : Je pense, encore une fois, qu’il faut séparer ce qui relève de l’intelligence artificielle, donc de l’IA générative dont on parle beaucoup, et ce qui relève de systèmes qui peuvent être des systèmes statistiques ou des tableurs de calcul, qui sont vraiment juste des critères qui vont être ensuite additionnés. Par exemple, à ma connaissance il n’existe pas de collectivité qui va utiliser de l’intelligence artificielle générative pour prendre ses décisions concernant les places en crèche, ou Parcoursup ou le score de risque des CAF. Tout cela ce n’est pas de l’IA générative. En revanche, ce sont des systèmes de calcul qui reposent toujours sur de la technique. Ce qui est aussi intéressant, c’est aussi pour cela que je fais cette distinction, c’est que ces technologies vont avoir des enjeux différents. En revanche, le point commun de tous ces systèmes, et c’est pour cela qu’on peut parler d’automatisation et l’observer d’un point de vue global, c’est qu’ils viennent avec une aura d’objectivité, de neutralité, d’efficacité, qui est rarement questionnée, en tout cas de prime abord. Parce que c’est un système technique, on a l’impression que c’est neutre, c’est objectif, alors qu’en réalité il s’agit de choix qui sont profondément humains de par les critères qui vont être utilisés par ces systèmes, mais aussi dans la volonté même de les mettre en place dans le cadre de politiques publiques.

Julie Gacon : On a beaucoup dit par exemple combien les algorithmes de la CAF avaient reproduit des biais discriminatoires et menés à des abus, à des traques d’allocataires. On en parlera tout à l’heure après le Journal de 8 heures, Soizic Pénicaud. Que ce soit Stanislas Guérini, l’ancien ministre de la Transformation et de la Fonction Publique, qui avait lancé le mouvement en 2023, que ce soit beaucoup plus récemment David Amiel, ministre de l’Action et des Comptes publics, ces ministres ont lancé des expérimentations à grande échelle de l’IA générative dans le service public. Au tout début de l’expérimentation, il y avait déjà plus de 1000 agents volontaires, on ne sait pas si ces 1000 agents volontaires avaient par ailleurs des réserves, étaient sans doute conscients que l’IA sera destinée, un jour, à supprimer pas mal d’emplois et toutes les questions que vous soulevez dans l’observatoire. Mais toutes ces expérimentations ont-elles fait l’objet de bilans et est-ce que ces bilans sont publics ?

Soizic Pénicaud : C’est une très bonne question. Sur L’Assistant IA, l’agent conversationnel de l’État, une évaluation a été faite de l’expérimentation et une synthèse de l’évaluation a été publiée [4], que je trouve assez parcellaire mais on pourra y revenir. J’ai regardé un peu et en revanche, sur les systèmes de traduction, notamment utilisés par le ministère des Affaires étrangères, mais qui vont être généralisés, je n’ai pas vu d’évaluation sur l’efficacité par rapport à des langues qui, notamment, sont connues pour être moins bien prises en charge par ces systèmes. Sur les systèmes de transcription, pareil, je n’ai pas vu d’évaluation publiée. C’est d’ailleurs une tendance qu’on remarque dans l’administration en général. Avec les chiffres qu’on compile à l’Observatoire des algorithmes publics, on s’est rendu compte que moins de 10 % des administrations publient des évaluations, de quelque sorte que ce soit, sur les algorithmes qu’elles développent.

Julie Gacon : Cet Assistant IA, cet agent conversationnel, est expérimenté depuis 2025 auprès de 10 000 agents volontaires. L’investissement de départ est de 300 000 euros pour la phase pilot, la généralisation de l’outil doit coûter 700 000 euros environ, pour l’instant des expérimentations dont on ne connaît pas exactement les résultats. Aujourd’hui le ministre David Amiel assure que l’objectif est de faire gagner du temps aux agents publics et non pas de les remplacer. Sur ce sujet-là, il y a également des études d’inspecteurs qui ont remis un rapport à Matignon [5], la question de l’emploi public, que peut-il devenir avec l’IA ? Est-ce que l’objectif est de faire des économies ? Et là-dessus, est-ce qu’on a également des garanties ?

Soizic Pénicaud : Cette question de l’amélioration du quotidien des agents revient en permanence et elle était déjà présente avant l’IA générative, on disait « on va mettre en place des systèmes automatisés ou d’aide à la décision qui vont améliorer le quotidien des agents. » Il faut voir que c’est souvent ce qui est affiché et après, derrière, les résultats ne sont pas forcément au rendez-vous. Un rapport de la Cour des comptes par rapport à l’utilisation de l’IA dans les ministères économiques et financiers a d’ailleurs souligné que c’était en réalité très rarement le cas. Sur la quinzaine de cas d’usage, il y avait un seul cas où cette amélioration du quotidien des agents, ce repositionnement sur des tâches intéressantes s’était révélé vrai, et cela ne concernait que 25 agents, ce qui est assez peu.
On remarque aussi que, quelle que soit la volonté affichée, ça crée potentiellement des effets de bord ou ça ouvre la porte à des réductions d’emploi, que ces outils se soient montrés efficaces ou non.
On remarque aussi qu’on ne demande pas systématiquement leur avis aux agents quelles sont les tâches qu’ils vont trouver importantes et on ne demande quasi jamais leur avis aux usagers et usagères s’ils ont trouvé que le service s’était vraiment amélioré. Je pense que c’est sur ce point aussi qu’il faut beaucoup insister parce qu’en réalité, quand on parle de services publics, on parle bien sûr de fonctionnaires et du travail des agents, mais on parle surtout d’un service public rendu. C’est pour cela que des évaluations en contexte, avec des personnes concernées sont vraiment indispensables.

Julie Gacon : Vous travaillez aussi au sein de l’Observatoire des algorithmes publics dont vous êtes la cofondatrice, Soizic Pénicaud, vous travaillez aussi sur la question du contrôle et de la protection des données. Est-ce que les systèmes algorithmiques développés, utilisés par ces administrations ne le sont qu’en interne ? Ou est-ce que les données circulent d’une administration à l’autre et passent aussi par des prestataires privés ?

Soizic Pénicaud : Les données utilisées par les administrations sont de plus en plus partagées entre administrations. Très concrètement, si on prend l’exemple du système social, la CAF partage des informations avec France Travail, partage des informations avec l’Urssaf, en tout cas, toutes ces administrations se partagent des données entre elles ; également la police avec la CAF, la CAF avec la police, oui, ce sont des choses qu’il faut savoir. Ce sont des accords qui sont passés entre administrations dans le cadre de leur mission de service public. Très concrètement, ça peut vouloir dire que les employeurs aussi transmettent les données à la CAF directement et que France Travail transmet les données des personnes en recherche d’emploi.
Ce sont des systèmes de partage de plus en plus fréquents et qui sont souvent justifiés, encore une fois, par une amélioration du service rendu aux usagers, un meilleur accès aux droits.
On remarque que ce sont aussi des systèmes qui peuvent être utilisés pour accentuer un contrôle et une surveillance. Les nouvelles bases de données mises en place dans les systèmes sociaux sont désormais utilisées dans le cadre des contrôles.
Il faut savoir aussi, comme vous l’avez mentionné, que ces systèmes sont souvent développés de concert avec des prestataires privés qui, eux aussi, ont potentiellement accès à ces données. Cela crée autant de zones de vulnérabilité qui peuvent également favoriser la fuite de données ou via des piratages. Ce ne sont pas forcément des choses qui sont volontaires, mais il faut rappeler que l’administration a des obligations de protection des données qu’elle collecte et qu’elle utilise, et que, ces dernières années, les fuites de données se sont multipliées.

Julie Gacon : En l’occurrence, quels sont les prestataires auprès desquels un organisme public, de service public, peut s’adresser pour demander des données sur telle ou telle personne ?

Soizic Pénicaud : Ça va être moins des données qui vont être produites par les prestataires, mais beaucoup plus, par exemple des cabinets de conseil qui vont développer des outils pour les administrations et qui vont, dans ce cadre, collecter des données. À l’étranger on a des exemples un peu glaçants. Par exemple en ce moment, l’entreprise Palantir, qui a beaucoup fait parler d’elle parce qu’elle mène des activités dans les domaines de la surveillance et du militaire, est l’entreprise prestataire du système de sécurité sociale britannique et on s’est rendu compte que Palantir, malgré les garanties qui avaient été apportées par l’entreprise et par le gouvernement, détenait les données de la sécurité sociale des Britanniques, donc était susceptible de les partager avec d’autres ou bien de les utiliser dans des cadres qui n’avaient rien à voir avec la mission qui lui avait été confiée dans le cadre de ce contrat de prestation.

Julie Gacon : Au Royaume-Uni aussi, on a utilisé récemment des données récoltées par des compagnies aériennes pour lutter contre la fraude sociale. Que disent ces données-là ? Qu’est-ce qu’on cherche à prouver ?

Soizic Pénicaud : Tout à fait. Là, en l’occurrence, et ce sont des choses qui ont été discutées en France aussi, ce ne sont pas forcément des données qui vont être achetées à des prestataires, ce sont des données qui vont être récoltées d’entreprises privées. L’objectif des Britanniques était d’identifier si des personnes avaient quitté le territoire sans le déclarer, donc pour relever des situations irrégulières. Ce qui s’est passé c’est que notamment des personnes qui étaient irlandaises, qui étaient parties d’un aéroport, par exemple Dublin, et revenues par un autre aéroport, par exemple Belfast, s’étaient vu dire qu’elles avaient quitté le pays pendant un an parce qu’on avait enregistré leur départ mais pas enregistré leur retour. Pourquoi ça se passe ? C’est parce que les données, de toute façon, ne sont pas objectives et ne sont pas forcément complètement correctes. Et ces erreurs dans les bases de données ont mené à la suspicion de personnes au lieu de se dire « peut-être on a-t-on des problèmes dans nos bases, il faudrait qu’on aille les regarder ». C’est là où on se rend compte que toute cette façade d’objectivité, d’efficacité, se fissure assez facilement.

Julie Gacon : Surtout que vous nous disiez, Soizic Pénicaud, qu’il y a une réflexion aussi en France dans les administrations pour prendre modèle sur ce qui se passe au Royaume-Uni. Avec l’exemple que vous venez de nous donner c’est forcément un petit peu inquiétant. Il y a eu en France l’affaire de la Caisse des allocations familiales de Gironde, en 2023, révélée par la cellule d’investigation de Radio France. La CAF avait envoyé des données sur ses allocataires à un prestataire qui les a mises en ligne en pensant qu’il s’agissait de fausses données. En tout cas, les données personnelles de 10 000 allocataires sont retrouvées en ligne durant des années. Peut-être un mot également sur la question du stockage des données, parce que, là encore, on doit passer par des entreprises privées, par des prestataires. Les administrations se posent-elles la question de savoir où sont stockées les données ou est-ce un impensé pour l’instant ?

Soizic Pénicaud : C’est de plus en plus quelque chose dont on parle, notamment parce que beaucoup des entreprises qui stockent les données sont américaines, donc Microsoft Azure, Amazon, et, avec les changements dans l’administration américaine, cette question de la souveraineté revient énormément. C’est quelque chose qui est en cours. En fait, très concrètement, cela veut dire aussi que si vos données sont stockées sur des serveurs américains, sur des serveurs qui appartiennent à des entreprises américaines, même en France, le gouvernement américain peut demander à accéder à ces données. On voit donc qu’il y a des problèmes énormes. Ce sont, je pense, des discussions qui sont en cours. En revanche, et je pense qu’on en parlera plus tard, cette question du stockage des données prend toute la place par rapport à la question de la raison pour laquelle on construit ces systèmes et je pense que c’est de cela qu’il est important de discuter.

Julie Gacon : Pourquoi construit-on ces systèmes et comment les construit-on ? L’IA permet aussi de nous noter, tous, en fonction de critères qui restent opaques et ces algorithmes reproduisent des biais de discrimination. On vous retrouve plus tard pour en parler, Soizic Pénicaud, vous restez avec nous. Vous écoutez France Culture, il est 8 heures.

Voix off : France culture – Les matins d’été – Julie Gacon.

Julie Gacon : Nous sommes toujours avec notre invitée, Soizic Pénicaud, cofondatrice de l’Observatoire des algorithmes publics, pour parler de l’intelligence artificielle dans les services publics et de ses promesses très incertaines, car on nous parle des bénéfices de l’IA comme d’une évidence, sans prendre la peine de les mettre en balance avec son coût financier qui profite aux fournisseurs et à ceux qui collectent et valorisent les données, sans prendre en compte non plus son coût environnemental, ses effets sur la relation à l’usager avec sa langue pauvre et impersonnelle, ni ses dysfonctionnements.
Soizic Pénicaud, on a beaucoup dit combien les algorithmes de la CAF, par exemple, avaient reproduit des biais discriminatoires et menés à des abus, à des traques d’allocataires. Qu’a changé le nouvel algorithme mis en place en janvier par la Caisse d’allocations familiales ?

Soizic Pénicaud : Il faut rappeler que, depuis 2011, les CAF utilisent un score de risque pour prioriser les allocataires à contrôler. À partir du moment où vous touchez une allocation de la CAF, y compris les allocations familiales, il existe dans une base de données un score qui vous concerne. En 2023, l’association La Quadrature du Net et les journalistes du Monde et de Lighthouse Reports ont révélé que ces algorithmes favorisaient, provoquaient le sur-contrôle de populations vulnérables telles que les familles monoparentales, donc en majorité des femmes, les personnes handicapées qui travaillent, donc qui touchent l’allocation adulte handicapé, et, de manière plus globale, les personnes précaires avec des situations d’emploi variables, etc [6]. Suite à cela et également suite à un contentieux qui a lieu en ce moment, mené par des associations, la CNAF, la Caisse nationale des allocations familiales, a changé son algorithme début 2026. Elle a notamment enlevé un certain nombre de critères et on le sait parce qu’elle a maintenant publié le code, les critères de tous les algorithmes qu’elle a utilisés, ce qui permet aussi de se rendre compte que l’algorithme utilisé précédemment s’appuyait notamment sur un critère de nationalité. Donc, si vous n’étiez pas de nationalité française, votre score augmentait. Si vous aviez attaqué en justice votre CAF, votre score augmentait et si vous habitiez dans un quartier défavorisé, votre score augmentait.

Julie Gacon : Et quand on appelle très souvent la CAF ça fait aussi « monter le score », entre guillemets.

Soizic Pénicaud : Ça faisait varier le score.

Julie Gacon : Ça le faisait, ça ne le fait plus.

Soizic Pénicaud : Ce n’est plus un critère pris en compte. En revanche, et c’est ce qui est très intéressant et qui illustre bien le problème, la CAF a essayé, entre guillemets, de « dé-biaiser » ses algorithmes en retirant certains critères. Elle a retiré les critères de comportement, donc contacter sa CAF, elle a retiré le critère de nationalité, elle a retiré le critère du lieu d’habitation, mais elle a, et c’est là où on voit l’intérêt des évaluations, réalisé des simulations pour voir quels types de profil seraient encore contrôlés, donc avec un algorithme beaucoup plus épuré, qui prend encore surtout en compte les ressources, la situation familiale, mais avec beaucoup moins de critères. Il se trouve que cet algorithme défavorise toujours les mêmes personnes, toujours les familles monoparentales, les femmes célibataires avec enfants, toujours les personnes de nationalité étrangère. Donc, en réalité, enlever les critères techniques de l’algorithme n’a rien changé et on peut expliquer pourquoi ensuite.

Julie Gacon : Ce qui avait été révélateur – je ne sais pas si ça avait été révélateur, à titre personnel ça m’avait frappé, ça peut paraître anecdotique –, quand La Quadrature du Net et les journalistes que vous citiez ont révélé, en 2023, le caractère discriminatoire de cet algorithme de détection des fraudes à la CAF, dans un entretien, un directeur de la CAF avait dit « mais non, l’algorithme est neutre, voire l’inverse de discriminatoire car — je cite – nul ne peut expliquer pourquoi un dossier est ciblé ». Ce serait un gage de qualité ! C’est comme si, à l’époque, c’était un gage de qualité de ne pas savoir pourquoi l’algorithme avait ciblé un dossier en particulier.

Soizic Pénicaud : Oui, et en plus c’est assez faux parce qu’on pouvait l’expliquer puisque c’est un score. Encore une fois, on n’est pas sur des boîtes noires techniques très complexes à expliquer. L’opacité c’est un choix politique, la preuve, maintenant la CAF a publié ses algorithmes. Effectivement, la technique est gage de qualité et gage aussi d’objectivité.

Julie Gacon : Je vous ai coupé, mais vous alliez nous expliquer, Soizic Pénicaud, pourquoi l’algorithme tel qu’il a été modifié et mis en place en janvier pose toujours problème.

Soizic Pénicaud : Ce qui pose problème c’est que la CAF n’a pas changé le type de personne qu’elle veut contrôler. L’objectif n’est pas seulement de traquer la fraude. La CAF explique qu’elle veut contrôler les erreurs qui ont mené à des trop perçus, quand les allocataires ont perçu trop d’argent par rapport à ce qui leur est dû, qu’ils l’aient fait exprès ou non, ce qui est normal. Après on peut se dire qu’ils n’essayent pas de contrôler les allocataires qui n’ont pas perçu assez d’argent, on se concentre en majorité sur les allocataires qui en ont perçu trop. Le problème c’est que, comme la cible de la CAF n’a pas changé, les personnes qui vont être contrôlées seront toujours les mêmes, on ne peut pas changer les critères techniques de l’algorithme pour arriver à ce résultat, le problème, c’est l’algorithme même et les politiques de contrôle. Si on cherche à identifier les personnes qui touchent beaucoup trop d’argent de la CAF, ça va être mécaniquement des personnes dont les situations sont complexes parce qu’il va y avoir plus d’erreurs dans leur dossier, qui vont notamment toucher les minima sociaux ou qui touchent beaucoup d’allocations familiales. Le problème c’est de se concentrer sur une solution technique, donc ici l’algorithme, et sur une solution de contrôle au lieu d’une solution qui permettrait d’informer en amont, pour réduire les erreurs, de potentiellement aussi mieux accompagner les allocataires, de simplifier les règles. On se trompe donc de chantier et on ne pourra pas rendre cet algorithme plus juste puisque, de fait, on va toujours chercher à contrôler les mêmes personnes.

Julie Gacon : C’est la même chose chez France Travail, anciennement Pôle emploi, qui a mis en place des algorithmes de notation pour détecter, je cite , « les comportements suspects, avec des scores de suspicion pour évaluer l’honnêteté des chômeurs, le score d’employabilité pour mesurer leur attractivité » et là on aimerait quand même vraiment savoir comment on mesure aussi l’attractivité ou l’employabilité de quelqu’un, « les algorithmes de détection des allocataires en situation de perte de confiance ». Les algorithmes ont-ils fait psycho, Soizic Pénicaud ? On se demande où ils vont chercher des informations pour confirmer ça.

Soizic Pénicaud : Oui, tout à fait. Je ne connais pas le détail exact de chacun de ces systèmes. On remarque, en revanche, que beaucoup d’algorithmes sont utilisés dans la sphère sociale donc, là, dans le cadre des personnes en recherche d’emploi ou dans le cadre des allocataires, au détriment par exemple de systèmes qui pourraient être utilisés dans la lutte contre la fraude fiscale des entreprises. Je n’ai pas entendu parler d’algorithmes qui permettraient de faire cela.
Il faut remarquer aussi que même les algorithmes qui sont présentés comme étant bénéfiques pour les personnes peuvent être détournés, c’est ce que vous dites sur la perte de confiance. Est-ce qu’un système qui évalue la perte de confiance – déjà comment, pourquoi, avec quels critères, c’est une très bonne question – va être vraiment utilisé pour mieux accompagner les personnes ou va être utilisé pour les sanctionner encore plus ?

Julie Gacon : En se disantque ce n’est pas la peine de l’envoyer à un entretien d’embauche, ça ne marchera pas.

Soizic Pénicaud : Exactement. Ou alors comment le score d’employabilité va-t-il être utilisé ? C’est aussi cela que j’apporte comme contrepoint quand on pose la question peut-on utiliser les algorithmes pour améliorer le quotidien des usagers et des usagères ou l’accompagnement ? La réponse c’est que c’est souvent prendre le problème à l’envers et ça pose très souvent plus de problèmes que ça n’apporte de solutions.

Julie Gacon : J’ajoute ou précise, tout à l’heure, je parlais du fait qu’appeler la CAF pouvait empirer le score qu’on a auprès de la Caisse d’allocation familiale. En fait, quand on allait souvent voir si la CAF avait un nouveau document à nous montrer ou si on allait toucher une aide, plus on se connectait, plus on était considéré comme suspect avec cet algorithme.

Soizic Pénicaud : Parce que quoi ? C’est une très bonne question. En réalité ça fluctuait, c’est-à-dire qu’il y avait une espèce de juste milieu du nombre de fois que vous deviez vous connecter, pas trop, mais pas non plus pas assez. Ça remet encore en question cette question des choix, c’est-à-dire qu’à un moment quelqu’un a fixé un plafond et un plancher pour dire « ça c’est le bon nombre », bien sûr sur la base d’analyses statistiques, mais ce sont des analyses statistiques qui, encore une fois, à la fin, ont été analysées par des humains pour prendre des décisions sur la façon dont on allait utiliser ces chiffres. C’est vrai qu’on a du mal à comprendre ces décisions à l’extérieur et qui sont très peu explicitées.

Julie Gacon : Vous parliez des algorithmes que la CAF a rendus publics. Vous, comme observatoire des algorithmes publics, est-ce que vous pouvez, si vous le demandez, obtenir le code source des algorithmes ? Qui a accès à ces algorithmes ? Les usagers de ces services, s’ils veulent comprendre pourquoi ils n’ont pas eu accès à une aide à laquelle ils pensaient pouvoir prétendre ? Est-ce qu’on a le droit de les demander et surtout, est-ce que ces organismes ont le devoir de nous les donner ?

Soizic Pénicaud : Tout à fait. Il existe un cadre légal français, bientôt aussi un cadre légal européen renforcé avec l’AI Act, le règlement européen sur l’intelligence artificielle. Il faut rappeler que les administrations qui utilisent des algorithmes pour prendre des décisions ont des obligations de transparence. Elles sont normalement tenues de publier en ligne les algorithmes qu’elles utilisent, mais vous avez aussi le droit, en tant que citoyen, citoyenne, personne concernée ou personne juste curieuse, de demander des informations sur ces systèmes au titre de ce qu’on appelle l’accès aux documents administratifs, vous pouvez donc demander des informations sur n’importe quel algorithme. Par ailleurs, si vous avez été sujet à une décision pour laquelle un algorithme a été utilisé, déjà l’administration a l’obligation de vous le notifier, même si la décision n’était pas complètement automatisée, et vous avez ensuite le droit d’écrire à l’administration pour lui demander plus de précisions sur le rôle qui a été joué par l’algorithme dans la décision.

Julie Gacon : Et si l’administration refuse ou ne répond pas ?

Soizic Pénicaud : L’administration refuse souvent et ne répond pas souvent. Il est possible d’aller jusqu’au tribunal administratif pour se battre pour cet accès, c’est un gros travail. Cela ne veut pas dire qu’il ne faut pas essayer parce que, parfois, ça fonctionne et, à un niveau individuel, ça peut fonctionner, mais c’est effectivement l’un des écueils. L’autre écueil étant qu’il y a des exceptions qui permettent à une administration de refuser sous certaines conditions, notamment des systèmes qui permettent de lutter contre des infractions. Ce sont des choses que l’administration utilise souvent comme excuse ou comme raison pour ne pas communiquer des informations.

Julie Gacon : La semaine dernière, dans le journal La Croix, est parue une tribune signée de deux juristes, Élise Degraves et Thomas Honnet. Le titre de cette tribune : La « dénumérisation » de nos services publics paraît absolument nécessaire [7]. Ces deux chercheurs rappellent que deux rapports du Défenseur des droits ont déjà alerté sur les effets de cette numérisation, qui n’ « offrent qu’un accès dégradé et rétréci aux droits des usagers », je cite ce rapport. Pourquoi faudrait-il absolument se dire qu’on garde le cap de l’IA ? Pourquoi serait-ce une évidence que maintenant on ne peut plus revenir en arrière, Soizic Pénicaud ?

Soizic Pénicaud : Je pense qu’il y a plusieurs raisons.
Une raison qui est intéressante, c’est celle de l’injonction à l’innovation et de dire aussi que si on refuse d’utiliser ces outils c’est parce qu’on ne veut pas améliorer l’action publique, le service public, que la seule manière de le faire c’est d’innover avec le numérique. Je pense qu’il y a plein de manières d’innover dans l’action publique qui n’impliquent pas le numérique ou qui impliquent un numérique autre.
J’invite également à lire le rapport annuel du Défenseur des droits [8] et les autres rapports qui donnent des exemples éclairants de personnes qui sont touchées par cela.
Je pense que c’est cette injonction à l’innovation et la réponse est peut-être qu’il y a d’autres solutions. Peut-être aussi, quand on met en place des algorithmes et des systèmes d’IA, déjà, il y a des lignes rouges, des systèmes qu’on ne veut pas mettre en place du tout, il faut le rappeler. Par ailleurs, quand on décide de mettre en place un système, il y a des manières de les encadrer via des évaluations, via de la participation, via des systèmes de retour en arrière aussi – si ça ne fonctionne pas on l’arrête –, qui devraient être mis en place. Mais effectivement, notamment sur la question de la numérisation et de l’accès aux droits, la réponse démontrée par beaucoup de chercheurs n’est pas le numérique.

Julie Gacon : Les comités citoyens aussi. On ne peut pas dire que ça existe partout dans le monde, que ce soit très développé, mais, par exemple dans la ville de Portland, aux États-Unis, il y a un comité de surveillance des technologies urbaines. Ce sont vraiment des citoyens qui s’impliquent pour voir comment ça marche et éventuellement demander à ce qu’on arrête tout. Comment ça se passe ?

Soizic Pénicaud : Tout à fait. Il existe aussi en France des comités participatifs, notamment à Rennes, notamment à Montpellier, il me semble. Parfois ce sont des comités qui sont seulement consultatifs et cela est problématique : à quel point les citoyens et les citoyennes ont vraiment une voix au chapitre et à quel point cette participation n’est pas qu’une participation de façade. Ce qui est intéressant à Portland c’est que les personnes sont rémunérées pour leur participation. Ça permet donc aussi à des personnes qui ont moins de ressources et qui ne pourraient pas le faire de manière bénévole de le faire. On peut aussi mentionner, sur la dénumérisation, la ville de Villeurbanne qui a instauré un droit au non-numérique, donc, depuis 2023 ou 2024, met en place un accès systématique soit à un guichet soit par téléphone à toute personne qui veut faire des démarches sans passer par le numérique. Ce sont des choses qui sont très intéressantes et qui montrent aussi que c’est possible.

Julie Gacon : Et la Cour constitutionnelle belge, très récemment, a aussi établi une nouvelle garantie constitutionnelle, la triple voie d’accès à une administration : il faut pouvoir la joindre par courrier, par téléphone ou à un guichet, et c’est une obligation, c’est désormais inscrit dans la Constitution. Les juristes que je citais tout à l’heure citent par ailleurs Günther Anders [9] qui est mort en 92, c’était donc avant l’ère d’Internet, mais sa critique de la technique dans L’Obsolescence de l’homme – Sur l’âme à l’époque de la deuxième révolution industrielle nous parle aussi de la numérisation et de l’intelligence artificielle comme de l’accomplissement ultime, de l’aliénation moderne, de la fantômisation du monde comme il disait. Il rejetait les arguments donnés pour justifier cette numérisation. Arguments qu’il connaît, je cite, « jusqu’à la nausée, tant ils sont repris aussitôt de toutes parts, toujours avec le même fracas et toujours identiques. Arguments qui – disait-il – n’ont aucune autre fonction que celle de nous aveugler sur le caractère véritablement révolutionnaire de ce qui a lieu. » Soizic Pénicaud, avec tout le respect que j’ai par ailleurs pour les informaticiens et les métiers du numérique, mais n’a-t-on pas « donné le pouvoir », entre guillemets, à ces métiers-là ?

Soizic Pénicaud : Quand on parle de service public, on a bien sûr donné du pouvoir aux personnes qui ont des compétences techniques, mais on continue aussi à donner le pouvoir aux bureaucrates de l’administration, aux fonctionnaires dont j’ai fait partie et pour lesquels j’ai beaucoup de respect. Il faut rappeler que quand on parle d’algorithmes dans le secteur public, on parle de décision publique, de politique publique, on parle d’éducation, de santé, de protection sociale, et on ne parle pas de système technique. Les problèmes qu’on retrouve dans les algorithmes sont des problèmes qui sont amplifiés par la technique et qui se retrouvent dans l’administration au global. Il y a cette opacité, ce sentiment d’impuissance aussi face à l’administration et je pense que c’est cela qui est intéressant aussi, c’est-à-dire que ce n’est pas qu’une question de numérique et, pour cela, il y a deux réponses :
à la fois mieux encadrer les responsabilités de l’administration, demander plus de garanties, renverser la charge de la preuve en disant « montrez-nous que ça fonctionne » au lieu de nous dire que ça fonctionne et charge à nous de vous dire que ça ne fonctionne pas ;
il y a aussi redonner du pouvoir aux citoyens, citoyennes, en leur rappelant leurs droits, en les aidant à exercer leurs droits et en disant « oui, l’administration peut faire des erreurs. Elle n’est pas toute puissante et, face à ces erreurs, c’est elle qui est responsable et pas les algorithmes, les personnes techniques. Ce sont vraiment les personnes qui prennent les décisions au plus haut niveau de l’administration.

Julie Gacon : En 2023, il y avait eu une proposition de loi pour la réouverture des accueils physiques dans les services publics qui préconisait que nul ne peut se voir contraint à recourir à des procédures dématérialisées dans ses relations avec l’administration. Pourquoi n’entend-on plus parler de ce texte ?

Soizic Pénicaud : C’est une très bonne question.

Julie Gacon : Il a disparu dans les limbes.

Soizic Pénicaud : Je n’ai pas la réponse, mais je pense que c’est, encore une fois, le signe que peut-être on ne pose pas les bonnes questions ou peut-être qu’on ne veut pas poser les bonnes questions. Peut-être que la question c’est : est-ce qu’on peut remettre effectivement des personnes aux guichets ? Maintenant, pour aller à la CAF, il faut prendre rendez-vous. C’est difficile pour les gens de prendre rendez-vous, on ne peut plus faire la queue ; il y a une fragmentation de l’accès aux droits. Ce qui est intéressant, c’est de mêler ces questions de l’automatisation et de la dématérialisation, parce que, en réalité, c’est un peu la façade cachée et la façade visible de ce que le numérique fait à l’État. Je ne sais pas pourquoi on n’en parle plus, mais on pourrait en reparler.

Julie Gacon : Et puis, encore une fois, on fait comme si l’intelligence artificielle ne devait faire l’objet d’une évaluation critique qu’en situation, donc une fois déployée dans tel ou tel contexte social, plutôt que se dire qu’on va bien réfléchir avant de le faire, et partir du principe que c’est inéluctable, c’est oublié.
On peut conclure, Soizic Pénicaud, que le coût écologique de l’intelligence artificielle met tout le monde d’accord et aussi le mouvement d’exploitation de ces dizaines de millions de personnes qui participent au développement et à la maintenance des infrastructures, notamment dans les pays du Sud. Quand on parle de l’IA dans les administrations aujourd’hui, est-ce que ça fait travailler ces personnes qui sont sous-payées dans les pays du Sud ou a-t-on un peu autonomisé les choses, remis un peu, comme vous disiez, de souveraineté ?

Soizic Pénicaud : Là encore on revient plutôt sur l’IA générative. Par exemple l’algorithme de la CAF dont on a beaucoup parlé n’est pas forcément concerné à un tel niveau par ses dimensions d’exploitation. Mais il est clair que l’industrie de l’IA générative repose sur une exploitation des personnes, des ressources, des données personnelles ou des données protégées par le droit d’auteur. En l’état actuel des choses il est très difficile de dire si l’administration a une approche vertueuse, d’ailleurs il est plus que probable, surtout parce qu’on fait appel à des prestataires privés, qu’il y a ces exploitations à différents niveaux de la chaîne. Donc oui, ça a aussi un coût, même quand c’est utilisé par le secteur public et même quand on dit que c’est souverain et qu’il y a un critère de localisation géographique.

Julie Gacon : Merci beaucoup, Soizic Pénicaud, d’avoir été avec nous dans Les matins d’été. Je rappelle que vous êtes chercheuse et consultante indépendante en politique publique de l’intelligence artificielle, cofondatrice de l’Observatoire des algorithmes publics, enseignante à Sciences Po Paris.
Merci d’avoir été avec nous.