Voix off : Le code a changé – Xavier de la Porte

Xavier de la Porte : Joël Werba est avocat en droit des étrangers depuis trente ans. Une grande partie de son activité consiste à aider des résidents étrangers en France à accomplir leurs démarches administratives pour être en situation régulière. Et, depuis des années, il a assisté à la dématérialisation de ces démarches qui passent, depuis 2020, par une plateforme du nom de ANEF, Administration Numérique pour les Étrangers en France. Joël en tire un constat assez dur : des bugs, des arborescences compliquées, un vocabulaire juridique obscur, un accompagnement qui laisse à désirer, il en vient presque à regretter les queues, à 4 heures du matin, devant les sous-préfectures.
Mon hypothèse, c’est que ce que vivent les étrangers face à la dématérialisation, c’est le miroir grossissant de ce que vivent tous les citoyens et citoyennes françaises.
Mon autre hypothèse c’est que tout cela n’est qu’un aspect des problèmes posés par la numérisation de l’administration.
Un autre aspect, c’est le recours à des algorithmes pour appliquer les politiques publiques. Avec de tels systèmes se joue aussi un renouvellement de notre rapport à l’administration. L’un des points qui relie ces deux aspects, dématérialisation et recours aux algorithmes, c’est comment, dans l’apparente neutralité de ces plateformes, il y a, en fait, de la politique.

À la fin du premier épisode, Joël m’a dit : « Depuis 2020, plein d’usagers et d’associations d’avocats, même la Défenseure des droits, font remonter toutes les difficultés rencontrées par les étrangers dans leurs démarches et pourtant, pas grand-chose ne semble être fait pour y remédier. » D’où ma question : n’y a-t-il pas, derrière ce peu d’empressement, une intention ?

Joël Werba : On se pose régulièrement la question de l’absence d’intention affichée de remédier au problème. On est dans une sorte de fiction que la dématérialisation est un progrès. Il y a un problème presque culturel, administratif, d’admettre que le progrès peut entraîner des difficultés du progrès et c’est difficile de faire admettre que ça marche moins bien alors que c’est évident. Le contentieux des étrangers engorge les tribunaux.

Xavier de la Porte : Oui. Par exemple, on peut se plaindre que l’État n’ait pas donné de convocation dans les temps. Et, selon Joël, avec la dématérialisation, ce type de plainte est de plus en plus fréquent, d’où engorgement des tribunaux qui n’ont pas que ça à faire. C’est intéressant. Ça montre que la dématérialisation n’apporte pas tous les résultats escomptés et que, comme le dit Joël, le progrès engendre ses propres problèmes.
D’ailleurs, si on voulait faire le bilan global, il faudrait aussi aller voir du côté des agents de l’État ce que eux disent de la dématérialisation, je ne l’ai pas fait. De toute façon, ce n’était pas vraiment ma question. Ma question était : est-ce qu’on ne fait pas exprès de rendre compliquées ces démarches à destination des étrangers dans un pays où, on le sait bien, l’immigration a été élevée au rang de crise à peu près par tous les partis politiques ?

Joël Werba : Je pense que cela participe à une forme de vulnérabilité permanente, c’est-à-dire qu’être étranger en France n’est pas une partie de plaisir. On ne peut pas se dire « je suis arrivé, je suis en situation régulière et maintenant je me repose. » Une fois qu’on a obtenu le titre de séjour, on doit déjà envisager le renouvellement, parce que le temps d’avoir déposé le dossier, d’avoir obtenu la remise du titre, etc., on n’est déjà plus qu’à quelques mois, quand c’est un titre annuel, de la démarche pour faire le renouvellement. Il y a maintenant des titres pluriannuels, mais, d’une manière générale, il y a une intranquillité à la situation d’être étranger. Et je pense que cette intranquillité ne déplaît pas, avec peut-être cette idée que quelqu’un qui ne se sent pas totalement tranquille sur la pérennité de sa situation fera plus attention à ne rien faire qui puisse aggraver cette intranquillité fondamentale, presque essentielle à sa situation. Je le perçois comme cela, comme un instrument de contrôle finalement.

Xavier de la Porte : Très intéressant. Ça signifie que tout cela n’est pas neutre. Pas tant le fait qu’il y ait des difficultés techniques dans la dématérialisation, mais le fait qu’on ne fasse pas grand-chose pour les régler. Sachant, en plus, que tout cela crée du désordre, parce que pas mal des clients de Joël sont des entreprises qui lui demandent d’aider leurs salariés à rester en situation régulière pour pouvoir continuer à les faire travailler. Si on le disait un peu cyniquement, la dématérialisation c’est même un obstacle pour le bon immigré, celui qu’on veut bien parce qu’il travaille. On a l’impression que c’est toute l’ambiguïté de notre pays face à ces étrangers qui se trouvent projetés dans la manière dont est gérée la dématérialisation. Ambiguïté, parce qu’on a beau dire qu’on veut des étrangers productifs, on les maintient néanmoins dans une situation d’intranquillité parce que, même travailleurs, ce sont avant tout des étrangers !
Enfin quand même « instrument de contrôle » a dit Joël, l’expression est forte ! Je lui fais la remarque et il rebondit.

Joël Werba : On vit dans un monde plus tendu. Ne pas renouveler le titre de séjour, c’est risquer de perdre son emploi très rapidement avec tout ce que cela peut comporter d’effets en cascade, ou se retrouver bloqué à la frontière parce que le fichier des étrangers va signaler à la Police de l’Air et des Frontières [Ancien nom de la Direction nationale de la Police aux frontières, NdT] que le titre de séjour n’a pas été renouvelé. Je vis cette sensation qu’il y a moins de droits à l’erreur et que les conséquences sont plus tragiques plus vite parce qu’on ne peut plus accéder à une préfecture pour expliquer la situation. Avant c’était quand même l’endroit où se réglaient beaucoup de dossiers, c’était au guichet et on pouvait discuter, donc c’est plus heurté.

Xavier de la Porte : Je crois que ce que dit Joël Werba parle à tout le monde, pas seulement aux étrangers. Le sentiment d’un monde plus tendu, plus heurté, que la dématérialisation y soit pour quelque chose c’est aussi, je crois, ce que nous ressentons tous, en tout cas moi je le ressens alors même que je suis plutôt du bon côté de la barrière.
Mais aujourd’hui, notre rapport à l’administration ce n’est pas seulement la dématérialisation, c’est aussi le recours aux algorithmes pour prendre des décisions. En un sens, ce n’est pas nouveau : le calcul de l’impôt, par exemple, a toujours été un algorithme ; on n’a pas attendu l’informatisation des sociétés pour que l’administration ait recours à ces outils mathématiques pour appliquer la loi. Sauf qu’aujourd’hui, on y est aux prises beaucoup plus souvent. Les parents d’enfants scolarisés le savent bien. Pour les Parisiens, par exemple, c’est un algorithme qui détermine l’affectation des lycéens et pour l’ensemble de ceux qui veulent faire des études supérieures, il y a Parcoursup [1] et toutes les formations qui, elles aussi, ont recours à des outils de calcul pour sélectionner les étudiants.
Une partie des questions posées par ces systèmes sont communes avec tout ce que Joël nous a raconté, puisqu’ils supposent tous la dématérialisation. Mais, avec le recours aux algorithmes, il y a une différence : c’est le programme informatique qui prend la décision selon des critères qui ont été déterminés par des humains, bien sûr ! Mais quand même, l’automatisation c’est autre chose et ça pose plein de questions.

Un groupe de chercheuses et journalistes a justement créé un Observatoire des algorithmes publics [2] pour poser ces questions.
Il faut recenser ces algorithmes, ce qui est un travail en soi, ensuite comprendre à quoi ils servent vraiment, sur quels principes ils reposent, etc., et enfin il faut réfléchir à ce que ça produit comme relation entre l’État et ses administrés. Soizic Pénicaud est l’une des fondatrices de l’Observatoire des algorithmes publics. Elle a d’abord été agente publique elle-même avant de faire un travail au croisement du journalisme, de la recherche et de l’enseignement, à Sciences Po Paris notamment. Quand elle s’est installée dans le studio de la Maison de la Radio, j’ai commencé par lui raconter tout ce que m’avait dit Joël, ce qui ne l’a pas beaucoup étonnée, et je lui ai posé la question à laquelle on en était arrivé avec lui, celle de l’intentionnalité. En gros, l’apparente neutralité des algorithmes ne nous empêche-t-elle pas de voir ce qu’ils ont de politique ?

Soizic Pénicaud : Je suis toujours réticente à attribuer des intentions. Je ne sais pas exactement ce que les gens pensent. En plus, dans l’administration, il y a beaucoup d’agents publics qui veulent bien faire leur travail, qui ne pensent pas à mal.
En revanche, sur la manière dont ces systèmes sont présentés, on remarque qu’ils sont effectivement souvent présentés comme neutres et objectifs. Mais si on prend l’exemple de Parcoursup, que pas mal de personnes connaissent, il y a un moment où les étudiants sont classés et c’est comme cela que les formations attribuent les places aux différentes personnes qui postulent. Ce classement est réalisé selon des critères. C’est très facile de se dire « comme c’est mathématique, les critères sont objectifs. » En réalité, à Sciences Po Bordeaux, un sociologue, qui s’appelle Vincent Tiberj [3], a fait une expérience pour paramétrer l’algorithme d’une autre manière que le paramétrage par défaut qui était proposé par le ministère de l’Enseignement supérieur. Il a dit « pour encourager l’intégration des étudiants boursiers dans notre formation, au lieu de prendre les notes sur 20, on va prendre l’écart à la moyenne, c’est-à-dire qu’on va identifier quels élèves sortent du lot par rapport à leurs camarades de classe. » Il a fait des calculs et il a vu que cet algorithme permettait une mixité sociale et une intégration d’étudiants boursiers beaucoup plus importante que l’algorithme par défaut du ministère. Ça met tout de suite à mal ce côté « les algorithmes sont objectifs, ce sont des statistiques, ce sont de maths. » En fait, on se rend compte que tout est affaire de choix politiques et ces choix politiques s’intègrent dans les plus petits détails du système.

Xavier de la Porte : Éclairant ! Même si on s’y attendait un peu, il y a de la politique dans l’algorithme. Mais le fait même de recourir à l’algorithme n’est-il pas en soi politique ? Soizic répond à la question en restant sur l’exemple de Parcoursup.

Soizic Pénicaud : Si le problème qui se pose c’est qu’on n’a pas assez de places dans l’enseignement supérieur et qu’il faut optimiser les places, alors oui, la question de l’algorithme se pose. Le problème c’est qu’on pourrait poser la question différemment, on pourrait aussi dire : il n’y a pas assez de places dans l’enseignement supérieur, comment fait-on pour en ouvrir d’autres ?, ce qui enlève ce problème de devoir optimiser l’attribution des places et le classement des étudiants. Ce sont souvent des choses qui ne sont pas conceptualisées comme telles. Ce sont des espèces de pièges que l’entrée par la technique, l’entrée par les algorithmes, c’est-à-dire qu’on enferme notre imagination politique en réduisant le problème à un problème technique qui ne nous permet pas de voir le vrai problème qui est un problème complètement politique.

Xavier de la Porte : Le recours à la technique comme signe d’un rétrécissement de l’imaginaire politique, c’est passionnant ! La politique n’est pas seulement dans les paramètres de l’algorithme, c’est aussi dans le fait de recourir à l’algorithme.
Là, soudain saisi d’une pulsion vaguement conspirationniste, je dis à Soizic « OK, mais on pourrait même considérer que les algos et leur apparente neutralité sont un bon moyen de cacher ses intentions politiques dans les mathématiques et la technique. Non ? »

Soizic Pénicaud : Je ne sais pas si c’est complotiste et je pense qu’on peut aussi se poser cette question : pourquoi a-t-on l’impression que c’est fait exprès ? Quand on est sujet à des décisions qui ont à voir avec les algorithmes, on se pose toujours la question : pourquoi est-ce fait comme cela ? Si cette violence n’est pas prise en compte comme étant vraiment extrêmement importante pour les citoyens et citoyennes, il va souvent y avoir cette présomption d’intentionnalité parce qu’on se dit « c’est tellement violent pour moi, ça affecte les gens de manière tellement intense dans leur vie, que le fait de ne pas vouloir faire de cette expérience et de la prise en compte de cette expérience une priorité, là peut-être y a-t-il une question d’intentionnalité. »

Xavier de la Porte : C’est très intéressant. C’est parce qu’il y a de la violence dans ces décisions algorithmiques qu’on peut se dire « l’État m’en veut ; l’État a des décisions cachées, etc. » Ce n’est évidemment pas la seule raison du conspirationnisme, mais je n’avais jamais pensé qu’il puisse y avoir un lien entre dématérialisation, algorithmisation et défiance à l’encontre de l’État.
Mais, comme le dit aussi Soizic, ne pas se soucier de cette violence, se foutre des effets de cette violence, eh bien cela peut relever d’une intention. Si l’État ne prend pas en compte cette violence ressentie, ça finit par devenir un choix.
Mais justement la violence. Joël en a beaucoup parlé avec la dématérialisation. Soizic l’a-t-elle constaté aussi avec les algorithmes ?

Soizic Pénicaud : Oui. Notamment parce que j’ai beaucoup travaillé sur un algorithme qui est utilisé par les Caf [Caisse d’allocations familiales], qui est un algorithme d’attribution d’un score de risque dans le cadre du contrôle des allocataires [4]. Techniquement c’est présenté comme susceptible de trouver des personnes dont le dossier contiendrait des erreurs qui peuvent être frauduleuses ou pas frauduleuses. La Caf joue sur une ambiguïté entre ces deux buts. Ce sont donc des erreurs qui feraient que les allocataires auraient reçu trop d’argent. La Caf dit qu’elle va aussi, via cet algorithme, détecter les personnes qui n’auront pas touché assez d’argent, mais en réalité c’est un effet de bord de l’algorithme. Donc, là aussi, on voit encore une fois le choix politique qui est fait. La cible est très claire, ce sont les indus, donc les trop-perçus, de plus de 600 euros sur six mois. On aurait très bien pu concevoir un algorithme différent. C’est pour cela que quand la Caf explique qu’ils cherchent toutes les erreurs, notamment pour assurer le juste droit, c’est-à-dire le fait que les allocataires reçoivent exactement la bonne somme, si on regarde les statistiques ou la conception mathématique ou informatique du modèle, c’est une imprécision et presque une mauvaise représentation. On pourrait dire que quand on repère des personnes qui n’ont pas touché assez d’argent, ce sont, en réalité, des faux positifs.

Xavier de la Porte : D’accord. Donc, dans ce cas, au choix politique de créer un algorithme qui cible les dossiers susceptibles d’avoir touché des trop-perçus, frauduleux ou pas, s’ajoute le fait que la justification avancée est légèrement malhonnête.
On était en train de parler de violence. Pourquoi cette violence ?

Soizic Pénicaud : C’est pratiquement impossible, pour un allocataire ou pour une personne qui est soumise à une décision algorithmique, de savoir qu’elle a été soumise à une telle décision. On peut le savoir si on fait faire des demandes d’accès à ses données personnelles ou à des documents, par des avocats, quand on fait appel à un avocat. Mais, en réalité, la Caf ne prévient pas qu’un algorithme a été utilisé dans le cadre du contrôle. Du coup, il est impossible, pour un individu, de se rendre compte que c’est un problème systémique. Et, comme la discrimination doit être prouvée aussi d’un point de vue systémique, c’est très difficile de la démontrer en partant de l’expérience des allocataires.

Xavier de la Porte : Pourquoi Soizic parle-t-elle de discrimination ? Parce qu’on s’est aperçu que dans les critères pris en compte par l’algorithme pour identifier les dossiers à risque, il y avait, par exemple, la perception du RSA et qu’en général le programme braquait le projecteur sur les plus pauvres. Choisir d’avoir recours à un tel algorithme, c’est politique. D’ailleurs, la mise en place de celui-ci s’est faite au milieu des années 2005, dans un contexte de lutte contre la fraude.
Mais, au-delà même du cas de la Caf, il me semblait que l’État avait obligation de rendre publics les algorithmes qu’il l’utilise. Pourquoi tout cela n’est-il pas plus transparent ?

Soizic Pénicaud : Une loi a été votée en 2016, la loi pour une République numérique [5], qui renforce le cadre de la transparence des algorithmes publics, notamment des algorithmes impliqués dans les prises de décisions. Nous n’avons pas beaucoup avancé. Concernant les systèmes que nous avons inventoriés comme étant soumis à cette obligation de transparence, on se rend compte que plus des deux tiers ne la remplissent pas.
L’autre chose aussi à rappeler c’est que ce cadre de la transparence, même s’il était appliqué complètement, il ne permettrait pas de voir la totalité des systèmes. Il y a notamment une exception pour certains systèmes : les algorithmes qui contribuent à la recherche et à la prévention d’infractions sont exclus, ce qui exclut d’office certains des systèmes les plus critiques, par exemple la lutte contre la fraude. L’administration peut arguer que ces systèmes doivent être exclus du champ de la transparence.

Xavier de la Porte : On peut comprendre ces exceptions dans certains domaines, je pense par exemple aux algorithmes de la police. Et encore ! Une enquête de Disclose a montré récemment que les policiers et les gendarmes français disposaient, depuis 2022, d’un logiciel de reconnaissance faciale installé sur leur téléphone, un outil qui a été implémenté hors de tout cadre légal. En fait, peut-être que même les forces de l’ordre devraient être obligées de rendre publics les algorithmes qu’elles utilisent.
Mais, pour ce qui concerne la lutte contre la fraude, je ne vois aucune raison pour que l’administration ne les rende pas publics.

Soizic Pénicaud : L’argument c’est que plus les informations sont disponibles, plus les personnes peuvent jouer avec le système et tromper le système. On voit aussi que c’est un argument qui est mobilisé de manière un peu différenciée puisque la Caf a fini par publier les algorithmes dont elle disait qu’elle ne pouvait pas publier les paramètres, alors que ça n’a pas changé l’objectif de ces systèmes.

Xavier de la Porte : Et, à ma connaissance, on n’a pas constaté une augmentation significative de la fraude après cette publication, ce qui signifie que rares sont les gens qui en ont profité pour essayer de détourner les paramètres. En plus, il y a d’autres arguments invoqués par l’administration pour ne pas ouvrir ses algosrithmes, par exemple dire que c’est trop compliqué pour les citoyens, ce qui est d’ailleurs une contradiction avec le premier ! Ou alors, dernier argument, « ça pourrait créer des failles de cybersécurité ». Et cela m’amène à une question plus générale : qu’est-ce que le recours à des algorithmes dit de ce qu’est l’administration ? De ce qu’elle est essentiellement ? Et là, s’ouvre avec Soizic un nouveau pan de notre discussion qui me passionne.

Soizic Pénicaud : L’administration et la bureaucratie ce sont toujours des règles. C’est-à-dire que même si on n’utilise pas des algorithmes informatiques, il va y avoir des règles. La question c’est : qu’est-ce que le fait d’utiliser un algorithme va changer à ces règles-là ? Certaines personnes expliquent que le fait de devoir encoder les règles dans des algorithmes va peut-être, en réalité, les clarifier et enlever un certain pouvoir discrétionnaire. Cela s’entend. Il y a quand même une obligation de l’administration de pouvoir expliquer les décisions qu’elle prend quel que soit le médium, même si ce n’est pas un algorithme informatique, l’administration a l’obligation de pouvoir expliquer à un citoyen ou une citoyenne les décisions qu’elle prend.
Quand on parle de numérique dans l’administration ou quand on parle d’algorithme dans l’action publique, il faut se rappeler qu’on se heurte à des problèmes qui n’ont pas à voir uniquement avec l’informatique mais qui ont à voir avec la culture administrative. L’introduction de l’informatique dans ces enjeux-là fait que les problèmes vont pouvoir être exacerbés ou déplacés, mais on reste quand même dans un environnement où l’administration n’a pas foncièrement envie de rendre des comptes aux citoyens et citoyennes, même si elle en a l’obligation.

Xavier de la Porte : Et voilà, c’est cela qui me passionne ! Comme toujours quand on parle de numérique, il y a des changements mais aussi des continuités. La continuité, en l’occurrence, c’est que, numérique ou pas, l’administration est réticente à rendre des comptes. Les changements, en l’occurrence, c’est que les problèmes sont exacerbés ou déplacés, dit Soizic. Cela veut-il dire que le pouvoir discrétionnaire inhérent à l’administration demeure, mais qu’il change de niveau, ce ne sont plus les mêmes personnes qui le détiennent ? C’est ça ?

Soizic Pénicaud : Le fait de mettre en place des règles dans des algorithmes a une espèce de pouvoir centralisateur, c’est-à-dire que les personnes qui prennent les décisions sont les personnes qui choisissent les critères de l’algorithme.
Si on reprend l’exemple de Parcoursup, les personnes qui vont choisir les critères de classement sont les personnes qui vont paramétrer le système, par opposition peut-être à avant où on aurait pu demander à une commission de se baser sur d’autres choses, de faire un choix différent. Et pareil, quand les Caf utilisent un algorithme unique de classement des dossiers susceptibles de comporter des erreurs, chaque Caf individuelle a beaucoup moins de pouvoir sur le choix. Cela veut dire aussi que c’est beaucoup plus difficile de prendre en compte les situations qui ne rentrent pas dans les cases pour ceux qu’on appelle les agents de guichet : quand l’ordinateur ne veut pas, l’ordinateur ne veut pas ! Quand on était sur des formulaires papier, on pouvait écrire dans les marges et dire « là, ce n’est pas exactement ça » ou bien, par exemple, « j’ai touché telle somme d’argent dans telle circonstance, mais je ne sais pas très bien où la mettre. » Avec ces nouveaux systèmes, où les règles sont très strictes, on ne peut plus faire ça. C’est donc là où le pouvoir change de niveau.

Xavier de la Porte : C’est à nouveau passionnant. En effet, le pouvoir s’est centralisé et concentré dans les mains de celles et ceux qui paramètrent les programmes et là, on retrouve des éléments de ce que m’a raconté Joël dans le premier épisode, le fait que moins de choses se jouent dans l’interaction avec l’agent ou l’agente au guichet. On voit bien comment, dans certains cas, ça fluidifie les démarches et ça altère les frictions. Et on voit bien comment, dans d’autres cas, ça les durcit.
J’y pense souvent, en cette période de Parcoursup, en comparant les procédures d’aujourd’hui à celles que j’ai vécues à la fin de mon lycée. La manière dont je me suis inscrit en prépa après le bac était complètement artisanale : j’ai envoyé un dossier papier aux lycées parisiens dont je connaissais les noms, j’ai finalement choisi celui où une copine allait parce que je me suis dit que ce serait cool qu’on fasse les trajets ensemble, c’était un peu n’importe quoi, mais j’en garde aussi un souvenir de grand stress. D’ailleurs, je n’ai jamais compris pourquoi j’avais été accepté dans certains lycées, pas dans d’autres, il n’y avait aucune logique. Ce n’étaient pas des algorithmes qui avaient décidé, mais c’était tout aussi discrétionnaire.
Parcoursup c’est aussi stressant, ça peut être très dur, mais j’ai l’impression que le stress et la dureté de Parcoursup ne sont pas exactement de la même nature que ceux que j’ai connus. Pourquoi ? Encore une fois, Soizic m’éclaire.

Soizic Pénicaud : Il y a quelque chose de très violent dans le fait d’être mis en calcul selon certains critères. Et c’est assez différent d’être catégorisé par des règles qui sont écrites sur un bout de papier ou d’être catégorisé par un système de calcul. Il y a un imaginaire autour du calcul qui est peut-être un peu différent et qui est important dans l’expérience administrative.

Xavier de la Porte : Alors là, je pense qu’on arrive à un point crucial. Au fond, dans tout cela – la dématérialisation, les algorithmes – se joue quelque chose de notre représentation de l’administration et de la manière dont elle se représente elle-même. Quelle idée se fait-elle du rapport à ses administrés ? Et quel lien cela crée-t-il entre les administrés et leur administration ? C’est aussi tout cela que travaille le numérique et Soizic a raison de parler d’imaginaire, parce que c’est vrai, il en va aussi de l’imaginaire. Mais justement, quel imaginaire administratif est-il activé dans la numérisation, dans l’automatisation et même dans le recours à l’IA ?
C’est ce que nous verrons dans le troisième épisode.

Voix off : Le code a changé