Les choix politiques derrière l’IA et les algorithmes

Cyrille Chaudoit : Autant le dire tout de suite, Hubert, c’est un vrai plaisir de t’accueillir dans Trench Tech, tu es un peu une légende dans le domaine. On va donc attaquer direct le sujet. C’est vrai que quand on a fait la préparation de cet épisode, tu nous as remis un peu les idées en place sur cette notion de scoring social en Chine, que Mick a abondamment documenté dans son introduction et puis brillamment illustré avec cet extrait venu de l’espace, de Casse-tête chinois, de Klapisch, qu’on embrasse. Donc, si on pouvait en venir directement aux intentions politiques qui drivent les orientations du développement technique et de ce que l’on pourrait qualifier de progrès, on vient d’en discuter dans un enregistrement, il y a un instant, avec Bruno Markov qui passera dans les prochaines semaines, avant toi d’ailleurs. Bref, est-ce qu’on peut revenir sur cette idée politique qui drive la technique, notamment en Chine ? Qu’en est-il véritablement de ce scoring social qui nous a été abondamment présenté comme une vision extrêmement dystopique ? Qu’est-ce que ça raconte et où en est-on véritablement ?

Hubert Guillaud : Comme d’habitude, quand on nous présente des choses dans la presse, souvent on exagère un petit peu.

Mick Levy : Je n’ai pas du tout exagéré dans l’intro, franchement, ne me faites pas ce procès ! J’avoue, j’y suis allé à fond ! J’en ai trop profité !

Hubert Guillaud : C’est ça en fait. On nous le survend un petit peu en nous disant « hou là, là, ces grands méchants Chinois ». Ils ne sont effectivement pas tendres, ils sont loin d’être tendres avec leur population, c’est sûr et certain. Mais, quand on regarde un petit peu ce que disent les chercheurs spécialistes du sujet, le crédit social chinois tient plus au fait d’expérimentations très localisées, assez peu aussi technologisées qu’on nous le vend. Grosso modo, la vraie surveillance en Chine c’est une surveillance communautaire, c’est la surveillance des voisins du voisinage, plus qu’autre chose. Les délires ou les exagérations qu’on a pu voir sur le fait que ce soit une vraie puissance technologique, avec énormément de surveillance à tous les étages, est une façon de nous vendre une sorte de peur de la surveillance chinoise et permet d’éviter de questionner la surveillance occidentale, celle que nous pratiquons ou que les Américains pratiquent encore plus ouvertement. C’est une manière de mettre en perspective deux types de surveillance. La surveillance chinoise et ce qu’ils font sur leur population est vraiment très problématique, on est tous d’accord avec ça, mais attention à ne pas calquer ou plaquer des imaginaires, Black Mirror est un bon exemple, sur une réalité qui est certainement plus fluctuante ou plus perturbatrice ou plus modérée que la manière dont on nous la vend, sans dire non plus, encore une fois, que les Chinois sont des anges.

Cyrille Chaudoit : Bien sûr. C’est ça, c’est-à-dire que c’est plus nuancé dans les faits, c’est plus nuancé dans le mode opératoire également, tu viens de le dire, en revanche, ça dit quand même quelque chose d’une intention politique. Surveiller c’est une chose, mais surveiller d’une certaine manière avec une intention, peut-être, de scorer. Est-ce qu’on peut déjà, peut-être, définir ce fameux scoring ? Dans un épisode récent avec Soizic Pénicaud [4], on a beaucoup parlé de la transparence des algorithmes publics, c’est ce qui va nous permettre également de rentrer dans le côté public et privé du scoring tel qu’on le vit, celui dont on parle peut-être un peu moins que celui des Chinois. Mais, sans faire un focus sur les Chinois, qu’est-ce que raconte une intention politique comme celle-là, au 21^e siècle, de vouloir attribuer un score de confiance à des individus ?

Hubert Guillaud : En fait, ça raconte surtout une réalité. Aux États-Unis, depuis les années 80, il existe un score de risque de défaillance de crédit : chaque Américain se voit attribuer une note sur sa capacité de remboursement bancaire. Ce n’est pas jeune, depuis les années 80 ! En fait, pour calculer des risques ou pour calculer des gens, on utilise depuis des années ces techniques qui sont la base des systèmes algorithmiques, qui consistent à trier les gens, à les apparier, c’est-à-dire à faire matcher une offre et une personne, par exemple, et à les scorer. Pour faire cela, la plupart du temps on leur attribue un score qui dépend d’innombrables caractères ou de caractéristiques, d’innombrables données, pour calculer ou raffiner ce score. Le scoring est vraiment à la base des technologies numériques, que ce soit pour envoyer des mails, faire un mailing via Mailchimp, toutes les différentes personnes que vous avez dans votre base de données sont analysées et scorées, vous ne voyez pas nécessairement le score, mais, en fait, il y en a partout.

Mick Levy : Peux-tu donner des exemples très concrets pour chacun qui nous écoute : où est-il scoré ?, puisqu’on n’a pas conscience qu’on est scoré à plein d’endroits ?

Hubert Guillaud : L’utilisation de votre carte bancaire est scorée pour déterminer s’il y a un risque de vol, de fraude.
Vous êtes scoré quand vous êtes lycéen et que vous faites une candidature pour une formation du supérieur.
Vous êtes scoré pour avoir une place en crèche.
Vus êtes scoré à la Caisse d’allocations familiales.
Vous êtes scoré de partout. Vous êtes même scoré sur Tinder.

Cyrille Chaudoit : Tu peux même scorer sur Tinder.

Mick Levy : Tu as raison. Quand on envoie des CV, de plus en plus d’entreprises ont recours à des logiciels qui trient les CV, qui viennent mettre un score à chaque candidat selon ce qu’on pense qui va correspondre au job. Ce sont tous ces scorings-là dont il faut tenir compte.

Cyrille Chaudoit : Mais scorer n’est-ce pas juste quelque chose, entre guillemets, « d’humain » ? Ta boulangère ne t’a-t-elle pas scoré la première fois qu’elle t’a vu entrer dans la boulangerie, en gros, ne t’a-t-elle pas un peu catalogué. Ça paraît con comme ça.

Mick Levy : On n’a qu’une seule fois la possibilité de faire une bonne première impression.

Cyrille Chaudoit : Blague à part, est-ce que ce n’est pas juste de l’ordre du réflexe, même si ça ne se traduit pas par un chiffre ou une lettre – A, B, C – et pas besoin d’algorithme pour mettre les gens en quelque sorte dans des cases.

Hubert Guillaud : Oui. On fait ça très bien naturellement. La seule différence c’est qu’ci vous le faites d’une manière systématique sur des centaines de milliers d’individus, des millions d’individus, et vous le faites avec une mémoire. C’est-à-dire que ce score va revenir, va être réutilisé pour des tas d’autres informations et va circuler pour continuer à vous être appliqué. Votre boulangère, si vous veniez juste d’arriver et vous ne venez pas pendant 15 jours, elle ne se souvient pas de vous et, quand vous revenez, si ça se trouve, elle va vous noter différemment.

Mick Levy : Et l’impact n’est pas forcément le même. On va venir sur l’impact de ce scoring. Tu crois qu’elle te donne du mauvais pain ? Le pain avarié.

Cyrille Chaudoit : Va savoir ! Le pain de la veille.
Est-ce que c’est le fait de scorer ou est-ce que c’est l’intention avec laquelle on le fait qui est moralement, peut-être, à revoir, en tout cas qui est discutable ?

Hubert Guillaud : Ça dépend de la justesse des scores et c’est cela qui est certainement un petit peu problématique : est-ce que ces scores sont adaptés aux calculs que l’on souhaite faire ? Est-ce qu’ils sont justes ? Est-ce qu’ils sont équitables ? Est-ce qu’il y a eu une intention malfaisante qui glisse avec, ou pas ? À quoi servent-ils ? À qui servent-ils ? Pour quoi faire et est-ce qu’ils sont justes ?

Cyrille Chaudoit : Là on a déjà les deux jambes.
À quoi ça va servir ? Typiquement, comme on en discutait avec Soizic, aller chercher les trop perçus par les assurés de la Caisse d’assurance familiale plutôt que de se dire « on va aller chercher ceux à qui on n’a pas payé ce que l’on devait », l’intention diffère, déjà d’une.
Et de deux, ce que tu nous dis en premier, c’est aussi, potentielement, la façon dont on score : est-ce que c’est juste, pas au sens équitable, est-ce que c’est fiable ? Et là, on part sur la défaillance des algorithmes dont tu nous parles quand on se rencontre la première fois.
Ces fameux algorithmes de scoring, ça ne va pas, c’est ça Hubert ? Ils déconnent tous à plein tube ou quoi ?

Hubert Guillaud : Quand on regarde un petit peu dans le détail la plupart de ces systèmes, à tout le moins ceux sur lesquels on a un peu plus de connaissances que sur d’autres, on se rend compte assez vite qu’ils ne calculent pas très bien, la plupart du temps, et ils calculent encore moins bien certains types de public. La grande difficulté c’est que certains types de publics vont être mal notés par ces systèmes.

Cyrille Chaudoit : Certains types, c’est-à-dire ?

Hubert Guillaud : Dans le domaine de l’embauche ou de l’emploi, certains scores vont être très problématiques. Par exemple, dans des tas d’enquêtes on s’est rendu compte que si vous n’aviez pas travaillé pendant six mois, grosso modo, à peu près tous ces systèmes d’analyse de CV vous rejettent plus ou moins. Six mois et quelle que soit la raison, ça peut être une maladie, ça peut être un congé maternité ou autre. En fait, dès qu’on regarde un petit peu en détail la manière dont sont produits ces scores, on se rend assez vite compte qu’il y a un problème qui se concentre sur certains types de publics qui ne sont pas dans la moyenne, dans la norme, etc., ce qu’expliquait assez bien Soizic Pénicaud dans l’un de vos épisodes. Certains publics n’ont pas des revenus réguliers, tous les mois, il y a donc des trop-perçus, des indus que la CAF vient réclamer.

Mick Levy : N’est-ce pas le problème, finalement dès qu’on traite de la masse ? J’ai l’impression que c’est un peu le même reproche qu’on fait à l’école : pour les élèves qui savent un petit peu rentrer dans le moule, qui ont un fonctionnement cognitif standard, on dit que l’école est parfaitement adaptée et puis il y a un pourcentage qui n’a pas exactement le même fonctionnement cognitif et là ce n’est pas adapté, il faut finalement trouver d’autres solutions. N’est-ce pas un peu le même problème ? Les entreprises, les organisations qui déploient ces algorithmes cherchent à gérer la masse, on revient dans la loi de Pareto avec le 80-20 [5], et puis il y a les 20 % qui n’ont pas exactement le même fonctionnement que les autres qui peuvent se retrouver discriminés.

Hubert Guillaud : Le problème c’est de savoir si c’est 5, 20, 40 ou 50 %.

Mick Levy : Tu penses que ça peut aller jusqu’à 50 % ? As-tu des exemples où tu te dis que l’algorithme disjoncte totalement pour une très grande proportion des personnes concernées.

Hubert Guillaud : Par exemple, ce que dit le ministère sur les défaillances de Parcoursup : sur 900 000 lycéens qui sont calculés chaque année par l’algorithme, à peu près 2 % n’ont aucune proposition ; je calcule : 2 % ça fait 19 000. On se dit « c’est super, c’est vachement bien, c’est super efficace, c’est quand même très peu ! »

Mick Levy : C’est quand même beaucoup déjà !

Hubert Guillaud : En fait, il faut ajouter à ce score, grosso modo, presque 15 % d’élèves qui refusent la seule proposition qui leur a été faite, ce qui veut dire que cette proposition ne leur a pas convenu ; parmi tous les choix qu’ils ont pu faire la proposition qui leur a été faite ne leur a pas convenu.

Mick Levy : Donc, si on compte bien, on a 17 % de la population annuelle de Parcoursup qui n’a pas de bonne solution avec cet algorithme.

Hubert Guillaud : En plus vous rajoutez 20 % d’élèves qui, chaque année, en tout cas d’une année sur l’autre, se remettent dans Parcoursup pour retrouver une place, ce qui veut dire également que la première année ils n’ont pas eu quelque chose qui les satisfaisait.

Mick Levy : On avoisine donc les 40 %, on est à 37 %.

Hubert Guillaud : En fait, on est à 40 % !

Cyrille Chaudoit : Ça commence à devenir critique !

Mick Levy : Pour bien comprendre, Hubert, ce n’est que Parcoursup, parce que, pour le coup, tout le monde sait que Parcoursup c’est, j’allais dire de la merde, que c’est très insatisfaisant, il y a eu un nombre de papiers dans la presse. Ce n’est que Parcoursup qui disjoncte ? As-tu d’autres exemples, comme cela, où effectivement plus de 20 % de la population peut être concernée par des mal fonctionnements ?

Hubert Guillaud : Soizic vous l’a dit, à la CAF le pourcentage de problèmes a l’air assez élevé, je n’ai plus les chiffres en tête. Par exemple dans la recherche d’emploi, typiquement même beaucoup de responsables RH estiment que les systèmes sont massivement défaillants, parce qu’ils essaient de trouver des formes d’exclusion face à des candidatures de masse qui reposent sur des critères qui sont vraiment très granulaires ou très peu fiables en fait.

Cyrille Chaudoit : Franchement, là moi ça me gonfle.

Mick Levy : Ne t’énerve pas contre Hubert !

Cyrille Chaudoit : Sérieusement ! Ce n’est pas toi Hubert ! Tu veux te battre ? C’est ça ?
Sans blague. Si on ne prend que la partie du secteur public, depuis que je suis gamin j’entends « service public, la bureaucratie, machin, etc. ». Je fais mon parallèle un peu trivial avec la boulangère de tout à l’heure, on pourrait l’appliquer au fonctionnaire : tu débarques, il juge à la gueule du client, il peut avoir ses propres préjugés. Si on veut tout faire péter sur ces questions de préjugés, la question qui est en creux, Hubert, c’est : qui fixe la norme ? Si tu as un degré d’interaction avec un être humain qui a son propre système de valeurs, donc ses propres normes, tu es bien emmerdé, normalement beaucoup plus, que face à un algorithme. De plus, excusez-moi : depuis 20 piges j’entends dire que le Big Data, les algorithmes c’est génial parce que c’est la personnalisation au maximum. Là on nous dit « non, dans les algorithmes il y a quand même une notion de norme, il y a donc des gens qui sont laissés sur la touche. » Ce n’est pas possible, je ne peux pas entendre ça !
Les algorithmes qui sont censés pouvoir être plus précis, plus fiables, soi-disant objectifs, mais l’objectivité c’est comme la normalité, qui la définit ? On pourrait penser que c’est quand même censé être plus fiable et plus objectif qu’un être humain, manifestement ce n’est pas le cas.

Mick Levy : C’est quoi, en fait est-ce une chimère, Hubert, le fait que ces algorithmes soient effectivement plus objectifs, plus justes, alors qu’on nous les vend comme ça ?

Hubert Guillaud : Pour moi c’est vraiment une chimère du calcul, c’est une chimère d’un marché qui va vous vendre qu’avec plus de données vous allez pouvoir mieux calculer, mieux personnaliser les choses, etc., alors que la difficulté, assez souvent, c’est que le calcul s’adapte à certains types de profils assez moyens, etc., mais, profondément, ne va pas comprendre ou ne va pas raisonner avec d’autres types de profils. On a l’impression qu’on veut appliquer une sorte de science neutre à tout et à tout le monde et ce n’est pas si simple ou ce n’est pas si possible. Les cas sont différents, les gens sont différents et il n’y a pas de solution unique pour tout le monde. C’est plus compliqué.

Cyrille Chaudoit : Il n’y a pas de one size fix all comme disent les Anglo-saxons.
Si on fait le parallèle deux secondes avec l’IA : on dit que l’IA est entraînée sur des bases de données immenses mais qui ne sont que le reflet de ce que l’on a nous-mêmes produit, donc de nos propres biais, on peut comprendre ou « entendre », entre guillemets, qu’elle reprend, qu’elle répercute ces biais, donc cette façon de normer ou de voir une chose comme étant la norme se répercute dedans. Mais sur des algorithmes dits déterministes, pour lesquels on a, entre guillemets, « décidé du parcours », ce que tu mets en input, if then.

Mick Levy : C’est le cas de Parcoursup et de la CAF aussi d’ailleurs.

Cyrille Chaudoit : Ça veut donc dire que le problème se situe au niveau de ceux qui décident de la construction de cet algorithme, de sa finalité et de la façon dont ils le conçoivent. On en revient à la question du départ de cette séquence : y a-t-il un choix politique délibéré d’aller dans tel sens plutôt que tel autre ?

Hubert Guillaud : Les deux mon capitaine. Il y a à la fois un choix politique et à la fois des systèmes techniques.
Il y a des choix politiques : Parcoursup naît d’une décision politique qui est la transformation d’un système précédent en un autre, avec des adaptations législatives pour transformer les formes d’accès à l’université. Il y a donc bien une volonté politique de faire un outil centralisateur pour aider les formations à trier des candidatures selon une logique compétitive, du meilleur au moins bon ; il y a donc bien une volonté politique qui a des effets.
De l’autre, il y a des systèmes techniques en regard qui vont, eux aussi, avoir des effets selon des choix qui peuvent être faits, des implémentations très précises. Par exemple, dans Parcoursup, un gros problème est lié aux lycéens des lycées professionnels et des lycées techniques : quand ils candidatent dans certaines formations, ils vont être plus surveillés et plus contrôlés que d’autres. Typiquement, leurs absences vont être plus prises en compte que celles d’autres élèves dans l’attribution des places qu’il peut y avoir.

Cyrille Chaudoit : Ça paraît délirant ? A-t-on une idée ? Pourquoi faudrait-il s’intéresser davantage aux absences de ceux qui sont en filière technique ?

Mick Levy : En fait, ce n’est pas le fait qu’ils sont en filière technique. C’est la conjonction, la corrélation entre toutes les données qui sont prises en compte qui amène à discriminer ces personnes-là. C’est ça ?

Hubert Guillaud : Non. C’est bien le fait qu’ils soient en filière technique.

Mick Levy : Mais là, c’est un choix politique à la fin.

Hubert Guillaud : Oui. Le contrôle sur les plus démunis a toujours été plus fort que sur les plus fortunés ou les plus pourvus. En fait, c’est une logique que nous avons et qui se retrouve dans la plupart des outils. Ce que Soizic disait sur la CAF c’est exactement la même chose : on va cibler plus massivement certains types de profils et de populations que d’autres.

Mick Levy : Du coup, Hubert, à t’écouter je me dis que le problème ne vient pas tant de l’algorithme qu’on cherche à appliquer, des règles dans l’algorithme, mais il vient des règles qu’on définit : dire qu’on va regarder de plus près ceux qui viennent de filières techniques ; qui disent, à la CAF, « on va regarder de plus près ceux qui n’ont pas des revenus réguliers » ; qui disent, pour la recherche d’emploi, « ceux qui n’ont pas eu d’emploi stable pendant six mois. »

Hubert Guillaud : Oui bien sûr, sauf que tu oublies qu’il y a une transformation qui va avec : la technique le permet de manière très précise. La possibilité de discriminer ou de distinguer deux candidats l’un de l’autre est aujourd’hui renforcée par la technique. Je prends juste un tout petit exemple encore une fois dans Parcoursup : on sait tous distinguer un élève qui a 19 d’un élève qui a 11, il n’y a même pas besoin d’outil pour ça. Par contre, entre deux élèves qui ont exactement la même moyenne scolaire – 10,5 – comment faites-vous pour dire que celui-ci doit être pris dans la formation devant l’autre ?

Mick Levy : La couleur des cheveux ?

Hubert Guillaud : Voilà, c’est à peu près ça !

Cyrille Chaudoit : Et ceux qui n’en ont pas ?

Mick Levy : C’est exactement ce que je pensais. Et ceux qui mettent une casquette pour cacher leur calvitie ?

Cyrille Chaudoit : C’est une façon de ruser.

Mick Levy : Regardez-nous sur YouTube pour comprendre de quoi on parle. Pardon, c’est une blague, revenons au sujet.

Hubert Guillaud : En même temps, c’est assez proche de la réalité. En fait, on va utiliser le calcul pour préciser les choses, donc on va prendre en compte toutes les notes, tout ce qu’il est possible de prendre dans les données qui sont accessibles par les formations, pour classer les élèves différemment les uns des autres afin qu’il y ait aucun ou le moins possible d’ex æquo, pour avoir une liste du premier au dernier. Le problème c’est que pour les distinguer, en fait on ne les distingue pas à 10,5 de moyenne, on va les distinguer à 10,0005 de moyenne, trois chiffres après la virgule. Vous comprenez très vite : entre deux élèves qui ont 10,5 et 10,5, il n’y a déjà pas de différence, mais entre deux élèves qui ont 10,005 et 10,006, il n’y en a pas non plus. Par contre, le calcul va établir un classement entre ces élèves.

Mick Levy : Surtout notés dans deux lycées différents !

Cyrille Chaudoit : Hubert, une question pour terminer cette séquence, parce que je m’en voudrais de ne pas te la poser, je suis certain que des auditeurs ou des spectateurs se la posent. On a fait l’entrée avec la Chine, on a dit « attention, il faut nuancer ! ». On vient d’évoquer un certain nombre de scores qui sont attribués plutôt pour les études, on a parlé de risque bancaire, etc. Quel est le risque entre guillemets « politique » en Europe, à un moment donné, que ce scoring aille au-delà, avec des gros guillemets, « simplement » de Parcoursup, « simplement » de la CAF, etc. ? Est-ce qu’il existe en Europe/en France un score plus inquiétant que ça, un méta-score ? Est-il possible qu’un politique arrive au pouvoir demain se dise « tiens, j’ai bien envie de croiser tous ces scores parce que ça me permettrait quand même de bien contrôler la population » ?

Hubert Guillaud : À priori il n’existe pas de méta-score, mais le risque existe, deux glissements sont possibles.
Le premier c’est celui que les systèmes se croisent, que les données soient croisées, par exemple entre la CAF et les impôts, entre les impôts et France Travail, donc ceux qui ont un mauvais score quelque part risquent d’avoir également un mauvais score ailleurs. Voilà un premier risque.
Le deuxième risque c’est que même si on a aujourd’hui des protections légales assez fortes sur le fait que toutes ces données ne puissent pas être croisées très facilement, si on regarde actuellement ce qui se passe de l’autre côté de l’Atlantique, on se rend compte que tout cela peut être assez fragile.

Cyrille Chaudoit : Parmi tous ces préjugés qui peuvent atterrir sur des scores plus ou moins bienveillants, il y en a un qui concerne les femmes dans la tech et heureusement, nous avons notre chevalier blanc, Sandrine Charpentier de « Elles font la tech », qui reçoit aujourd’hui Jeanne Peillet.

« Elles font la tech » – De l’idée à l’image

Sandrine Charpentier : Aujourd’hui, nous allons parler de création visuelle et d’IA avec cette première question : et si une idée pouvait se transformer en image en un clin d’œil ? On sait que 85 % des informations que nous retenons sont visuelles, alors pourquoi ne pas rendre l’innovation visible dès le stade de l’idée ?
Dans cet épisode, je vous partage le parcours inspirant de Jeanne Le Peillet, une entrepreneure qui allie art et technologie pour révolutionner la façon dont on donne vie aux idées. Passionnée de dessin depuis toute petite et poussée par des parents artistes, elle rêve de devenir chercheuse et choisit la science comme domaine d’études avec un cursus d’ingénieure en biotechnologie puis un doctorat. En 2023, elle crée Beink Dream [6], une solution mêlant dessin et intelligence artificielle. Sa mission : permettre à chacun de visualiser ses idées et de les partager facilement notamment avec des bureaux d’études, des industriels ou des équipes produit. Elle montre, de cette façon, qu’on peut entreprendre dans la tech tout en suivant sa passion créative. Un projet qui lui ressemble à 100 %.
Bonjour Jeanne. Vraiment ravie de t’accueillir dans « Elles font la tech ».

Jeanne Le Peillet : Salut Sandrine. Merci beaucoup de m’inviter.

Sandrine Charpentier : Première question pour toi. Tu as choisi la voie scientifique alors que tu étais une passionnée de dessin. À quel moment as-tu compris que tu n’avais pas à choisir entre ces deux univers ?

Jeanne Le Peillet : Je pense que la question serait plutôt à quel moment j’ai compris que les deux univers étaient séparés. J’ai découvert la science à travers le dessin, notamment dans les musées, pour explorer toutes les images scientifiques qui passaient par le dessin, même après la photo, quand on se rend compte que la photo ne peut montrer qu’une facette de quelque chose, d’un objet, alors que le dessin permet de représenter tout en même temps, sur le même visuel.
Après, une fois dans la science, je me suis rendu compte que, finalement, très peu de personnes savaient se servir du dessin alors que tout le monde a besoin d’images pour publier, breveter, communiquer faire des congrès, etc. C’est comme cela qu’est né le projet Beink Dream : comment je donne aux autres la possibilité de visualiser ce qu’ils ont en tête, parce que c’est en visualisant ce qu’on a en tête qu’on peut maturer ses idées, trouver des solutions qu’on n’avait pas vues ou découvrir des problèmes qu’on n’avait pas non plus visualisés.

Sandrine Charpentier : Merci à toi. Tes héros, quand tu étais petite fille, c’étaient Rahan ou Indiana Jones. À ta manière, tu déconstruis sérieusement les stéréotypes du profil type d’un ou d’une entrepreneure de la tech. Est-ce que tu penses que cela peut aider les femmes à se projeter dans les métiers de la tech ?

Jeanne Le Peillet : Oui. On peut parler particulièrement des femmes en France et en Europe parce que, dans d’autres pays, il y a énormément de femmes dans les métiers tech, je pense que c’est principalement sociétal et éducationnel comme sujet et, à mon avis, l’action de chacun d’entre nous, qu’on soit femme, homme ou autre, c’est de s’appliquer à déconstruire les codes, on parle de codes en informatique ou de codes en génétique. J’aime bien, justement, casser un peu les codes et c’est ce qui va permettre aussi d’ouvrir le champ des possibles sur la diversité à la fois des profils et des idées.

Sandrine Charpentier : Avec tout ça, quel est ton conseil pour que les étudiantes et les femmes s’emparent de la tech pour innover, pour créer, pour inventer, mêler les univers, les environnements ?

Jeanne Le Peillet : Je pense qu’il faut vraiment voir la tech comme un super outil qui peut permettre de faire énormément de choses. C’est un sous-domaine de la science, c’est un très vaste domaine. À mon avis, il ne faut pas trop se poser de questions. J’ai choisi mes études, mes métiers et ce que je fais aujourd’hui toujours en choisissant ce qui me plaisait le plus à faire. Oui, je me projetais vers quelque chose, une activité que j’avais envie de faire, mais c’était très vague finalement, je voulais être chercheuse, je fais une sorte de recherche aujourd’hui aussi. Surtout d’abord choisir ce qui nous plaît, c’est là qu’on s’éclate le plus, donc c’est là où on fait le plus d’étincelles par la suite. Je pense que le meilleur moyen de prendre en main la tech et de s’éclater dedans.

Sandrine Charpentier : Merci Jeanne. Tu démontres bien qu’on peut effectivement s’éclater quand on suit ses passions. J’espère que tu vas donner envie à plein de personnes, à plein de femmes aussi, de rejoindre les rangs de la tech et du secteur du numérique.

Jeanne Le Peillet : Il faut. Merci.

Sandrine Charpentier : Merci à toi. À bientôt.

Voix off : Trench Tech – Esprits critiques pour Tech Éthique.

Le progrès technologique au service du progrès social

Mick Levy : Merci Sandrine. Merci Jeanne. J’espère que ça donnera effectivement envie à plein de femmes de rejoindre le secteur du numérique. On a besoin de vous, mesdames, dans ce secteur en particulier.

Cyrille Chaudoit : Complètement.

Mick Levy : Hubert, je pense qu’on a bien posé le contexte, on a bien posé les problèmes, maintenant nous allons nous intéresser un peu aux solutions qui pourraient être amenées face à ces problèmes. Pour bien comprendre les solutions, il me semble qu’il faut d’abord comprendre pourquoi on a ces scorings, pourquoi on les déploie dans le privé aussi et qui se cache derrière ces scorings, à qui profite le crime finalement.

Hubert Guillaud : Le crime profite d’abord à ceux qui vendent ces solutions, qui vont vous proposer, plutôt que d’avoir des DRH qui vont lire des CV, un système automatisé qui va les analyser sans avoir à montrer ou à prouver, assez souvent, que le système automatisé qu’ils proposent fonctionne bien, n’a pas de biais, est plutôt fiable. La plupart du temps nous sommes dans un univers où beaucoup d’entreprises, même de services publics, achètent sur étagère des solutions x, y, sans toujours nous préoccuper de savoir si ces outils font bien ce qu’ils disent.

Mick Levy : Tu me réponds que le crime profite finalement aux faiseurs de technologie, ceux qui vendent de la technologie qui, en plus, ne font généralement pas œuvre d’une grande transparence quant à l’efficacité réelle des technologies qu’ils nous montrent. On peut le mesurer un petit peu tous les jours. Du coup, ce serait quoi ? Ce serait obliger les faiseurs de technologies, les vendeurs de technologies, à être mieux mesurés, à donner la réalité des choses, à arrêter de faire des algorithmes. Comment s’y prendrait-on ? Si c’est à eux que profite le crime, c’est à eux qu’il faut s’attaquer.

Hubert Guillaud : C’est ce à quoi on devrait œuvrer, bien évidemment, quand on regarde l’enjeu. Par exemple, il est très difficile aujourd’hui de mettre sur le marché un médicament ou un dispositif médical, plein de contrôles sont faits et c’est assez normal, ça nous impacte tous, c’est notre santé. Il faut pouvoir surveiller que le médicament qu’on nous vend va bien avoir sur notre santé le bon effet qui est affiché. Il y a donc des processus et des process un peu longs, un peu compliqués, de la vérification et de l’audit. Or aujourd’hui, dans tous ces systèmes, il y a très peu de vérifications, pas d’audit, une régulation qui est très faible. On nous propose des tas d’outils qui ne fonctionnent pas nécessairement, qui défaillent à des tas d’endroits. Je pense qu’il y a quand même un petit effort de sérieux à faire et pour les acteurs et pour les régulateurs, en disant « il va falloir quand même qu’on contrôle et qu’on surveille un peu mieux les choses, pour que ça n’aille pas dans n’importe quel sens. »

Cyrille Chaudoit : Un petit effort de rigueur effectivement à la fois pour des questions de normes, donc les penser en amont, les faire appliquer, c’est encore une autre histoire et étonnamment, ça nous choque vachement forcément quand on entend les exemples du secteur public, mais on semble avoir oublié qu’en fait on est scoré dans le secteur privé depuis très longtemps, oui, il y a eu l’exemple de la banque.
Puisqu’on est quand même un podcast de tech, le sport national des Big Tech c’est de nous attribuer des scores pour nous balancer telle pub plutôt que telle autre, etc. Dit autrement, puisqu’on est dans le chapitre des solutions – je mets de côté volontairement toute la dimension dark patterns, etc., qui sont là parce qu’il y a une logique derrière de nous capter davantage –, est-ce qu’un service de « base », entre guillemets, comme celui de Facebook à son origine, pourrait exister s’il était dénué de toute ambition malfaisante sans avoir la nécessité de nous scorer ? Ou est-ce que c’est nul et non avenu, de toute façon ça ne pourrait pas exister s’il n’y avait pas ce système de scoring ?

Hubert Guillaud : En fait, on a tout le temps tendance à penser qu’il y a une solution et une seule, c’est-à-dire qu’il y a un seul système de scoring. On voit bien, sur les réseaux sociaux, qu’il y a plein de formes de scoring, le scoring de Facebook n’est pas celui de X qui n’est pas celui de TikTok ni celui de Linkedin ; en fait, des tas de modalités sont disponibles.
Si vous vous souvenez bien, dans le premier Facebook il n’y avait pas de scoring. On se connectait aux gens auxquels on voulait accéder et on avait accès à l’information. Cela a vite été rendu impossible parce qu’il y a eu trop de monde et il y a eu trop d’informations partagées, etc., il a donc fallu mettre en place des outils, des mesures, pour vous faire afficher certaines choses plutôt que d’autres dans votre fil d’actu, jusqu’à ce que ça devienne un peu n’importe quoi et c’est bien là aujourd’hui l’enjeu. Quand vous voyez les formes d’amplification totales ou démesurées qu’on trouve sur X, l’envahissement publicitaire que vous avez sur Instagram ou sur Facebook avec des trucs qui ne veulent plus rien dire, on voit bien qu’on est passé dans une autre dimension. C’est ce que Cory Doctorow appelle l’emmerdification [7] : on était sur les réseaux sociaux pour pouvoir suivre les personnes qui nous intéressaient et, d’un coup, on se retrouve à ne même plus pouvoir voir ce qu’elles publient.

Mick Levy : L’emmerdification du Web.
Je voudrais revenir sur la question réglementaire et des contraintes, parce que tu dis, finalement, qu’elles en ont assez peu, mais attention, si on fait la liste en Europe : RGDP, Règlement général sur la protection des données : dès lors que ça touche à des personnes – là on est en plein dans les sujets du scoring –, notamment l’article 22 [8], pour les plus techniciens d’entre vous, qui interdit tout usage automatisé dès lors que ça touche notoirement à la vie de la personne, pour le dire dans un cadre très juridique. Ça n’a pas suffi, on a rajouté le Digital Markets Act [9], s’en est suivi le Digital Services Act [10] juste derrière, ou devant, je ne me souviens plus, et puis là il y a l’AI Act qui est entré en application depuis le mois d’août 2024 et qui, peu à peu, continue à se déployer. Ça ne suffit pas tout ça, sérieusement ?

Hubert Guillaud : Disons-le autrement. Ce n’est peut-être pas que ça ne suffit pas, mais c’est peut-être que c’est assez mal calibré, mal adapté : on fait des lois un peu générales en essayant de tout mettre dedans.

Mick Levy : On est encore dans la moyennisation de la société, même pour les lois, pour la réglementation.

Hubert Guillaud : Est-ce que, avec le DSA, on peut faire une loi pour tous les types de services numériques qui vont du mailing à l’immobilier ? Il peut y avoir des lois communes sur tous ces trucs, mais est-ce que l’enjeu ne serait pas plutôt de faire des lois un peu spécifiques parce que les questions d’emploi et d’embauche ne sont pas les mêmes que les questions d’attribution de prix, etc. ?Aujourd’hui nous faisons de grandes lois, pour certaines assez protectrices, je pense notamment au Règlement général sur la protection des données, au RGPD. Est-ce que d’autres, dont on va attendre toutes les modalités applicatives, seront-elles adaptées, suffisantes, ne seront-elles pas trop larges alors qu’il y a peut-être certains endroits où nous devrions agir de manière plus rapide ?

Mick Levy : Du coup, est-ce que ça ne te conduirait pas à dire, si je suis ton fil, qu’on devrait interdire tout algorithme discriminatoire, qui classe, qui trie, qui score, dès lors qu’on est dans un service public ou dès lors que ça a un impact sur la personne ? Est-ce que tu vas jusque-là ?

Hubert Guillaud : Non, je ne vais pas jusque-là du tout. Je pense qu’on a besoin de ces systèmes techniques pour classer, trier, etc., mais qu’on peut les faire d’abord en contrôlant mieux ce qui est fait. Il n’est pas normal que la CAF sur-contrôle des populations qui sont minoritaires parmi les bénéficiaires, c’est juste une question d’équité et de justice sociale, ce n’est pas normal ! Vous avez beau le prendre dans tous les sens, ce n’est pas normal ! Il doit donc y avoir des modalités pour contrôler les publics selon leur représentation démographique, de genre, de classe sociale, etc. Voilà un premier truc.
Le deuxième, c’est de se dire qu’on peut aussi, dans ces systèmes, injecter d’autres types de valeurs, pas seulement des modalités de classement, mais des modalités de répartition qui soient plus justes. Un exemple pour bien comprendre : aujourd’hui, dans l’enseignement supérieur, vous êtes classé du premier au dernier, les meilleures écoles récupèrent ceux d’en haut et délaissent les moins bons élèves dans des filières de relégation. Par exemple, s’il y a 20 % d’élèves qui ont entre 10 et 12 de moyenne qui candidatent à Sciences Po, Science Po devrait en prendre proportionnellement 20 %, ça changerait les choses, ça changerait à la fois la manière dont fonctionnent nos écoles en disant « si vous êtes une grande école vous pouvez aussi accompagner des élèves qui sont un peu plus en difficulté » et ça changerait la redistribution sociale.

Mick Levy : Je vais me faire l’avocat du diable deux secondes, mais ça va aussi changer le niveau général de Science Po et Science Po n’a pas du tout envie de voir son niveau baisser, c’est ça le problème de départ quand même !

Hubert Guillaud : Oui, mais en même temps, si c’est une si bonne école que ça, comment se fait-il qu’elle n’arrive pas à élever, à tirer vers le haut ?

Cyrille Chaudoit : Par rapport à cette « gouvernance », entre guillemets, des algorithmes, parce que tu nous dis qu’il ne faudrait pas que la CAF puisse faire comme elle fait actuellement, etc., je ne paraphrase pas : qui pour contrôler, qui pour « gouverner », entre guillemets, ces algorithmes ? La question, à peu de choses près, je reviens avec mon délit de sale gueule de la boulangère, mais c’est pareil, ce sont les contrôles au faciès dans la rue. En vrai c’est pareil et, pour autant, c’est un débat vieux comme le monde, quasiment, et le truc n’est pas réglé. Donc quelle gouvernance et dans quelle mesure une participation citoyenne à l’élaboration et au suivi ou au contrôle de ces algorithmes serait-elle possible, souhaitable ?

Hubert Guillaud : En tout cas, c’est la voie que j’essaye de tracer dans ce livre. Ce que je raconte c’est « pas de calcul pour nous sans nous ». Il n’est pas normal que les étudiants n’aient jamais été invités à discuter des modalités de calcul de Parcoursup. Est-ce qu’il est normal que ceux qui sont impactés par la CAF ne soient pas invités par la Caisse d’allocations familiales à venir discuter des modalités de calcul pour les améliorer, parce qu’eux-mêmes savent très bien les problèmes qu’ils ont ? Si on veut vraiment des services publics pour le public, nous devons les construire avec les publics.
C’est la même chose aussi dans le domaine bancaire. Aujourd’hui, par exemple, vous avez des chiffres qui sont un peu délirants dans la débancarisation de certains comptes. Les autorités de régulation poussent les banques à faire du contrôle sur les comptes bancaires pour éviter, pour surveiller le blanchiment d’argent, le narcotrafic et les choses de ce type. Les banques ont des objectifs de détection qu’elles doivent atteindre. Le problème c’est que pour atteindre ces objectifs de détection, elles déclenchent plein de faux positifs, c’est-à-dire plein de gens qui ne mériteraient pas d’être débancarisés. Au Royaume-Uni, l’année dernière, 170 000 personnes ont été débancarisées alors que le nombre de gens condamnés par les autorités britanniques pour blanchiment d’argent est de moins de 1 000 personnes. En fait, on a un système qui calcule et qui débancarise parce qu’on le pousse à produire ce type de calcul, alors que c’est complètement disproportionné par rapport à la réalité.

Cyrille Chaudoit : Ce sont des dommages collatéraux ? Un rapport de 1 à 170 !

Mick Levy : Juste pour jalonner, tu nous as donné une première solution qui est donc d’impliquer directement les publics qui vont être soumis à ces scorings dans les réflexions pour les construire. As-tu d’autres solutions pratiques à nous communiquer ?

Hubert Guillaud : On peut faire les calculs autrement, avec d’autres valeurs, par exemple en faisant un peu plus proportionnellement, voilà une deuxième solution, ce n’est déjà pas mal.

Mick Levy : S’assurer de la représentativité des cas qui vont se présenter à l’algorithme dans la construction même de l’algorithme. OK. En as-tu d’autres à nous donner ? Jusque-là, ce que tu nous dis me semble plein de bon sens !

Hubert Guillaud : Excusez-moi, j’enfonce des portes ouvertes !

Mick Levy : Quand même pas !

Hubert Guillaud : Il y a un troisième point. Il y a également certaines formes d’interdiction qu’il va falloir un petit peu armer et renforcer. Par exemple, on peut avoir aujourd’hui un gros problème potentiel sur les questions tarifaires, les questions de prix et les questions de revenus. Je vais essayer de prendre un exemple, rapidement, juste pour vous faire comprendre. Aujourd’hui, par exemple, plein de logiciels servent à staffer les gens dans les grands magasins, dans les commerces, etc., ce sont des choses qui s’automatisent de plus en plus : selon le temps ou la fréquentation qui est prévue samedi, on va faire venir telle et telle personne, etc. Le problème c’est la façon dont ces systèmes décident qui va venir, depuis quels types de critère va-t-on décider ? L’un des critères, il me semble, c’est celui du salaire, c’est-à-dire que si on prend en compte le salaire pour optimiser ce système, le risque, vous avez vite compris, c’est qu’on va plutôt mobiliser les plus petits salaires ou ceux qui coûtent le moins ou ceux qui sont les plus flexibles ou ceux qui sont les plus extérieurs à l’entreprise. Le risque, c’est une sorte de management algorithmique, comme on l’a aujourd’hui sur Uber, mais généralisé à l’ensemble de la société. Je pense qu’il y a là un motif d’interdiction qui doit être assez fort entre les informations salariales sur les individus et les possibilités de ces outils d’agenda.

Cyrille Chaudoit : Justement la question qui tue, Hubert.

Mick Levy : On ne va pas tuer Hubert pour une question !

Cyrille Chaudoit : Est-ce qu’on peut « domestiquer », entre guillemets, ces algorithmes. Juste un petit exemple : tout à l’heure tu nous as dit « quand tu as un trou de six mois dans ton CV, ça ne sent pas bon », j’entends ça, je me dis « désormais plus aucun CV ne part sans avoir été bétonné, même si je mens », c’est une façon de jouer le jeu, don’t hate the players, hate the game ; si le jeu c’est ça, je le prends à mon compte. Peut-on domestiquer ces algorithmes si on en comprend un petit peu la façon de fonctionner ou de dysfonctionner ?

Hubert Guillaud : C’est d’ailleurs ce qui commence à se passer dans le domaine de l’emploi. Aujourd’hui, avec les systèmes d’IA, des gens en recherche d’emploi vont utiliser de l’intelligence artificielle pour démultiplier leurs CV, démultiplier leur candidature et faire que leur candidature s’adapte au poste prévu le mieux possible, ou en envoient 250 ou en envoient 3 000, etc. Bien évidemment, ce jeu-là est possible et devient encore plus possible aujourd’hui. Le risque, bien évidemment, c’est qu’on finisse par marcher sur la tête, avec des systèmes automatisés pour trier les gens, des systèmes automatisés pour candidater, des systèmes automatisés pour sélectionner tout le monde et, au final, on ne sait plus qui va arriver dans l’emploi.

Cyrille Chaudoit : Il n’y a plus de réalité, il y a plus d’humains, il n’y a plus rien. Une société post-algorithmique pourrait-elle arriver ? On a vécu sans les algorithmes et on faisait déjà des choix, on l’a dit tout à l’heure, on avait déjà une façon de cataloguer les gens, là ce sont les algorithmes. Ça serait quoi une société post-algorithmes ?

Hubert Guillaud : C’est-à-dire ? Tu veux dire une société sans algorithme, dans laquelle les algorithmes ont été dépassés ?

Cyrille Chaudoit : Oui. Après les algorithmes. D’une certaine manière c’est sans les algorithmes, tout simplement. On a vu que ce n’est pas possible, que ce n’est pas forcément souhaitable, mais quelle serait l’étape d’après ?

Hubert Guillaud : Je ne suis pas un spécialiste de science-fiction, mais, grosso modo, tu as deux gros choix : c’est post-algorithmes, c’est-à-dire plus de calculs, auquel cas on revient des fiches papier ; ou c’est post-algorithmes et c’est avec des outils d’intelligence artificielle où tout est connecté à tout et là c’est le scoring social chinois, dont on parlait tout à l’heure, démultiplié, total, totalitaire, où nous sommes tous sous surveillance constante. Comme disait Élisabeth Borne, il faudra savoir dès deux ans quel métier vous allez vouloir faire plus tard, voire le système sera capable de le déterminer lui-même !

Cyrille Chaudoit : Oui, c’est surtout ça.

Mick Levy : Quel est ce film que vous venez de recenser ?

Cyrille Chaudoit : Quelque part, si c’est ce scénario-là, on n’est pas si mal avec nos algorithmes actuels !

Mick Levy : Hubert, on a une question pour toi, de notre précédent invité, Bruno Markov.

Bruno Markov, voix off : Bonjour Hubert. Une question pour toi : comment fait-on pour réconcilier ceux qui ont conscience de la dérive technologique actuelle avec ceux qui ont conscience de la dérive écologique ? Ce sont des gens qui ne se parlent pas forcément très souvent.

Hubert Guillaud : Je pense que si on avait la solution à cette question tout serait bien plus simple. Je répondrais autrement, je pense que c’est un enjeu de société et, pour résoudre les enjeux de société, on doit les poser, on doit en débattre, on doit trouver les modalités pour se demander ce qu’on fait vraiment. Je me souviens, il n’y a pas très longtemps, d’une belle convention citoyenne sur les questions écologiques, en France, qui avait remis quelques pistes plutôt intéressantes, en tout cas, qui mettaient des questions en débat. Il aurait été peut-être mieux d’un peu mieux les écouter, en tout cas on peut remettre le travail à nouveau sur les enjeux technos : a-t-on besoin de cette IA partout, pour notre avenir, avec l’impact écologique qu’il semble qu’elle va avoir ? Peut-être peut-on essayer de trouver des endroits où on a besoin du calcul, parce que ça va nous faciliter la vie, et puis d’autres endroits où c’est non, merci.

Cyrille Chaudoit : Hubert, j’ai la question 2027 pour toi. Demain tu es nommé ministre du Numérique, de la tech ou des IA ou des algorithmes, peu importe, quelle est ta première mesure ?

Hubert Guillaud : C’est l’obligation, pour tous les grands systèmes à impacts sociaux, d’avoir un comité citoyen, un comité d’éthique avec des usagers, tous, et ce sont ces usagers qui vont dicter les nouvelles règles des modalités de calcul.

Mick Levy : Je vote pour toi en 2027 au Numérique.

Hubert Guillaud : Ça fait un, je note pour le suivant.

Cyrille Chaudoit : Fais gaffe, il saura si tu l’as voté ou pas !

Mick Levy : Hubert, merci beaucoup pour cet échange passionnant.

Cyrille Chaudoit : Merci.

Mick Levy : On te retrouve très bientôt. Dans tous les cas, je vous invite à lire le dernier livre de Hubert, Les algorithmes contre la société, qui est sorti en 2025 à la Fabrique éditions. Merci Hubert.

Cyrille Chaudoit : Et sa newsletter, Dans les algorithmes, qui est un must.

Mick Levy : Exactement, danslesalgorithmes.net, allez-y, si vous n’êtes pas inscrit, en plus de celle de Trench Tech, bien sûr.

Cyrille Chaudoit : Merci Hubert. À bientôt.

Mick Levy : Merci Hubert. À bientôt.
Et vous qui êtes avec nous, restez encore quelques minutes, c’est l’heure du debrief.

Voix off : Trench Tech – Esprits critiques pour Tech Éthique.

Le Debrief

Cyrille Chaudoit : Eh bien Mick, à cet épisode je mets le score de 10 sur 10.

Mick Levy : Tu es comme à L’École des fans !

Cyrille Chaudoit : Oui, bien sûr ! Tout le monde donne des scores, pourquoi pas moi !

Mick Levy : Pour cet épisode, je mets 10 sur 10 à toi aussi.

Cyrille Chaudoit : C’est ce que je voulais faire, c’est mignon !

Mick Levy : On met 10 sur 10 à Greg aussi.

Greg : Ça fait longtemps qu’on se score en fait : à l’école, les Uber, les restaurants, le Guide Michelin.

Mick Levy : Tu as raison : les notes qu’on donne partout et qui rentrent aussi dans les algorithmes.

Cyrille Chaudoit : Tu as raison. On n’a pas du tout abordé cette question de nous-mêmes qui scorions les autres

Mick Levy : La prochaine fois tu viens poser des questions à nos invités.
J’avais un truc en tête, qui m’a occupé la tête tout l’épisode, l’épisode avec Olivier Sibony [11] qu’on a enregistré à la saison 2. En fait, j’adorerais avoir un débat avec Olivier Sibony qui était le chantre, qui nous disait que, au contraire, les algorithmes créent de l’égalité, ont très souvent des meilleures décisions que les décisions humaines parce qu’elles sont exemptes de tous les biais humains, de l’émotion qu’on peut avoir, etc., et du bruit. Donc avoir un fight, même pas un débat, un fight entre Olivier Sibony et Hubert Guillaud qu’on a eu aujourd’hui, parce que ce sont deux visions opposées du monde et finalement deux visions opposées de la façon dont on prend des décisions qui vont s’appliquer aux masses. Il nous a dit que c’est aussi cela le problème.

Cyrille Chaudoit : C’est la masse, une fois de plus. Olivier Sibony, c’était la saison 2, épisode 18, « Biais cognitifs, l’IA plus forte que nous ? ».

Mick Levy : Tu es notre archiviste.

Cyrille Chaudoit : Je suis le Pierre Tchernia de Trench Tech et j’aime ça.
Blague à part, une fois de plus, c’est effectivement cette notion de masse, cette notion de norme également : qui fixe la norme ?
Franchement, là où je suis scié, ce que je disais tout à l’heure, c’est que les algorithmes sont réputés, en tout cas nous ont été vendus comme étant des choses qui étaient plus objectives et qui étaient surtout très paramétrables pour pouvoir s’adapter à toutes et tous, d onc la notion même de normes, en tant que telle, devrait être caduque. Mais là, tu réfléchis deux secondes et tu te dis « puisque la décision, en amont, est humaine », pouvoir dire qu’il y a un cut en dessous duquel tu passes, tu ne passes pas parce que tu es trop à risque, je ne te prête pas d’argent, ou alors toi je vais te surveiller comme le lait sur le feu parce que tu as fait une filière technique. Le fait de surveiller les gens qui ont suivi une filière technique par rapport à leurs absences, ça veut dire quoi ? En creux, ce que j’entends, ça veut dire que globalement ils ont plutôt tendance à sécher les cours, ne pas être présents, je ne sais pas quoi, ce sont des branleurs ? Ça véhicule un système de valeurs, des jugements de valeur et c’est cela qu’il faut questionner. Les algorithmes privés nous scorent à longueur de temps, mais encore plus les algorithmes publics.

Mick Levy : Il faut aussi questionner les chiffres. Honnêtement, avant de venir à l’épisode, je me disais « ça doit être à la marge, oui, ces systèmes ont tendance à moyenner, à bien gérer les gens qui sont dans une forme de norme, finalement ça doit être à la marge, peut-être 80/20 à la Pareto, j’espère même moins », mais il nous montre sur Parcoursup que ça serait 40 %, 37 % de pertes.

Cyrille Chaudoit : Tu as fait du calcul mental.

Mick Levy : J’ai beaucoup travaillé à la pause : 37 % de personnes qui n’auraient pas satisfaction quant à l’attribution d’une école supérieure pour la suite de leurs études.

Cyrille Chaudoit : Après, se pose légitimement la question : que fait-on ? Il le dit, il n’est pas à vouloir jeter les algorithmes, on en a besoin. En revanche, se poser la question de leur but, ensuite vérifier qu’il n’y ait pas de défaillance, qu’on les ait bien programmés.

Mick Levy : Regarder aussi les critères qui sont dedans pour être représentatifs de la population.

Cyrille Chaudoit : Quand il a dit, au début, que les calculs sont plein d’erreurs et plein de défaillances, cela m’a fait réagir, tellement cette phrase paraît incohérente : le calcul est plein d’erreurs. Moi, je fais des erreurs de calcul, d’accord, mais le calcul n’est pas plein d’erreurs à la base. Quand on creuse avec cet épisode on comprend mieux où on va, donc la question qui va derrière c’est : qui gouverne ça ? Qui contrôle ? Qui tape sur les doigts ? Encore une fois cette idée d’une gouvernance citoyenne arrive sur la table, elle vient assez souvent dans nos épisodes. Je trouve ça super intéressant, mais, je suis désolé de le dire, j’ai beaucoup de mal à le croire, je ne crois pas du tout qu’on aille vers cela. Il prend l’exemple du débat citoyen.

Mick Levy : Je pense qu’il est d’accord avec toi : on ne va pas assez vers cela alors qu’il faudrait. C’est rigolo, quand on y réfléchit bien c’est aussi une des bases de toutes les techniques d’innovation. La technique mère de toutes les techniques d’innovation c’est le design thinking. Première chose dans le design thinking, c’est d’impliquer les utilisateurs et d’aller observer les situations qui sont sur le terrain. C’est comme si, finalement, on avait raté cette étape-là et qu’il faille la remettre avec du débat collectif en impliquant directement ceux qui sont concernés.

Cyrille Chaudoit : Dans l’industrie, dans ce qu’on appelle le Lean management, il y a une phrase que j’aime beaucoup : c’est celui qui fait qui sait.

Voix off : Trench Tech

Mick Levy : Et voilà ! ! Plus ou moins 60 minutes viennent de s’écouler. Maintenant vous en savez certainement un peu plus sur les enjeux des scorings auxquels nous sommes tous confrontés.
On espère que cet épisode t’a plu, toi qui nous écoutes, toi qui nous regardes sur YouTube et, si c’est le cas, n’hésite pas à le partager autour de toi, à lever un pouce sur YouTube, à nous mettre des commentaires, à nous retrouver sur Linkedin, c’est comme cela qu’on parvient à véhiculer, tous ensemble, un esprit critique pour une tech qu’on espère plus éthique. Car, comme le dit la Déclaration des droits de l’homme et du citoyen de 1789, article premier, « Les hommes naissent et demeurent libres et égaux en droits. Les distinctions sociales ne peuvent être fondées que sur l’utilité commune. »