Martin Legros : Bonsoir. Merci d’être venus très nombreux sur ces questions de la surveillance et du contrôle qui, manifestement, nous inquiètent, qui nous intéressent aussi. Excusez-moi je suis un Petit Poucet, on a imprimé tellement de billets que l’imprimante ne fonctionne plus, je n’ai pas pu imprimer mes notes, donc je suis un grand Poucet.
Je le disais, c’est une des grandes inquiétudes liée au nouveau monde numérique : sommes-nous devenus contrôlés, surveillés disciplinés par ces outils ? Des vidéos algorithmiques déployées pour la surveillance des Jeux olympiques de Paris au profilage des usagers d’Amazon ou de Netflix, en passant par le contrôle des délinquants par bracelet électronique, le numérique, et demain l’IA, ont démultiplié les moyens de ficher les individus. Mais comment penser les nouvelles formes de contrôle, de surveillance et de discipline qui se mettent en place avec le numérique et demain avec l’intelligence artificielle ? Car elles ne sont plus fondées seulement sur les intrusions de l’État et de ses agents dans le pré carré de notre vie privée, non, la nouvelle surveillance est fondée sur les anticipations que des algorithmes élaborent, sans même qu’il y ait un agent humain qui les contrôlerait, à partir d’anticipations calculées sur base de nos comportements. Des anticipations qui sont supposées mieux refléter que nous puissions le faire nous-mêmes nos désirs, nos souhaits, nos valeurs et nos volontés, qui nous sont transmises de manière plus ou moins directive et sont censées nous permettre d’être plus en adéquation, en somme, avec nous-mêmes.
C’est ce nouveau dispositif, à la fois génial et infernal, du gouvernement des hommes fondé sur une forme, il faut bien le dire, de servitude volontaire, que nous allons explorer ensemble aujourd’hui, avec deux intervenantes et non pas trois comme c’était annoncé. Olivier Razac, qui devait participer à cette discussion s’excusant, il est malade et souffrant.

À mes côtés Antoinette Rouvroy. Vous êtes chercheuse permanente au Fonds national de la recherche scientifique belge, le FNRS, et chercheuse senior au Centre de recherche information droit et société à la faculté de droit de l’Université de Namur, en Belgique. Vous êtes spécialiste de gouvernementalité algorithmique, un gros mot mais c’est au cœur de ce qui va nous occuper ce soir, c’est-à-dire la manière dont nous sommes de plus en plus normés, régis par ces profils élaborés par les big data. Vous êtes notamment l’auteure d’un essai anglais remarqué, qui fait autorité, Human Genes and Neoliberal Governance – A Foucauldian Critique, « Les gènes humains et la gouvernance néolibérale – Une critique foucaldienne », paru chez Routledge, en anglais, et bientôt il y aura un ouvrage en français, de vous, sur cette question.
Asma Mhalla, vous êtes maître de conférences à Sciences Po Paris, enseignante aussi à Columbia et à Polytechnique, membre du laboratoire d’anthropologie politique de l’EHESS CNRS sur ces questions-là. Vos travaux portent sur les nouvelles formes de pouvoir et de gouvernance entre Big Tech et États et sur les enjeux démocratiques des réseaux sociaux.
Nous serons aussi accompagnés, comme c’est de coutume dorénavant durant ces trois jours, par quatre lycéens et lycéennes, petits et grands Poucet, qui ont travaillé avec leurs deux professeurs de philosophie justement sur cette question de l’IA, de manière assez précise, en recevant dans leur classe des personnes qui travaillent sur l’IA au service des communs. Ils nous feront une sorte de restitution de ce travail, de cette élaboration, à travers une série de questions. Ils interviendront au milieu de nos réflexions. En tout cas, merci à leurs professeurs d’avoir accompagné cette réflexion.
Je vous propose trois moments :
un premier moment, faire en quelque sorte un état des lieux où vous mettriez un peu sur la table l’état de l’art de ce nouvel art politique fondé sur la gouvernementalité. Qu’est-ce qu’un algorithme ? Qu’est-ce qu’un profil ? Comment ça marche ?
Une fois qu’on aura les éléments de l’état de l’art, peut-être accueillir les réflexions et les questions, peut-être pas toutes naïves, des plus jeunes.
Et enfin envisager les problèmes philosophiques, les questions philosophiques que ça pose sur notre liberté mais aussi les modèles, peut-être politiques, différenciés. Ce n’est sans doute pas le même modèle pour le contrôle social en Chine, en Europe ou aux États-Unis. On verra ça de manière un peu plus précise. En tout cas merci.
Je vous propose, dans un premier temps, peut-être Antoinette Rouvroy, de nous expliquer comment fonctionne la gouvernementalité algorithmique et puis qu’est-ce qu’un algorithme ?

Antoinette Rouvroy : Bonjour.
La gouvernementalité algorithmique est en fait une hypothèse de recherche qui date déjà d’un certain nombre d’années, c’est une ligne de recherche qu’on a lancée avec des collègues belges, c’est finalement l’idée d’un ordonnancement du monde social qui ne serait plus articulé à la loi, aux normes sociales subjectivement et collectivement reconnaissables, discutables et idéologiquement suspectes, toujours, mais aux données. C’est-à-dire aux données qui prolifèrent du monde social, quasiment en temps réel, quasiment continuellement, à partir desquelles, grâce à des algorithmes relativement simples en fait, contrairement à ce qu’on pense, on repère ce qu’on appelle des patterns, en quelque sorte des modèles, c’est-à-dire des corrélations. Ce sont des corrélations qui sont établies entre ce que j’appelle des phéromones numériques, c’est-à-dire des données qui sont vraiment infra-personnelles, qui ne disent rien sur vous en tant qu’être singulier. Cela peut être des données que vous n’avez même pas conscience d’émettre, ce sont des données qui prolifèrent ou qui transpirent de nos relations, interactions, comportements et à tout moment. Ce sont des données qui sont de diverses natures, ce qu’on appelle des big data, donc ce sont des données textuelles, des données visuelles, des données de son, des données de trajectoires, des données de relations, avec qui vous êtes amis sur Facebook ou pas ami, etc. À partir de ces données-là, il y a donc des modèles qui sont établis par exemple de risque de fraude, ou de propension que vous pourriez avoir de vouloir acheter tel ou tel bien de consommation, ou de risque de récidive si vous avez été arrêté suite à la commission d’une infraction. C’est donc une manière non pas de gouverner le monde, non pas de gouverner le passé ni le présent, mais d’anticiper, c’est-à-dire de rendre l’avenir un petit peu comme une échographie du futur, une projection du futur. Non pas de décrire l’avenir, parce que personne ne sait décrire l’avenir, mais de produire à partir de ces masses de données ce que j’appelle des espaces spéculatifs, c’est-à-dire des espaces sur lesquels on peut agir par avance sur quelque chose qui n’existe que sur le mode de la pure potentialité.
Les algorithmes, contrairement à ce dont on peut avoir l’impression : Big Brother nous regarde, on est observé, ils nous surveillent, ils sont là partout, non, pas du tout. En fait, les algorithmes n’en ont rien à faire de qui vous êtes, de quelles sont vos intentions singulières. Ce qui compte, pour un algorithme, ce sont les traces vraiment infra-personnelles de vos comportements, qui sont reliées, de manière purement statistique, à des modèles comportementaux qui sont établis au sein d’un grand corps statistique impersonnel de toutes les données disponibles, pour ensuite établir effectivement des propensions. Ce ne sont même pas vraiment des risques mais des propensions sur la base desquelles on peut agir par avance sur le mode de l’agilité.
En fait, ça ne gouverne pas, ça ne vous gouverne pas vous, ça n’opère pas sur le mode répressif de la loi ou de la norme, mais ça va moduler les environnements. On dit que c’est un pouvoir environnemental. Comment le pouvoir va-t-il agir ? En modifiant les informations auxquelles vous êtes confronté sur Internet, en modifiant vos environnements informationnels et physiques de manière à ce que certaines choses se produisent et d’autres ne se produisent pas. Il s’agit de réduire le champ indéterminé et infini des possibles à un seul possible, c’est-à-dire celui qui est optimal pour l’instance, l’organisation ou l’entreprise qui se sert de l’algorithme. C’est un mode d’ordonnancement du monde qui ne passe plus par des choses signifiantes, c’est-à-dire qu’on passe progressivement, et on s’en rend compte, d’une civilisation du signe, du mot, du concept interprétable, reconnaissable, à une civilisation du signal numérique insignifiant, donc non interprétable parce que dépourvu en lui-même, individuellement, de toute signification, et de l’algorithme. Ça change énormément de choses dans la mesure notamment, et il me semble que c’est important.
C’est un mode de gouvernement qui court-circuite les manières collectives que nous pouvons avoir de décider des critères qui vont présider à la répartition des opportunités dans la vie sociale, c’est-à-dire des critères de besoin, de mérite, de désirabilité, de dangerosité potentielle. Normalement ces critères sont fixés par la théorie de la justice, sont fixés dans des textes qui peuvent être, par exemple, le texte constitutionnel. Là, c’est tout à fait court-circuité puisqu’on délègue à des machines qui ne fonctionnent plus sur une logique déductive qui est la nôtre : nous avons tendance à relier les phénomènes à leur cause pour prédire l’avenir. Ces systèmes de machine learning, d’apprentissage machine, fonctionnent de façon tout à fait différente. Ils sont inductifs, ils vont détecter des effets pour inférer d’autres effets, en se désintéressant complètement des causes et en sous-traitant aux machines. La machine a la charge, la tâche de déterminer les critères de mérite, de besoin, de désirabilité, etc. Ça se voit même au niveau le plus bas, c’est-à-dire que pour ces machines algorithmiques, ce qui relève du signe signifiant, c’est-à-dire du signal, et ce qui relève du bruit, c’est-à-dire ce que l’on ne doit pas considérer pour modéliser ou pour moduler le social, n’est plus décidé par aucune instance institutionnelle.
Le philosophe Jacques Rancière [1], dans Le Partage du sensible, disait que l’une des fonctions de l’institution c’est précisément de décider ce qui va être reçu comme signifiant et ce qui va être reçu comme insignifiant dans le discours public. On sait très bien que les discours des notables, hommes dans la Grèce antique, valaient pour du signal signifiant, alors que les bavardages des dames – heureusement qu’on a changé d’époque – des esclaves, des enfants, étaient a-signifiants, c’était du bruit. Vous voyez que ça a un aspect très normatif, très écrasant en quelque sorte. Il y a des vertus qu’on pourrait penser émancipatrices à confier aux machines plutôt qu’aux puissants la possibilité de décider de ce qui relève du signal signifiant et de ce qui relève du bruit.
On a l’impression, effectivement, que ça peut paraître plus objectif : c’est une machine qui ne calcule que des signaux insignifiants, qui va déterminer quels sont les critères de besoin, de mérite, de désirabilité, etc. On dit « parfait ! ». On passe à travers toutes les catégorisations socialement éprouvées et souvent discriminantes, qui ont été produites par des rapports de force et de domination historique, pour parvenir – et c’est ça l’idéologie technique des données massives – à une sorte d’objectivité machinique qui nous fait croire qu’on a accès au réel en tant que tel, on a accès au monde indépendamment de toute représentation douteuse, de tout rapport de force et de domination. Mais on sait très bien, de nombreux travaux l’ont montré, que ce passage de la représentation par le langage au calcul, n’a pas aboli du tout les discriminations, les distinctions en termes de pouvoir dans la société, au contraire, ça les naturalise. De quelle manière ? Tout simplement parce que les algorithmes, comme je vous disais, enregistrent des tas de faits sous forme numérique. Mais la simple transcription, sous une forme numérique, d’un état de fait dans lequel il y a énormément d’effets de rapports de force et de domination, cette simple numérisation ne purge pas le monde réel de toutes ses inégalités, mais les rend indistinguables en tant que résultats d’inégalités et de rapports de force et de domination. C’est en ce sens qu’il y a une sorte de naturalisation. Finalement, on passe d’un régime de normativité à un régime que j’appelle de facticité, c’est-à-dire que les algorithmes parlent une sorte de langage qui ne rencontre jamais que ses effets, qu’aucun locuteur, en tout cas humain, ne peut parler et, donc, qui ne peut pas être contesté.

Martin Legros : Très bien. On voit donc bien qu’un nouveau paradigme se met en place. Asma Mhalla, est-ce qu’on peut donner que quelques exemples concrets de la manière dont ce paradigme se monnaye dans l’économie, peut-être dans la justice, dans la politique ?

Asma Mhalla : Oui. Je vais apporter une dimension très concrète mais pas directement économique.
Si je devais aller sur l’analyse un peu économique de ce qu’on va appeler le capitalisme de surveillance, les analyses sur le sujet sont assez éculées, c’est l’ensemble des coopérations entre public et privé, entre géants technologiques qui sont les grands propriétaires des plateformes sur lesquelles vous faites quoi ? Eh bien vous fabriquez ces données-là, qu’Antoinette vient d’évoquer, et qui viennent derrière nourrir les algorithmes, les modèles et maintenant même les hyper-paramètres qui font que, finalement, vous êtes réduit vous, votre singularité, comme tu l’évoquais, à quelques signaux, si possible faibles, qui vont donc nous aider à prédire quelque chose qui n’était pas du tout certain à la base, ou initialement. En fait, vous avez ce continuum et après je vais être très concrète. D’un point de vue vraiment du business de la surveillance, on a ce continuum, en tout cas dans mon hypothèse, entre l’État, un État libéral, sécuritaire même, dirait Michaël Fœssel [2], philosophe français, et Big Tech ou géants technologiques, par les modèles économiques de la captation de l’attention, de la captation cognitive, de l’enfermement, du winner takes all. On a vraiment cet effet de réseau qui fait que, tout d’un coup, parce qu’on va concentrer les usages, on va enfermer nos usages sur quelques plateformes qui sont presque, par nature ou par design, oligopolistiques, et vous les connaissez toutes. Si on faisait un test là tout de suite, franchement : vous sortez vos smartphones et vous regardez sur combien de plateformes, combien d’apps, vous tournez de façon compulsive tous les jours. Je vous le donne en mille, c’est quatre/cinq max, les mêmes, américaines, par jour, les mêmes ! Quelques réseaux, peut-être un peu de e-commerce ou de Marketplace, les messageries évidemment qui sont toutes, en fait, dans les mêmes écosystèmes et, en gros, c’est tout.

Martin Legros : Et la presse, où la mettez-vous ? Si je consulte Le Monde toutes les demi-heures.

Asma Mhalla : Plus la presse, plus votre app du Monde. Donc vous avez Le Monde, vous avez WhatsApp, vous avez Linkedin, vous avez Twitter, vous avez Instagram. [Rires] Il est en train de me provoquer ! Vous avez quoi ?

Martin Legros : Le Monde, philomag.com [Philosophie Magazine], WhatsApp et c’est à peu près tout.

Asma Mhalla : Vous c’est pire, c’est deux et c’est vite vu !
Si on regarde, je pense qu’à deux/trois exceptions près, on va arriver un tout petit peu à ce constat-là. C’est le test que je fais chaque année, avec mes étudiants, lors du premier cours et, en fait, on tombe toujours sur les mêmes apps. En plus, avec mes étudiants, il y a aussi le dating, ça va être le Bumble, plus tellement Tinder et voilà. Et pour les super boomers, c’était quoi ? Meetic.
Vous rigolez, mais en réalité, c’est bien là que vous allez mettre vos données qui vont réduire ce que vous êtes à votre Doppelgänger], c’est-à-dire votre double numérique, et pas simplement votre double numérique. On va vous mettre dans ces fameux clusters – vous, mais dans tous ces outils-là, dans ces modèles économiques, il n’y a strictement aucune dimension complotiste –, on va vous classer, vous ordonner dans des groupes de gens qui vous ressemblent. Et, sur la base du comportement des autres – Netflix, Spotify fonctionnent là-dessus –, on saura sans grand risque d’erreur ce que vous allez regarder, écouter, aimer lire à l’avenir, sur la base de vous et des amis qui vous ressemblent. Tout d’un coup, d’un point de vue de l’ego, ça peut faire très mal quand on comprend ça.

Martin Legros : Ça veut dire qu’on est très prédictible en fait ?

Asma Mhalla : Oui et non d’un point de vue de nos usages sur les apps par cette éducation et cet enfermement. Tim Berners-Lee [3], un des inventeurs du Web, appelle ça le whole garden, vraiment les enclosures modernes et c’est là où on a un problème parce que, en fait, ça devient des prophéties auto-réalisatrices. Par cette éducation-là, en fait on dompte, on oriente, on enferme, non pas simplement vos usages, mais vos goûts, vos subjectivités, votre lien au monde, aux autres et à votre façon, finalement, de l’appréhender.
Vous me posiez en préambule une question. Cette histoire économique, cette espèce de continuum, en tout cas de capitalisme de surveillance où vous auriez ces géants technologiques qui vont vous enfermer sur leurs espaces virtuels pour vous pousser à fabriquer, et je dis bien fabriquer, de la donnée. Vous la fabriquez, vous la créez de façon gratuite.
Ce qui est aussi intéressant d’un point de vue économique, c’est que, tout d’un coup, on est en train de réfléchir à nouveau au passage d’un modèle de la gratuité vers des modèles payants : Musk et ses expérimentations pour l’instant foireuses mais qu’il expérimente ; Meta, ChatGPT dans un autre style, qui alternent freemium, c’est-à-dire modèle gratuit pour vous capter, créer cette accoutumance, cette addiction, pour vous pousser derrière sur des modèles payants prétendument plus performants, etc.
Si on revient à la question de la surveillance et de la techno-surveillance ou de la surveillance algorithmique, en réalité la doctrine, d’un point de vue de l’État, a été formalisée, en tout cas c’est là où je mets le curseur pour ne pas remonter trop loin, au 11 septembre. Suite aux attentats, aux États-Unis d’abord par la DARPA [Defense Advanced Research Projects Agency], l’Agence d’innovation de rupture du Pentagone, on va avoir cette idée, une idée génie, de la total information wellness, l’ère de l’information totale, qui est une vraie doctrine aux États-Unis et qui a donné derrière, dix ans plus tard, les révélations de Snowden [4]. Nous autres citoyens, utilisateurs, lâchons beaucoup de données sur ces plateformes, des données hyper privées et tous ces gens-là travaillent aussi sur nos faiblesses égotiques – s’exposer, se raconter, les narrations de soi-même, etc. –, qui sont en fait une mine d’informations d’un point de vue du renseignement et gratuites. Et tout d’un coup à bas coût, pour pratiquement rien ou si peu, on avait la possibilité d’avoir une masse d’informations sur à peu près tout le monde, pour aller chercher l’aiguille au milieu de cette botte de foin qui, initialement coûtait si cher.
La question de la surveillance n’est absolument pas nouvelle, je dirais même, je parle sous le contrôle d’Antoinette, qu’elle est même concomitante à l’État de droit. Il y a ce triptyque avec la loi, mais il faut bien surveiller qu’on respecte ladite loi, donc, de ce point de vue-là, la surveillance participait aussi de cela, avec la troisième dimension, la condition, en tout cas en démocratie, qu’elle soit bienveillante, c’est-à-dire qu’elle ne soit pas discriminatoire. Donc simplement le contrôle de la loi, donc d’une forme de paix sociale, civile et même, plus tard, à des fins de bio-pouvoir, de contrôle des populations, des épidémies, de la natalité, etc. Initialement, si on remonte, c’était un peu ça.
Et puis tout d’un coup, on a eu la possibilité d’orienter ça vers de la surveillance dite de masse, je prends maintenant cette précaution, je dis bien « dite de masse », parce que de plus en plus de personnes disent, je le donne comme argument parce que c’est l’argument qu’on me rétorque, « ce n’est pas de la surveillance de masse. C’est de la surveillance qui a la volonté d’être massive, mais aujourd’hui techniquement, d’un point de vue technique, les États, les ministères de l’Intérieur, de la Défense, de Sécurité, de Renseignement, n’ont pas forcément les moyens humains. » Cette subtilité est intéressante, c’est-à-dire que derrière la machine vous avez toujours et encore de l’homme quelque part. Quand on dit qu’il y a l’outil, les algorithmes, mais derrière ils encapsulent des biais, des filtres, des arbitrages politiques, voire idéologiques, donc les concepteurs sont bien des hommes et des femmes, en tout cas des humains – ça reste quand même très majoritairement des hommes –, des humains derrière. Donc, en amont, vous avez bien l’humain, l’Homme avec un grand « h », les êtres humains, et en aval on retrouve toujours de l’humain.
Pardon, je vais peut-être parler d’un sujet hypersensible, mais j’ose, ce qui est en train de se passer actuellement au Proche-Orient. Ce territoire était sur-quadrillé de technologie, de reconnaissance faciale, essentiellement de logiciels prédictifs et en fait de mouchards sous tout un tas de formes, des drones, des caméras embarquées, etc., qui captaient en temps réel, en Cisjordanie et aussi dans la bande de Gaza, qui captent toujours d’ailleurs, de la data qui est transformée derrière, par les algorithmes, en information. Et pourtant ça n’a pas empêché les attentats du 7 octobre. Ça veut dire qu’à un moment donné, l’outil seul, aussi puissant soit-il, ne suffit pas s’il n’y a pas la dimension politique, humaine, l’arbitrage politique, la clairvoyance politique de bien interpréter et de prendre les bonnes décisions au bon moment. Là, on a une espèce de cas d’école pur et parfait. C’est là où tout d’un coup on a un retour au réel. On a cru pendant très longtemps, et je crois qu’on continue, hélas, à le croire, que parce qu’on a des machines ultra-puissantes dans leur capacité calculatoire, on va pouvoir tout prédire, tout calculer et finalement annuler le risque et on se rend compte que non. On peut quadriller, on peut réduire, on peut faire beaucoup d’erreurs parce que ce sont des calculs faits par des machines qui sont tout sauf infaillibles, mais le réel nous rattrape toujours.
Antoinette l’évoquait, c’est aussi un peu la limite d’un point de vue politique et démocratique : si jamais vous faites l’objet d’une erreur ––reconnaissance faciale mettons–– quel recours avez-vous, d’un point de vue très pratique et pragmatique, je ne dis pas d’un point de vue du droit ? D’un point de vue du droit pur, on a prévu ces cas-là. Mais qui a lu les CGU [Conditions générales d’utilisation] en police, 7, en 15 pages qui se succèdent, qu’on n’a pas le temps et les moyens de lire. Donc quel recours, d’un point de vue réellement démocratique, n’importe quel citoyen aurait-il en cas d’erreur, de réclamation – j’utilise ce mot « réclamation », c’est intéressant.
Ma réponse est un peu fouillis, mais un, 11 septembre, doctrine de l’information totale, total information wellness par la DARPA qui est d’ailleurs passée derrière à la NSA. On a ces apps et ces plateformes qui, tout d’un coup, nous permettent, à nous tous, gratuitement, de nous exposer, donc de produire de la donnée, donnée qui, derrière, fait converger deux choses : le ludique, le sympathique, le commercial, l’économique, mais aussi l’ultra-sécuritaire, avec cette croyance sous-jacente d’une forme de solutionnisme technologique. On se dit, parce que ce sont des outils, parce que c’est une machine, donc prétendument magique, donc infaillible, qu’on va avoir une forme de vérité, en tout cas, c’est la pensée magique qu’on a apposée et appliquée à ces outils-là et on se rend compte que non, ils sont parfaitement faillibles.
Et enfin, il y a cette continuité : derrière les machines il y a de l’humain, il n’y a pas simplement des concepteurs qui sont dans leurs labos, il y a surtout, maintenant, des batailles idéologiques entre géants technologiques qui détiennent, aujourd’hui, ces outils-là, leurs États, mais aussi entre eux. Ce qui est très intéressant avec ChatGPT en ce moment, autour de ChatGPT qui n’est finalement qu’un épiphénomène, et j’insiste, c’est un épiphénomène, mais qui est intéressant si on le récupère et on instrumentalise d’un point de vue politique. On se rend compte qu’Altman n’a fait aucune innovation de rupture dans les modèles mais simplement une innovation commerciale et tout d’un coup, par l’expérience de la plateforme et de l’interface, il y a eu adoption de l’outil sans d’ailleurs qu’on se pose plus de questions que ça, avec une communication très low profile, très humble sur l’erreur, le risque d’erreur, que son outil n’est vraiment pas parfait, pardon s’il se trompe, etc., ce qui a donc complètement neutralisé la question de la fiabilité des résultats de sa machine. En face, on avait et on a toujours Elon Musk qui accuse Altman d’avoir mis en service, sur les marchés, gratuit dans ses premières versions, un outil woke. La semaine dernière il a annoncé la sortie de sa propre IA générative, Groke, donc de l’imaginaire de Heinlein, auteur américain de science-fiction, qui veut dire d’ailleurs qu’il a une super empathie, ce qui est assez drôle pour un Asperger, qui est censée être une IA base, c’est-à-dire anti-woke. Est en train d’apparaître, en ce moment dans la Silicon Valley, un mouvement de quelques-uns, qui ont énormément de puissance, vers une forme d’ alt-right et de ce qu’on va appeler le anti-woke capital, c’est-à-dire une espèce de bataille via les algorithmes, via les IA, mais c’est en fait une bataille culturelle qui est en train de se jouer.
Ce sont un peu ces convergences-là qui sont intéressantes à détricoter.

Martin Legros : Très bien. Avant de donner la parole à nos lycéens, peut-être par rapport aux modèles qui semblent assez forts, qu’est-ce que vous répondez à cette idée que la politique ne disparaît pas à l’heure de la gouvernementalité algorithmique ?

Antoinette Rouvroy : Je dirais tout d’abord que la surveillance existe, bien sûr, elle est là, mais il me semble que le mot est tellement massif qu’il nous cache une réalité qui est quand même un petit peu plus subtile. On parle de surveillance mais tout cela ne passe plus du tout par l’épistème visuel. Dans la notion de surveillance, on voit ; ce n’est ni bienveillant ni malveillant d’ailleurs, ça ne veille pas du tout.
Cette « surveillance », entre guillemets, ne se passe pas du tout à notre corps défendant, bien au contraire. De quoi avons-nous peur, nous, je dis nous qui ne sommes pas particulièrement précaires, par exemple qui ne sommes pas des candidats à l’immigration ? Nous n’avons pas du tout peur de la surveillance, nous avons peur de n’être pas suffisamment visibles sur les réseaux. Aujourd’hui, alors que la norme est en train de se dissiper – on n’est plus dans un régime normatif mais un régime de facticité, comme je vous disais –, l’enjeu c’est la course au crédit, à la crédibilité sociale, à la visibilité, à l’audience : je n’existe que si je suis vu. On est dans un régime que Niklas Luhmann [5] appelait le second order observation et on le voit quand on va dans un musée. J’ai vu des photos d’un musée d’il y a cinq ans ; les gens regardaient les toiles sans rien d’autre que leurs propres yeux. Maintenant, les gens vont au musée, regardent les toiles à travers leur téléphone portable et font des photos parce que l’évaluation même de ce qu’ils voient passe toujours par l’anticipation de comment les autres, qui vont voir la photo qu’ils vont poster sur le réseau social, va les rétribuer en crédit, en crédibilité pour ce type de post. Ce n’est pas à notre corps défendant, d’une part parce qu’on est dans une transformation, finalement, qui nous affecte tous, dans notre manière même de nous donner à nous-même du crédit, et aussi parce que chacun de nous veut être reconnu comme unique. Cet engouement pour les algorithmes et pour la personnalisation des environnements informationnels et physiques, pour la personnalisation des interactions que nous avons avec les bureaucraties publiques et privées, n’est pas quelque chose qui nous est imposé, c’est parce que nous voulons, chacun, être reconnu comme unique, irréductible à aucune moyenne, irréductible à aucune catégorie socialement éprouvée, donc nous fonctionnons là-dedans. Et ce capitalisme numérique, ou ce tournant algorithmique, se nourrit précisément de cette sorte de précarité ontologique, c’est-à-dire du fait que nous, et la plupart des vivants d’ailleurs, sommes des processus en constant dépassement de nous-même, donc en doute quant à notre propre valeur et nous sommes d’autant plus en doute quant à notre propre valeur qu’aujourd’hui les critères et les métriques, à l’aune desquelles nous sommes évalués, nos performances sont évaluées les unes par rapport aux autres, sont devenues éminemment plastiques.
Un chauffeur Uber, pour vous donner cet exemple-là, pourquoi joue-t-il le jeu extrêmement toxique de la compétition absolue à l’aune de la phéromone numérique, c’est-à-dire du clic ou de l’étoile que son client va lui remettre, alors qu’il sait très bien que cela va à l’encontre, finalement, de toute possibilité d’agencement collectif des travailleurs Uber, des travailleurs de plateformes ? Pourquoi joue-t-il le jeu ? Ce n’est pas en raison d’une soi-disant opacité de l’algorithme, non, les chauffeurs Uber savent très bien comment l’algorithme fonctionne, ce sont de véritables experts, mais ils en jouent. Pourquoi ? Parce que tout a été fait pour fragmenter toutes les formes collectives qui pourraient s’interposer à ce qui a déjà été identifié par un philosophe anglais, qui s’appelle Nick Land [6], comme la téléologie [7] commune, donc la visée commune entre la cybernétique et le capitalisme, c’est-à-dire la fragmentation de toutes les formes résilientes, le contournement de tout ce qui devrait urgemment interrompre les flux capitalistiques, l’augmentation de l’entropie qui va avec et l’augmentation de la vitesse avec laquelle nous allons droit dans le mur écologique, dans le mur de la biodiversité qui s’effondre, etc., et dans le mur social, l’effondrement social. pour le capitalisme, l’enjeu c’est de court-circuiter tout ce qui pourrait lui faire obstacle.
Finalement, ces algorithmes ne sont pas la cause de nos problèmes. Ils sont le symptôme d’une évolution du capitalisme, la dernière évolution en date, qui, ayant quasiment épuisé les ressources matérielles, naturelles, etc., se saisit à présent du virtuel, c’est-à-dire de la dimension temporelle de ce que nous pourrions devenir, afin finalement de préempter, c’est-à-dire d’agir par avance sur ce qui pourrait lui faire obstacle, en cassant tous les collectifs, en empêchant l’action collective. On a donc besoin, face à ça, d’une critique non pas des algorithmes – la transparence des algorithmes, oui, c’est bien, évidemment, encore plus de transparence, c’est toujours bien, qui ne serait pas d’accord –, les enjeux fondamentaux ne sont pas vraiment là. Si ces algorithmes ont de tels effets néfastes, c’est parce que la société dans laquelle ils agissent finalement comme un microsystème dans un environnement sociotechnique beaucoup plus large, n’a pas la force de résistance suffisante. Il faut donc une critique je dirais matérialiste de ces enjeux-là.

Martin Legros : Sur la question que la politique ne disparaît pas dans les algorithmes, vous n’avez pas répondu.

Antoinette Rouvroy : La politique ne disparaît pas dans les algorithmes, mais je dirais qu’il y a quand même une dépolitisation, c’est-à-dire un court-circuit des possibilités que les individus et les collectifs auraient de mettre en question, par exemple, les métriques ou la décision dont je vous parlais tout à l’heure : qu’est-ce qui distingue le signal du bruit ? C’est une décision quasiment d’ordre constitutionnel, pour parler comme juriste : qu’est-ce qui relève du bruit, qu’est-ce qui relève du signal, qu’est-ce qui vaut dans une société et qu’est-ce qui ne compte pas ? Qui compte et qui ne compte pas ? Comment sommes-nous calculés ?, pour parler comme Dominique Cardon [8]. Ce sont des enjeux qui, normalement, font l’objet d’une délibération politique collective dans les parlements pour ensuite devenir des lois. Il y a quand même une dépolitisation.
Maintenant, ce n’est pas pour autant que les algorithmes n’ont pas de point de vue. Un algorithme est un système d’optimisation et un système d’optimisation sert toujours une finalité qui est déterminée : qu’est-ce qu’on optimise ? À quoi ça sert d’optimiser ? C’est la politique de chaque algorithme et on peut la voir formalisée dans ce qu’on appelle la fonction objective de l’algorithme, on appelle aussi cela fonction coût, en caricaturant beaucoup. C’est dans la fonction objective que le donneur d’ordre de l’algorithme, celui qui va s’en servir pour devenir beaucoup plus agile, non pas pour gouverner le monde mais pour gagner en agilité et en capacité à court-circuiter tout ce qui pourrait faire obstacle aux effets de son intentionnalité, de ses intentions, inscrit ce qu’il y a à maximiser et ce qu’il y a à minimiser. Un exemple. Il y a un rapport très intéressant de Philip Alston, rapporteur spécial des Nations Unies sur l’extrême pauvreté en 2019, qui s’appelait le Digital Welfare States and Human Rights [9], c’est-à-dire l’algorithmisation des institutions d’aide sociale. Finalement, pour beaucoup d’États qui se servent des algorithmes pour aider à accélérer le traitement des dossiers des demandeurs d’aide sociale, qu’est-ce qui est optimisé ? Qu’est-ce qu’ils optimisent ? Qu’est-ce qu’ils cherchent ? Minimiser les investissements publics dans l’aide sociale, bien entendu. Ce n’est pas maximiser la justice. Et pourquoi l’algorithme ne veut-il pas maximiser la justice ? Parce que la justice est un concept dialectique, c’est-à-dire que c’est un concept qui n’est pas traduisible sous une forme calculable, sous une forme de données, parce qu’on n’est jamais complètement juste, même la loi n’est jamais complètement juste. La justice est un horizon, c’est un idéal régulateur vers lequel on tend, dont le juge essaye de donner une sorte d’approximation, mais elle échappe toujours parce qu’elle n’est pas là, déjà, dans le présent. En quelque sorte, c’est un indécidable et il y a à chaque fois des fixations temporaires, des décisions qui vont être des approximations de justice et qui restent toujours contestables dans un système humain. Pourquoi restent-elles contestables ? Parce que, précisément, on sait qu’aucune décision n’est jamais parfaitement juste parce que la justice est ontologiquement essentiellement quelque chose qui a une part d’indéterminé et d’indétermination qui est toujours reconduite.
On dit « les boîtes noires, etc., on ne peut pas savoir à quoi ça sert ! ». Mais si, on peut très bien savoir à quoi ça sert ! On sait ! L’algorithme d’Amazon, par exemple, va essayer de favoriser certains produits sur d’autres, favoriser les best-sellers plutôt que les objets beaucoup plus rares, par exemple, et ça peut se voir, c’est tout à fait communicable.

Martin Legros : Ce n’est pas très étonnant venant de sa part.

Antoinette Rouvroy : Ce n’est pas très étonnant !
L’algorithme de Facebook va essayer de favoriser l’engagement, c’est-à-dire le temps que vous allez passer sur la plateforme parce que ce temps c’est du temps pendant lequel des données sont récoltées, donc vous augmentez le capital en données, et les données numériques sont, en quelque sorte, la texture du capitalisme. Vous augmentez le capital de Facebook.
Dans le cas du phénomène des fake news et du marketing politique, il a été remarqué que quantitativement certains types de discours ou certains types de posts ont une viralité beaucoup plus grande que d’autres. Pourquoi voit-on surtout sur Twitter, en tout cas on l’a vu à une certaine époque, des posts extrêmement choquants, extrêmement polarisants ? Ça dépend justement du business modèle de Twitter qui fonctionne à la publicité, aux revenus publicitaires, donc la viralité compte puisque ces revenus publicitaires sont calculés en fonction du nombre de visionnages, même si vous ne cliquez pas, il faut donc que ça circule le plus vite possible. Si les contenus polarisants sont beaucoup plus repostés, retweetés que les autres, l’algorithme va favoriser ces contenus-là sur d’autres.
Ce n’est pas un programme politique en tant que tel, il n’y a pas de programme politique. Google en avait plus ou moins à l’époque, mais ils ont supprimé ça ; Don’t be evil, Doing good, ils voulaient faire le bien, on trouvait ça sur les politiques de Google, ça a disparu.
On voit bien que ça sert toujours un intérêt qui est effectivement décelable, qui est formalisé, c’est un peu technique, dans la fonction objective des algorithmes.

Ama Mhalla : Puis-je ajouter trois choses, vraiment trois points, parce que j’ai peur de les oublier après. Ce que tu viens dire me rappelle qu’il faut absolument que je vous les dise.
Tu me posais la question du côté très pragmatique des choses, très opérationnel. Je vous ai parlé de la doctrine de l’information totale, qui est américaine, mais qui est très vite arrivée en Europe, en particulier en France. En fait, on a eu une accélération, je dis bien une accélération, non pas une apparition, à partir de 2015, suite aux attentats en France, d’une espèce de salve de textes ultra-sécuritaires qui n’ont d’ailleurs pas fait l’objet de beaucoup de débats, qui sont souvent passés quand c’était les vacances, la Pentecôte, etc., et indifféremment de la couleur politique.
C’est cela que je voulais dire, vraiment pour vous [le public, NdT], non pas comme utilisateurs de smartphones mais comme citoyens : il faut être très vigilant à cette tendance sécuritaire où finalement les algos, la reconnaissance faciale, etc., sont un peu, si vous voulez, le dernier kilomètre de la doctrine sécuritaire qui commence par quoi ? Vous avez un événement plus ou moins tragique, en l’occurrence dramatique, qui, derrière, va être instrumentalisé autour d’une rhétorique de la sécurité. Et faites attention à cela désormais, vous le verrez, c’est toujours la formulation ultra-simpliste, binaire, voire cette forme de chantage politique qui vous est fait : sécurité ou liberté ? C’est comme si je vous demandais tout un coup : papa ou maman ? Eh bien non, peut-être que vous aimez vraiment beaucoup les deux et que vous avez vraiment besoin des deux à la fois et non pas l’un ou l’autre. La façon dont systématiquement le débat public, alimenté par les politiques depuis un paquet d’années, c’est cette binarité où vous devez vous positionner et choisir absolument et dans l’urgence, tout de suite, par la peur. Cette gouvernance par la peur, cette sidération que ça génère, empêche finalement toute pensée politique ou une forme de dépolitisation de ça.
En France, pour arriver aux textes qui ont été votés régulièrement, on commence très souvent par de l’expérimentation pendant quelques années, deux/trois ans et puis, progressivement, ça entre dans le droit commun. En 2015, on a eu un très bon cru. On a eu la loi dite de la boîte noire, en fait la loi renseignement [10] qui fait entrer dans le droit commun un certain nombre d’algorithmes, qui sont traités au sein du ministère de l’Intérieur, justement pour détecter ces signaux faibles et dont le fonctionnement n’est pas très fiable, d’une part d’un point de vue technique, mais aussi en termes de rendement de comptes on va dire. On a eu tout un tas de débats, dans le débat public, où ça a poussé sur la reconnaissance faciale. Maintenant, à l’aube des JO, ce n’est pas exactement de la reconnaissance faciale, ce sont des caméras dites intelligentes. On va reconnaître des formes pour détecter une menace, un risque, sans forcément qu’on garde vos données biométriques en tant que telles, mais c’est encore un pas qui pousse vers cela.
La question n’est pas de savoir si c’est bien, si c’est mal, j’ai presque envie de vous dire. Pourquoi je vous dis ça ? Un sondage Odoxa est sorti il y a quelques mois, qui interrogeait un échantillon de Français : est-ce que vous êtes pour ou contre la reconnaissance faciale ou les caméras dites intelligentes ? 74 % des Français sont absolument pour le quadrillage de l’espace public, je ne parle pas de la domotique chez vous ou pour déverrouiller votre smartphone, je parle vraiment du quadrillage de l’espace public. La déconstruction, à mon sens en tout cas, c’est de se demander la raison du plébiscite, finalement, de ce type de technologie-là. Il y a peut-être aussi une construction de la rhétorique, du discours, des antagonismes, de la menace permanente, de la peur permanente, qui alimente aussi ça sans qu’on repose les bons termes du débat. Peut-être que la question n’était pas tant de savoir si c’était sécurité ou liberté, mais la profondeur et l’amplitude de ladite sécurité qu’il faudrait aller regarder plus en détail mais collectivement en fait.

Antoinette Rouvroy : Si je peux rebondir un peu. J’ai repris un peu Claude Lefort [11] que j’aime bien. Il disait : « L’essentiel, à mes yeux, est que la démocratie s’établit et se maintient dans la dissolution des repères de la certitude. La démocratie inaugure une histoire où les hommes sont mis à l’épreuve d’une indétermination finale quant au fondement du pouvoir, de la loi et du savoir, ainsi qu’au fondement des rapports des uns avec les autres dans tous les domaines de la vie sociale. » Mais maintenant, par rapport à l’époque où écrivait Claude Lefort, « la conscience aiguë de la contingence, c’est-à-dire de l’instabilité, n’est plus simplement relativement au domaine politique, elle s’étend aussi à l’environnement biophysique dans lequel nous sommes et géo-biophysique à l’échelle planétaire. » Il me semble que ce dataïsme, cette croyance dans le fait que grâce à l’observation totale, la data, etc., ce que j’appelle l’idéologie technique du big data, apparaît aujourd’hui comme la nouvelle manière privilégiée d’enjamber l’indétermination radicale. Donc la tâche assumée par la datafication, ou l’algorithmisation, ou par ce qu’on appelle encore le tournant computationnel, est précisément la tâche que Claude Lefort assignait à l’idéologie, c’est-à-dire « la restauration de la certitude dans une société démocratique caractérisée par l’indétermination. »
C’est là tout l’enjeu, me semble-t-il, de ces questions. On a effectivement d’abord cette contingence et ça caractérise notre ère. Aujourd’hui, il y a deux choses qui sont un peu paradoxales, qui coexistent : à la fois une conscience aiguë de la contingence, de l’indétermination du monde bio, géo, physique, etc., dans lequel nous sommes, de l’environnement général et, d’un autre côté, la croyance quasiment magique au pouvoir qu’auraient les intelligences artificielles de solutionner cette complexité dans la boîte noire de l’algorithme. Cette double croyance, me semble-t-il, est marquante de notre époque. Mais si on va dans ce sens-là en disant que les algorithmes vont métaboliser la complexité en nous dispensant d’avoir à l’enjamber par nos conventions, par tous nos artifices typiquement humains – le langage, la décision collective, la délibération démocratique et collective face à l’incertitude à laquelle nous sommes en commun confrontés. C’est bien ça l’enjeu du commun et normalement l’enjeu de l’espace public. Alain Desrosières [12] définissait l’espace public comme espace dans lequel nous sommes confrontés à la chose commune en tant qu’elle est irréductible à la seule juxtaposition des intérêts individuels. Il me semble qu’on a là tout l’enjeu.
Ce n’est pas tellement le problème de la dystopie sécuritaire, Big Brother, etc. Non. Ce qui est en train de se jouer, me semble-t-il, ce sont des glissements relativement subtils dans nos manières de nous relier à ce qu’on appelait l’incertitude, qu’on appelle aujourd’hui l’urgence et l’émergence, les phénomènes émergents. Je crois qu’on est effectivement passé de la prévision, de la prédiction et finalement de la précaution, à quelque chose qui est aujourd’hui très différent, qui est ce qu’on appelle la résilience et l’agilité. La résilience et l’agilité nous émancipent, nous dispensent d’avoir encore même à prédire ou même à faire des probabilités. Il suffit de capter, en temps réel, les signaux faibles qui proviennent du monde numérisé et de se donner, grâce aux algorithmes, la capacité d’y réagir quasiment en temps réel et de façon agile.

Martin Legros : Merci. On verra d’ailleurs, dans un instant, les questions que ça pose aussi de notre complicité avec ces systèmes, qui ne fonctionneraient pas sans notre complicité. Nous sommes tous là avec des téléphones, après tout, nous nourrissons la bête en permanence.
Place aux questions de nos lycéens. Un micro est là. Je vais vous demander chaque fois de vous présenter, peut-être de nous faire le retour sur votre travail autour de ces questions du contrôle et de la surveillance et éventuellement de nous faire part aussi de vos questions.

Diverses lycéennes : Bonjour à tous. Je m’appelle Marie et je suis accompagnée de Sidonie, Camille et Amélia. Nous sommes des élèves de terminale du lycée Bernard Palissy. Nous sommes très contentes d’être là ce soir.
Il y a trois semaines, nous avons reçu un intervenant de la Maison forte, un tiers-lieu lot-et-garonnais. Il nous a expliqué l’origine de la cybernétique [13], nous avons débattu sur ce sujet et nous sommes ici aujourd’hui pour présenter notre réflexion.
En comprenant mieux l’histoire et le fonctionnement de l’informatique, du Web, nous avons davantage pris conscience de l’ensemble des data que nous laissons sur Internet. Nous avons aussi perçu à quel point l’informatique, et maintenant l’intelligence artificielle, peuvent être des moyens de contrôler et même de réguler nos comportements. Mais nous nous sommes aussi demandé si c’était vraiment un problème, si cela peut aussi avoir des avantages et finalement si nous avons vraiment le choix dès lors que nous voulons avoir une vie sociale, culturelle et professionnelle.
Si notre liberté semble bien en cause, nous ne ressentons pas forcément les contraintes ni les conséquences d’un tel fonctionnement. On a même l’impression que tout est fait pour qu’on ne les voie pas. On a vraiment le sentiment de rester libre même si chacun de nos clics définit peu à peu un univers profilé qui est le nôtre. Mais ces outils numériques semblent permettre aussi un accès plus équitable au savoir pour tous et partout.
Et puis une paix sociale et une justice assurée au moyen des intelligences artificielles qui sont peut-être plus fiables, plus objectives aussi, alors qu’un contrôle et des jugements humains peuvent faire des erreurs, être guidés par des émotions, des préjugés.
Mais on peut tout de même craindre que ces moyens de contrôle échappent aux hommes, ils nous dépassent déjà, à notre niveau. On se demande aussi si la justice et la politique ne doivent pas rester humaines malgré les risques d’erreurs et d’échecs. L’empathie entre les humains semble essentielle, mais aussi la responsabilité qu’ils ont de leurs jugements et de leurs actes. Une machine ne peut pas être responsable.
Nous sommes curieuses et intéressées d’entendre vos propos pour avancer dans nos réflexions.
En nous appuyant sur ce débat et sur les différents points appuyés, on aimerait vous demander s’il existe une résistance qu’on puuisse apporter pour éviter ces contrôles et cette surveillance par ces algorithmes. Merci.

[Applaudissements]

Martin Legros : Merci beaucoup.
Je retiens deux éléments intéressants. C’est vrai que nous participons et nous n’en avons pas le sentiment, très étrangement d’ailleurs. Nous nourrissons quotidiennement ces nouveaux algorithmes de nos données et nous leur donnons quasiment tout. Je suis d’ailleurs très surpris, la surveillance est beaucoup plus précise et ample qu’on ne le pensait. Suite à une discussion qui peut être aussi bien sur Claude Lefort que sur ma chaudière, j’ai souvent l’impression, le jour qui suit, que je reçois des articles sur Claude Lefort ou sur les chaudières. On se dit que c’est beaucoup plus profond, mais, en même temps, je me dis so what ?, et je crois que nous sommes nombreux à nous dire so what ?. C’est-à-dire que puisque c’est de l’algorithme, puisque ce n’est pas un agent particulier qui me surveille en tant qu’individu mais qui me délivre quelque chose qui peut potentiellement m’intéresser pour acheter une chaudière, so what ?. J’imagine que, pour vous, cette complicité est inquiétante, mais elle est peut-être consciente du fait qu’elle n’est pas visée comme singularité, donc, finalement, ce n’est pas une surveillance au sens classique.

Antoinette Rouvroy : Effectivement, comme je vous le disais, ce que les algorithmes sont capables de repérer ce sont des particularités, y compris par rapport, finalement, aux statistiques classiques qui avaient encore ce rapport à la moyenne, ce rapport entre ce signal et ce bruit, qui éliminait le bruit comme étant perturbateur. Ici, les algorithmes peuvent prendre tout en compte, y compris ce qui paraît le plus éloigné des grands nombres, ce qui précédemment justement, dans les régimes de représentation humaine, n’avait pas voix au chapitre.
On pourrait penser, et certains de mes collègues le pensent effectivement, que finalement, dans l’ombre de la soi-disant fin du sens qui proviendrait de ce métabolisme algorithmique, il y aurait une autre notion du sens, un sens beaucoup plus, à la limite, écologique, puisque tout pourrait signifier. Mais le risque est là et, me semble-t-il, il est non négligeable, d’une pathologie assez particulière qu’ont inévitablement les algorithmes de machine learning, d’apprentissage, qui est la paranoïa. À partir du moment où chaque signal a-signifiant devient potentiellement signifiant, c’est-à-dire peut potentiellement vous désigner à risque de ne pas rembourser votre crédit, à risque d’absentéisme au travail, à risque de commettre une infraction, etc., ou comme mari infidèle éventuel, à partir du moment où tout devient signifiant, on est dans un régime de paranoïa.
Je ne sais pas si vous avez vu le film de Clouzot, L’Enfer. Dans L’Enfer d’Henri-Georges Clouzot on voit ça très bien et ça représente assez bien ce que voit un algorithme. Un algorithme ne voit rien. Il défait nos images et les recompose, souvent avec pas mal d’hallucinations, des hallucinations qui sont domestiquées par la fonction objective de l’algorithme et qui font voir absolument tout en fonction de cette fonction objective de l’algorithme qui est la subjectivité de l’algorithme. Et l’algorithme va délirer que, parce que vous vous mouchez à tel moment, que vous vous grattez la tête, vous êtes ceci ou cela. Le risque c’est donc la paranoïa.
Un autre risque sanitaire – il y a trois risques sanitaires pour les algorithmes –, c’est le délire, la schizophrénie. Pour Freud, la schizophrénie c’est confondre les signes et les choses, prendre les choses pour les signes. Et effectivement les algorithmes ne peuvent pas métaboliser le monde, ils ne métabolisent jamais que les données, mais ils prennent les données pour le monde ou pour la seconde peau du monde. Il y a donc une sorte d’inversion si vous voulez. Même les modèles algorithmiques ne fonctionnent pas du tout comme des signifiants par rapport à des signifiés, ils dispensent de la différence entre signifiant et signifié, c’est-à-dire de la résistance et de la négativité non pas de la relation même entre signifiant et signifié, mais de la résistance qu’il y a toujours entre signifiant et signifié et qui permet de faire varier la signification. Cette résistance est finalement fondamentale à la vitalité même de notre langue. Il y a là des enjeux linguistiques et sémiotiques importants.

Martin Legros : Quelle est l’autre pathologie ?

Antoinette Rouvroy : Il y a paranoïa, schizophrénie et puis la maladie de la vache folle qui concerne essentiellement les algorithmes génératifs qu’on connaît aujourd’hui : ChatGPT, les Transformers, etc. Pourquoi ? Parce que, progressivement, ils vont bouffer leur propre production, c’est-à-dire que vous rentrez dans les bases d’entraînement des algorithmes inévitablement des contenus, des images et des textes, qui auront été générés avec toutes les hallucinations possibles et imaginables par ces mêmes algorithmes. On sait très bien ce qui se passe quand on mange sa propre espèce, on finit par avoir des problèmes mentaux. C’est un problème et même le fondateur d’OpenAI dit « pour l’instant on n’a pas de solution à ça ». À mon avis, pour l’instant, ChatGPT vit son moment de grâce, sa lucidité ultime, mais c’est en train de plonger et ça va plonger inévitablement et là vous allez voir la bêtise artificielle ou la folie artificielle se propager et l’Internet va devenir un ersatz de lui-même, une sorte de simulacre, vraiment à la Baudrillard [14], le simulacre c’est une copie sans original, et voilà où on en est, donc nonsense.
Évidemment, ce n’est pas une mauvaise nouvelle pour les humains, c’est même plutôt une très bonne nouvelle ! On s’est bien amusé avec ces trucs et ce bazar, c’était super gai, c’était rigolo, mais maintenant je pense qu’on a bien compris qu’on ne peut pas s’en servir pour se dispenser nous-mêmes d’avoir à nous gouverner, d’avoir à décider, et apprendre à faire ce geste traumatique, qui peut toujours rater, de prendre une décision sur fond d’indécidabilité, parce qu’il y a de l’indécidabilité et toute décision humaine ne se caractérise comme décision véritable qu’en raison de cet élément très négatif et très obscur qu’est l’indécidabilité. C’est pour cela aussi que je milite contre cette idée qui est en vogue aujourd’hui que l’enjeu c’est de rendre les boîtes noires transparentes et tout ira bien.
Le problème, ce n’est pas le manque de transparence ou l’opacité des algorithmes, le problème c’est le déni de l’opacité du monde qui n’est pas une opacité seulement épistémique, qui est fondamentalement ontologique et qui n’est pas résoluble, qui n’est jamais résoluble, qu’on peut enjamber, c’est-à-dire qu’on peut déjouer et reconduire au mieux, mais qui reste à la fois le mystère et la grâce qui font que nous parlons, que nous créons, que nous inventons, que nous nous disputons aussi.
En fait, je suis partie dans un élan lyrique que je n’arrive plus à arrêter !

[Applaudissements]

Martin Legros : Merci Antoinette Rouvroy.
On va prendre quelques-unes de vos questions, mais je voudrais demander à Asma Mhalla quand même, vous qui travaillez sur les usages politiques des Big Tech, s’il y a des modèles de politique d’usage de l’IA. On a beaucoup entendu parler du crédit social chinois [15]. Est-ce qu’il y a un modèle chinois qui serait différent du modèle européen ou du modèle américain ? Ou est-ce que tout cela est plus ou moins en train de se lisser sur un modèle uniforme ?

Asma Mhalla : Oui et non. Un peu les deux, mon capitaine.
Est-ce que je peux juste, en préambule, réagir sur l’exposé qui a été fait ?
C’est génial. Le travail que vous avez fait en tant que tel est une forme d’espoir. Vous vous appropriez ces questions-là, donc vous les conscientisez, vous les verbalisez, vous les formalisez. C’est bien ce travail-là qui est à faire à échelle ou à l’échelle. Mais vous disiez que la technologie en général, l’IA en particulier, était peut-être une source aussi de paix – je ne sais pas si j’ai bien compris, si je fais un contresens arrêtez-moi. En fait non, et ça va me permettre d’embrayer sur la réponse à la question que vous venez de me poser.
Non parce que, d’un point de vue extrêmement pragmatique et géopolitique, donc de realpolitik pure, et là je me défais un tout petit peu des questions philosophiques et purement politiques, ce qu’on voit apparaître, l’enjeu aujourd’hui qui est cristallisé par exemple sur la rivalité États-Unis/Chine, qui est une compétition stratégique entre deux puissances, une ancienne hyperpuissance et une superpuissance qui a velléité de prendre sa place, donc un enjeu de préservation de puissance pour l’une, de défi pour l’autre, se joue sur la question technologique, notamment sur la question des IA, notamment des IA militaires.
Ce qu’on a vu apparaître avec la guerre d’Ukraine, l’exemple que j’ai donné sur Israël/Gaza, ce sont en fait des IA qui sont vraiment sur le champ de bataille, qui participent à la datafication du champ de bataille, à la sur-algorithmisation des décisions et on va commencer à avoir un énorme problème. On a une telle quantité de données, parce qu’on a mis en données le monde, que en effet la cognition humaine n’est plus du tout aujourd’hui capable de gérer ça, donc en effet on a besoin d’outils type des IA pour traiter, pour processer toutes ces data, pour les transformer en informations puis en informations stratégiques qui vont remonter la chaîne de commandement pour prendre les décisions. Ce qu’on a vu apparaître, surtout récemment en Ukraine, ce sont des IA génératives, pas celles d’OpenAI directement, mais celles de Palantir, le groupe de Alex Karp, Peter Thiel, etc., avec une idéologie derrière très forte, la guerre algorithmique.

Martin Legros : Sur le théâtre ukrainien, on a beaucoup l’impression que ce sont les hommes font la guerre, pas des machines.

Asma Mhalla : Oui et non. Oui en termes de guerre, même de tranchées, on avait l’impression que c’était la Première Guerre mondiale tout d’un coup et en même temps, dans un monde parallèle mais en fait connexe, pas si parallèle que ça, on avait toute la dimension cyber avec Microsoft qui a vraiment été à côté et aux côtés des armées ukrainiennes pour déjouer les cyberattaques russes. C’est assez intéressant puisque, au fur et à mesure où on a commencé à avoir des révélations, on s’est rendu compte que les États-Unis avaient commencé à envoyer des signaux sur la guerre, notamment à l’Europe, sur la base des signaux cyber. C’est-à-dire qu’il y a eu une explosion des micro-attaques cyber de la Russie vers l’Ukraine qui a dénoté une espèce d’excitation qui, très vite, s’est matérialisée par l’invasion physique, matérielle, conventionnelle, cinétique, c’est-à-dire sur le terrain.
On a donc bien ces deux choses-là : des armées conventionnelles et on est vraiment sur quelque chose d’hyper conventionnel, armée contre armée, ce n’est même pas de l’asymétrie, contrairement à l’autre front du Proche-Orient qui est une guerre asymétrique, au sens des définitions, augmenté de la dimension cyber donc des conflictualités hybrides du cyberespace qui, en fait, sont triplés de la question de l’intelligence artificielle. L’IA générative de Palantir, en captant les data de satellites, Starlink et tout un tas d’autres acteurs qui ont été en soutien aux opérations, ou pas d’ailleurs quand ils ont refusé arbitrairement d’activer tel ou tel service – il y a donc aussi le côté arbitraire de ces acteurs-là qui deviennent des acteurs militaires tout d’un coup. Donc des IA génératives qui vont traiter cette donnée, la transformer en information, et derrière donner des scénarios possibles au commandement, à la chaîne de commandement.
L’IA est donc aujourd’hui un outil plein et entier de la guerre et ça va aller croissant, et ce n’est pas une tendance, c’est une réalité.
Après, il y a le champ des armes autonomes, évidemment, sur lequel au-delà de quelques discours éthiques, la question du droit est totalement muette pour une raison très simple, c’est que c’est bien là-dessus que se cristallise la question de la rivalité sino-américaine, avec évidemment, toujours, la question de la troisième voie européenne, de sa souveraineté, etc., une espèce de truc dont on ne parle pas.
Sur les modèles politiques, officiellement qu’est-ce qu’on a ? On a des techno-autoritarismes type la Chine avec le crédit social, le quadrillage de l’espace public, les points aux bons citoyens et les mauvais citoyens, je caricature, c’est un peu plus compliqué que ça.
Je n’ai pas très envie de rejouer le clash des civilisations à la Huntington [16], je pense que c’est une lecture du monde qui est fausse et dangereuse parce que, en réalité, le monde est beaucoup plus multipolaire, mais, quand même, on a le discours Ouest versus Est. En tout cas nous en Occident, dans nos démocraties libérales, on critique, sans doute à juste titre, les techno-autoritarismes mais sans se poser la question de savoir si nos modèles, d’un point de vue politique, ne seraient pas en train de converger.
Ce que je vous disais tout à l’heure en préambule, c’est que de façon subreptice, sans qu’on le mette de but en blanc ou formalisé de façon aussi claire et tranchée et peut-être binaire à ma manière dans le débat public, cela avance petit à petit, progressivement, de façon invisible, par toutes ces accoutumances, avec des technologies qui sont par nature duales, c’est-à-dire que les mêmes sont à la fois civiles et militaires. Là où c’est nouveau, là où on a quelque chose d’inédit, c’est qu’on commence par les usages civils : accoutumance, on neutralise, on dépolitise et après ça attaque les dimensions sécuritaires et militaires.
On peut donc supposer une convergence avec les lois sécuritaires, avec des événements qui arrivent, plus ou moins heureux, des attentats, des JO, etc., pour commencer à quadriller l’espace et à neutraliser la discussion politique avec cette rhétorique de la peur, de la gouvernance par la peur sur la menace des antagonismes, la sécurité, le risque permanent, en effet dans l’urgence, Antoinette le disait, et surtout avec cette pensée magique qu’en quadrillant on va tout gérer.
D’un point de vue très concret, vous pourriez dire que c’est de la théorie, voire de la littérature et après tout, que si ça pouvait arrêter un criminel en puissance, sans que lui-même d’ailleurs sache qu’il risque de devenir criminel, finalement pourquoi pas, j’ai beaucoup entendu ça. Mais rappelez-vous ce qui s’est passé pendant le Covid. Est-ce que vous étiez contents d’avoir une app qui fliquait où vous alliez, combien de temps, à quel moment, sur quel rayon kilométrique ? Et est-ce que vous seriez contents que cela devienne le régime normal ou normatif de nos quotidiens et de nos sociétés ? Je n’en suis pas certaine. Or, si on ne commence pas à y prendre garde, ce sont bien ces glissements-là, dont on a déjà eu un petit aperçu il n’y a pas si longtemps, qui pourraient finalement nous menacer.
Cette réflexion-là n’est pas du tout quelque chose d’hypothétique ou quelque chose pour le voisin d’à côté, pour le psychopathe d’à côté, non ! On l’a déjà expérimenté sur un temps assez court, dans le cadre d’une pandémie, à échelle. Est-ce qu’on en a été contents ? Avez-vous été heureux dans ces moments-là ? Ça pose donc la question : quelle société veut-on ? Mais « on veut » avec un « nous » qui est bien collectif, c’est-à-dire nous tous acteurs de ce qu’on est en train de construire comme avenir, voire futur.
Sur la convergence des modèles, théoriquement non. Mais d’un point de vue du discours et d’un point de vue de l’histoire de ces modèles, il y a concrètement des points de convergence, parce qu’il y a un État qui se déconnecte et qui, en fait, retrouve une forme de légitimité sur les questions sécuritaires, à mon sens de façon plus ou moins artificielle, et, en face, la réponse disons européenne en tout cas, puisque les États-Unis ont une autre posture, c’est la norme. Donc vous allez avoir tout un tas de règles, le RGPD [Règlement général sur la protection des données] pour protéger vos données, des régulateurs en France type la CNIL, l’Arcom, etc., qui vont venir soi-disant superviser. Mais un, on a un déficit de moyens techniques, humains, et deux, en fait on interagit toujours trop tard. Si je prends un exemple très bête, par exemple la question de la modération sur les réseaux sociaux, oui on a un super paquet législatif qui s’appelle le Digital Services Act[[[https://fr.wikipedia.org/wiki/R%C3%A8glement_sur_les_services_num%C3%A9riques Digital Services Act – Règlement sur les services numériques, c’est très bien et on s’auto-congratule. La vérité, quand on regarde le fond des choses, en fait il sert à peu près à rien, c’est-à-dire qu’on a fait une loi qui, par définition, va toujours réagir après le problème, ex-post, sur des modèles de l’ultra-immédiateté, de l’ultra-viralité.
Et je rejoins Antoinette sur la question de la transparence des algorithmes qui est revendiquée, demandée, exigée à foison, eh bien je vais vous le dire : on n’a pas besoin d’avoir la transparence des algorithmes puisqu’on sait déjà ce qu’ils font, puisqu’on connaît l’intention : follow the money, et vous allez retrouver très vite comment sont construits, dans quel esprit sont construits ces algorithmes – l’esprit non pas de la loi mais je dirais l’esprit de l’algorithme. En effet, il manque cette radicalité qui ne sera pas tellement de mon ressort, plutôt de celui d’Antoinette.

Martin Legros : Très bien. On doit arrêter parce qu’il y a une représentation théâtrale à mettre en place pour ce soir, mais il y a un espace agora où vous pouvez retrouver, dans cinq minutes, nos deux intervenantes.
C’était passionnant. Merci beaucoup. On a ouvert des horizons.
Et merci à nos quatre lycéennes et à nos professeurs de philosophie.
Bonne continuation. À ce soir ou à demain.

[Applaudissements]