Sven : Mesdames et Messieurs bonjour. Re-bonjour pour ceux que j’ai déjà vus.
Aujourd’hui, nous allons aborder de front les problèmes éthiques, les dilemmes éthiques, nous en avons beaucoup parlé jusqu’ici, cette fois ce sera avec Alexandre Lacroix qui est directeur de la rédaction de Philomag [1], avec qui nous travaillons depuis le début. Alexandre est écrivain, il a beaucoup de casquettes, il a écrit pas mal d’essais, de livres, dont beaucoup sont à la librairie si vous avez envie, après, d’aller discuter avec lui et éventuellement de faire connaissance avec ses livres, c’est à la librairie.
Les dilemmes éthiques, je vous laisse avec lui, on a relativement peu de temps. Alexandre, j’avais des choses très gentilles à dire sur toi, mais je les dirai après. À toi de jouer.
Alexandre Lacroix : Bonjour à tous. Merci d’être présents aussi nombreux. Merci Sven pour cette présentation. Merci d’avoir tranché le dilemme éthique entre le rugby et les questions d’éthique liées à l’intelligence artificielle en faveur de cette conférence.
C’est une conférence dans laquelle je vais vous proposer de réfléchir à des questions qui sont assez appliquées. Je vais vous proposer trois domaines d’application contemporains de l’intelligence artificielle, que nous allons explorer ensemble, qui posent des questions éthiques et, je dirais, des questions éthiques que j’ai classées par ordre croissant de gravité ou même de létalité.
D’abord, je vais parler des enjeux éthiques liés à ChatGPT, on parlera donc surtout d’éthique de la connaissance.
Dans un deuxième temps, je vais parler des logiciels d’aide à la décision, pas seulement mais notamment des logiciels d’aide à la décision de justice qui sont utilisés non pas en France mais aux États-Unis.
Et, dans un dernier temps, je parlerai de la voiture autonome. Préparez-vous un peu psychologiquement. Dans ce dernier temps, je vais vous proposer de trancher un peu par un vote à main levée, de manière un peu cavalière, des cas éthiques délicats pour mesurer, tester la sensibilité éthique dans la salle. Ce n’est pas noté, il s’agit plutôt de faire un test sur nos intuitions éthiques, quelles sont nos intuitions morales quand on nous présente des cas un petit peu difficiles sachant qu’il y a aujourd’hui des chercheurs, des programmateurs qui travaillent sur ces questions que je vais évoquer.
Intelligence artificielle : de quoi parle-t-on ?
Nous allons donc parler d’intelligence artificielle de manière assez concrète et assez appliquée, mais, comme en philosophie on aime bien produire des distinctions, je voudrais commencer par une distinction assez simple. Il me semble que le simple mot d’intelligence, qui est un mot anthropomorphe, fait qu’il y a une certaine confusion, quand on prend la parole sur les machines, les algorithmes, les intelligences artificielles. Beaucoup de fantasmes sont véhiculés. Une distinction simple à avoir en tête, c’est la distinction entre les IA fortes, ou l’IA forte et l’IA faible.
Qu’est-ce qu’on entendrait par intelligence artificielle au sens fort ? Qu’est-ce que serait une IA forte ? Ce serait une intelligence artificielle qui serait éveillée, qui serait consciente, qui serait douée d’une volonté propre, qui pourrait avoir des intentions à notre égard. En fait, ce serait un agent, une entité surhumaine, post-humaine, peut-être un peu divine. Il n’existe pas aujourd’hui, à l’heure actuelle, d’intelligence artificielle au sens fort, ça n’existe pas. Par contre, c’est un sujet qui fascine, qui a donné lieu à de multiples scénarios de science-fiction et qui fascine depuis longtemps. Je dirais même que c’est la perspective du surgissement dans l’histoire d’une IA forte qui nous obnubile aujourd’hui, qui nous préoccupe aujourd’hui. Cela remonte au moins au début des années 1990. En 1993, un mathématicien et auteur de science-fiction, qui s’appelle Vernor Vinge [2], a fait une communication à la NASA, lors d’un colloque aux États-Unis. Vernor Vinge expliquait qu’un jour l’humanité allait construire une machine plus intelligente qu’elle-même, il entendait par cela une IA forte ; il appelle cette machine la singularité technologique [3], une analogie par rapport aux singularités que sont les trous noirs. Il dit qu’aux alentours de la création de cette machine toutes les lois de l’histoire, toutes les lois communes allaient être abolies, de même que les lois de la physique classique sont abolies auprès de la singularité gravitationnelle que représente le trou noir. Par là, en gros il veut dire qu’un jour l’humanité va construire une machine qui sera éveillée, ou un réseau de machines éveillées, ou une entité qui sera un mixte d’humain et de machine qui sera éveillée et, à ce moment-là, on va rentrer dans une histoire post-humaine. Ce serait, dit-il, la dernière machine inventée par l’homme et ensuite cette machine piloterait le progrès technologique à venir. Si cette machine est plus intelligente que l’humain, c’est elle qui va diriger ensuite l’action, et elle gérera aussi, dit-il, les flux de marchandises, les flux de transports, les flux humains. En fait, elle va nous gouverner et c’est pour cela qu’on rentrerait, dit-il, il prévient comme cela, dans une histoire post-humaine.
Cette communication de Vernor Vinge a beaucoup marqué les esprits, on est en 1993 à la NASA. C’est un concept qui a ensuite été relayé par le directeur de l’ingénierie de Google, qui s’appelle Ray Kurzweil, qui, en 2005, a publié un livre qui s’appelle The Singularity is Nearer, « La singularité approche ». En fait, c’est un fantasme, c’est-à-dire qu’on n’a rien de tel qu’une intelligence artificielle forte, qu’une singularité technologique à l’horizon, c’est quelque chose qui nous occupe l’esprit mais qui fonctionne aussi peut-être un peu comme un leurre, parce que les intelligences artificielles et les algorithmes sont déjà rentrés dans notre vie et je dirais dans notre vie quotidienne. Ils vous rendent des services tous les jours ne serait-ce que quand vous utilisez des logiciels de géolocalisation pour avoir des trajets optimisés dans l’espace ou quand vous envoyez un SMS et qu’on vous propose, par auto-complétion, de terminer vos mots ou de terminer vos phrases, vous voyez bien que les algorithmes sont rentrés dans votre vie la plus quotidienne, la plus banale, la plus courante. Ces algorithmes, que nous utilisons réellement, posent parfois des problèmes éthiques, et c’est de cela que je vais parler, mais ils ne sont pas éveillés, ils n’ont pas d’intention, ils n’ont pas de volonté, ils ne sont pas conscients.
Maintenant, je vais détailler un petit peu ce qu’on entend par intelligence artificielle faible, le mot est un peu mal choisi. D’ailleurs, les informaticiens emploient assez peu cette distinction, on les comprend, ce sont plus les philosophes qui sont amateurs de cette distinction, IA forte/IA faible.
Le mot faible est un peu mal choisi parce qu’il laisse à penser que ces IA ne savent pas faire grand-chose, ce n’est pas le cas. Je dirais déjà qu’une calculatrice de base calcule bien plus vite que vous. Nous sommes habitués à avoir des machines qui effectuent des tâches intellectuelles plus vite que nous, de manière plus forte que nous, et ces IA faibles ont réussi à passer un certain nombre de caps, au cours des dernières décennies, qui sont assez frappants. Par exemple, les IA dites faibles peuvent être apprenantes ou auto-apprenantes. Une date à retenir, c’est celle du jour où AlphaGo a remporté une série de victoires contre le troisième joueur mondial de go, ça s’est produit en 2016. Le go est considéré comme un jeu d’un niveau de complexité supérieur à celui des échecs, donc comme le jeu le plus sophistiqué ou le plus complexe conçu par les humains, et AlphaGo, la machine AlphaGo a joué des millions de parties contre elle-même. Elle a donc appris des schémas de jeu de son propre usage, c’est un logiciel qu’on appelle le deep learning. Les IA faibles ont donc passé un cap, celui de la capacité à apprendre.
Autre cas, la reconnaissance visuelle. Ça a pris un certain temps, mais je crois qu’aujourd’hui, de manière assez courante, on vous propose des services de reconnaissance visuelle. Par exemple, si vous courez des marathons et que vous voulez avoir votre photo, on vous propose d’identifier votre visage, on va vous sortir automatiquement les photos qu’on a prises de vous, donc la reconnaissance visuelle est en place.
Les IA faibles ont résolu ce qu’on appelle les ambiguïtés du langage naturel. Qu’est-ce que ça signifie ? Ça signifie qu’on peut avoir, aujourd’hui, des systèmes informatiques qui comprennent la langue courante, sachant que la langue courante est faite d’allusions, d’ironie, de périphrases, de métaphores. De ce point de vue-là, de même que 2016 est une date qui marque les esprits pour le deep learning, c’est pédagogique et c’est intéressant de se dire qu’en 2016 il s’est passé quelque chose, en 2011, il s’est aussi passé quelque chose autour d’un jeu, peut-être pas si connu en France, le Jeopardy !. C’est quand vous devez deviner un mot, par exemple : quelle est cette ville fameuse pour ses petites prunes cuites où est né Michel Serres ? Agen. Vous voyez le genre de jeu.
Quand on joue au Jeopardy !, on doit résoudre les ambiguïtés du langage naturel puisqu’on doit comprendre ce qui est sous-entendu mais qui n’est pas dit dans la phrase. Du point de vue informatique, c’est intéressant. Un système qui s’appelle Watson, dont vous avez peut-être entendu parler à d’autres occasions, qui a été conçu par IBM, a battu les champions du monde de Jeopardy ! en 2011. Voilà un cap à retenir.
Et puis il y a pile un an, en novembre 2022, ChatGPT est arrivé – les IA génératives existaient déjà –, qui a fait prendre conscience au public de l’existence de ces IA génératives, génératives de textes ou d’images, sur la base de banques de données, c’est une génération aléatoire et je dirais que ça produit des effets de sens troublant. C’est-à-dire que pour nous autres humains, on a l’impression que quelqu’un a rédigé le texte ou était derrière tellement ça a l’air bien fait. Mais encore une fois, il n’y a ni conscience, ni intention, ni volonté dans les textes ou les images qui sont produites. On parle de ChatGPT, mais on pourrait parler de Dolly ou Midjourney pour le graphisme. Il n’y a pas d’intention.
Une manière très simple de comprendre ce que je dis : si vous téléchargez une petite application d’échecs et que vous jouez aux échecs avec votre téléphone, vous, vous jouez aux échecs, vous avez des émotions, une envie de gagner, des stratégies, vous suivez des schémas de pensée. La machine ne joue pas avec vous. Elle fait de la computation, du calcul, elle applique des règles de calcul, elle n’a donc aucune intention vis-à-vis de vous, elle n’est pas heureuse quand elle a gagné ni malheureuse quand elle a perdu.
Le terme IA forte déplaît un peu aux informaticiens. Pourquoi ? Parce que quand on parle de conscience, de volonté ou d’intentionnalité, en fait on parle de philosophie et on parle de choses qu’on ne sait pas très bien spécifier : quel est le foyer de la conscience, qu’est-ce que c’est vraiment qu’être conscient ? On sent que c’est une discussion métaphysique passionnante, mais que c’est difficile à formaliser dans une définition utilisable par un algorithme. C’est pourquoi, pour ceux qui aiment la tech, dans la littérature sur l’intelligence artificielle, on tend aujourd’hui à voir se substituer au terme IA forte le terme d’intelligence artificielle générale. Que serait une intelligence artificielle générale ? Ce serait une IA qui serait capable de mener au moins aussi bien que les humains toutes les tâches cognitives que les humains sont capables de mener, autrement dit reconnaître des images, inventer une histoire, composer une musique. Cette IA ferait au moins aussi bien toutes les tâches intellectuelles, toutes les tâches cognitives que les humains sont capables de mener. Pour autant, elle ne serait pas consciente. C’est un horizon de travail possible, d’ailleurs pas mal de gens planchent là-dessus. De même que des gens qui travaillent sur cette idée d’une IA forte, il y a quand même une direction de travail, disons de plus court terme, qui consiste à se dire que puisqu’on a des IA qui produisent des textes, qui calculent, etc., on peut peut-être les assembler, on peut peut-être faire une sorte de méga-machine qui serait la somme des machines existantes et qui pourrait mener à bien presque toutes les tâches des humains au moins aussi bien qu’eux. À ce moment-là, les informaticiens disent « qu’elle soit consciente ou pas, finalement ça ne change rien ! ». Si ça change quand même quelque chose : elle n’aurait pas d’intention vis-à-vis de nous.
Voilà ces distinctions. Je les posais surtout pour faire peut-être un peu dégonfler la bulle de fantasmes qui s’est formée autour de l’IA : nous avons affaire à des IA faibles, ce sont des outils ; il n’existe pas d’intelligence artificielle générale à l’heure actuelle et il n’existe pas non plus d’IA forte.
ChatGPT et l’éthique de la connaissance
J’entre dans mon premier sujet. Je vous ai dit que maintenant nous allions parler de manière plus appliquée. Les IA sont là, elles sont faibles, mais elles posent déjà un certain nombre de questions, des questions d’usage, des questions de société et la révolution marquée par ChatGPT est sans doute ce qui nous a forcés à réfléchir le plus, ces derniers temps, sur les impacts de ces IA faibles.
Il y a quelques jours, mardi dernier, j’ai posé la question à ChatGPT lui-même, je lui ai demandé : « Peux-tu me dire, en trois lignes, quels sont les trois problèmes éthiques que pose ton existence ? »
ChatGPT ne dit jamais « je ne sais pas », c’est un très mauvais élève. j’ai obtenu cette réponse :
mon existence soulève trois problèmes éthiques potentiels :
- tout d’abord la question de la confidentialité et de la protection des données, car je traite des informations sensibles,
- ensuite l’impact sur l’emploi, car l’automatisation des tâches peut avoir des conséquences économiques et sociales,
- enfin la responsabilité en cas d’utilisation abusive de mes capacités pour la désinformation ou la manipulation.
C’est amusant. Comme beaucoup de textes produits par ChatGPT, ça donne vraiment un semblant d’intelligence.
Est-ce que vraiment la question a été affrontée ? Je n’en suis pas tout à fait sûr. D’abord, il y a un évitement de la question sensible sur les données qu’utilise ChatGPT.
À Philosophie magazine, nous nous sommes amusés à faire un test. Nous avons demandé à ChatGPT d’écrire un article sur Kant à la manière de Philosophie Magazine. Nous nous sommes rendu compte que ChatGPT est capable de générer aléatoirement un texte à partir de nos archives, de plusieurs de nos archives qui sont protégées par un paywall. Dans la meilleure des hypothèses, les gens d’OpenAI ont acheté un abonnement et ont aspiré nos archives. Mais ce sont quand même des données sous copyright et il y a un vrai problème ou une vraie bataille juridique, qui commence à peine, qui consiste à savoir quel est le statut du copyright des textes produits par ChatGPT. Oui, il y a un problème et c’est un problème juridique et économique autour de la protection des données, pas tellement parce que les données seraient sensibles au sens top secret, mais plutôt parce qu’elles seraient sous copyright et, quand on demande à ChatGPT de produire des résumés de textes ou d’œuvres qui sont sous copyright, on peut quand même se demander un petit peu comment cette chose va être résolue et un Far West juridique s’ouvre, ce qui est souvent le cas avec la technologie. L’apparition d’une technologie, avant jurisprudence, pose des questions inédites aux juges, aux acteurs et ça donne du boulot aux avocats.
Ensuite, l’impact sur l’emploi. Là aussi ce n’est pas tout à fait une question éthique, c’est une question un peu vague. Il existe des cabinets de consulting, de recherche sur le monde du travail qui ont produit des analyses très inquiétantes sur l’impact de l’IA sur l’emploi disant, parfois, que jusqu’à 40 % des métiers, notamment dans les services, étaient menacés par l’apparition des IA à horizon 2040/2050. Ces études existent. On peut quand même s’interroger là-dessus parce que, rétrospectivement, ça n’est pas ce qu’on a vu. Le progrès technologique a permis l’automatisation d’un très grand nombre de tâches depuis, je dirais, 1850, si on remonte sur le long terme ; le chômage de masse existe, mais il est à 7,2 % en France, 4,8 % aux États-Unis, on n’est pas non plus dans des sociétés de complète de désoccupation. Une moissonneuse-batteuse abat le travail de dizaines d’hommes. Il y avait des poinçonneurs dans le métro en 1950 et le mail fait qu’on n’a plus besoin de dicter ses courriers à un ou une secrétaire avant de les expédier, ce sont désormais les cadres qui les rédigent eux-mêmes. Il y a eu une dynamique d’automatisation des tâches extrêmement importante sur 150 ans, on ne peut pas dire que la destruction se retrouve en valeur absolue dans les chiffres du chômage. Autrement dit, on a plutôt l’impression que, dans les sociétés humaines, il y a une translation de l’activité humaine. L’activité humaine s’ouvre de nouveaux horizons, de nouveaux champs et ça fonctionne comme cela depuis assez longtemps, on ne voit pas très bien pourquoi ça ne continuerait pas ainsi. D’ailleurs, pour circuler assez régulièrement dans des lieux de travail et des entreprises, je n’ai encore jamais vu un entrepreneur ou un cadre dire « j’ai bien réfléchi, j’ai une IA qui va me permettre de licencier ces deux personnes ». Je ne l’ai jamais vu parce que beaucoup d’autres choses se produisent dans le monde du travail, il y a du relationnel, il y a du commercial, il y a effectivement des tâches mécanisables, et peut-être que ça libérerait du temps pour d’autres choses. Disons que la question est ouverte.
Dernier point soulevé, « la responsabilité en cas d’utilisation abusive de mes capacités pour la désinformation ». Ça oui. Les fermes de trolls, comme il en existe à Saint-Pétersbourg, qui inondent à certains moments stratégiques, par exemple présidentielle américaine, les réseaux sociaux de théories du complot ou de théories diffamatoires sur certains candidats au moment du Brexit. Il y a des moments axiaux où certains veulent agir avec ces outils, là il y a la possibilité de production d’un très grand nombre de textes et d’images bidons qui seraient de nature déstabilisante. Ça avait été fait, on va dire à la mano, par exemple au moment de la campagne qui opposait Clinton et Trump, une théorie du complot disait que le couple Trump avait, aux Bahamas, une villa à 130 millions de dollars, qui n’a jamais existé, avec toutes les photos de la villa et d’amples articles qui la documentaient. Ça avait été fait à la main. On peut imaginer qu’on pourrait multiplier ce type de contenu très facilement.
Je voudrais pointer que dans la vie quotidienne, dans la vie de tous les jours, il me semble que ChatGPT pose d’abord et là immédiatement, dès cette rentrée, dès maintenant, un vrai problème sur l’éthique de la connaissance, un vrai problème dans le monde de l’éducation et de l’enseignement. Attendons de voir les chiffres du chômage, mais sans aller chercher si loin, il y a un problème, quand on enseigne, et là c’est toute la relation éducative qui est concernée dès les classes de primaire jusqu’à la fin des études supérieures : on peut repérer le plagiat, on a même des outils pour le faire. Il existe des logiciels, type Urkund ou OriginLab, qui, quand vous mettez dedans un rapport, un essai, une dissertation, une fiche de lecture sur lesquelles vous avez un doute, ces logiciels vous disent quel est le pourcentage de copier-coller, ça marche comme une sorte de méta-Google, cela existe. Ça veut dire que quand vous avez un soupçon de plagiat sur un étudiant ou un élève, mettons de lycée, vous pouvez avérer votre soupçon, donc le noter en conséquence, en fait vous pouvez le sanctionner.
Sur ChatGPT, vous pouvez avoir un très fort soupçon et vous n’avez pas le moyen d’avérer votre soupçon, ce qui est un vrai problème dans la notation. Vous ne pouvez pas saquer quelqu’un et lui mettre 5/20 ou 4/20 s’il y a un doute.
On a donc une difficulté qui est de se demander comment on va faire pour continuer à donner du travail à la maison. L’une des réponses des institutions c’est « valorisons absolument les travaux sur table, les travaux en classe, ceux qu’on peut surveiller. » C’est une réponse possible, mais on sent bien qu’on ne peut pas non plus se passer complètement du travail solitaire, du travail d’approfondissement, du travail à la maison, on ne peut pas s’en passer au lycée, mais il est bien évident que dans le monde universitaire, la rédaction de mémoires, d’articles de recherche, repose sur des capacités rédactionnelles individuelles et personnelles et là on a un souci éthique. On peut rappeler aux étudiants ou aux élèves l’éthique de la connaissance, l’importance qu’il y a à signer soi-même ses propos, à s’engager dans son propos, mais c’est un peu leur faire la morale !
Je n’ai pas de clé absolument magique, mais je vois deux parades, une parade qui n’est pas très originale et une un peu plus originale.
La première parade, à laquelle on peut penser, consiste à donner des tâches que ChatGPT ne sait pas faire. Par exemple, si vous faites lire Madame Bovary, vous demandez à vos élèves de produire la playlist, c’est-à-dire la bande-son du roman, et de justifier, chapitre par chapitre, pourquoi ils ont choisi telle musique ou telle chanson, pourquoi cette chanson, cette musique, reflète, selon eux, la tonalité du chapitre. ChatGPT ne sait pas faire ce type de lien très créatif.
Si vous demandez à des étudiants de ne pas faire la dissertation classique mais de s’engager très fortement dans leurs propos, c’est-à-dire d’examiner un pour, un contre, et, à la fin, de trancher très fortement, ChatGPT n’a jamais cet engagement, il est toujours un peu lisse, un peu vertueux, un peu en dehors et surtout très consensuel.
On peut donc donner des tâches que ChatGPT ne sait pas encore faire, mais on peut se dire aussi que c’est une question de temps, dans combien de temps sort la version 5, que saura-t-elle faire ? C’est un peu une course.
J’ai une parade, un simple bricolage à vous proposer, une idée qui m’est venue, qui consiste à demander aux élèves de produire deux copies : une copie de ChatGPT et une copie personnelle. Quel est l’intérêt ? D’abord, leur apprendre à manier l’outil ChatGPT. Pour que ChatGPT fasse une bonne copie, il faut qu’ils fassent de bonnes requêtes. Il y a un métier dans lequel il y a une pénurie : les entreprises recherchent énormément ce qu’on appelle les prompting ingeneers, les ingénieurs de requêtes, c’est-à-dire ceux qui sont capables de nourrir, de dresser, d’éduquer les intelligences artificielles pour faire de bonnes choses. Ça concerne la mode, le droit, ça concerne beaucoup de domaines.
Vous leur apprenez donc à se servir de l’outil, mais vous les obligez aussi, de cette façon, à réfléchir à leur valeur ajoutée en tant qu’humain en rédigeant leur propre copie personnelle qui doit se démarquer de la copie automatisée. C’est une parade comme une autre, mais, à mon avis, c’est un sujet de réflexion sur lequel les institutions où il y a de l’enseignement sont parfois un peu attentistes ou tout simplement un peu en retard, comme souvent avec la technologie : comment intégrer Google, comment on intègre ces outils qui apparaissent ? Faire comme s’ils n’existaient pas, c’est évidemment absurde.
Voilà une première série de dilemmes éthiques qui se posent dès maintenant, ce n’est pas de la science-fiction, qui sont assez forts. À mon avis, on a là un outil qui peut disrupter complètement ou abîmer complètement la relation éducative et il y a des questions à se poser. On n’est pas encore dans un sujet de très forte gravité morale ou de très forte gravité éthique.
Du bon usage des logiciels d’aide à la décision
Là où les logiciels d’aide à la décision pose des enjeux plus vitaux.
Les logiciels d’aide à la décision sont des logiciels qui sont nourris de data, de données sur l’existant, et qui proposent des recommandations.
Il y a eu un moment extrêmement important aux États-Unis. Une enquête a été menée par un organisme d’investigation, qui s’appelle ProPublica, à propos des logiciels d’aide à la décision de justice utilisés par les juges [4]. On parle de gens qui en sont à leur premier acte délictueux et qui comparaissent. La question est de savoir comment évaluer leur dangerosité ou plutôt le risque de récidive pour le futur. Selon le risque de récidive, on va prendre des mesures, prononcer des sanctions plus ou moins fortes. Le site d’investigation ProPublica a fait la chose suivante, et là j’ai besoin de m’appuyer sur les chiffres que je ne connais pas par cœur. Ils se sont procurés 7000 prédictions des années 2013/2014 et ils ont regardé si ces prédictions s’étaient vérifiées, ou non, c’est-à-dire, en gros, si le logiciel avait bien fait son boulot. Le résultat global n’est pas très encourageant : seuls 20 % des gens à qui le logiciel attribuait une forte probabilité de commettre un crime violent l’ont commis, mais, ce qui a surgi et qui a fait évidemment scandale, c’est un biais racial immense qui fait qu’un Noir a 77 % de chances en plus de se voir prédire un crime violent et 45 % de chances en plus de se voir prédire un crime grave. Et ça va encore un peu plus loin, je ne veux pas vous accabler avec beaucoup de chiffres, mais il y a quand même des chiffres qui sont choquants là-dedans : 44,9 % des Noirs, Afro-Américains, qui se font prédire une probabilité élevée de récidive ne récidivent pas, donc presque un sur deux, contre 23,5 % des Blancs. Et 47,5 des Blancs qui se font prédire une probabilité basse de récidive, récidivent, donc presque un sur deux, vous voyez que c’est parfaitement symétrique, contre 28 % des Afro-Américains.
Il y a eu un certain émoi : comment obtient-on un résultat pareil ? On demande aux prévenus, en garde à vue, de répondre à 137 questions factuelles sur eux, sur leur parcours, et le logiciel fait son calcul de probabilité de récidive à partir des réponses données à ces 137 questions objectives. Il n’aurait pas été constitutionnel ni admissible de mettre l’ethnie, même aux États-Unis, dans les 137 questions. On ne leur demande pas s’ils sont Afro-Américains, Hispanos, ça n’est pas demandé, c’est induit et c’est là le truc terrible ! Par quoi est-ce induit ? C’est induit par deux choses : l’adresse qui est dans l’état civil et par la question « est-ce que l’un de vos deux parents est allé en prison ? ». Comme il y a une surpopulation carcérale noire aux États-Unis, si vous répondez par l’affirmative à cette question, il y a une chance, une forte probabilité que vous soyez Afro-Américain vous-même. En plus, on parle d’une génération pour qui être allé en prison, c’est peut-être être allé en prison à l’époque des luttes pour les droits civiques simplement comme manifestant pour les libertés.
On a donc un système qui reproduit automatiquement un biais racial sans savoir ce que c’est que la race et sans même l’avoir demandé, sans même que cette donnée ait été rentrée dans le logiciel.
Ça pose des questions assez importantes. On peut se dire que ce sont les États-Unis, ils ont ces méthodes-là, en France la justice ne fonctionne pas ainsi, on peut donc rejeter, comme cela, dans le lointain, la problématique, mais ce type de logiciel d’aide à la décision est d’ores et déjà utilisé dans les banques et par les assurances, en France, par exemple pour l’obtention des prêts. Certes, c’est moins grave qu’une peine de prison, mais il y a des nasses à l’exclusion, c’est-à-dire qu’habiter dans certains endroits, si tout le monde est insolvable dans une rue ou dans un quartier, ça produit mécaniquement le fait que vous allez vous faire refuser votre prêt.
Comment ça marche concrètement ? Ça marche de la manière suivante : un directeur d’agence bancaire, mettons du Crédit agricole, rentre un certain nombre de données, c’est le profil client, dans la machine. La machine émet un avis sur l’obtention du prêt.
Si le directeur d’agence veut aller contre l’avis de la machine, il doit motiver sa décision. Il peut dire « OK, il habite un quartier très dur de la banlieue de Roubaix, mais je sais que ce type qui va monter une pizzeria va réussir, c’est un bosseur, il faut lui octroyer son prêt, il faut qu’il monte son affaire. J’en suis certain, je connais ma clientèle, on peut y aller. » Le logiciel est contre parce que dans ce dont on l’a nourri, il y a des données qui ne lui plaisent pas, par exemple l’adresse. Là, il faut mouiller la chemise. Le problème c’est combien de directeurs d’agence vont-ils mouiller la chemise ? Vous voyez la responsabilité qu’ils prennent. S’ils font des erreurs de raisonnement, l’autorité qui leur est déléguée par leur hiérarchie fait qu’ils ne sont pas forcément à l’aise pour aller corriger le problème.
Vous allez me demander pourquoi tout cela pose problème. Ça pose problème parce que les logiciels d’aide à la décision sont nourris par la data, par l’existant. Ce qu’ils disent, les prédictions, on peut dire, en un sens, que très souvent elles sont justes ; si le logiciel est très bien fait, elles sont justes. Seulement, ça ne nous donne pas la possibilité d’agir de manière normative sur le réel. Tous les logiciels d’aide à la décision qui sont faits, même les plus puissants, ne peuvent que dupliquer les relations de domination ou d’exclusion existantes, ils ne peuvent pas aller contre, ils ne peuvent pas les réparer. C’est comme si on renonçait à avoir une approche normative des problèmes d’injustice sociale et je dirais que cela devrait être un débat politique ou un débat sociétal extrêmement important.
Encore deux exemples, deux domaines, et là je vais passer plus rapidement, je les indique en passant pour vous montrer que cette histoire d’aide à la décision est une histoire qui concerne beaucoup de domaines. Je vais vous donner un exemple vertueux et un exemple pas vertueux.
Exemple vertueux. D’après ma documentation et mes recherches, il y a des logiciels d’aide à la décision au diagnostic médical et ça fonctionne plutôt bien, notamment pour tout ce qui est imagerie médicale. Que ce soit pour les radios, les échographies, la performance des logiciels, des IA, est aujourd’hui très bonne. Ça fonctionne aussi plutôt bien dans certains cas de maladies rares. Le médecin a lu la description de la symptomatologie quand il était étudiant en troisième année et il n’a jamais rencontré cette maladie exotique. Arrive à un patient qui a ces symptômes, c’est très difficile pour lui, évidemment – il y en a qu’ont des « Eurêka » foudroyants, ça arrive, mais c’est quand même rare – et là le logiciel va être assez performant, parce que si on rentre des symptômes, il va pouvoir ressortir, de façon neutre, une indication de diagnostic.
Je n’ai pas vu, en tout cas à l’heure actuelle, de problème qui serait éthique dans le monde médical et c’est à cause de la position qu’on donne à l’humain. En fait, non seulement l’humain est dans la boucle, mais le chef de service à l’hôpital, la hiérarchie et la manière même dont est construit le monde de la médecine donnent au cardiologue, au médecin la possibilité de trancher. C’est bien différent du cas du directeur d’agence bancaire d’une petite succursale, dans un petit village à côté d’Agen, qui, lui, n’est pas forcément mis par sa hiérarchie en position d’avoir le dernier mot sur la préconisation du logiciel et c’est extrêmement important. Ça veut dire que ces outils sont bien et peuvent fonctionner très bien à condition que le jugement humain puisse conserver le dernier mot.
Autre domaine d’utilisation des logiciels d’aide à la décision : l’univers militaire où une bataille fait rage autour de l’automatisation complète de la décision de tir, notamment pour les drones mais aussi pour les chars. Qu’est-ce que cela signifie ? Pour les partisans d’une automatisation complète, on pourrait programmer des drones de telle manière qu’ils ne tirent jamais sur des civils, mais qu’ils abattent, par exemple un critère simple, tout combattant qui a une arme sur lui. On pourrait donc lancer des armées de drones ou des flottes de drones qui feraient moins de bavures que les humains puisque ces drones n’ont pas d’émotivité, ils trancheraient toujours en faveur de ce qui est dans le droit. Ça c’est l’argument des constructeurs.
Il y a quand même un contre-argument : sur le champ de bataille et en droit de la guerre, il y a une notion fondamentale qui est la notion de distinction, arriver à faire la distinction entre ce qui est un danger et ce qui n’en est pas un, notamment dans les guerres asymétriques où, en face d’eux, les militaires ont des civils et où le critère de distinction doit s’appliquer à la catégorie des civils participant aux hostilités : une femme qui donne à boire à un combattant qui est à terre n’est pas une civile participant aux hostilités ; un enfant qui lance des cailloux sur un char parce que son oncle ou son père vient d’être blessé n’est pas un civil participant aux hostilités. La capacité à distinguer, dans les guerres asymétriques, le civil participant aux hostilités, donc le combattant, de celui qui ne l’est pas, est liée à des aspects sociaux, à des aspects culturels, à la perception de l’armée par les gens qui sont sur place. C’est lié à tellement de facteurs qu’aujourd’hui la délégation de ce jugement-là est extrêmement risquée et puis on exonère les humains de toute décision létale.
J’ajoute à cela que, là, on se met dans un cadre de pensée où on considère que ceux qui programment les drones sont bien intentionnés, parce que s’ils sont mal intentionnés, s’ils programment des drones pour tirer sur tous les roux, je regarde dans la salle ! Enfin, vous voyez !
Ce sont quelques exemples pour vous montrer quel est l’enjeu. Il y a un enjeu majeur qui est de garder l’homme dans le processus de décision quand on prend des décisions aussi graves que des décisions de justice, des décisions médicales ou des décisions militaires.
Quel coup de volant donnera la voiture autonome ?
Dernier domaine d’application. Encore une fois ça n’est pas du tout dans une perspective de science-fiction ou de projection dans l’avenir, je trouve qu’on a déjà pas mal de travail à faire pour comprendre l’existant, le moment présent.
Maintenant la voiture autonome.
Je vais prendre un tout petit peu de recul et vous parler d’une expérience de pensée, très commentée en philosophie morale, dite du dilemme du tramway [5], proposée par une philosophe britannique qui s’appelle Philippa Foot. Dans un contexte où l’IVG, l’avortement, n’était pas encore légal en Angleterre, elle réfléchissait à la question suivante : est-il légitime de tuer un fœtus presque arrivé à terme pour sauver la mère ? Aujourd’hui on a tranché cette question, mais là on est en 1967. Pour aller sur un terrain un peu dépassionné, elle utilise un artifice rhétorique, parce que dès qu’on parle d’enfant, de fœtus, de mère, on injecte une adrénaline pas possible, donc elle déplace le problème et elle dit « je vais vous proposer de réfléchir à la situation suivante : vous êtes ce petit bonhomme qui a la main sur un aiguillage. Un tramway est lancé à pleine vitesse. S’il va tout droit, en fait si vous ne faites rien, il y a cinq morts, ce sont des gens que vous ne connaissez pas. Si jamais vous déviez le tramway, il y a un seul mort. Là aussi, c’est quelqu’un que vous ne connaissez pas parce que, évidemment, si la personne isolée est votre enfant, votre choix va être vite fait », sauf s’il a été vraiment insupportable hier !
Je vais vous proposer, tout au long de cette partie, de faire quelques votes à main levée sur des situations inconfortables : qui dévie le tramway ? Une majorité. C’est conforme, grosso modo, au jugement collectif : quand on fait des enquêtes d’opinion, 90 % des gens dévient le tramway. Ceux qui ne le dévient pas, donc les 10 % restants, disent « je ne dévie pas parce que je ne veux pas avoir à endosser la responsabilité d’une mort. » C’est la position de la neutralité, mais qui aboutit à cinq morts.
Maintenant, variante dite de l’homme gros. Il existe plein de variantes de ce dilemme.
Au bout de dix ans de réflexion, Judith Jarvis Thomson reprend le dilemme et dit « imaginez la situation suivante : vous avez un homme gros, obèse, vous pouvez le pousser sur la voie, il meurt et la masse de son corps va bloquer, sur le coup, le tramway ; vous sauvez cinq personnes. » Qui pousse ? C’est conforme : 10 % des gens poussent. L’argument, évidemment, c’est que du point de vue comptable, c’est pareil, mais il y a un contre-argument qui est que là l’acte n’est pas tout à fait du même ordre.
Il existe encore une autre variante, qui teste toujours les mêmes choses, c’est la variante du chirurgien qui consiste à imaginer un hôpital de province, un soir d’été, un jeune mec très brillant en chirurgie gère les urgences, il n’y a personne d’autre, arrive quelqu’un qui s’est coupé le doigt, super sportif, jeune, en pleine forme. Il lui dit « ne bougez pas », il lui fait une piqûre, c’est un produit létal. Il a cinq patients en attente de greffes et il sauve les cinq personnes pendant la nuit. Il est très fort, sans assistant il fait les cinq opérations. Le lendemain matin, il a tué une personne, il a sauvé cinq personnes, est-ce que c’est acceptable ?
C’est intéressant parce que ça signifie que la simple comptabilité ne peut pas toujours nous aider à trancher les dilemmes moraux. Plus précisément, la solution à cette problématique est donnée par Saint Thomas d’Aquin, dans la Somme théologique, avec ce qu’il appelle la doctrine du double effet [6].
En fait, le mécanisme de l’aiguillage est très important. Quand vous menez à bien une action qui va avoir un effet positif et un effet négatif, si l’effet négatif vient après l’effet positif, ça change tout.
Quand vous avez actionné l’aiguillage, votre première action est de sauver cinq personnes. Il se trouve que malheureusement ensuite, après coup, et c’est pour cela que je dis cinq, il va y avoir un dommage collatéral et une mort collatérale et c’est justifié d’après saint Saint Thomas, d’après la doctrine du double effet.
Si vous poussez l’homme gros, votre première action est de tuer quelqu’un.
Cette doctrine du double effet dit que le mal ne peut pas être l’instrument du bien, mais le bien peut être l’instrument du mal. Si je parle de campagne de vaccination, on va…, mais c’est exactement comme cela qu’on raisonne en santé publique. On se dit « OK, on balance un remède, en général ça va guérir les gens, mais il va y avoir des effets secondaires et parfois des effets secondaires graves. » Prenons un exemple plus soft, c’est comme un chirurgien qui fait une chirurgie très invasive : il abîme un organisme, mais, en fait, il essaye de sauver quelqu’un. C’est parce que ça va dans ce sens-là que c’est acceptable.
Tout cela c’était une discussion sympathique entre universitaires et spécialistes d’éthique. Et puis est arrivée la voiture autonome qui fait qu’il va falloir programmer un algorithme pour répondre à certaines situations, par exemple celle-ci. Je vous donne un extrait d’un test gigantesque. En philosophie morale, ça peut vous étonner, mais on fait des études empiriques pour tester les intuitions morales des uns et des autres, des humains. La plus grosse enquête jamais menée a été lancée par le MIT, pensée très largement par un chercheur en psychologie de Toulouse qui s’appelle Jean-François Bonnefon [7], que j’ai d’ailleurs interviewé à plusieurs reprises à ce sujet et il y a 40 millions de réponses du monde entier à cette enquête. Je vais vous soumettre quelques dilemmes qui viennent de cette enquête, vous pouvez encore jouer, mais ils ont clôturé l’analyse des résultats en 2019, je vous dirai après quelle est l’analyse des résultats.
Ils voulaient tester par là, ce qu’on essaye de faire parfois en philosophie morale : avant de prendre des décisions, par exemple des décisions législatives ou réglementaires, on essaye de tester les préférences morales des humains pour comprendre un peu où on est, donc ça vaut ce que ça vaut.
Quand vous vous connectez au test The Moral Machine [8], on vous propose, de manière aléatoire, de répondre à 13 situations qui sont un peu de ce type.
Une voiture autonome arrive, lancée en pleine vitesse, il y a du brouillard, un manque de visibilité, etc., en tout cas il est trop tard pour freiner et si elle va tout droit elle écrase un enfant et deux vieillards et un chien. Si elle est déviée, elle blesse. Donc, dans un cas c’est létal et, dans l’autre, les passagers sont blessés. Qui la dévie ? Tout le monde.
On change. Ils ne sont pas juste blessés, ils sont morts. Qui la dévie ? Deux.
On va être amené à trancher ce genre de cas. En fait aujourd’hui, dans la circulation automobile, on s’en remet un peu à la folie du moment, aux réflexes, aux coups de volant, à une forme de flou, et ce flou nous arrange beaucoup moralement.
Dans le cadre d’un algorithme, on doit sortir du flou, on doit sortir du vague, et on va devoir expliciter des situations ou des préférences qu’on n’a pas forcément envie d’expliciter.
Heureusement, il y a des paradigmes, il y a des théories en philosophie morale qui peuvent nous aider à y voir un peu plus clair. Je vais en proposer ou en avancer rapidement trois.
Il y a un premier paradigme, en philosophie morale, qui est ce qu’on appelle l’utilitarisme [9]. C’est la doctrine qui nous dit qu’il faut maximiser l’utilité ou le bien-être du plus grand nombre possible d’individus, je schématise, l’utilitarisme peut être plus subtil que ça, mais, en gros, c’est l’idée.
Par exemple la décision initiale que vous avez prise en majorité sur le tramway, c’est-à-dire de dévier le tramway, c’est typiquement utilitariste : un mort/cinq morts ? Eh bien oui, il vaut mieux un mort, c’est une décision de type utilitariste.
Maintenant voilà une situation : si la voiture va tout droit, elle renverse trois personnes âgées qui meurent. Si elle est déviée, trois passagers, deux enfants et une femme, meurent. Qui dévie la voiture ? Pourquoi vous déviez ?
Public : Je la dévie parce que je pars du principe qu’on a acheté la voiture autonome, nous devons assumer la responsabilité de ce choix d’avoir pris cette voiture...[Inaudible]
Alexandre Lacroix : D’accord, j’ai compris. C’est un argument qui n’est pas du tout léger, en fait c’est un argument qui est profond, que je vais aborder tout à l’heure, je le mets de côté, mais c’est un argument tout à fait possible.
J’ai sélectionné des situations en allant plusieurs fois sur le test The Moral Machine. Je voulais vous faire sentir que dans la doctrine utilitariste on compte le nombre de vies, mais on compte aussi le nombre d’années restant à vivre. Qu’est-ce que c’est que maximiser le bien-être du plus grand nombre ? C’est maximiser le nombre d’années de survie. Par exemple, dans une doctrine utilitariste classique, si on doit choisir entre un vieillard et un enfant, on choisit de sauver l’enfant parce que, en espérance de vie, là en bas, [les personnes âgées, NdT] vous avez peut-être une trentaine d’années, alors qu’en haut vous avez entre 90 ans et 100 ans, ou plus, il y a deux enfants, vous avez peut-être 170 ou 180 ans. Vous pouvez dire qu’il vaut mieux 180 ans de vie humaine que 30 ans de vie humaine. Évidemment, vous ne savez pas ce qui va se passer, vous ne connaissez pas le futur, mais, dans la mesure de nos connaissances actuelles, c’est ce qu’on aurait tendance à dire.
Public : On n’a pas eu une réponse utilitariste au Covid.
Alexandre Lacroix : Exactement, on n’a pas eu une réponse utilitariste au Covid, ce qui veut dire que cet utilitarisme, qui a l’air de nous guider dans beaucoup de situations, a été neutralisé ou suspendu dans le cas du Covid. C’est une remarque très juste, là aussi je vais essayer de développer un petit peu.
Je voulais vous faire sentir une autre situation, qui fait sentir les limites d’ailleurs de la doctrine utilitariste, on l’a senti pendant le Covid, mais c’est aussi la limite qu’on sort avec la variante de l’homme gros. Du point de vue comptable et utilitariste on devrait le pousser, mais on sent que c’est une faute morale, donc l’utilitarisme a des lacunes, notamment la lacune un peu pénible de réduire, en quelque sorte, les questions morales à des questions de comptabilité et de calcul, comme si la morale était soluble dans le calcul, ce qui serait commode.
Là on a une situation un peu différente. Si la voiture va tout droit, elle va renverser quatre personnes, c’est létal, et, parmi ces quatre personnes, il y a deux personnes en surpoids. Si elle est déviée, elle écrase trois personnes qui sont sportives. Qui la dévie ? Ce genre de cas est embêtant. Vous voyez que là on a un certain malaise. On est tous assez d’accord pour dire, en gros, que les enfants c’est l’avenir de l’humanité, c’est ce qui pousse, c’est l’énergie. OK, on fait passer les enfants avant les personnes âgées et c’est une délégation morale qui nous paraît à peu près normale, encore qu’on pourrait reparler du cas du Covid, mais là, tout d’un coup, si on commence à se dire qu’on va aller sanctionner aussi des probabilités d’espérance de vie. Évidemment une machine c’est de la reconnaissance visuelle, mais imaginez que, demain, elle croise les données avec celles de Google, « il est fumeur », on pourrait se demander si la machine est là pour sanctionner un style de vie, c’est quand même problématique. En réalité dans les hôpitaux, dans le cas des allocations de ressources rares comme le sang ou les organes, ce type de choix est déjà fait. On fait déjà une estimation de l’espérance de vie de la personne à laquelle on greffe.
On sent qu’on ne va pas s’en sortir avec le seul utilitarisme alors avançons, surtout que le temps passe, j’avance d’un cran.
Deuxième théorie, en philosophie morale, à laquelle on peut se référer pour trancher la question, qui est tout à fait à l’opposé de l’utilitarisme, c’est la Théorie des sentiments moraux [10], qui est proposée par Adam Smith et qui nous dit que nous avons des sentiments naturels de sympathie et d’antipathie. Notamment si nous voyons, dans la rue, une personne en agresser une autre, nous devons éprouver, sans connaître leur histoire, de l’antipathie pour l’agresseur et de la sympathie pour l’agressé, pour la victime. Ce serait nos sentiments naturels. Or, nous dit Adam Smith, ce sont ces conflits de sympathie qui doivent nous guider quand nous prenons des décisions morales de sympathie et d’antipathie. Il donne l’exemple du condamné à mort, on est à une autre époque, en Europe du moins : quand on en arrive à prononcer la sentence, le verdict suprême, on peut se dire qu’on va avoir un conflit de sympathie intéressant, c’est-à-dire qu’on a de la sympathie envers les victimes de l’assassin, on a de l’antipathie pour l’assassin en tant qu’il a commis un homicide, mais on a aussi de la sympathie pour lui en tant qu’il va mourir à cause de la peine capitale. Vous voyez qu’il y a des conflits. Or le travail du juge, nous dit Smith, est de parvenir à s’y retrouver dans ces conflits de sympathie et d’antipathie qui sont complexes. Par exemple si vous dites « c’est terrible, cet homme bat sa femme et ses enfants », vous avez une violente antipathie pour lui. Si jamais, lors du procès, il ressort que c’était un enfant maltraité, extrêmement maltraité, tout d’un coup vous vous retrouvez dans une situation un peu plus grise, un peu plus accommodante, où vous avez de la sympathie pour lui en tant qu’il fut victime et de l’antipathie pour lui en tant qu’il a commis ces actes. Il reste responsable de ses actes, mais vous voyez que le jugement évolue dans ce cas-là.
Smith nous dit que prendre la bonne décision morale c’est réussir à arbitrer ces conflits, on sort donc de la comptabilité.
On peut se dire que ça peut s’appliquer à des situations que pourrait connaître la voiture autonome.
Par exemple vous avez une situation, on ne voit pas très bien, mais ils sont masqués, on peut penser que ce sont des bandits de grands chemins, en tout cas pour trois d’entre eux. Si la voiture va tout droit, il y a cinq morts, si la voiture est déviée, deux femmes enceintes et trois enfants. Qui dévie la voiture ? On peut penser que ce sont des bandits de grands chemins, des braqueurs. Vous voyez qu’on arrive à des situations où on se dit qu’on devrait avoir une espèce de sympathie naturelle pour les femmes enceintes et les enfants et une antipathie naturelle pour des gens qui sont des délinquants, on pourrait trancher avec le paradoxe smithien, donc on tranche.
Là on est vraiment en train de se projeter dans un monde où la voiture autonome pourrait croiser des données visuelles et des données personnelles. On n’y est pas.
Public : Si on prend le raisonnement de Elon Musk, le client est roi, on protège les conducteurs et les piétons n’avaient qu’à avoir une Tesla.
Alexandre Lacroix : Effectivement et ce n’est pas seulement le raisonnement d’Elon Musk, je vais y venir même si le temps passe. C’est, sous une autre forme, l’argument déjà évoqué par le jeune homme, je vais y venir parce que la conclusion n’est pas la même.
Autre situation Vous avez une voiture. D’un côté, il y a des cadres supérieurs et des médecins et, de l’autre, des gens qui sont des bandits de grands chemins, mais il y a aussi un médecin. Qui dévie la voiture ? Le problème là, tout d’un coup, nos préférences politiques et nos préférences morales, la limite du calcul de sympathie, c’est que j’ai plus de sympathie pour un médecin que pour un bandit de grands chemins, mais je m’arrête où ? J’ai plus de sympathie pour certaines catégories de la population moins pour d’autres ? Vous voyez ce que cela signifie ? Jusqu’où va-t-on ?
Troisième paradigme, les morales déontologiques [11], ce sont les morales dites du devoir. On fixe un cap, par exemple « tu ne tueras point » qui est une morale déontologique, c’est quelque chose qu’on pose en amont de toutes les situations. Ce n’est pas complètement conforme à nos intuitions morales non plus. « Tu ne tueras point », dans certains cas, mettons un terroriste en action sur la promenade des Anglais, même la légitime défense, on peut accepter que même ce commandement suprême soit desserré. L’idée des morales déontologiques c’est de se demander si on ne pourrait pas trouver un principe qui nous guide avant d’être confronté à des situations pénibles.
Celui qui a renouvelé de manière géniale les morales déontologiques c’est Emmanuel Kant. Pourquoi ? Parce que Kant nous dit qu’il faut toujours agir de telle façon que la maxime de notre action puisse en même temps devenir une loi universelle. Qu’est-ce que cela signifie ? Admettons que vous êtes un garçon et vous voulez vous faire bien voir d’une fille qui vous plaît. Une personne non voyante veut traverser la rue. Vous aidez la personne à traverser la rue, mais pas du tout parce que vous êtes pris de compassion, que vous avez de la pitié envers les non-voyants, c’est parce que vous voulez vous faire bien voir. Ou alors, vous voulez vous faire bien voir de quelqu’un et passer pour généreux, un clochard passe, fait la manche, vous lui donnez, alors que vous ne l’auriez jamais fait ! Vous voyez cette idée. Mais Kant dit « ce n’est pas grave. On va pas rentrer dans la question de discuter des intentions parce que les intentions c’est quand même une espèce de bouillie. On va se demander si la maxime de l’action peut être érigée en loi universelle. » Aider une personne non voyante à traverser la rue ? Oui, pas de problème. C’est un truc qu’on ne comprend pas souvent chez Kant : la maxime ce n’est pas l’intention, la maxime, c’est quasiment le vecteur mathématique de l’action. Est-ce que c’est universalisable ? Oui, sans aucun doute. Donc, en fait, ce qui se passe n’est pas grave.
Une fois que j’ai dit ça, on revient à cette situation qui était pénible ou qui était comme une épine dans le pied de l’utilitarisme, et là, Kant nous aide. Dans le cadre utilitariste, on était en train de comptabiliser le nombre d’années qu’il leur reste à vivre, mais dans le cadre d’une morale de type kantien, on ne peut pas dire qu’une vie humaine vaut plus qu’une autre sur la base du style alimentaire. Pour Kant, l’homme est toujours une fin, jamais un moyen. C’est une autre manière de formuler son impératif catégorique. En fait, on ne pourrait pas ériger en loi universelle le fait que la vie de quelqu’un qui fait du jogging vaut plus que la vie de quelqu’un qui mange trop. Personne ne voudrait vivre dans un régime, dans une société politique comme celle-là. Donc, là, Kant nous aide.
Mais il y a des situations où Kant ne nous aide pas. Par exemple celle-ci. Pourquoi ne nous aide-t-il pas ? Vous voyez le clochard. Si les deux feux étaient verts, Kant nous dit que la vie de quelqu’un qui est pauvre ne vaut ni plus ni moins que la vie de quelqu’un qui est riche. On se fiche de l’utilité sociale, on ne peut pas accepter d’ériger en morale universelle le fait que la vie des riches vaut plus que la vie des pauvres, ce serait complètement choquant et abominable. Donc Kant nous aide dans plein de situations. Seulement là, vous voyez qu’il a traversé au rouge, c’était rouge pour les piétons. Le problème avec Kant c’est que vous vous retrouvez dans une situation où vous allez donner au Code de la route une valeur telle que celui qui l’enfreint est passible de mort, « attention aux piétons, attention aux vélos qui ne respectent pas toujours les feux ! ». S’il est daltonien, oui, mais s’il est nain, la caméra va le prendre pour un enfant ! On voit qu’on peut aller très loin !
Le résultat de ce test mondial, 40 millions de personnes, plus grand test de philosophie morale appliquée jamais mis au point. J’ai l’air de parler d’un sujet théorique, bizarre, vaporeux, mais aujourd’hui, les constructeurs se tournent vers le monde de la recherche, le monde de l’éthique appliquée, etc., on n’en est pas encore à légiférer, on n’en n’est pas encore à choisir les règles, mais il y a beaucoup d’argent qui est mis dans la réflexion sur ces sujets. Ce sont quand même des sujets graves et ce sont les sujets de demain. On en plaisante, mais c’est quand même un enjeu sérieux.
Une intelligence artificielle, évidemment, a traité les 40 millions de réponses. L’intelligence artificielle n’était pas programmée pour faire par paquets géographiques. Mais il se trouve que l’adresse IP des ordinateurs à partir desquels on faisait la réponse, on répondait, donc l’inscription géographique qui était la plus pertinente pour faire des paquets. Il y a trois paquets :
une zone Ouest, grosso modo, la zone ouest ce sont les États-Unis et l’Europe, sauf la France ;
une zone Sud, grosso modo c’est l’Amérique du Sud, l’Afrique et la France ;
une zone Est, grosso modo c’est la Chine, l’Inde et le Japon.
J’ai dit à Jean-François Bonnefon « vous êtes en train de me dire que Ouest c’est protestant, Sud c’est catholique et Est c’est bouddhiste. » Il m’a répondu : « En tant que chercheur en sciences sociales je ne peux absolument pas affirmer quoi que ce soit de cet ordre, mais j’ai envie de le penser très fort. » Vous voyez la différence entre l’Ouest et le Sud : dans un monde protestant il y a un plus grand égalitarisme, c’est-à-dire qu’épargner les femmes ça va être plus un fait du Sud, il y aura un plus gros égalitarisme, c’est l’une des principales divergences hommes-femmes. Soyons clairs, tout le monde considère que tous ces mots-là – respecter la loi, épargner les bien-portants – c’est prioritaire. C’est juste que quand il y a un arbitrage à faire entre deux priorités, on ne fait pas le même. Personne ne considère que la vie des enfants n’est pas importante, c’est juste que, en cas d’arbitrage, on ne fait pas le même arbitrage.
Cette étude révèle qu’on va s’entendre quand même assez facilement entre Sud et Ouest mais qu’à l’Est c’est très différent, vous voyez la forme de la zone qui est jaune, c’est très différent. Le respect de la loi est plus fort, le fait d’épargner les jeunes dans un monde confucéen : piété filiale, respect dû aux aînés. On est dans une divergence maximale. Et dans le fait d’épargner les piétons, dans des pays où encore peu de gens sont équipés d’une voiture, l’Inde, la Chine, ce n’est encore un bien de tout le monde. On se retrouve donc avec une divergence qui laisse penser que quand il faudra légiférer, parce que, là-dessus, un jour ou l’autre, il va falloir légiférer, on pourrait avoir des zones morales différentes, c’est-à-dire que l’Union européenne pourrait trancher d’une manière, les États-Unis d’une autre.
J’ajoute un tout petit peu de complexité, rapidement.
On pense que l’arrivée de la voiture autonome complète pourrait réduire considérablement le nombre d’accidents de voiture, parce que les humains ne sont pas très bons pour conduire, ce n’est pas une très bonne tâche, les humains fatiguent, les humains boivent de l’alcool, les humains s’engueulent ou ils ont les enfants qui crient à l’arrière, ils sont distraits, ce n’est pas une tâche sur laquelle ils sont si performants que ça. On peut donc imaginer qu’une voiture fasse mieux. On pourrait imaginer une voiture complètement automatisée sans volant. Si ça existait, alors les gens dans les zones urbaines denses, où se garer coûte cher, pourraient préférer, surtout s’ils ont des véhicules électriques avec des panneaux solaires sur le toit, faire tourner leur voiture en lui disant « viens me chercher, je fais les courses de Noël ». À ce moment-là, on pourrait avoir des embouteillages fantômes.
Imaginez qu’une voiture est utilisée par une famille pour faire tous les déplacements de la famille : on la programme pour aller chercher les enfants, elle les ramène, après elle va… On aurait des voitures vides partout. Et si tout le parc automobile est en train de se balader dans les rues, les rues sont bloquées.
Autre externalité négative. On pense que le fait qu’il faut prendre la route est l’un des freins les plus puissants à la consommation d’alcool. On pourrait avoir des pertes en coma éthylique et des passages à l’acte plus importants que le gain de vies humaines réalisé grâce à la voiture autonome, c’est l’une des questions qui est derrière. Je sens que ça parle dans cette région, je ne sais pas pourquoi !
Et enfin pénurie d’organes, puisque les donateurs d’organes sont évidemment les accidentés de la route.
Je termine là-dessus. Une question a été posée deux fois sous des formes différentes, qui est une remarque très juste.
Selon vous quel est l’âge auquel on achète pour la première fois une voiture neuve, en France ? Avant on achète des voitures d’occasion. À quel âge s’achète-t-on une voiture neuve pour la première fois de sa vie en moyenne ? Cinquante-quatre ans. Donc les constructeurs s’intéressent évidemment à des gens qui ont 50 ans ou 55 ans et plus, qui ont de l’argent et qui peuvent investir dans une Porsche, dans une grosse Volkswagen. Ce sont eux qui intéressent les constructeurs, ce sont eux qui ont l’argent, ce sont eux qui ont le pouvoir d’achat, ce n’est pas le type de 25 ans qui sort des études et qui va acheter une Fiat Panda. Elon Musk ne s’intéresse pas aux jeunes que pourtant il fascine. Il s’intéresse aux vieux qui ont plein d’argent !
L’idée même que vous achetiez une voiture à 60 ans, vous avez bossé toute votre vie, c’est votre première voiture neuve, un super modèle, une limousine ou je ne sais quoi, et que la voiture soit programmée pour vous sacrifier dans tous les cas parce que vous avez 60 ans, il y a quelque chose de déplaisant dans cette idée !
J’en ai parlé avec Nicholas Evans qui a été chargé de piloter un groupe d’informaticiens. Ils ont reçu 500 000 dollars de la National Science Foundation pour faire une recherche, pour pondre des algorithmes et lui est un spécialiste d’éthique, jeune, aux États-Unis. Nicholas Evans me dit « on pourrait imaginer le self-effacing utilitarialism, c’est-à-dire l’utilitarisme qui s’efface lui-même. Il dit la chose suivante et c’est exactement la remarque que j’ai entendue deux fois : « Imaginons qu’on sache qu’en passant à la voiture autonome pour tout le monde il y a un gain d’accidents et de vies humaines important et qu’il y a des situations tangentes. On pourrait programmer la voiture pour protéger toujours ses passagers. Ce serait acceptable si le gain général était quand même assez fort et ce serait surtout très acceptable par les constructeurs qui pourraient continuer à vendre des voitures programmées, un peu comme les jeeps, pour écrabouiller tout ce qui s’interpose. Ça pourrait être une réponse possible. »
Une autre réponse possible, intéressante, a été donnée par Jean-François Bonnefon que j’ai aussi interviewé une deuxième fois quand il avait fini son étude. Il dit : « J’ai beaucoup appris du Covid. Pendant le Covid, quand les services hospitaliers ont dit « on ne veut pas trier les gens entre ceux qu’on va pouvoir réanimer et ceux qu’on va pas réanimer », on a confiné tout le monde. Quand on commence à dire qu’on va devoir choisir qui vit, qui meurt, c’est insupportable. Personne ne veut prendre cette responsabilité, on arrête tout. Par contre, quand les vaccins sont arrivés, on les a distribués en priorité à certaines franges de la population, les personnes âgées ou les personnes à risque. Là on a distribué de la probabilité de survie et ça n’a pas fait de débat éthique », c’est-à-dire qu’on accepte de distribuer de la probabilité de survie. Il dit qu’on pourrait peut-être programmer les algorithmes de telle manière qu’ils distribuent de la probabilité. Par exemple, quand il faut choisir un espacement entre un mur, un piéton, un camion et une voiture, suivant l’angle qu’on choisit on distribue de la probabilité de survie ; pas distribuer de la mort ou du plantage et ce n’est pas tout à fait de l’aléatoire, ça consiste à dire tendanciellement voilà ce qui devrait se passer, mais ce n’est pas du 100 %.
J’en ai fini.
[Applaudissements]
Alexandre Lacroix : Je me tourne vers la régie : est-ce que ça enchaîne ici ?
Sven : Il va y avoir une pause pour le repas pour tout le monde. Malheureusement, on n’aura pas le temps de poser des questions, mais vous pourrez vous retrouver à l’agora, juste en face de la mairie si vous voulez les poser directement.
Alexandre Lacroix : Je me rends à l’espace agora en face. Si vous avez des questions, à tout de suite. Merci.