Le fédivers (de l’anglais fediverse, mot-valise de « fédération » et « univers ») est un ensemble de médias sociaux composé d’une multitude de plateformes et de logiciels, où les uns communiquent avec les autres grâce à un protocole commun. Mastodon est un des logiciels qui permet de proposer une instance sur le fédivers¹Pour en savoir plus sur le fédiverse : fediverse.party. En juin dernier, Meta a annoncé son arrivée sur le fédivers, à travers le lancement d’un concurrent à Twitter, nommé Threads, qui prévoit à terme de pouvoir s’intéropérer avec d’autres instances du fédivers. La Quadrature du Net réclame depuis plusieurs années une obligation d’interopérabilités pour ces grands réseaux sociaux. Alors l’interopérabilité d’un service proposé par Meta est-elle une bonne nouvelle ? Certainement pas.

Le fédivers est important

Depuis 2018, La Quadrature du Net défend le modèle vertueux du fédivers et réclame qu’il soit introduit dans le droit une obligation pour les plateformes de réseaux sociaux d’être interopérables, c’est-à-dire qu’ils puissent s’insérer dans l’écosystème du fédivers. L’objectif premier du fédivers et de notre revendication d’interopérabilité est de faire en sorte que les utilisateur·rices des grandes plateformes ne soient pas piégé·es par l’effet réseau, c’est-à-dire le fait que certaines plateformes deviennent aujourd’hui incontournables parce que les communautés sont dessus. L’interopérabilité permet ainsi de librement décider depuis quelle plateforme communiquer avec ses contacts, sans être poussé avec plus ou moins de force vers un site ou une application en particulier parce que tous·tes ses ami·es y seraient.

L’interopérabilité en matière de messageries interpersonnelles existe déjà depuis des décennies avec le courrier électronique. Avec une adresse chez un fournisseur A, il est possible d’écrire à ses contacts chez un fournisseur B.

Appliquée aux réseaux sociaux, l’interopérabilité permet à une personne sur une instance A d’écrire à une personne sur une instance B. Surtout, cela permet donc de quitter une plateforme sans se couper de ses ami·es, notamment face à un réseau social qui abuserait des données personnelles de ses utilisateur·rices ou qui aurait des politiques de modération ou de mise en avant de certains contenus problématiques.

La Quadrature du Net promeut depuis 2017 l’interopérabilité des réseaux sociaux. Nous pensons qu’il s’agit d’une réponse alternative à la problématique de la régulation des contenus en lignes. Face à des contenus racistes, antisémites, xénophobes, etc., mis en avant par certaines grandes plateformes, permettre à leurs utilisateur·rices de partir sans se couper de ses ami·es permet de faire émerger des alternatives plus vertueuses, au modèle économique différent.

Ainsi, depuis 2017, nous gérons une instance Mastodon, Mamot.fr. Avec cette instance, nous maintenons une petite pierre du grand réseau social fédéré qu’est le fédivers. Nos utilisateur·rices peuvent donc communiquer avec les autres instances du fédivers, sans avoir besoin d’un compte sur chaque autre plateforme, et en pouvant partir du jour au lendemain si notre politique de modération ne convenait pas. En sommes, un réseau social fédéré permet de redonner du pouvoir à l’internaute, en le retirant aux plateformes.

La beauté du fédivers est aussi qu’il ne s’arrête pas à du microblogging. Nous avons aussi une instance Peertube sur video.lqdn.fr, qui fait aussi partie du fédivers : chacun·e peut commenter et partager nos vidéos sans avoir de compte sur notre plateformes, mais simplement sur une instance quelconque du fédivers.

Mais voici que le géant Meta arrive

Qu’on l’appelle Meta ou Facebook, c’est bien le même géant qui est à la manœuvre. On rappellera que le réseau social de Mark Zukerberg à l’origine de nombreux scandales, sur la gestion des données personnelles et le non-respect du RGPD, ou encore le fait qu’il a servi, à travers le scandale de Cambridge Analytica, à des campagnes massives de manipulations électorales.

Meta est peut-être trop gros, sa position dominante et presque monopolistique dans le milieu des réseaux sociaux aujourd’hui lui octroyant une forme d’impunité. C’est bien en regroupant l’ensemble des internautes de Facebook, Instagram, WhatsApp, etc. que le groupe aux plusieurs milliards d’utilisateur·rices peut survivre à ses innombrables scandales.

Mais aujourd’hui Meta est face à un double souci. Premièrement, les réseaux sociaux ne durent pas éternellement et sont régulièrement abandonnés lors des migrations vers d’autres réseaux. Facebook en fait petit à petit les frais, concurrencé par d’autres plateformes qui ont su jouer sur les phénomènes d’addiction comme TikTok. Deuxièmement, sa taille fait de lui une cible prioritaire des différents États, qui cherchent à réguler les plateformes. Le Digital Markets Act (DMA), règlement européen qui, en tandem avec le Digital Services Act (DSA), vise à réguler les plateformes et l’économie numériques, a bien failli imposer aux réseaux sociaux une obligation d’interopérabilité. Si la France, sous l’impulsion de Cédric O, est venue, en toute fin de parcours législatif, retirer les obligations d’interopérabilités pour les réseaux sociaux du texte final, on voit bien que l’idée de la régulation par la décentralisation d’Internet fait son chemin parmi les décideur·euses public·ques et qu’une telle obligation finira probablement par arriver.

L’arrivée de Facebook sur le fédivers ressemble à la stratégie de prendre les devants, d’agir tant qu’il n’existe pas encore d’encadrement, afin de cannibaliser le fédivers en profitant de la circonstance de l’effondrement de Twitter.

L’interopérabilité est importante

Afin de promouvoir le modèle vertueux du fédivers, nous réclamions avec la loi Avia qu’il soit imposée aux grandes plateformes de réseaux sociaux une obligation d’interopérabilité. En permettant aux utilisateur·rices de quitter un réseau social toxique sans se couper de ses ami·es, il s’agit de casser le monopole qu’ont les géants sur les communautés et de permettre aux internautes de choisir l’endroit qui les accueillera, en fonction des préférences, affinités et valeurs de chacun·es.

Alors que la loi Avia proposait comme manière de réguler les plateformes le contrôle, la censure et la confirmation de l’hégémonie des plateformes et de leur pouvoir, nous proposions l’obligation d’interopérabilité comme modèle alternatif à la censure. Si Twitter, Facebook ou TikTok sont nocifs, c’est (entre autres) que leur modèle économique les pousse à mettre en avant des contenus problématiques, haineux, qui feront réagir les internautes et maintiendront leur attention pour engranger plus de revenus publicitaires, au détriment du débat apaisé et du respect de l’autre.

Avec le DSA et le DMA, nous proposions l’obligation d’interopérabilité pour cette même raison : réguler les géants doit passer par leur retirer le contrôle de leurs communautés. Et nos efforts, épaulés par d’autres organisations comme EDRi, Article 19 ou l’Electronic Frontier Foundation (EFF), ont bien failli réussir puisque sans les efforts du gouvernement français et de son ministre de l’époque Cédric O, l’obligation d’interopérabilité des réseaux sociaux aurait pu devenir réalité puisque le Parlement européen avait voté en sa faveur.

Récemment, nous critiquions également l’attitude du gouvernement qui, sourd aux problèmes sociaux qui touchent les banlieues, préfère museler la liberté d’expression sur les réseaux sociaux avec la vieille rengaine de la censure, alors que cela ne résoudra pas les problèmes de fond et que la régulation des plateformes devrait passer par plus de décentralisation au lieu de plus de censure.

S’interopérer, oui, mais pas n’importe comment

Alors finalement, face à ce constat de nécessité de décentraliser les réseaux sociaux, le fédivers ne devrait-il pas accueillir à bras ouverts Meta ? L’histoire nous montre que non.

Déjà, notons que, au moment où nous écrivons ces lignes, Threads n’est pas interopérable. L’annonce a été faite par Meta que son service permettrait de communiquer avec le reste du fédivers, mais il ne s’agit à ce stade que d’une annonce. Notons également que Meta a restreint Threads aux internautes qui ne sont pas dans l’Union européenne, invoquant une incompatibilité avec le RGPD.

Ce contexte étant posé, il est nécessaire, pour comprendre l’ensemble du problème, de revenir sur l’épisode de GTalk et XMPP. XMPP est un protocole ouvert de messagerie interpersonnelle. De manière relativement similaire au courrier électronique, chaque utilisateur·rice a son compte sur un service et peut discuter avec ses ami·es qui peuvent être sur d’autres services. En 2005, Google lance son service de messagerie, GTalk, qui utilise le protocole XMPP et l’année d’après la fédération est activée : il était alors possible de discuter avec un·e utilisateur·rice de GTalk en ayant un compte ailleurs que chez Google. Mais en 2012, après avoir capté une partie des utilisateur·rices externes, l’entreprise annonça qu’elle comptait réorganiser ses produits et fusionner tous ceux de messagerie avec Hangouts. En 2013, Google annonçait que Hangouts ne serait pas compatible avec XMPP, refermant sur elle-même sa communauté qu’il avait fait grossir grâce à l’interopérabilité permise par XMPP.

On le voit, la taille de Google permettait d’imposer ce choix. Couper les internautes de leurs ami·es qui ne seraient pas chez Google n’est pas une décision en faveur des utilisateur·rices. Elle a pourtant été rendue possible par la puissance de Google sur sa communauté.

Lorsque les premières rumeurs sur l’arrivée de Meta sur le fédivers avec Threads (dont le nom de code à l’époque était « Project92 ») ont émergéMeta a demandé à discuter avec des administrateur·rices d’instances Mastodon en exigeant au préalable qu’iels signent un accord de confidentialité (non-disclosure agreement). La méthode cavalière n’a bien entendu pas plu et c’est ainsi que certain·es administateurs·rices, sans connaître le contenu des échanges qu’a pu avoir Meta avec d’autres, ont révélé l’information en dénonçant au passage la méthode., l’initiative du Fedipact a été lancée. Le principe est simple, les signataires de cet engagement s’engageant à bloquer les services de Meta en raison de la nocivité de l’entreprise pour le fédivers : « Je suis un·e administeur·rice/modérateur·rice sur le fédivers. En signant ce pacte, je m’engage à bloquer toute instance de Meta qui pourrait arriver sur le fédivers. Le Projet92 pose un risque sérieux et réel à la santé et à la longévité du fédivers et doit être combattu à chaque occasion. »

La Quadrature du Net partage les craintes mais ne signera pas cet appel

De nombreuses instances du fédivers, francophone ou non, ont décidé de signer cet appel. De nombreux arguments en faveur du blocage de Meta ont été développés (voir, par exemple, l’explication de Ploum et sa traduction en français). D’autres instances ont préféré attendre, ne voulant pas condamner par avance Meta mais ne fermant pas la porte à son blocage si le service venait créer des problèmes de modération.

Si nous ne signons pas le Fedipact, nous partageons les craintes exprimées et l’instance Mastodon que gère La Quadrature du Net, mamot.fr, bloquera Threads et tout service de Meta qui arriverait sur le fédivers tant qu’une obligation d’interopérabilité accompagnée d’un régulateur capable de tenir tête aux GAFAM et autres géants du numérique ne sera pas introduite en droit.

Nous pensons en effet qu’il est possible, et souhaitable, d’avoir Facebook et les autres réseaux sociaux commerciaux sur le fédivers. C’est une condition sine qua non à leur affaiblissement. En revanche, la démarche de Meta avec Threads est tout sauf une stratégie d’affaiblissement de l’entreprise : Meta ne compte pas se tirer une balle dans le pied, son invasion du fédivers vise à le cannibaliser.

Nous demandons toujours que ces réseaux sociaux aujourd’hui fermés par nature deviennent interopérables. Mais pas n’importe comment ni au détriment de l’écosystème existant ni, in fine, au détriment des droits et libertés des utilisateur·rices. Une telle obligation doit passer par un contrôle, un encadrement, pour que Meta ne puisse pas imposer ses choix au reste d’Internet.

Par sa taille, en effet, Threads deviendrait d’office la plus grosse plateforme du fédivers, sans pour autant prendre d’engagement sur le respect du fonctionnement et de la pérennité de la structure interopérable de l’écosystème. Meta pourrait par exemple chercher à influencer le protocole sur lequel repose le fédivers, ActivityPub. Il pourrait même refuser d’utiliser ce protocole, forçant les autres plateformes à s’interopérer avec lui. Ou adopter la stratégie du Embrace, extend and extinguish.

En somme, sans régulateur fort qui puisse empêcher Meta de prendre ce qui l’arrange dans le fédivers sans participer à son développement (le fédivers repose, rappelons-le, sur une conception radicalement opposée à la logique commerciale de Meta), c’est bien un danger de mort qui pèse sur le fédivers.

Tout comme Google a pris ce qui l’arrangeait dans XMPP, sans contrôle externe Meta prendra ce qui lui convient dans le fédivers puis s’en ira, ou fera en sorte de laisser se dégrader la partie interopérée de son service, par exemple en réservant certaines fonctionnalités à ses seul·es utilisateur·rices uniquement. Comme nous l’écrivions par le passé, « en quelques années, les géants se refermèrent sur eux-même et cessèrent de communiquer, même entre eux. Ils n’avaient plus de raisons de permettre de communiquer avec l’extérieur, « tout le monde » était déjà là, prisonnier et ne pouvant s’échapper sous peine de voir un pan de sa vie sociale disparaître. » Nous ne voulons pas revivre cette situation avec le fédivers.

Nous prenons souvent l’exemple du courrier électronique pour montrer la faisabilité technique de l’interopérabilité. Mais en matière d’email aussi, les géants imposent leurs règles. Framasoft écrivait il y a déjà six ans qu’« Être un géant du mail, c’est faire la loi… ». Et pour cause : par leur captation de la majorité des utilisateur·rices, les géants du net peuvent imposer aux plus petits leurs règles, leurs standards techniques, faire en sorte de forcer les petits à s’adapter aux gros, et non les gros à s’adapter aux petits. Le même risque pèse sur le fédivers sans un régulateur pour les en empêcher.

Les conséquences pour les utilisateur·rices de Mamot.fr

Face à ces incertitudes, pour préserver notre possibilité d’agir à l’avenir et pour nous protéger d’un risque que nous jugeons réel, nous pensons que les actions de Meta doivent être observées avec la plus grande prudence.

Pour les raisons évoquées précédemment, Mamot.fr procédera, jusqu’à nouvel ordre, au blocage préventif de Threads ainsi que de tout autre service de Meta qui viendrait sur le fédivers.

Les personnes ayant un compte sur Mamot.fr ne pourrons donc pas être vues ou suivies par celles ayant un compte chez Threads, et vice versa. Si des personnes que vous connaissez sont sur cette instance et aimeraient vous suivre, nous recommandons qu’elles mettent leur données entre les mains de collectifs et d’associations de confiances, notamment les instances gérées par les CHATONS, par exemple.

Un tel blocage n’est bien évidemment pas idéal : c’est l’internaute, in fine, qui se retrouve victime de cette situation. Mais la balle est dans le camp du législateur. Notre position n’a pas changé : nous pensons qu’il est nécessaire que les grosses plateformes soient interopérables, sur des bases techniques et sociales communes, ce qui ne peut se réaliser qu’avec une obligation d’interopérabilité contrôlée par un régulateur qui aura les pouvoirs suffisants pour empêcher les gros d’écraser les petits. Ce qui, aujourd’hui, n’est malheureusement pas le cas. Le projet de loi Espace numérique, qui a été voté au Sénat en juillet et sera débattu à l’Assemblée nationale en octobre, est l’occasion pour le législateur d’introduire cette obligation d’interopérabilité. Nous reviendrons prochainement sur ce texte. En attendant, n’hésitez pas à faire un don à La Quadrature du Net, afin que nous puissions continuer ce combat pour un Internet décentralisé et bénéfique aux internautes.

Illustration : « NoisePlanet_Asteroid belt_2.0 », par Samuel YAN, CC BY-NC-SA 3.0.

L’actualité récente nous invite à republier avec son accord l’article de Kazhnuz sur son blog (il est sous licence CC BY-SA 4.0) qui souligne un point assez peu observé de la stratégie d’Elon Musk : elle n’est guère innovante et ne vise qu’à ajouter un X aux GAFAM pour capter une base utilisateur à des fins mercantiles…

Twitter vers X, la marketplacisation¹ d’Internet

Photo Blue bird seen at Lake Merritt Oakland par Michael Slaten.

par Kazhnuz

L’annonce a été faite le 23 juillet, Twitter va être remplacé par X, le « rêve » de Musk de créer l’app-à-tout-faire à la WeChat en Chine. Le logo va être changé, et la marque Twitter va être abandonnée au profit de celle de X, et le domaine x.com redirige déjà vers Twitter. Le nom a déjà été utilisé jadis par Musk pour sa banque en ligne (qui après moult péripéties deviendra Paypal, justement parce que le nom est nul et pose des tonnes de soucis – ressembler à un nom de site X justement), et cette fois comme y’a personne pour lui dire « stop mec ton idée pue », il le fait.

Cependant, je pense qu’il y a quelques trucs intéressants à dire sur la situation, parce qu’au final, plus qu’une « lubie de Musk », il y a dedans quelque chose qui informe de la transformation faite de twitter, et de la façon dont Musk fait juste partie d’un mouvement fortement présent dans la Silicon Valley.

Encore un

Je pense qu’il ne faut pas voir ce changement de nom comme quelque chose de si surprenant, imprévisible, parce que c’est jouer le jeu de Musk de croire qu’il est l’électron libre qu’il prétend être. Parce que même s’il va plus loin en changeant carrément la marque du produit, Musk ne fait (encore une fois) que copier-coller un comportement déjà présent dans le milieu de la tech.

Parce qu’au final, Twitter appartenant et devenant X Corp, c’est comme Facebook qui devient Meta Plateform, ou Google qui devient Alphabet Inc. Un changement en grande partie pour tenter de forger la « hype », l’idée que le site fait partie de quelque chose de plus grand, du futur, de ce qui va former l’Internet – non la vie – de demain. Bon je pense que ça se voit que je suis un peu sarcastique de tout ça, mais y’a cette idée derrière les grandes entreprises de la tech. Elles ne sont plus dans l’idée de tourner autour de quelques produits, elles se présentent comme le « futur ». X Corp n’est qu’une tentative de créer un autre GAFAM, et fait partie des mêmes mouvements, des mêmes visions, du même aspect « techbro ».

C’est pour ça que le nom « rigolo » est moins mis en avant par rapport au nom plus « générique-mais-cool-regardez ». Meta, pour ceux qui vont au-delà et le métavers. X pour la variable inconnue. Alphabet pour aller de A à Z. Tout cela est de l’esbroufe, parce que plus que vendre un produit, ils vendent de la hype aux investisseurs.

Et le fait que Musk a voulu réutiliser ce nom dans le passé ne change pas grand-chose à tout ça. Le but, l’ego est le même. Donner l’impression qu’on est face à une grosse mégacorporation du futur. Et ce manque d’originalité n’est pas que dans le changement de nom, mais aussi au final dans son plan derrière tout ça : transformer Twitter en une marketplace.

X, une autre marketplace

Le passage de Twitter à X.com, montre le même cœur que les metaverse et crypto… et au final une grande partie des transformations qui se sont produites : tout transformer en marketplace, enrobé dans une esthétique de technofuturisme. Cela se voit encore plus dans le message de Linda Yaccarino, la CEO de Twitter :

X est l’état futur de l’interactivité illimitée – centrée sur l’audio, la vidéo, la messagerie, les paiements/les banques – créant une place de marché globale pour les idées, les biens, les services et les opportunités. Propulsé par l’IA, X va nous connecter d’une manière que nous commençons juste à imaginer.

— Linda Yaccarino, twitter

On peut remarquer deux choses dans ce message :

Le premier est qu’il n’y a rien d’original dedans. Nous y retrouvons exactement la même chose que l’on retrouvait à l’époque des crypto et des NFT : le truc qui fait tout mais surtout des trucs qui existent déjà, et basé sur la technologie du turfu. Y’a déjà 500 plateformes pour faire payer pour des services, que ce soit en crowdfunding, au format « patreon », via des commissions, etc. Des ventes de biens sur internet, y’a aussi des tonnes de moyens, etc. Tout ce qui est rajouté c’est « on va faire tous ces trucs qui existent déjà, et on a dit « IA » dedans donc c’est le futur ça va tout révolutionner tavu ». C’est le modus operandi classique, et il n’y a rien d’original dans ce que propose Twitter. D’ailleurs, le rôle que peut avoir l’IA dedans est très vague : est-ce que c’est pour modifier les algorithmes ? (cela ne sert pas à grand-chose, on les hait tous déjà). Est-ce que c’est pour pouvoir générer des produits par IA pour les vendre ? Le produit que veut proposer X Corp n’a pas besoin d’IA pour fonctionner, elle est là juste pour dire « c’est le futur », et hyper les investisseurs.

Le second est que cela transforme l’idée de base de Twitter (l’endroit où les gens parlent) en avant tout une « place de marché », comme indiqué plus haut. Twitter était le lieu de la discussion, du partage de l’idée à la con qu’on a eue sous la douche. D’où le format du microblogging. Là aussi, même cet aspect devient quelque chose de commercialisable, ce qui rappelle encore une fois le mouvement qu’il y avait eu autour de la crypto et des NFT : tout doit pouvoir devenir commercialisable, tout doit pouvoir devenir un produit. C’est aussi ce mouvement qui fait qu’on a de plus en plus de « jeux-services », qui servent avant tout à vendre des produits dématérialisés n’ayant de valeur qu’à l’intérieur du jeu (et encore). Beaucoup de jeux ne peuvent plus juste « être un jeu », ils doivent être une « marketplace ».

Conclusion

La transformation de twitter en X n’est donc pas une surprise – en plus du fait que c’était annoncé depuis longtemps. Il ne s’agit que d’un phénomène qui arrive tout le temps sur Internet. Une volonté de transformer un site populaire en une « place de marché du futur » pour hyper des investisseurs. Encore une fois.

Et au final, on sait bien ce qu’a acheté Musk quand il a acheté Twitter. Il n’a pas acheté un produit. Il a acheté une userbase (une base d’utilisateurs et utilisatrices) pour l’injecter directement dans le nouveau produit qu’il voulait faire. C’est assez ironique de voir que Twitter a fini de la même manière que certains comptes populaires : revendu pour être renommé et envoyer sa pub à des tonnes d’utilisateurs.

Cet article a été publié à l’origine par THE MARKUP, il a été traduit et republié selon les termes de la licence Creative Commons Attribution-NonCommercial-NoDerivatives

Démystifier le buzz autour de l’IA

Un entretien avec Arvind Narayanan

par JULIA ANGWIN
Si vous avez parcouru tout le battage médiatique sur ChatGPT le dernier robot conversationnel qui repose sur l’intelligence artificielle, vous pouvez avoir quelque raison de croire que la fin du monde est proche.

Le chat « intelligent » de l’IA a enflammé l’imagination du public pour sa capacité à générer instantanément des poèmes, des essais, sa capacité à imiter divers styles d’écrits, et à réussir à des examens d’écoles de droit et de commerce.

Les enseignants s’inquiètent de la tricherie possible de leurs étudiants (des écoles publiques de New York City l’ont déjà interdit). Les rédacteurs se demandent si cela ne va pas faire disparaître leur travail (BuzzFeed et CNET ont déjà utilisé l’IA pour créer des contenus). Le journal The Atlantic a déclaré que cela pourrait « déstabiliser les professions de cadres supérieurs ». L’investisseur en capital-risque Paul Kedrosky l’a qualifié de « bombe nucléaire de poche » et blâmé ses concepteurs pour l’avoir lancé dans une société qui n’y est pas prête.

Même le PDG de l’entreprise qui a lancé ChatGPT, Sam Altman, a déclaré aux médias que le pire scénario pour l’IA pourrait signifier « notre extinction finale ».

Cependant pour d’autres ce buzz est démesuré. Le principal scientifique chargé de l’IA chez Meta’s AI, Yann LeCun, a déclaré à des journalistes que ChatGPT n’a « rien de révolutionnaire ». Le professeur de langage informatique de l’université de Washington Emily Bender précise que « la croyance en un programme informatique omniscient vient de la science-fiction et devrait y rester ».

Alors, jusqu’à quel point devrions-nous nous inquiéter ? Pour recueillir un avis autorisé, je me suis adressée au professeur d’informatique de Princeton Arvind Narayanan, qui est en train de co-rédiger un livre sur « Le charlatanisme de l’IA ». En 2019, Narayanan a fait une conférence au MIT intitulée « Comment identifier le charlatanisme del’IA » qui exposait une classification des IA en fonction de leur validité ou non. À sa grande surprise, son obscure conférence universitaire est devenue virale, et ses diapos ont été téléchargées plusieurs dizaines de milliers de fois ; ses messages sur twitter qui ont suivi ont reçu plus de deux millions de vues.

Narayanan s’est alors associé à l’un de ses étudiants, Sayash Kapoor, pour développer dans un livre la classification des IA. L’année dernière, leur duo a publié une liste de 18 pièges courants dans lesquels tombent régulièrement les journalistes qui couvrent le sujet des IA. Presque en haut de la liste : « illustrer des articles sur l’IA avec de chouettes images de robots ». La raison : donner une image anthropomorphique des IA implique de façon fallacieuse qu’elles ont le potentiel d’agir dans le monde réel.

Narayanan est également le co-auteur d’un manuel sur l’équité et l’apprentissage machine et dirige le projet Web Transparency and Accountability de l’université de Princeton pour contrôler comment les entreprises collectent et utilisent les informations personnelles. Il a reçu de la Maison-Blanche le Presidential Early Career Award for Scientists and Engineers [N. de T. : une distinction honorifique pour les scientifiques et ingénieurs qui entament brillamment leur carrière].

Voici notre échange, édité par souci de clarté et brièveté.

Angwin : vous avez qualifié ChatGPT de « générateur de conneries ». Pouvez-vous expliquer ce que vous voulez dire ?

Narayanan : Sayash Kapoor et moi-même l’appelons générateur de conneries et nous ne sommes pas les seuls à le qualifier ainsi. Pas au sens strict mais dans un sens précis. Ce que nous voulons dire, c’est qu’il est entraîné pour produire du texte vraisemblable. Il est très bon pour être persuasif, mais n’est pas entraîné pour produire des énoncés vrais ; s’il génère souvent des énoncés vrais, c’est un effet collatéral du fait qu’il doit être plausible et persuasif, mais ce n’est pas son but.

Cela rejoint vraiment ce que le philosophe Harry Frankfurt a appelé du bullshit, c’est-à-dire du langage qui a pour objet de persuader sans égards pour le critère de vérité. Ceux qui débitent du bullshit se moquent de savoir si ce qu’ils disent est vrai ; ils ont en tête certains objectifs. Tant qu’ils persuadent, ces objectifs sont atteints. Et en effet, c’est ce que fait ChatGPT. Il tente de persuader, et n’a aucun moyen de savoir à coup sûr si ses énoncés sont vrais ou non.

Angwin : Qu’est-ce qui vous inquiète le plus avec ChatGPT ?

Narayanan : il existe des cas très clairs et dangereux de mésinformation dont nous devons nous inquiéter. Par exemple si des personnes l’utilisent comme outil d’apprentissage et accidentellement apprennent des informations erronées, ou si des étudiants rédigent des essais en utilisant ChatGPT quand ils ont un devoir maison à faire. J’ai appris récemment que le CNET a depuis plusieurs mois maintenant utilisé des outils d’IA générative pour écrire des articles. Même s’ils prétendent que des éditeurs humains ont vérifié rigoureusement les affirmations de ces textes, il est apparu que ce n’était pas le cas. Le CNET a publié des articles écrits par une IA sans en informer correctement, c’est le cas pour 75 articles, et plusieurs d’entre eux se sont avérés contenir des erreurs qu’un rédacteur humain n’aurait très probablement jamais commises. Ce n’était pas dans une mauvaise intention, mais c’est le genre de danger dont nous devons nous préoccuper davantage quand des personnes se tournent vers l’IA en raison des contraintes pratiques qu’elles affrontent. Ajoutez à cela le fait que l’outil ne dispose pas d’une notion claire de la vérité, et vous avez la recette du désastre.

Angwin : Vous avez développé une classification des l’IA dans laquelle vous décrivez différents types de technologies qui répondent au terme générique de « IA ». Pouvez-vous nous dire où se situe ChatGPT dans cette taxonomie ?

Narayanan : ChatGPT appartient à la catégorie des IA génératives. Au plan technologique, elle est assez comparable aux modèles de conversion de texte en image, comme DALL-E [qui crée des images en fonction des instructions textuelles d’un utilisateur]. Ils sont liés aux IA utilisées pour les tâches de perception. Ce type d’IA utilise ce que l’on appelle des modèles d’apprentissage profond. Il y a environ dix ans, les technologies d’identification par ordinateur ont commencé à devenir performantes pour distinguer un chat d’un chien, ce que les humains peuvent faire très facilement.

Ce qui a changé au cours des cinq dernières années, c’est que, grâce à une nouvelle technologie qu’on appelle des transformateurs et à d’autres technologies associées, les ordinateurs sont devenus capables d’inverser la tâche de perception qui consiste à distinguer un chat ou un chien. Cela signifie qu’à partir d’un texte, ils peuvent générer une image crédible d’un chat ou d’un chien, ou même des choses fantaisistes comme un astronaute à cheval. La même chose se produit avec le texte : non seulement ces modèles prennent un fragment de texte et le classent, mais, en fonction d’une demande, ces modèles peuvent essentiellement effectuer une classification à l’envers et produire le texte plausible qui pourrait correspondre à la catégorie donnée.

Angwin : une autre catégorie d’IA dont vous parlez est celle qui prétend établir des jugements automatiques. Pouvez-vous nous dire ce que ça implique ?

Narayanan : je pense que le meilleur exemple d’automatisation du jugement est celui de la modération des contenus sur les médias sociaux. Elle est nettement imparfaite ; il y a eu énormément d’échecs notables de la modération des contenus, dont beaucoup ont eu des conséquences mortelles. Les médias sociaux ont été utilisés pour inciter à la violence, voire à la violence génocidaire dans de nombreuses régions du monde, notamment au Myanmar, au Sri Lanka et en Éthiopie. Il s’agissait dans tous les cas d’échecs de la modération des contenus, y compris de la modération du contenu par l’IA.

Toutefois les choses s’améliorent. Il est possible, du moins jusqu’à un certain point, de s’emparer du travail des modérateurs de contenus humains et d’entraîner des modèles à repérer dans une image de la nudité ou du discours de haine. Il existera toujours des limitations intrinsèques, mais la modération de contenu est un boulot horrible. C’est un travail traumatisant où l’on doit regarder en continu des images atroces, de décapitations ou autres horreurs. Si l’IA peut réduire la part du travail humain, c’est une bonne chose.

Je pense que certains aspects du processus de modération des contenus ne devraient pas être automatisés. Définir où passe la frontière entre ce qui est acceptable et ce qui est inacceptable est chronophage. C’est très compliqué. Ça demande d’impliquer la société civile. C’est constamment mouvant et propre à chaque culture. Et il faut le faire pour tous les types possibles de discours. C’est à cause de tout cela que l’IA n’a pas de rôle à y jouer.

Angwin : vous décrivez une autre catégorie d’IA qui vise à prédire les événements sociaux. Vous êtes sceptique sur les capacités de ce genre d’IA. Pourquoi ?

Narayanan : c’est le genre d’IA avec laquelle les décisionnaires prédisent ce que pourraient faire certaines personnes à l’avenir, et qu’ils utilisent pour prendre des décisions les concernant, le plus souvent pour exclure certaines possibilités. On l’utilise pour la sélection à l’embauche, c’est aussi célèbre pour le pronostic de risque de délinquance. C’est aussi utilisé dans des contextes où l’intention est d’aider des personnes. Par exemple, quelqu’un risque de décrocher de ses études ; intervenons pour suggérer un changement de filière.

Ce que toutes ces pratiques ont en commun, ce sont des prédictions statistiques basées sur des schémas et des corrélations grossières entre les données concernant ce que des personnes pourraient faire. Ces prédictions sont ensuite utilisées dans une certaine mesure pour prendre des décisions à leur sujet et, dans de nombreux cas, leur interdire certaines possibilités, limiter leur autonomie et leur ôter la possibilité de faire leurs preuves et de montrer qu’elles ne sont pas définies par des modèles statistiques. Il existe de nombreuses raisons fondamentales pour lesquelles nous pourrions considérer la plupart de ces applications de l’IA comme illégitimes et moralement inadmissibles.

Lorsqu’on intervient sur la base d’une prédiction, on doit se demander : « Est-ce la meilleure décision que nous puissions prendre ? Ou bien la meilleure décision ne serait-elle pas celle qui ne correspond pas du tout à une prédiction ? » Par exemple, dans le scénario de prédiction du risque de délinquance, la décision que nous prenons sur la base des prédictions est de refuser la mise en liberté sous caution ou la libération conditionnelle, mais si nous sortons du cadre prédictif, nous pourrions nous demander : « Quelle est la meilleure façon de réhabiliter cette personne au sein de la société et de diminuer les risques qu’elle ne commette un autre délit ? » Ce qui ouvre la possibilité d’un ensemble beaucoup plus large d’interventions.

Angwin : certains s’alarment en prétendant que ChatGPT conduit à “l’apocalypse,” pourrait supprimer des emplois et entraîner une dévalorisation des connaissances. Qu’en pensez-vous ?

Narayanan : Admettons que certaines des prédictions les plus folles concernant ChatGPT se réalisent et qu’il permette d’automatiser des secteurs entiers de l’emploi. Par analogie, pensez aux développements informatiques les plus importants de ces dernières décennies, comme l’internet et les smartphones. Ils ont remodelé des industries entières, mais nous avons appris à vivre avec. Certains emplois sont devenus plus efficaces. Certains emplois ont été automatisés, ce qui a permis aux gens de se recycler ou de changer de carrière. Il y a des effets douloureux de ces technologies, mais nous apprenons à les réguler.

Même pour quelque chose d’aussi impactant que l’internet, les moteurs de recherche ou les smartphones, on a pu trouver une adaptation, en maximisant les bénéfices et minimisant les risques, plutôt qu’une révolution. Je ne pense pas que les grands modèles de langage soient même à la hauteur. Il peut y avoir de soudains changements massifs, des avantages et des risques dans de nombreux secteurs industriels, mais je ne vois pas de scénario catastrophe dans lequel le ciel nous tomberait sur la tête.

Comme toujours, merci de votre attention.

À bientôt,
Julia Angwin
The Markup

On peut s’abonner ici à la lettre hebdomadaire (en anglais) du magazine The Markup, envoyée le samedi.