Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 17 janvier 2025 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

Hubert Guillaud

Dans son livre, Mood Machine, la journaliste indépendante Liz Pelly, décortique ce que Spotify a changé dans la musique, pour les clients du service, comme pour les musiciens. Entre uberisation et syndrome de Stockholm.

Cela fait des années que la journaliste indépendante Liz Pelly observe Spotify. Son essai, Mood Machine : The Rise of Spotify and the Costs of the Perfect Playlist (Simon & Schuster, 2025) estime que la musique est devenue un utilitaire plus qu’un art. Pour les fans de musique, le streaming est, malheureusement, un « produit spectaculaire » : « un jukebox universel et infini ».  Pour les musiciens cependant, Spotify a été une menace plus existentielle que la révolution du partage de fichiers qui l’a précédée, car le streaming, lui, a reçu le vernis de la légitimité, explique le Washington Post dans sa critique du livre. Mais Spotify a surtout détourné les bénéfices de la musique a son profit, tout en préparant le terrain pour remplacer les musiciens par de la musique générée par l’IA. Le secteur d’ailleurs s’y prépare : un récent rapport de la Confédération internationale des sociétés d’auteurs et compositeurs (Cisac) annonce la chute de la rémunération des artistes et le déferlement à venir de la musique générée par IA

La musique, une activité purement fonctionnelle

Liz Pelly rappelle que les origines de Spotify plongent directement dans The Pirate Bay, l’emblème du téléchargement illégal de musique du début des années 2000, notamment parce que le service était une réponse au comportement des gens et à l’envolée du téléchargement illégal. Pour le fondateur de Spotify, la musique a été considérée comme Amazon a considéré les livres : un cheval de Troie pour exploiter les clients. La recette de la suprématie auditive de Spotify a surtout reposé sur les playlists, spécifiques, homogènes et de plus en plus automatisées, descendant monotone de la radio commerciale et des musiques d’ambiance. Nos habitudes d’écoute culturelles ont été peu à peu déformées par la domination de Spotify. « Les auditeurs ont été encouragés à aborder la musique comme une activité purement fonctionnelle – pour dormir, étudier ou meubler un lieu public – sans avoir à fournir aucun investissement particulier dans des artistes individuels et identifiables ». En fait, Spotify vise avant tout à maintenir ses clients dans leur zone de confort. Spotify incarne « un modèle de créativité axé sur le service client qui conduit à une stagnation esthétique », explique Pelly. Le « son Spotify » ressemble à la décoration des appartements sur Airbnb, partout identique.

« À quel moment un système de recommandation cesse-t-il de recommander des chansons et commence-t-il à recommander une idée complète de la culture ? » demande Pelly. Spotify préfère que vous vous engagiez de la manière la plus passive et la plus distraite possible. Comme en politique, les superstructures panoptiques fonctionnent mieux lorsque leurs sujets ne leur accordent pas trop d’attention. Comme l’aurait dit un jour Daniel Ek, le fondateur de Spotify, « notre seul concurrent est le silence ». Dans le New Yorker, le prof de littérature Hua Hsu qui discute du même livre, parle d’un syndrome Spotify comme d’un syndrome de Stockholm. « Tout comme nous entraînons l’algorithme de Spotify avec nos goûts et nos dégoûts, la plateforme semble, elle, nous entraîner à devenir des auditeurs 24 heures sur 24 ». Pelly soutient, en fait, que la plus grande innovation de Spotify a été sa compréhension de l’affect, de la façon dont nous nous tournons vers la musique pour nous remonter le moral ou nous calmer, nous aider à nous concentrer sur nos devoirs ou simplement nous dissocier. Contrairement aux maisons de disque, son but n’était pas de nous vendre un tube dont on se lasse, mais de nous vendre un environnement sonore permanent. Quand on écoutait MTV ou la radio, nous pouvions parfois tomber sur quelque chose de différent ou d’inconnu. Désormais, la personnalisation « laisse présager d’un avenir sans risque, dans lequel nous ne serons jamais exposés à quoi que ce soit que nous ne voudrions pas entendre ». Sur Spotify, « les sons flottent en grande partie sans contexte ni filiation ». Les artistes y sont finalement assez invisibles. La musique décontextualisée de son histoire.

Internet était censé libérer les artistes de la monoculture, en offrant les conditions pour que la musique circule de manière démocratique et décentralisée. Certes, elle circule plus que jamais, mais la monoculture, elle, s’est terriblement renforcée.

Spotify, une ubérisation comme les autres

Dans les bonnes feuilles du livre que publie Harpers, Pelly évoque une autre dimension des transformations qu’a produit la plateforme, non pas sur les utilisateurs et clients, mais sur la musique et les musiciens eux-mêmes. Elle décrit les artistes fantômes de la plateforme, une polémique où les playlists populaires de Spotify semblaient se peupler de musiques de stock et d’artistes qui n’existaient pas. Pelly montre que Spotify avait en fait, malgré ses longues dénégations, bel et bien des accords avec des sociétés de productions pour produire des flux de musique moins chers. Ce programme, baptisé Perfect Fit Content (PFC, que l’on peut traduire par « contenu parfaitement adapté »), offrait des conditions de rémunération moindre et visait clairement à réduire les droits payés par Spotify aux artistes, normalisant des titres bons marchés pour remplir les playlists. « Au milieu des années 2010, le service s’est activement repositionné pour devenir une plateforme neutre, une méritocratie axée sur les données qui réécrivait les règles de l’industrie musicale avec ses playlists et ses algorithmes ». En se rendant compte que de nombreux abonnés écoutaient de la musique en fond sonore, Spotify a opté pour une solution qui lui permettait de réduire les dividendes qu’elle versait au majors (représentant quelques 70 % de ses revenus) afin de devenir bénéficiaire. Pour cela, elle a misé sur les recommandations par playlists d’humeur qui se sont peu à peu peuplées de titres PFC – et ce alors que Spotify se défend de faire des placements de chansons dans ses playlists.

De nombreuses entreprises fournissent désormais Spotify en musique libre de droits à petits budgets, au détriment d’artistes indépendants. Loin d’être la plateforme de la méritocratie musicale qu’elle prétend être, Spotify, comme bien des entreprises, « manipule secrètement la programmation pour favoriser le contenu qui améliore ses marges ». Pour les musiciens précarisés qui produisent ces musiques, cela ressemble surtout à une ubérisation à marche forcée, avec des enregistrements à la chaîne et des musiques écrites sur un coin de table pour correspondre à un style précis, qui signent des contrats avec des droits réduits. « La musique de fond est à certains égards similaire à la musique de production, un son produit en masse sur la base d’un travail à la demande, qui est souvent entièrement détenu par des sociétés de production qui le rendent facilement disponible pour la publicité, la sonorisation de magasin, la production de films… » Ce que l’on appelle « la musique de production » est d’ailleurs en plein essor actuellement, explique Pelly, notamment pour créer des fonds sonores aux micro-contenus vidéo de Youtube, Insta ou TikTok, afin d’éviter des accords de licences compliqués voire la suppression de contenus lié à la violation du droit d’auteur. Pour ces entreprises qui produisent de la musique à la chaîne, comme Epidemic Sound, la musique n’est rien d’autre qu’une « activité de données », aplanissant les différences entre les musiques, produisant un brouillage des frontières esthétiques.

Les musiciens de l’Ivors Academy, une organisation britannique de défense des auteurs-compositeurs, affirment que les « frictions » que des entreprises comme Epidemic cherchent à aplanir sont en fait des protections industrielles et de droit d’auteur durement gagnées. Nous sommes entrés dans une course au moins disant, explique un producteur. Quand ces morceaux décollent en audience, ils génèrent bien plus de revenus pour Spotity et les labels fantômes que pour leurs auteurs, par contrat. « Ce traitement de la musique comme rien d’autre que des sons de fond – comme des pistes interchangeables de playlists génériques et étiquetées en fonction de l’ambiance – est au cœur de la dévalorisation de la musique à l’ère du streaming. Il est dans l’intérêt financier des services de streaming de décourager une culture musicale critique parmi les utilisateurs, de continuer à éroder les liens entre les artistes et les auditeurs, afin de faire passer plus facilement de la musique à prix réduits, améliorant ainsi leurs marges bénéficiaires. Il n’est pas difficile d’imaginer un avenir dans lequel l’effilochage continu de ces liens érode complètement le rôle de l’artiste, jetant les bases pour que les utilisateurs acceptent la musique créée à l’aide de logiciels d’IA générative. » Epidemic Sound a déjà prévu d’autoriser ses auteurs à utiliser les outils d’IA pour générer des pistes musicales. Et Spotify, pour sa part, a fait part ouvertement de sa volonté d’autoriser la musique générée par l’IA sur la plateforme.

L’exploitation de l’IA par Spotify ne s’arrête pas là. Elle est toujours corrélée à des initiatives pour réduire les coûts, rappelle Pelly, en évoquant par exemple le Discovery Mode, un programme de promotion automatique où les artistes qui acceptent d’y participer acceptent également une redevance inférieure. Bien sûr,  Discovery Mode a attiré l’attention des artistes, des organisateurs et des législateurs et il est probable que PFC attise également les critiques… Mais « les protestations pour des taux de redevance plus élevés sont plus difficiles quand les playlists sont remplies d’artistes fantômes ».

La couverture du livre de Liz Pelly, Mood Machine.

MÀJ du 27/01/2025 : Liz Pelly est en interview dans le Monde.

Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 08 novembre 2024 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

Hubert Guillaud

Dans « Les prophètes de l’IA », le journaliste Thibault Prévost nous explique que le futur est désormais un programme idéologique et politique, celui des grands acteurs de la Tech. Leur objectif : faire perdurer la religion, le capitalisme et le colonialisme en les rendant fonctionnels. La méthode que met en œuvre cette petite élite de technomilliardaires consiste à prendre le pouvoir par la technologie, non pas pour sauver le monde, mais uniquement pour se sauver eux-mêmes. La perspective technofasciste est un récit éminemment séducteur… mais sans horizon, puisque cette élite ne propose ni d’améliorer notre futur ni d’en partager les fruits. Seulement de renforcer leur pouvoir.

Le livre du journaliste Thibault Prévost, Les prophètes de l’IA (Lux éditeur, 2024), a une grande vertu : nettoyer notre regard de ce qui l’embrume.

Il permet d’abord de comprendre que la technologie ne mobilise pas tant des imaginaires, comme on l’entend trop souvent, mais bien des idéologies. Imaginaire, le terme fait référence à quelque chose qui n’existerait que dans l’imagination, qui serait sans réalité, comme dévitalisé, sans effet autre que sûr le rêve et l’irréel. Rien ne me semble moins vrai. Ce que nous sommes capables de composer dans nos esprits à une puissance d’évocation sans précédent, qui mobilise et galvanise les énergies et façonne le réel. Le terme d’imaginaire dépolitise ce que nos esprits façonnent, quand les récits que nous brodons et partageons construisent d’abord des ralliements, des adhésions ou leur exact inverse, des rejets, des défections, des oppositions. Ce que nous imaginons ne flotte pas dans l’éther, bien au contraire. Nos imaginaires reflètent tout le temps des idées et conduisent nos agissements, décrivent des façons de voir le monde, de le régir, de le gouverner. Imaginaire : le terme ne vise qu’à dépolitiser ce qui est à l’œuvre dans la mise en représentation du monde, à savoir dévitaliser les luttes idéologiques par des récits neutralisés qui ont pour but de les rendre plus séduisants, plus accrocheurs, plus malléables, plus appropriables, plus diffusables. Mais derrière le storytelling, les récits que l’on construit sur l’IA, les discours que l’on porte sur la technologie, il n’est question de rien d’autre que d’une lutte idéologique.

A mesure que la technologie a pris une place prépondérante dans nos sociétés, le discours qui la porte s’est chargé de promesses, de prophéties, de mythes, de prédictions qui se sédimentent en idées politiques qui annoncent, au choix, la fin du monde ou le retour des Lumières. L’un comme l’autre d’ailleurs n’ont qu’un objectif : nous éloigner de la réalité et nous faire adhérer à leur promesse. À savoir qu’il n’y a pas d’alternative au futur que propose la technologie. Qu’il soit rose ou sombre, c’est la technologie qui le façonne, c’est l’élite technologique qui le construit. Le futur est devenu une religion.

Prévost rappelle trop rapidement la longue histoire de l’avènement des religions technologiques, schismes du rêve transhumaniste, pour se concentrer surtout sur les courants et les figures les plus récents. Ce qui l’intéresse, c’est de regarder les habits les plus neufs du transhumanisme, cette consécration de la science et de la technologie, qui promet d’améliorer la condition humaine. Qui souhaite rendre la religion, le capitalisme et le colonialisme fonctionnels, effectifs, comme pour les faire perdurer à jamais. Ces courants qui déifient les sciences de l’ingénierie ne proposent pas qu’une transcendance, c’est-à-dire un dépassement de l’homme par la technique, mais bien l’avènement d’une technocratie toute puissante. L’essai, qui se présente sous forme d’un catalogue des idées du secteur, devient vite épuisant à lire, tant ces délires mis bout à bout se concatènent dans leur logique rance, qui ne produit rien d’autre qu’un total mépris pour la société comme pour les individus qui la composent.

Un monde de… tarés

Le livre de Thibault Prévost a une autre vertu. Il nous montre que les grands ingénieurs, les grands investisseurs, les grands entrepreneurs et les grands penseurs de l’IA sont tous complètement… tarés ! Excusez du peu ! Les récits de dépassement, de conquête, de croisade, de puissance ou d’IApocalypse qu’ils nous vendent forment un ramassis de technodélires qui n’ont rien de sérieux ou de rationnel, malgré le fait qu’ils se présentent ainsi. Ces délires sur l’intelligence artificielle générale, sur la transcendance par la machine comme sur l’effondrement, nous abreuvent d’idéologies hors-sol, sectaires, fanatiques et vides pour mieux invisibiliser leur autoritarisme et leur cupidité débridée (à l’image de celle qu’exprimait Mustafa Syleyman dans son livre particulièrement confus, La déferlante). Tous les grands gourous de la tech que Prévost évoque dans son livre (et il n’y a pas que Musk) semblent d’abord et avant tout des individus totalement perchés et parfaitement lunaires. Ils sont tous profondément eugénistes, comme le répète le chercheur Olivier Alexandre (voir aussi dans nos pages). Ils sont obsédés par le QI et la race. Ils ont à peu près tous tenu à un moment ou à un autre des propos racistes. Ils sont tous profondément opposés à la démocratie. Ils partagent tous des discours autoritaires. Derrière leurs récits, aussi barrés les uns que les autres, tous n’oeuvrent qu’à leur propre puissance. A peu près tous partagent l’idée que ceux qui ne croient pas en leurs délires sont des parasites. Leur délire élitiste, eugéniste et cupide a de quoi inquiéter. Le futur qu’ils nous vendent n’a rien d’un paradis, puisqu’il ne remet en rien en cause des privilèges qui sont les leurs, bien au contraire. Tous nient les biens communs. Tous veulent détruire la régulation, à moins qu’ils en soient en maîtres. Ils nous exhortent à penser un futur si lointain qu’il permet de ne plus être fixé dans un cadre politique normé, ce qui permet de totalement le dépolitiser. Tous cachent les enjeux politiques qu’ils défendent sous des questions qui ne seraient plus que technologiques. Remplacer le discours politique par un discours technique permet d’abord de déplacer son caractère politique, comme pour l’aseptiser, l’invisibiliser.

A le lire, Prévost nous donne l’impression de nous plonger dans les disputes sectaires, rances et creuses… qui anônent un « cocktail d’arrogance élitiste et de naïveté qui défend férocement la légitimité morale des inégalités ». Qu’ils se définissent comme altruistes efficaces, longtermistes, doomers, ultralibertariens, extropiens ou rationalistes… (tescralistes, comme les ont qualifiés Timnit Gebru et Emile Torres), ils semblent avant tout en voie de fascisation avancée.

L’IA ne va pas sauver le monde, elle vise à sauver leur monde !

L’IA ne va pas sauver le monde. Elle vise à sauver leur monde, celui d’une caste de milliardaires au-dessus des lois qui cherchent à se garder du reste de l’humanité qu’elle abhorre. « L’IA n’est que le paravent technique d’une entreprise tout à fait classique de privatisation et de captation des richesses ». L’IA vise d’abord la préservation du taux de profit.

La Tech a longtemps été Démocrate et pro-démocratie, rappelle le journaliste, mais c’est de moins en moins le cas. La perspective que la Silicon Valley perde de sa puissance, explique en partie son réalignement. Le techno-solutionnisme progressiste qu’ils ont longtemps poussé a fait long feu : la Tech n’a produit aucun progrès social, bien au contraire. Ses solutions n’ont amélioré ni la démocratie, ni l’économie, ni l’égalité, ni l’espérance de vie… surtout quand on les compare aux technologies sociales du XXᵉ siècle comme l’hygiène publique, le développement des services publics ou la justice économique.

Si ces évolutions politiques ont plusieurs origines, l’influence de grandes figures, de financeurs milliardaires, sur le secteur, semble déterminant, à l’image des Marc Andreessen et Peter Thiel, qui ne sont pas tant des évangélistes de la tech, que des évangélistes néolibéraux ultra-conservateurs, qui promeuvent par leurs discours et leurs investissements des projets anti-régulation et autoritaires. Prévost rappelle que la grande caractéristique de cette élite financière est d’être férocement opposée à la démocratie. Ces milliardaires rêvent d’un monde où une poignée d’individus – eux – captent toutes les richesses et tous les pouvoirs. « La tech est un système immunitaire développé par le capitalisme pour lutter contre tout ce qui pourrait le mettre en crise », disait déjà Antoinette Rouvroy. Ces gens sont tous admirateurs de régimes autoritaires. Ils rêvent d’un progrès technique sans démocratie tel qu’ils le font advenir dans les outils qu’ils façonnent et les entreprises qu’ils dirigent.

En compilant toutes ces petites horreurs qu’on a déjà croisées, éparses, dans l’actualité, Prévost nous aide à regarder ce délire pour ce qu’il est. Nous sommes confrontés à « un groupe radicalisé et dangereux », d’autant plus dangereux que leur fortune astronomique leur assure une puissance et une impunité politique sans précédent. Leurs exploits entrepreneuriaux ou financiers ne peuvent suffire pour les absoudre des horreurs qu’ils prônent. Prévost les montre comme ce qu’ils sont, un freak-show, des sortes de monstres de foire, complotistes, fascistes, prêts à rejoindre leurs bunkers et dont le seul rêve est de faire sécession. Le journaliste décrit un monde réactionnaire qui ne craint rien d’autre que son renversement. « Ces patrons méprisent nos corps, nos droits, nos existences ». Leur discours sur les risques existentiels de l’IA permet de masquer les effets déjà bien réels que leurs outils produisent. « L’IA est une métaphore du système politique et économique capitaliste qui menace l’espèce humaine ». Pour sécuriser leur avenir, cette élite rêve d’un technofascisme qu’elle espère mettre en œuvre. Notamment en manipulant les peurs et les paniques morales pour en tirer profit.

Le pire finalement c’est de constater la grande audience que ces pensées rances peuvent obtenir. La réussite fait rêver, la domination fait bander… oubliant qu’il s’agit de la domination et de la réussite d’un petit monde, pas de celui de l’Occident ou de tous les entrepreneurs du monde. En nous répétant que le futur est déjà décidé et qu’ils en sont les maîtres, ils nous intoxiquent. « À force de se faire dire que le futur est déjà plié, que c’est la Silicon Valley qui décide de l’avenir de l’humanité, le public, convaincu qu’il n’a pas son mot à dire sur des enjeux qui le dépassent, remet son destin entre les mains des Google, Microsoft, Meta ou Amazon. » Ce déplacement permet d’orienter la régulation vers des dangers futurs pour mieux laisser tranquille les préjudices existants. Derrière la promotion de leur agenda néolibéral pour maximiser leurs profits aux dépens de l’intérêt général, se profile le risque d’une bascule vers un capitalisme autoritaire qui contamine le monde au-delà d’eux, comme le notait la chercheuse Rachel Griffin. « À l’instar de la Silicon Valley, l’Union européenne semble être en train de mettre à jour son logiciel idéologique vers un capitalisme autoritaire qui privilégie l’économie de la rente et les monopoles à l’économie de marché et la concurrence ». Cette transformation du capitalisme est assurée par la technologie. Les systèmes s’immiscent dans nos institutions, à l’image de leurs LLM que les acteurs publics s’arrachent en permettant aux entreprises de la Silicon Valley « d’étendre leur intermédiation sur un corps social médusé ». Qu’importe si ChatGPT raconte n’importe quoi. Les prophètes de l’IA, ces « bullionaires » (contraction de bullshitters et de millionnaires) eux aussi mentent avec assurance. Derrière leurs délires apparents, un transfert de pouvoir est en cours. Pas seulement une privatisation du futur, mais bien son accaparement par quelques individus qui font tout pour n’avoir de compte à rendre à personne. La fétichisation de l’individu rationnel, tout puissant, du génie solitaire, du milliardaire omnipotent, du grotesque individualiste ne nous conduit à aucune société qu’à son délitement. La métaphore computationnelle qui permet d’affirmer que la seule intelligence est désormais celle de la machine, vise à nous reléguer, à nous transformer en une marchandise dévaluée, puisque nos esprits valent désormais moins que le calcul, tout comme notre force de travail a été dévaluée par l’énergie fossile.

Couverture du livre de Thibault Prévost.

Du grand leurre de l’IA au risque technofasciste

Prévost rappelle que les machines nous trompent. Que l’automatisation est un leurre qui masque les ingénieurs et les travailleurs du clic qui font fonctionner les machines à distance. L’IA générative aussi. Nombre d’utilisateurs de ChatGPT l’abandonnent au bout d’une quarantaine de jours, comme un jouet qu’on finit par mettre de côté. Google SGE produit des fausses informations après plus d’un an de tests. Par essence, la prédiction statistique ne permet pas de produire de résultats fiables. Partout où ils se déploient, ces systèmes se ridiculisent, obligeant à les surveiller sans cesse. Notre avenir sous IA n’est pas soutenable. Il repose sur un pillage sans précédent. Les « cleptomanes de la Valley » ne cessent de nous dire que l’IA doit être illégale pour être rentable. L’IA est une bulle financière qui risque de finir comme le Metavers (que McKinsey évaluait à 5000 milliards de dollars d’ici 2030 !).

« Arrêtons pour de bon de donner du crédit aux entrepreneurs de la tech. Depuis le début de la décennie 2020, le technocapitalisme ne fonctionne plus que par vagues d’hallucinations successives, suivies de (très) brèves périodes de lucidité. La Silicon Valley semble bloquée dans un trip d’acide qui ne redescend pas, et dont l’IA n’est que la plus récente hallucination », rappelle, cinglant, Thibault Prévost, fort des punchlines saisissantes auxquelles il nous a habitués dans ses articles pour Arrêt sur Images.

L’IA n’est que la nouvelle ligne de front de la lutte des classes, où les systèmes d’analyse dégradent les conditions d’existence des plus mal notés, ce lumpenscoretariat. Sa grande force est d’avancer masqué, opaque, invisible à ceux qu’il précarise. Nous n’utilisons pas l’IA, mais nous y sommes déjà assujetties, explique très justement Prévost. Les systèmes de calculs se démultiplient partout. « Aucun d’entre eux n’est fiable, transparent ou interprétable. Nous vivons tous et toutes à la merci de l’erreur de calcul sans recours ».

« Les systèmes d’IA sont le reflet des oligopoles qui les commercialisent : privés, opaques, impénétrables, intouchables, toxiques et dangereux. » L’IA prolonge le continuum des discriminations et de l’injustice sociale et raciale. La faute aux données bien sûr, jamais « à leurs beaux algorithmes neutres et apolitiques ».

« Comme l’idéologie d’extrême droite, l’IA échoue à représenter le monde. Elle ne fonctionne que par archétypes et biais, par catégorisation a priori ». Elle rappelle aux humains la distance qui les sépare de la norme masculine, blanche et riche. L’IA n’est rien d’autre qu’une « prothèse pour le maintien de l’ordre social racial et l’avancée des projets capitalistes impérialistes », comme le dit Yarden Katz dans son livre Artificial Whiteness. Elle n’est rien d’autre que le nouvel auxiliaire du pouvoir. Elle exploite la violence structurelle comme une grammaire et un grand modèle d’affaires. « Si la Silicon Valley essaie de nous vendre l’apocalypse, c’est parce que son projet technique, économique et politique en est une ». Ce que veulent les milliardaires de la tech, c’est la fin du monde social pour imposer le leur.

Avec l’élection de Trump, c’est exactement là où nous sommes. La Silicon Valley a obtenu ce qu’elle voulait, dit Brian Merchant.

Dan McQuillan nous avait mis en garde du risque fasciste de l’IA. Les opportunités politiques sont devenues des prises de risques financières. La victoire de Trump vient d’assurer à Musk et quelques autres la rentabilité de tous leurs investissements. Son rachat de Twitter n’était rien d’autre que l’achat d’une arme qu’il a transformée en site suprémaciste, pour amplifier ses délires, permettant d’attiser la haine en ligne et la traduire en vote et en violence dans le monde physique. Comme l’explique Martine Orange pour Mediapart, l’enjeu, désormais, consiste à éradiquer la régulation et mettre l’ensemble de l’appareil d’État à la disposition de la Tech, c’est-à-dire assurer la mainmise de la Tech sur le pouvoir politique.

Face au technofascisme qui vient, le risque est que nous soyons démunis d’alternatives technologiques et donc idéologiques. Sans récit et réalisations progressistes de la tech, la seule option pour beaucoup ne consistera qu’en une chose : abandonner la technologie et arrêter les machines.

Hubert Guillaud

 

MAJ du 19/11/2024 : Allez lire également ce très bon entretien avec Thibault Prévost qui explique que l’IA n’est pas qu’un outil de puissance au service des technoprophètes, il est aussi un outil d’asservissement et de déresponsabilisation de la puissance publique.

Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 10 décembre 2024 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

Hubert Guillaud

L’IA générative ne va ni nous augmenter ni nous remplacer, mais vise d’abord à mieux nous exploiter, expliquent Aiha Nguyen et Alexandra Mateescu de Data & Society. En s’intégrant aux applications de travail, elle promet de réduire les coûts même si elle n’est pas pertinente, elle vient contraindre l’activité de travail, et renforce l’opacité et l’asymétrie de pouvoir.

Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 17 septembre 2024 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

Hubert Guillaud

Avec ChatGPT, le but de l’écriture c’est de remplir une page, pas de réaliser le processus de réflexion qui l’accompagne. C’est justement tout l’inverse dont nous avons besoin !

 

 

 

« Pourquoi pensons-nous que dans l’art, il y a quelque chose qui ne peut pas être créé en appuyant sur un bouton ? » Les grands modèles de langage pourraient-ils devenir meilleurs que les humains dans l’écriture ou la production d’image, comme nos calculatrices sont meilleures que nous en calcul ? se demande l’écrivain de science-fiction Ted Chiang dans une remarquable tribune pour le New Yorker. Il y rappelle, avec beaucoup de pertinence, que l’IA vise à prendre des décisions moyennes partout où nous n’en prenons pas. Quand on écrit une fiction, chaque mot est une décision. Mais quand on demande à une IA de l’écrire pour nous, nos décisions se résument au prompt et toutes les autres décisions sont déléguées à la machine.

Chiang rappelle l’évidence. Que l’écriture, par la lecture, tisse une relation sociale. « Tout écrit qui mérite votre attention en tant que lecteur est le résultat d’efforts déployés par la personne qui l’a écrit. L’effort pendant le processus d’écriture ne garantit pas que le produit final vaille la peine d’être lu, mais aucun travail valable ne peut être réalisé sans lui. Le type d’attention que vous accordez à la lecture d’un e-mail personnel est différent de celui que vous accordez à la lecture d’un rapport d’entreprise, mais dans les deux cas, elle n’est justifiée que si l’auteur y a réfléchi. » Il n’y a pas de langage sans intention de communiquer. Or, c’est bien le problème des IA génératives : même si ChatGPT nous dit qu’il est heureux de nous voir, il ne l’est pas.

Capture d’écran du titre de l’article du New Yorker « Why A.I. isn’t going to make art »

« Comme l’a noté la linguiste Emily M. Bender, les enseignants ne demandent pas aux étudiants d’écrire des essais parce que le monde a besoin de plus d’essais d’étudiants. Le but de la rédaction d’essais est de renforcer les capacités de réflexion critique des étudiants. De la même manière que soulever des poids est utile quel que soit le sport pratiqué par un athlète, écrire des essais développe les compétences nécessaires pour tout emploi qu’un étudiant obtiendra probablement. Utiliser ChatGPT pour terminer ses devoirs, c’est comme amener un chariot élévateur dans la salle de musculation : vous n’améliorerez jamais votre forme cognitive de cette façon. Toute écriture n’a pas besoin d’être créative, sincère ou même particulièrement bonne ; parfois, elle doit simplement exister. Une telle écriture peut soutenir d’autres objectifs, comme attirer des vues pour la publicité ou satisfaire aux exigences bureaucratiques. Lorsque des personnes sont obligées de produire un tel texte, nous pouvons difficilement leur reprocher d’utiliser tous les outils disponibles pour accélérer le processus. Mais le monde se porte-t-il mieux avec plus de documents sur lesquels un effort minimal a été consacré ? Il serait irréaliste de prétendre que si nous refusons d’utiliser de grands modèles de langage, les exigences de création de textes de mauvaise qualité disparaîtront. Cependant, je pense qu’il est inévitable que plus nous utiliserons de grands modèles de langage pour répondre à ces exigences, plus ces exigences finiront par devenir importantes. Nous entrons dans une ère où quelqu’un pourrait utiliser un modèle de langage volumineux pour générer un document à partir d’une liste à puces, et l’envoyer à une personne qui utilisera un modèle de langage volumineux pour condenser ce document en une liste à puces. Quelqu’un peut-il sérieusement affirmer qu’il s’agit d’une amélioration ? »

« L’informaticien François Chollet a proposé la distinction suivante : la compétence correspond à la façon dont vous accomplissez une tâche, tandis que l’intelligence correspond à l’efficacité avec laquelle vous acquérez de nouvelles compétences. » Pour apprendre à jouer aux échecs, Alpha Zero a joué quarante-quatre millions de parties ! L’IA peut-être compétente, mais on voit bien qu’elle n’est pas très intelligente. Notre capacité à faire face à des situations inconnues est l’une des raisons pour lesquelles nous considérons les humains comme intelligents. Une voiture autonome confrontée à un événement inédit, elle, ne sait pas réagir. La capacité de l’IA générative à augmenter la productivité reste théorique, comme le pointait Goldman Sachs en juillet. « La tâche dans laquelle l’IA générative a le mieux réussi est de réduire nos attentes, à la fois envers les choses que nous lisons et envers nous-mêmes lorsque nous écrivons quelque chose pour que les autres le lisent. C’est une technologie fondamentalement déshumanisante, car elle nous traite comme des êtres inférieurs à ce que nous sommes : des créateurs et des appréhenseurs de sens. Elle réduit la quantité d’intention dans le monde. » Oui, ce que nous écrivons ou disons n’est pas très original le plus souvent, rappelle l’écrivain. Mais ce que nous disons est souvent significatif, pour nous comme pour ceux auxquels l’on s’adresse, comme quand nous affirmons être désolés. « Il en va de même pour l’art. Que vous créiez un roman, une peinture ou un film, vous êtes engagé dans un acte de communication entre vous et votre public ». « C’est en vivant notre vie en interaction avec les autres que nous donnons un sens au monde ».

Le philosophe du net, Rob Horning, dresse le même constat. Ces machines « marchandisent l’incuriosité », explique-t-il. « Les LLM peuvent vous donner des informations, mais pas les raisons pour lesquelles elles ont été produites ou pourquoi elles ont été organisées de certaines manières ». Ils permettent assez mal de les situer idéologiquement. Or, la recherche, l’écriture, permettent de construire de la pensée et pas seulement des résultats. A contrario, les solutions d’IA et les entreprises technologiques promeuvent le « mythe de la productivité », l’idée selon laquelle économiser du temps et des efforts est mieux que de faire une activité particulière pour elle-même. Le mythe de la productivité suggère que tout ce à quoi nous passons du temps peut-être automatisé. La production peut-être accélérée, sans limite. Les raisons pour lesquelles nous le faisons, la profondeur que cela nous apporte n’ont pas d’importance. Selon ce mythe, le but de l’écriture c’est de remplir une page, pas de réaliser le processus de réflexion qui l’accompagne… Comme si le but de l’existence n’était que de déployer des techniques pour gagner du temps. Pour Horning, ce n’est pas tant un mythe qu’une idéologie d’ailleurs, qui « découle directement de la demande du capitalisme pour un travail aliéné, qui consiste à contraindre des gens à faire des choses qui ne les intéressent pas, orchestrées de telles manières qu’ils en tirent le moins de profit possible ». Dans le travail capitaliste, le but est d’ôter la maîtrise des travailleurs en les soumettant aux processus de travail cadencés. La page de contenus est une marchandise dont la valeur dépend du prix payé pour elle, plutôt que de l’expérience de celui qui l’a produite ou de celui qui l’a consommée.

Pour les entreprises, l’efficacité est supérieure au but : elle est le but qui invalide tous les autres. Quand le but de l’art, de l’éducation ou de la pensée, est d’être confronté à l’intentionnalité, à la preuve irréfutable de la subjectivité, comme le pointe Chiang. « L’IA générative est la quintessence de l’incurie, parfaite pour ceux qui détestent l’idée de devoir s’intéresser à quoi que ce soit. »

Le problème, c’est que ces effets délétères ne concernent pas une production textuelle en roue libre qui serait limitée au seul monde de l’entreprise, où un argumentaire en remplacerait un autre sans que ni l’un ni l’autre ne soit lu. Les effets de cette productivité pour elle-même sont bien réels, notamment dans le monde scolaire, s’inquiétait récemment Ian Bogost qui estime que depuis le lancement de ChatGPT, nous sommes passés de la consternation à l’absurdité : des étudiants génèrent des devoirs avec l’IA que les enseignants font corriger par l’IA. Certes, bien sûr, tout le monde va devoir s’y adapter. Mais le risque est grand que ces technologies rendent caduc l’un des meilleurs outil d’apprentissage qui soit : l’écriture elle-même. 

Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 02 octobre 2024 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

Hubert Guillaud

Les discours autour de l’IA produisent des mythes qui influencent notre compréhension de ce qu’elle est, produisant une perception confuse de leur réalité… pour mieux influer les transformations légales à venir.

 

 

La technologie ne produit pas que des solutions, elle produit aussi beaucoup de promesses, d’imaginaires, d’idéologies et de mythes. Derrière le marketing des produits et des services, les entreprises déploient des métaphores simples et convaincantes qui réduisent la complexité des transformations à l’œuvre. « Ils pollinisent l’imagination sociale avec des métaphores qui mènent à des conclusions, et ces conclusions façonnent une compréhension collective » plus ou moins fidèle à la réalité. Les discours sur l’IA générative reposent sur de nombreux mythes et promesses, explique Eryk Salvaggio pour Tech Policy Press qui tente d’en dresser la liste. Ces promesses produisent souvent une compréhension erronée du fonctionnement de l’IA et induisent en erreur ceux qui veulent les utiliser.

Il y a d’abord les mythes du contrôle qui visent à nous faire croire que ces systèmes sont plus fiables qu’ils ne sont. Parmi les mythes du contrôle, il y a celui de la productivité, qui nous répète que ces systèmes nous font gagner du temps, nous font produire plus rapidement. « Le mythe de la productivité suggère que tout ce à quoi nous passons du temps peut être automatisé ». L’écriture se réduit à un moyen pour remplir une page plutôt qu’un processus de réflexion. Le mythe du prompt suggère que nous aurions un contrôle important sur ces systèmes, nous faisant oublier que très souvent, nos mots mêmes sont modifiés avant d’atteindre le modèle, via des filtres qui vont modifier nos invites elles-mêmes. D’où l’incessant travail à les peaufiner pour améliorer le résultat. « Le mythe de l’invite permet de masquer le contrôle que le système exerce sur l’utilisateur en suggérant que l’utilisateur contrôle le système ».

Outre le mythe du contrôle, on trouve également le mythe de l’intelligence. Le mythe de l’intelligence confond le fait que le développement des systèmes d’IA aient été inspirés par des idées sur le fonctionnement de la pensée avec la capacité à penser. On nous répète que ces systèmes pensent, raisonnent, sont intelligents… suggérant également qu’ils devraient être libres d’apprendre comme nous le sommes, pour mieux faire oublier que leur apprentissage repose sur un vol massif de données et non pas sur une liberté éducative. Parmi les mythes de l’intelligence, on trouve donc d’abord le mythe de l’apprentissage. Mais cette métaphore de l’apprentissage elle aussi nous induit en erreur. Ces modèles n’apprennent pas. Ils sont surtout le produit de l’analyse de données. Un modèle n’évolue pas par sélection naturelle : il est optimisé pour un ensemble de conditions dans lesquelles des motifs spécifiques sont renforcés. Ce n’est pas l’IA qui collecte des données pour en tirer des enseignements, mais les entreprises qui collectent des données puis optimisent des modèles pour produire des représentations de ces données à des fins lucratives. Le mythe de l’apprentissage vise à produire une équivalence entre les systèmes informatiques et la façon dont nous-mêmes apprenons, alors que les deux sont profondément différents et n’ont pas la même portée ni la même valeur sociale. Le mythe de l’apprentissage permet surtout de minimiser la valeur des données sans lesquelles ces systèmes n’existent pas.

Le mythe de la créativité fait lui aussi partie du mythe de l’intelligence. Il entretient une confusion entre le processus créatif et les résultats créatifs. Si les artistes peuvent être créatifs avec des produits d’IA, les systèmes d’IA génératifs, eux, ne sont pas créatifs : ils ne peuvent pas s’écarter des processus qui leur sont assignés, hormis collision accidentelles. Le mythe de la créativité de l’IA la redéfinit comme un processus strict qui relèverait d’une série d’étapes, une méthode de production. Il confond le processus de créativité avec le produit de la créativité. Et là encore, cette confusion permet de suggérer que le modèle devrait avoir des droits similaires à ceux des humains.

Salvaggio distingue une 3ᵉ classe de mythes : les mythes futuristes qui visent à produire un agenda d’innovation. Ils spéculent sur l’avenir pour mieux invisibiliser les défis du présent, en affirmant continûment que les problèmes seront résolus. Dans ces mythes du futur, il y a d’abord le mythe du passage à l’échelle ou de l’évolutivité : les problèmes de l’IA seront améliorés avec plus de données. Mais ce n’est pas en accumulant plus de données biaisées que nous produiront moins de résultats biaisés. L’augmentation des données permet surtout des améliorations incrémentales et limitées, bien loin de la promesse d’une quelconque intelligence générale. Aujourd’hui, les avantages semblent aller surtout vers des modèles plus petits mais reposant sur des données plus organisées et mieux préparées. Le mythe de l’évolutivité a lui aussi pour fonction d’agir sur le marché, il permet de suggérer que pour s’accomplir, l’IA ne doit pas être entravée dans sa course aux données. Il permet de mobiliser les financements comme les ressources… sans limites. Oubliant que plus les systèmes seront volumineux, plus ils seront opaques et pourront échapper aux réglementations.

Un autre mythe du futur est le mythe du comportement émergent. Mais qu’est-ce qui conduit à un comportement émergent ? « Est-ce la collecte de grandes quantités d’écrits qui conduit à une surperintelligence ? Ou est-ce plutôt la conséquence de la précipitation à intégrer divers systèmes d’IA dans des taches de prise de décision pour lesquelles ils ne sont pas adaptés ? » Les risques de l’IA ne reposent pas sur le fait qu’elles deviennent des machines pensantes, mais peut-être bien plus sur le fait qu’elles deviennent des machines agissantes, dans des chaînes de décisions défaillantes.

Salvaggio plaide pour que nous remettions en question ces mythes. « Nous devons travailler ensemble pour créer une compréhension plus rigoureuse de ce que ces technologies font (et ne font pas) plutôt que d’élaborer des déclarations de valeur (et des lois) qui adhèrent aux fictions des entreprises ».

C’est peut-être oublier un peu rapidement la valeur des mythes et des promesses technologiques. Les mythes de l’IA visent à produire non seulement une perception confuse de leur réalité, mais à influer sur les transformations légales. Les promesses et les mythes participent d’un narratif pour faire évoluer le droit en imposant un récit qui légitime le pouvoir perturbateur de la technologie. Les mythes permettent de crédibiliser les technologies, expliquait déjà le chercheur Marc Audetat dans l’excellent livre collectif Sciences et technologies émergentes : pourquoi tant de promesses ? (Hermann, 2015). Comme le disait l’ingénieur Pierre-Benoît Joly dans ces pages, « les promesses technoscientifiques ont pour fonction de créer un état de nécessité qui permet de cacher des intérêts particuliers ». Les mythes et les croyances de l’IA ont d’abord et avant tout pour fonction de produire le pouvoir de l’IA et de ceux qui la déploient.

Les 9 mythes de l’IA

Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 21 mai 2024 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

Hubert Guillaud

Il va nous falloir apprendre à travailler avec l’instabilité des machines.

Quand on fait réaliser un calcul par une machine, aussi complexe soit-il, la plupart du temps, ce qui est garanti, c’est l’assurance du résultat, sa stabilité, sa performance. C’est le principe d’une calculatrice ou d’un logiciel : on a au bout le résultat et les fonctions prévues. Dans un système de calcul comme les impôts, on prend des données et des règles de calcul – qui peuvent être perfectibles, certes – et on obtient des résultats sans ambiguïtés, pour autant que les données et les règles de calcul n’en comportent pas – ce qui n’est déjà pas si évident à réussir ! Dans un jeu vidéo, les personnages non joueurs suivent des scripts dont ils ne peuvent pas sortir, ce qui limite certes considérablement l’interaction, mais la borne et rend le jeu possible. Le monde de l’informatique est longtemps resté celui de la maîtrise de bout en bout des processus.

Les choses ont changé avec les systèmes d’IA. Avec certaines fonctionnalités, nous avons pris l’habitude d’un taux de performance. Pour la reconnaissance d’objets par exemple, le résultat n’est pas automatique comme avec les calculatrices. Le niveau de fiabilité n’est pas optimal, mais nous sommes capables de composer avec le fait que les machines soient capables de reconnaître tels types d’objets à 95 ou 98 %. Ce n’est pas une performance absolue, mais elle permet malgré tout d’optimiser un processus en connaissant par avance son taux d’erreur, de l’accepter ou le refuser. Et donc de décider en fonction. On peut créer une chaîne de tri d’objets en sachant que ce tri va fonctionner à 95 % et accepter ou pas la déperdition qui en résulte.

L’IA générative est plus instable encore. Les résultats qu’elle produit ne sont pas reproductibles. Un même prompt ne produira pas exactement le même résultat ou la performance pourra dépendre de la complexité que la machine doit adresser. Extraire des données d’un document, comme les noms des personnes ou leurs liens de filiation peut dépendre à la fois de la lisibilité des documents et de la complexité des relations entre ces personnes. Si le système peut être performant, reste à identifier les cas où il dysfonctionne et savoir si ces erreurs sont acceptables ou rédhibitoires et si l’on peut clairement séparer les cas où la performance est forte, de ceux où elle ne l’est pas. L’enjeu à évaluer l’incertitude des réponses apportées est une question centrale.

Cette perspective d’une fiabilité différentielle dessine un nouveau rapport aux machines. D’un coup, notre assurance dans leurs résultats doit être mise en doute. Ce qui explique qu’il soit difficile d’automatiser certaines tâches avec l’IA. Là où l’on pouvait se fier aux calculs, désormais, le doute est légitime. Alors qu’un robot était capable de remplacer une personne pour une tâche spécifique sur une chaîne d’assemblage, le chatbot conversationnel qui répond à un administré ou à un joueur va devoir être surveillé. Certaines de leurs performances sont excellentes bien sûr, mais parfois elles sont capables de sous-performances dramatiques. Comme le dit le sociologue Yann Ferguson, « Jusqu’à maintenant, l’introduction des machines a apporté de la sécurité et de la stabilité. Leur force résidait dans leur prévisibilité ». Ce n’est plus le cas. Désormais, les résultats doivent être accompagnés, surveillés, contrôlés et c’est là un nouveau défi pour ceux qui cherchent à intégrer l’IA générative à leurs procédures.

Mais, au-delà de l’IA générative, ce que dessine ce changement de paradigme, c’est un autre rapport aux machines : voilà qu’on ne peut plus leur faire entièrement confiance. Non seulement, il faut se défier des biais des données, des règles de calculs utilisées, mais désormais de leurs résultats mêmes. Et la grande difficulté consiste à savoir là où on peut leur faire confiance et là où on ne doit pas leur faire confiance.

Exemple d’un imagier pour enfant sur les animaux de la ferme conçu par chatGPT…
… qui n’est pas sans poser problèmes. Tweet de Tristan Mendès France.

Les technologies ont toujours eu pour ambition de nous faire gagner en productivité, avec pour enjeu de pouvoir remplacer des hommes par des procédures avec un niveau de confiance très élevé. On est en train de passer d’une technique qui produit une certaine forme de rationalité qu’on était capable d’évaluer simplement à une technique qui n’en produit plus ou pas nécessairement ou pas principalement et sans qu’on soit toujours capable d’évaluer sa fiabilité. C’est un changement de paradigme important qui nous oblige à ne plus être certain de la réponse produite par la machine, de ne plus pouvoir lui faire entièrement confiance. L’IA nous demande désormais de composer avec le doute, de remettre en question nos assurances. Nous avons un nouveau rapport aux machines à imaginer et il nous invite à douter d’elles.

C’est une très bonne nouvelle, vous ne trouvez pas ?