Vue lecture

Il y a de nouveaux articles disponibles, cliquez pour rafraîchir la page.

Des ateliers solarpunk pour imaginer un avenir low-tech

Cette semaine, à l’Université de Technologie de Compiègne, des ateliers originaux vont mobiliser une quarantaine de participant⋅es (dont plusieurs membres de Framasoft) pour imaginer un monde low-tech en 2042 !

Dans cette université qui forme des ingénieurs existe une unité de valeur « lowtechisation et numérique » animée par Stéphane Crozat, qui par ailleurs est membre de Framasoft et l’initiateur de l’atelier pédagogique UPLOAD/solarpunk. De quoi s’agit-il exactement ?

 

Solarpunk ?

personnage qui se demande ce que peut bien vouloir dire solarpunk, engrenages en action au-dessus de sa tête. À sa droite, comme si c'était l aréponse, un punk à crête colorée comme un demi-soleil

Dérèglement climatique, pollution, inégalités sociales, extinction des énergies fossiles… dans un monde menacé, à quoi peut ressembler une civilisation durable et comment y parvenir ? Le solarpunk est un genre de la science-fiction qui envisage des réponses à cette question dans une perspective utopique ou simplement optimiste, sans jamais être dystopique.

Voici les trois premiers articles du manifeste solarpunk :

  1. Nous sommes solarpunk parce que l’optimisme nous a été volé et que nous cherchons à le récupérer.
  2. Nous sommes solarpunk parce que les seules autres options sont le déni et le désespoir.
  3. L’essence du Solarpunk est une vision de l’avenir qui incarne le meilleur de ce que l’humanité peut accomplir : un monde post-pénurie, post-hiérarchie, post-capitalisme où l’humanité se considère comme une partie de la nature et où les énergies propres remplacent les combustibles fossiles.

Si vous souhaitez en savoir plus, le manifeste est à votre disposition.

Low-tech ?

On comprend mieux pourquoi proposer d’imaginer des fictions low-tech à de futurs ingénieurs, qui seront plus enclins à agir en génération frugale (suivant ce scénario pour 2050 de l’ADEME) qu’en technosolutionnistes.

Le principe de lowtechisation est résumé en une formule dans le cours de Stéphane :

Lowtechisation = convivialité + soutenabilité + responsabilité

Vaste programme, bigrement idéaliste, direz-vous, mais pourquoi ne pas envisager collectivement et concrètement des scénarios possibles qui répondent à ces idéaux ? Voici la proposition-cadre qui est faite aux participant⋅es (et à vous si vous souhaitez y ajouter votre contribution) :

Nous sommes en 2042. La mauvaise nouvelle c’est que l’effondrement est vécu au quotidien (pénurie, épidémies, énergie et matières premières raréfiées, réchauffement climatique…). La bonne nouvelle c’est que notre société n’investit plus majoritairement sur le techno-solutionnisme et la croissance […] mais que peuvent émerger de nouveaux projets désirables : réappropriation de savoir-faire technologiques, réaffectation des ressources, création de communs, décentralisation, autonomisation, débats publics…

Parmi ces initiatives qui émergent, il y a la création de l’UPLOAD (Université Populaire Libre Ouverte Autonome Décentralisée, à Compiègne). On imaginera et publiera des récits courts qui mettront en scène une activité pédagogique (un cours sur la post-croissance ? des ateliers d’imagination de nouveaux métiers ?), un projet low-tech (un éco-bâtiment passif à réaliser soi-même ?) ou high-tech (une IA pour parler avec des animaux ?).

Une semaine de réflexions, échanges, créations

Du lundi au vendredi un programme diversifié et appétissant est proposé sur place… il sera question bien sûr de low-tech, de décroissance, de décentralisation d’internet, de lectures partagées, de divers scénarios pour demain, souhaitables ou non, et d’élaborer par étapes et ensemble des récits grands ou petits qui seront résumés sur Mastodon et publiés une fois élaborés… ici même sur le Framablog !

–> Voyez tout le détail du programme

À suivre : dès mardi, les groupes auront choisi un thème et le publieront sur Mastodon…

Il y a déjà des suggestions qu’on peut utiliser, dépasser ou ignorer…

 

une série de maisons en restauration ou construction sur fond jaune vif, des échafaudages montent comme une tour au-dessus du corps du bâtiment. Des silhouettes de personnages s'affairent au sol, sur les toits et échafaudages. Un panneau en haut du pignon dit : UPLOAD

Crédits de l’illustration : CC BY-NC-SA 4.0 · par Cix · Bâtir aussi, Ateliers de l’Antémonde · https://antemonde.org/ (adaptée par stph)

et vous, le clavier vous démange ?

Bien sûr, vous n’êtes pas à Compiègne, mais l’idée de proposer un avenir qui ne soit pas post-apocalyptique vous plaît… vous pouvez apporter une contribution à ce projet avec une fiction solarpunk en élaborant :

  • un format 500 caractères pour Mastodon avec les hashtag #solarPunk  et #UPLOAD
  • une nouvelle plus longue sur votre blog ou sur un pad comme celui-ci
  • un atelier collaboratif informel ou non au sein de votre université ou toute autre structure

Selon le volume des textes recueillis, ils seront publiés progressivement ici (sous licence libre CC-BY-SA bien sûr) et peut-être réunis en recueil…

À vos plumes d’oie, stylets, crayons et claviers low-tech ;-)

 

Que veut dire « libre » (ou « open source ») pour un grand modèle de langage ?

Le flou entretenu entre open source et libre, déjà ancien et persistant dans l’industrie des technologies de l’information, revêt une nouvelle importance maintenant que les entreprises se lancent dans la course aux IA…
Explications, décantation et clarification par Stéphane Bortzmeyer, auquel nous ouvrons bien volontiers nos colonnes.


Vous le savez, les grands modèles de langage (ou LLM, pour « Large Language Model ») sont à la mode. Ces mécanismes, que le marketing met sous l’étiquette vague et sensationnaliste d’IA (Intelligence Artificielle), ont connu des progrès spectaculaires ces dernières années.
Une de leurs applications les plus connues est la génération de textes ou d’images. L’ouverture au public de ChatGPT, en novembre 2022, a popularisé cette application. Chaque grande entreprise de l’informatique sort désormais son propre modèle, son propre LLM.
Il faut donc se distinguer du concurrent et, pour cela, certains utilisent des arguments qui devraient plaire aux lecteurs et lectrices du Framablog, en affirmant que leur modèle est (en anglais dans le texte) « open source ». Est-ce vrai ou bien est-ce du « libre-washing » ?
Et qu’est-ce que cela veut dire pour cet objet un peu particulier qu’est un modèle de langage ?

Copie d'écran d'un tweet de Viva technology citant le président Macron au salon Vivatech où il insiste sur les LLM souverains. le texte le cite "on doit accélérer l'open source et tous les grands modèles et avoir des LMM européens qui permettront de réguler. i faut ensuite qu'on arrive à régler des cas critiques, savoir si c'est de l'IA ou pas".

Tout le monde parle des LLM (ici, avec une faute de frappe).

Source ouverte ?

Traitons d’abord un cas pénible mais fréquent : que veut dire « open source » ? Le terme désigne normalement l’information qui est librement disponible. C’est en ce sens que les diplomates, les chercheurs, les journalistes et les espions parlent de ROSO (Renseignement d’Origine en Sources Ouvertes) ou d’OSINT (Open Source Intelligence). Mais, dans le contexte du logiciel, le terme a acquis un autre sens quand un groupe de personnes, en 1998, a décidé d’essayer de remplacer le terme de « logiciel libre », qui faisait peur aux décideurs, par celui d’« open source ». Ils ont produit une définition du terme qu’on peut considérer comme la définition officielle d’« open source ». Il est intéressant de noter qu’en pratique, cette définition est quasiment équivalente aux définitions classiques du logiciel libre et que des phrases comme « le logiciel X n’est pas libre mais est open source » n’ont donc pas de sens. Ceci dit, la plupart des gens qui utilisent le terme « open source » ne connaissent ni l’histoire, ni la politique, ni la définition « officielle » et ce terme, en réalité, est utilisé pour tout et n’importe quoi. On peut donc se dire « open source » sans risque d’être contredit. Je vais donc plutôt me pencher sur la question « ces modèles sont-ils libres ? ».

Grand modèle de langage ?

Le cas du logiciel est désormais bien connu et, sauf grande malhonnêteté intellectuelle, il est facile de dire si un logiciel est libre ou pas. Mais un modèle de langage ? C’est plus compliqué, Revenons un peu sur le fonctionnement d’un LLM (grand modèle de langage). On part d’une certaine quantité de données, par exemple des textes, le « dataset ». On applique divers traitements à ces données pour produire un premier modèle. Un modèle n’est ni un programme, ni un pur ensemble de données. C’est un objet intermédiaire, qui tient des deux. Après d’éventuels raffinements et ajouts, le modèle va être utilisé par un programme (le moteur) qui va le faire tourner et, par exemple, générer du texte. Le moteur en question peut être libre ou pas. Ainsi, la bibliothèque transformers est clairement libre (licence Apache), ainsi que les bibliothèques dont elle dépend (comme PyTorch). Mais c’est le modèle qu’elle va exécuter qui détermine la qualité du résultat. Et la question du caractère libre ou pas du modèle est bien plus délicate.

Notons au passage que, vu l’importante consommation de ressources matérielles qu’utilisent ces LLM, ils sont souvent exécutés sur une grosse machine distante (le mythique « cloud »). Lorsque vous jouez avec ChatGPT, le modèle (GPT 3 au début, GPT 4 désormais) n’est pas téléchargé chez vous. Vous avez donc le service ChatGPT, qui utilise le modèle GPT.

Mais qui produit ces modèles (on verra plus loin que c’est une tâche non triviale) ? Toutes les grandes entreprises du numérique ont le leur (OpenAI a le GPT qui propulse ChatGPT, Meta a Llama), mais il en existe bien d’autres (Bloom, Falcon, etc), sans compter ceux qui sont dérivés d’un modèle existant. Beaucoup de ces modèles sont disponibles sur Hugging Face (« le GitHub de l’IA », si vous cherchez une « catch phrase ») et vous verrez donc bien des références à Hugging Face dans la suite de cet article.  Prenons par exemple le modèle Falcon. Sa fiche sur Hugging Face nous donne ses caractéristiques techniques, le jeu de données sur lequel il a été entrainé (on verra que tous les modèles sont loin d’être aussi transparents sur leur création) et la licence utilisée (licence Apache, une licence libre). Hugging Face distribue également des jeux de données d’entrainement.

Dans cet exemple ci-dessous (trouvé dans la documentation de Hugging Face), on fait tourner le moteur transformers (plus exactement, transformers, plus diverses bibliothèques logicielles) sur le modèle xlnet-base-cased en lui posant la question « Es-tu du logiciel libre ? » :

 % python run_generation.py --model_type=xlnet --model_name_or_path=xlnet-base-cased
...
Model prompt >>> Are you free software ?
This is a friendly reminder - the current text generation call will exceed the model's predefined maximum length (-1). Depending on the model, you may observe exceptions, performance degradation, or nothing at all.
=== GENERATED SEQUENCE 1 ===
Are you free software ? Are you a professional ? Are you a Master of Technical Knowledge ? Are you a Professional ?

Ce modèle, comme vous le voyez, est bien moins performant que celui qui est derrière le service ChatGPT ; je l’ai choisi parce qu’il peut tourner sur un ordinateur ordinaire.

Vous voulez voir du code source en langage Python ? Voici un exemple d’un programme qui fait à peu près la même chose :

from transformers import pipeline

generator = pipeline("text-generation", model="DunnBC22/xlnet-base-cased-finetuned-WikiNeural-PoS") 
print(generator("Are you free software ?"))

Le modèle utilisé est un raffinement du précédent, DunnBC22/xlnet-base-cased-finetuned-WikiNeural-PoS. Il produit lui aussi du contenu de qualité contestable([{‘generated_text’: « Are you free software? What ever you may have played online over your days? Are you playing these games? Any these these hours where you aren’t wearing any heavy clothing?) mais, bon, c’est un simple exemple, pas un usage intelligent de ces modèles.

 

Un chat gris pensif dans une librairie, assis sur un bac empli de livres

Les LLM n’ont pas de corps (comme Scarlett Johansson dans le film « Her ») et ne sont donc pas faciles à illustrer. Plutôt qu’une de ces stupides illustrations de robot (les LLM n’ont pas de corps, bon sang !), je mets une image d’un chat certainement intelligent. Drew Coffman, CC BY 2.0, via Wikimedia Commons

 

Que veut dire « libre » pour un LLM ?

Les définitions classiques du logiciel libre ne s’appliquent pas telles quelles. Des entreprises (et les journalistes paresseux qui relaient leurs communiqués de presse sans vérifier) peuvent dire que leur modèle est « open source » simplement parce qu’on peut le télécharger et l’utiliser. C’est très loin de la liberté. En effet, cette simple autorisation ne permet pas les libertés suivantes :

  • Connaître le jeu de données utilisé pour l’entrainement, ce qui permettrait de connaitre les choix effectués par les auteurs du modèle (quels textes ils ont retenu, quels textes ils ont écarté) et savoir qui a écrit les textes en question (et n’était pas forcément d’accord pour cette utilisation).
  • Connaître les innombrables choix techniques qui ont été faits pour transformer ces textes en un modèle. (Rappelez-vous  : un algorithme, ce sont les décisions de quelqu’un d’autre.)

Sans ces informations, on ne peut pas refaire le modèle différemment (alors que la possibilité de modifier le programme est une des libertés essentielles pour qu’un logiciel soit qualifié de libre). Certes, on peut affiner le modèle (« fine-tuning a pre-trained model », diront les documentations) mais cela ne modifie pas le modèle lui-même, certains choix sont irréversibles (par exemple des choix de censure). Vous pouvez créer un nouveau modèle à partir du modèle initial (si la licence prétendument « open source » le permet) mais c’est tout.

Un exemple de libre-washing

Le 18 juillet 2023, l’entreprise Meta a annoncé la disponibilité de la version 2 de son modèle Llama, et le fait qu’il soit « open source ». Meta avait même convaincu un certain nombre de personnalités de signer un appel de soutien, une initiative rare dans le capitalisme. Imagine-t-on Microsoft faire signer un appel de soutien et de félicitations pour une nouvelle version de Windows ? En réalité, la licence est très restrictive, même le simple usage du modèle est limité. Par exemple, on ne peut pas utiliser Llama pour améliorer un autre modèle (concurrent). La démonstration la plus simple de la non-liberté est que, pour utiliser le modèle Llama sur Hugging Face, vous devez soumettre une candidature, que Meta accepte ou pas («  Cannot access gated repo for url https://huggingface.co/meta-llama/Llama-2-7b/resolve/main/config.json. Access to model meta-llama/Llama-2-7b is restricted and you are not in the authorized list. Visit https://huggingface.co/meta-llama/Llama-2-7b to ask for access. »)

Mais la communication dans l’industrie du numérique est telle que très peu de gens ont vérifié. Beaucoup de commentateurs et de gourous ont simplement relayé la propagande de Meta. Les auteurs de la définition originale d’« open source » ont expliqué clairement que Llama n’avait rien d’« open source », même en étant très laxiste sur l’utilisation du terme. Ceci dit, il y a une certaine ironie derrière le fait que les mêmes personnes, celles de cette Open Source Initiative, critiquent Meta alors même qu’elles avaient inventé le terme « open source » pour brouiller les pistes et relativiser l’importance de la liberté.

Au contraire, un modèle comme Falcon coche toutes les cases et peut très probablement être qualifié de libre.

La taille compte

Si une organisation qui crée un LLM publie le jeu de données utilisé, tous les réglages utilisés pendant l’entrainement, et permet ensuite son utilisation, sa modification et sa redistribution, est-ce que le modèle peut être qualifié de libre ? Oui, certainement, mais on peut ajouter une restriction, le problème pratique. En effet, un modèle significatif (disons, permettant des résultats qui ne sont pas ridicules par rapport à ceux de ChatGPT) nécessite une quantité colossale de données et des machines énormes pour l’entrainement. L’exécution du modèle par le moteur peut être plus économe. Encore qu’elle soit hors de portée, par exemple, de l’ordiphone classique. Si une application « utilisant l’IA » tourne soi-disant sur votre ordiphone, c’est simplement parce que le gros du travail est fait par un ordinateur distant, à qui l’application envoie vos données (ce qui pose divers problèmes liés à la vie privée, mais c’est une autre histoire). Même si l’ordiphone avait les capacités nécessaires, faire tourner un modèle non trivial épuiserait vite sa batterie. Certains fabricants promettent des LLM tournant sur l’ordiphone lui-même (« on-device ») mais c’est loin d’être réalisé.

Mais l’entraînement d’un modèle non trivial est bien pire. Non seulement il faut télécharger des téra-octets sur son disque dur, et les stocker, mais il faut des dizaines d’ordinateurs rapides équipés de GPU (puces graphiques) pour créer le modèle. Le modèle Llama aurait nécessité des milliers de machines et Bloom une bonne partie d’un super-calculateur. Cette histoire de taille ne remet pas en question le caractère libre du modèle, mais cela limite quand même cette liberté en pratique. Un peu comme si on vous disait « vous êtes libre de passer votre week-end sur la Lune, d’ailleurs voici les plans de la fusée ». Le monde du logiciel libre n’a pas encore beaucoup réfléchi à ce genre de problèmes. (Qui ne touche pas que l’IA : ainsi, un logiciel très complexe, comme un navigateur Web, peut être libre, sans que pour autant les modifications soit une entreprise raisonnable.) En pratique, pour l’instant, il y a donc peu de gens qui ré-entrainent le modèle, faisant au contraire une confiance aveugle à ce qu’ils ont téléchargé (voire utilisé à distance).

Conclusion

Pour l’instant, la question de savoir ce que signifie la liberté pour un modèle de langage reste donc ouverte. L’Open Source Initiative a lancé un projet pour arriver à une définition. Je ne connais pas d’effort analogue du côté de la FSF mais plus tard, peut-être ?

Les conseils de Ray Bradbury à qui veut écrire – Open Culture (4)

Dans le 4e épisode de notre mini-série de l’été, nous recueillons les conseils d’écriture de Ray Bradbury (oui, celui des Chroniques martiennes et Fahrenheit 451, entre autres) qu’il expose au fil d’une conférence résumée pour vous dans cet article d’openculture.com, un portail très riche en ressources culturelles.
Ah, au fait, profitons-en pour vous rappeler que le Ray’s Day c’est lundi 22 août : en hommage au grand Ray, c’est l’occasion de lire des tas de textes en tous genres et de faire connaître les vôtres et même de les mettre en ligne. Rendez-vous sur le nouveau site du Ray’s Day qui sert de socle à cette initiative.

 

Article original : Ray Bradbury Gives 12 Pieces of Writing Advice to Young Authors (2001)

Traduction : goofy

Ray Bradbury donne 12 conseils d’écriture aux jeunes auteur⋅e⋅s

par Colin Marshall

À l’instar de l’icône du genre Stephen King, Ray Bradbury est parvenu à toucher un public bien plus large que celui auquel il était destiné en offrant des conseils d’écriture à tous ceux qui prennent la plume. Dans ce discours prononcé en 2001 lors du symposium des écrivains organisé par l’université Point Loma Nazarene à By the Sea, Ray Bradbury raconte des anecdotes tirées de sa vie d’écrivain, qui offrent toutes des leçons pour se perfectionner dans l’art d’écrire.

La plupart d’entre elles ont trait aux pratiques quotidiennes qui constituent ce qu’il appelle « l’hygiène de l’écriture ».

 

En regardant cette conférence divertissante et pleine de digressions, vous pourriez en tirer un ensemble de points totalement différents, mais voici, sous forme de liste, comment j’interprète le programme de Bradbury :

  • Ne commencez pas par vouloir écrire des romans. Ils prennent trop de temps. Commencez plutôt votre vie d’écrivain en rédigeant « un sacré paquet de nouvelles », jusqu’à une par semaine. Prenez un an pour le faire ; il affirme qu’il est tout simplement impossible d’écrire 52 mauvaises nouvelles d’affilée. Il a attendu l’âge de 30 ans pour écrire son premier roman, Fahrenheit 451. « Ça valait le coup d’attendre, hein ? »
  • On peut les aimer, mais on ne peut pas les égaler. Gardez cela à l’esprit lorsque vous tenterez inévitablement, consciemment ou inconsciemment, d’imiter vos écrivains préférés, tout comme il a imité H.G. Wells, Jules Verne, Arthur Conan Doyle et L. Frank Baum.
  • Examinez des nouvelles « de qualité ». Il suggère Roald Dahl, Guy de Maupassant, et les moins connus Nigel Kneale et John Collier. Tout ce qui se trouve dans le New-Yorker d’aujourd’hui ne fait pas partie de ses critères, car il trouve que leurs histoires sont « dépourvues de métaphores ».
  • Bourrez-vous le crâne. Pour accumuler les blocs de construction intellectuelle de ces métaphores, il suggère un cours de lecture à l’heure du coucher : une nouvelle, un poème (mais Pope, Shakespeare et Frost, pas les « conneries » modernes) et un essai. Ces essais devraient provenir de divers domaines, dont l’archéologie, la zoologie, la biologie, la philosophie, la politique et la littérature. « Au bout de mille nuits », résume-t-il, « bon Dieu, vous saurez plein de trucs ! ».
  • Débarrassez-vous des amis qui ne croient pas en vous. Se moquent-ils de vos ambitions d’écrivain ? Il suggère de les appeler pour les « virer » sans tarder.
  • Vivez dans la bibliothèque. Ne vivez pas dans vos « maudits ordinateurs ». Il n’est peut-être pas allé à l’université, mais ses habitudes de lecture insatiables lui ont permis d’être « diplômé de la bibliothèque » à 28 ans.
  • Tombez amoureux des films. De préférence des vieux films.
  • Écrivez avec joie. Dans son esprit, « l’écriture n’est pas une affaire sérieuse ». Si une histoire commence à ressembler à du travail, mettez-la au rebut et commencez-en une qui ne l’est pas. « Je veux que vous soyez jaloux de ma joie », dit Bradbury à son public.
  • Ne prévoyez pas de gagner de l’argent. Avec son épouse, qui « a fait vœu de pauvreté pour l’épouser », Ray a atteint l’âge de 37 ans avant de pouvoir s’offrir une voiture (et il n’a toujours pas réussi à passer son permis).
  • Faites une liste de dix choses que vous aimez et de dix choses que vous détestez. Puis écrivez sur les premières, et « tuez » les secondes – également en écrivant à leur sujet. Faites de même avec vos peurs. Tapez tout ce qui vous passe par la tête. Il recommande l' »association de mots » pour lever tout blocage créatif, car « vous ne savez pas ce que vous avez en vous avant de le tester ».
  • N’oubliez pas qu’avec l’écriture, ce que vous recherchez, c’est une seule personne qui vienne vous dire : « Je vous aime pour ce que vous faites. » Ou, à défaut, vous cherchez quelqu’un qui vienne vous dire : « Vous n’êtes pas aussi fou que tout le monde le dit ».

Autres ressources

Ray Bradbury : Literature is the Safety Valve of Civilization

The Shape of A Story : Writing Tips from Kurt Vonnegut

John Steinbeck’s Six Tips for the Aspiring Writer and His Nobel Prize Speech

L’auteur de l’article

Colin Marshall produit Notebook on Cities and Culture. Pour le suivre sur Twitter : @colinmarshall.


Si cet article vous a plu et que vous découvrez l’intérêt du site openculture.com, vous pouvez contribuer par une petite donation sur cette page https://www.openculture.com/help-fund-open-culture (via Paypal, Patreon et même cryptomonnaie…)

 


❌