Réunis au sein du Conseil de l’Union européenne, les États-membres ont adopté hier le règlement IA, dédié à la régulation des systèmes d’Intelligence Artificielle. Cette étape marque l’adoption définitive de cet édifice législatif en discussion depuis 2021, et présenté au départ comme un instrument de protection des droits et libertés face au rouleau compresseur de l’IA. À l’arrivée, loin des promesses initiales et des commentaires emphatiques, ce texte est taillé sur mesure pour l’industrie de la tech, les polices européennes et autres grandes bureaucraties désireuses d’automatiser le contrôle social. Largement fondé sur l’auto-régulation, bardé de dérogations, il s’avère totalement incapable de faire obstacle aux dégâts sociaux, politiques et environnementaux liés à la prolifération de l’IA.

L’histoire avait commencé avec de belles promesses. En avril 2021, au moment de présenter sa proposition de règlement relatif à l’Intelligence Artificielle, la Commission européenne nous écrivait pour nous rassurer : elle porterait la « plus grande attention » à la pétition européenne lancée à l’époque contre la reconnaissance faciale. Le texte présenté quelques jours plus tard par la Commission s’accompagnait d’une proposition de moratoire sur certains de ces usages, au milieu d’un ensemble de mesures conçues pour mettre un minimum d’ordre dans un marché de l’IA en plein essor.

Deux ans plus tard, le Parlement européen poussait le texte un cran loin, étendant diverses interdictions relatives aux usages policiers des techniques d’IA, ou contre les systèmes de « scoring » et autres formes de « notation sociale ». Mais après les coups de butoir des gouvernements des États-membres, au premier rang desquels les autorités françaises, rien ou presque des promesses initiales ne subsiste. Reste un « paquet législatif » certes volumineux, voire bavard, mais aussi très flou. Le règlement fait la part belle à l’auto-régulation et s’avérera incapable de protéger l’intérêt général face à la prolifération programmée des systèmes d’IA.

Une loi pour faire proliférer l’IA

Comme nous l’avions craint, plutôt que d’élever les garanties en matière de droits fondamentaux, le règlement IA vise à faire proliférer la production de données et leur collecte au bénéfice de l’industrie. Les textes européens comme le Règlement européen sur la protection des données (RGPD), entrés en vigueur en 2018, se retrouvent en partie affaiblis par ces nouvelles règles spéciales applicables aux systèmes d’IA.

Mais pour les acteurs publics et privés ayant poussé à l’adoption de ce texte, l’enjeu prioritaire n’a jamais été de protéger les droits fondamentaux. Le règlement est fondé sur une approche « par les risques », classant les types de systèmes d’IA ou leurs domaines d’application (police, santé, emploi, etc.) en fonction de quatre catégories de risque (risque faible non ciblé par le règlement ; risque limité pour certains systèmes soumis aux seules mesures de transparence prévues par l’article 50 ; risque élevé soumis aux obligations diverses du règlement ; risque inacceptable pour les quelques pratiques interdites par l’article 5).

À travers cet édifice législatif destiné à réguler un sous-secteur de l’industrie informatique en pleine expansion, et alors que les controverses autour de l’IA se multiplient – qu’il s’agisse de ses effets déshumanisants sur le travail, de son coût environnemental, de son impact sur les droits fondamentaux –, l’objectif est avant tout de poser les conditions d’une plus grande « acceptabilité sociale » de ces technologies pour mieux les imposer.

Dans ce processus, Emmanuel Macron et le gouvernement français auront joué à merveille leur partition. Tout affairé à la promotion de la Startup Nation, obnubilé par la course à l’innovation pour mieux attirer les capitaux étrangers, ne craignant pas les conflits d’intérêt et autres formes de corruption au cours des négociations sur le règlement, l’État français a en effet une responsabilité historique dans ce reniement.

La stratégie française est pourtant assumée. Elle se poursuit aujourd’hui à travers le projet de loi « simplification de la vie économique », qui vise notamment à accélérer les procédures de construction de data centers en faisant obstacle aux contestations locales. Microsoft en est l’un des principaux bénéficiaires, puisque le géant de l’informatique vient d’annoncer un investissement de 4 milliards d’euros pour démultiplier ses infrastructures de stockage et de calcul sur le territoire français. Et c’est également Microsoft qui a mis le grappin sur Mistral AI, promu comme champion national de l’IA, en annonçant un accord de partenariat avec la startup française sitôt l’accord politique conclu sur le texte du règlement IA. L’argument de la souveraineté numérique avancé par la France pour abaisser les exigences du règlement IA a donc bon dos, puisqu’en pratique l’État s’accommode très bien du renforcement des positions dominantes des multinationales de la tech.

En vertu du règlement adopté hier, ce sont les entreprises qui conçoivent les systèmes d’IA qui seront les premières compétentes pour de prononcer sur le niveau de risque que présentent leurs produits (article 43). Il leur sera alors loisible de considérer que ces systèmes ne sont pas risqués et donc exempts de toute régulation en vertu du règlement. Autrement, ce sont des organismes privés de certification qui seront amenés à délivrer des attestations de conformité¹. De manière générale, les formes de régulation promues par le règlement s’assimilent essentiellement à de l’auto-régulation et au suivi de « bonnes pratiques », le tout sous l’égide d’organismes de standardisation de droit privé (le CEN-CENELEC au niveau européen ou l’AFNOR en France) au sein desquels l’industrie aura toutes latitudes². Autant dire que le débat consistant à savoir qui, en France, de la CNIL, de l’Arcep ou de l’Arcom sera chargée de superviser l’application du règlement ne revêt pas d’énorme enjeu. 

Autre signe des considérations dont l’industrie fait l’objet, le chapitre VI contient un grand nombre de dispositifs réglementaires censés « soutenir l’innovation », afin de permettre au secteur privé d’entraîner ses modèles d’IA avec un soutien renforcé des pouvoirs publics.

La Technopolice en roue libre

S’il était clair depuis le début que l’approche par les risques promue par l’Union européenne pour réguler l’IA était conçue pour réguler un marché plutôt que de protéger les droits fondamentaux, au moins pouvait-on espérer que les usages les plus dangereux des systèmes d’IA, à l’image de la reconnaissance faciale, seraient bannis au titre des « risques inacceptables ». C’était en tout cas une demande de dizaines d’ONG et de plus de 250 000 citoyen·nes européen·nes réuni·es dans la coalition Reclaim Your Face et ce que laissait entendre la Commission au départ.

Là encore, la France a œuvré avec d’autres États à tenir en échec toutes prétentions en la matière, laissant les coudées franches aux forces de police et à l’industrie de la surveillance. L’analyse du texte permet de l’illustrer. L’article 5, qui dresse la liste des diverses interdictions ayant subsisté, proscrit bel et bien « l’utilisation de systèmes d’identification biométrique à distance en temps réel ». L’article 5.2 semble ici couvrir de nombreuses applications de vidéosurveillance algorithmique (VSA). Sauf que, d’une part, toute utilisation de tels systèmes échappe à cette formulation dès lors qu’elle est conduite en temps différé. Et que là encore, des exceptions en réduisent drastiquement la portée : le recours à la reconnaissance faciale en temps réel sera en effet possible dès lors qu’il s’agit de retrouver des victimes « d’enlèvement, de la traite ou de l’exploitation sexuelle d’êtres humains, ainsi que la recherche de personnes disparues », s’il s’agit de prévenir « une menace spécifique, substantielle et imminente pour la vie ou la sécurité physique de personnes physiques », ou encore pour prévenir « une menace réelle et actuelle ou réelle et prévisible d’attaque terroriste ». Autant de pieds dans la porte qui pourront facilement être étendus à de nouvelles situations à l’avenir.

Qui plus est, en la matière, les services de renseignement se voient libérés de toute contrainte. C’est également le cas des équipes de recherches scientifiques pourront « innover » à loisir. L’article 2.3, relatif au champ d’application du règlement, précise en effet que celui-ci, et donc les interdictions qu’il énonce, ne s’applique pas aux systèmes d’IA développés « à des fins de recherche scientifique », ni à ceux utilisés à « des fins militaires, de défense ou de sécurité nationale ». Soit d’autres trous béants dans la raquette.

En pratique, toutes les formes d’IA policières contre lesquelles nous nous battons dans le cadre du projet Technopolice semblent permises par le règlement, de la VSA à la police prédictive. Tout au plus pourront-elles être considérées comme « à haut risque », car relevant de certains domaines d’applications sensibles définis dans l’annexe III³. Elles seront alors soumises à des obligations renforcées de transparence et de standardisation : les responsables de ces systèmes devront ainsi identifier, évaluer et traiter les « risques raisonnablement prévisibles (…) pour la santé, la sécurité ou les droits fondamentaux » (article 9.2), mettre en place des bonnes pratiques en matière de gouvernance des données (article 10), et tenir des registres liés aux activités de leurs systèmes (article 12). Standardisation et auto-régulation, sous l’égide d’agences publiques chargées d’organiser le tout, seront donc de mise.

La transparence des systèmes à haut risque restera extrêmement limitée en matière technopolicière. Car si de tels systèmes doivent normalement être répertoriés dans un registre public, les forces de l’ordre et les services d’immigration ont obtenu une dérogation qui limitera drastiquement les données qu’ils auront à fournir (article 49.4). Ils n’auront pas non plus à publier les études d’impact, ce qui est normalement obligatoire pour les systèmes à haut risque.

Enfin, même lorsqu’ils seront effectivement classés à haut risque, encore faut-il que les systèmes IA n’échappent pas à l’autre dérogation léonine ajoutée au texte. Un « filtre » défini à l’article 6.3 prévoit en effet que les obligations ad hoc ne s’appliquent pas dès lors que les systèmes d’IA considérés sont destinés à « accomplir un tâche procédurale étroite », à « améliorer ou optimiser » le résultat d’une « tâche humaine » déjà accomplie, s’ils ne réalisent qu’une « tâche préparatoire », ou si plus généralement, bien que relevant théoriquement des applications à haut risque définies à l’annexe III, ils « ne présente pas de risque important de préjudice pour la santé, la sécurité ou les droits fondamentaux des personnes physiques ». Toutes ces notions juridiques paraissent particulièrement larges et laissent la porte ouverte à tous les abus, a fortiori dès lors qu’elles sont laissées à l’appréciation d’acteurs privés.

Quant aux systèmes de police prédictive basés sur le calcul de scores de risque par zones géographiques, dont nous soulignions récemment les dangers en terme de discrimination, il semble qu’ils échappent à la définition très restrictive proposée en la matière dans l’annexe III relative aux systèmes à haut risque, et donc aux obligations prévues pour cette catégorie⁴.

Algos de contrôle social et greenwashing en embuscade

En matière de « crédit social », également mis en avant comme l’une des proscriptions les plus ambitieuses posées par le texte et qui apparaissait comme une manière de préserver la bonne conscience européenne face à la dystopie numérique « à la chinoise », c’est encore la douche froide. La « notation sociale » – par exemple celle pratiquée par les Caisses d’allocations familiales que nous documentons depuis des mois – reste permise dès lors qu’elle ne relève pas, à l’instar des systèmes expérimentés en Chine, d’un système centralisé captant des données issues de contextes sociaux différents (police, travail, école, etc.) (considérant 31). Les notations sectorielles utilisées par les organismes sociaux pourront donc continuer de plus belle : bien qu’il les classe dans les applications à haut risque, et en dehors de quelques obligations procédurales déjà évoquées, le règlement n’apporte rien pour lutter efficacement contre les algorithmes discriminatoires des administrations sociales en matière de notation et de flicage des bénéficiaires.

Restent des déclarations de principe, dont la nature contradictoire devrait pourtant sauter aux yeux. On pense notamment au vœu pieu que « les systèmes d’IA [soient] développés et utilisés d’une manière durable et respectueuse de l’environnement » (considérant 27). Ou de l’idée décidément tenace qu’une informatisation toujours plus poussée permettra de répondre à l’enjeu du changement climatique (considérant 4), et ce alors que dans le même temps, notamment à travers la loi de simplification déjà citée, on encourage à tout-va la construction de data centers hyper-énergivores et qu’on relance l’extraction minière pour accompagner la « transition numérique ». Rien de bien surprenant cela dit puisque, chez les technocrates et autres apôtres des hautes technologies, l’IA est désormais un élément clé de tout bon discours de greenwashing.

Les seules règles en matière d’impact environnemental posées par le règlement IA consistent en la fourniture, par les concepteurs de système d’IA à haut risque qui cherchent à faire certifier leurs produits, d’informations visant à « améliorer les performances des systèmes d’IA en matière de ressources, telles que la réduction de la consommation d’énergie et d’autres ressources par le système d’IA (…) au cours de son cycle de vie », ou relatives au « développement économe en énergie de modèles d’IA à usage général » (article 40). Dans le même ordre d’idées, dans le cadre de l’annexe XI, les concepteurs d’IA génératives fondées sur de grands modèles de données, à l’image d’OpenAI, devront également fournir des informations sur « la consommation d’énergie connue ou estimée » liée à l’entraînement et à l’utilisation de ces modèles. Le tout étant là aussi chapeauté par les organismes de normalisation, l’exercice ne devrait être qu’une simple formalité aux effets parfaitement cosmétiques.

À l’arrivée, loin de protéger les valeurs de démocratie, d’État de droit et de respect pour l’environnement que l’Union européenne prétend encore incarner comme un phare dans la nuit, le règlement IA reste le produit d’une realpolitik désastreuse. Face à l’étau formé par la Chine et les États-Unis, il doit en effet permettre de relancer l’Europe dans la course aux dernières technologies informatiques, perçues comme de véritables étalons de puissance. Non seulement cette course paraît perdue d’avance mais, ce faisant, l’Union européenne participe à légitimer une fuite en avant techno-solutionniste dangereuse pour les libertés et insoutenable au plan écologique.

La généralisation de l’IA, en tant que paradigme technique et politique, a pour principal effet de démultiplier les dégâts engendrés par la sur-informatisation de nos sociétés. Puisqu’il est désormais clair que ce règlement ne sera d’aucune utilité pour enrayer l’emballement actuel, c’est d’autres moyens de lutte qu’il va nous falloir collectivement envisager.

---

1. Veale, Michael, et Frederik Zuiderveen Borgesius. « Demystifying the Draft EU Artificial Intelligence Act — Analysing the Good, the Bad, and the Unclear Elements of the Proposed Approach ». Computer Law Review International 22, n° 4 (1 août 2021), p. 106. https://doi.org/10.9785/cri-2021-220402 ︎
2. Perarnaud, Clément. « Loi européenne sur l’IA : une réglementation « digne de confiance » ? » La revue européenne des médias et du numérique, mars 2024. https://la-rem.eu/2024/03/loi-europeenne-sur-lia-une-reglementation-digne-de-con%ef%ac%81ance/. ︎
3. L’annexe III définit comme étant à haut risque les systèmes d’IA liées aux applications suivantes :  surveillance biométrique, gestion d’infrastructures critiques, de l’éducation et de la formation professionnelle, de l’emploi et de la gestion de la main d’œuvre, l’accès aux services publics et prestations sociales, la police prédictive, le contrôle des migrations et l’administration de la justice. ︎
4. L’annexe III, qui dresse la liste des applications à haut risque, n’évoque à l’article 6.d. que « les systèmes d’IA destinés à être utilisés par les autorités répressives ou par les institutions, organes et organismes de l’Union, ou en leur nom, en soutien aux autorités répressives pour évaluer le risque qu’une personne physique commette une infraction ou récidive, sans se fonder uniquement sur le profilage des personnes physiques visé à l’article 3, paragraphe 4, de la directive (UE) 2016/680, ou pour évaluer les traits de personnalité, les caractéristiques ou les antécédents judiciaires de personnes physiques ou de groupes ». ︎

Déjà une proposition de loi pour étendre la VSA dans les transports

C’est une logique que nous avions dénoncée comme un risque : la légalisation des « expérimentations » de vidéosurveillance algorithmique (VSA) dans le cadre des JO ouvrait la porte à une banalisation et à une extension de la VSA dans d’autres contextes. Cassandre avait raison, et l’extension de l’usage de la VSA, avant même son « évaluation », connaît déjà une nouvelle avancée.

Le Sénat a voté en février une proposition de loi que l’Assemblée nationale a commencé d’étudier en commission des lois ce mercredi 15 mai. Cette loi « relative au renforcement de la sûreté dans les transports » comporte un article 9 qui autoriserait l’utilisation de logiciels de VSA pour analyser a posteriori les images de vidéosurveillance prises dans les transports publics (SNCF et RATP en tête) dans le cadre d’enquêtes pénales. Les logiciels sont notamment capables d’isoler et de suivre une personne sur une grande quantité d’images et de reconstituer son trajet, sans que les agents aient besoin de visionner des heures d’enregistrements.

La stratégie est à la fois habile et grossière. On voit bien qu’elle avance à petits pas, autorisant un usage après l’autre, pour masquer la progression de la VSA en la disséminant dans une poussière de lois et de cas d’usages qui paraissent à chaque fois restreints. Mais il suffit d’un pas de recul pour voir que les prétentions à la sagesse et à la prudence, colportées par le terme « expérimentation » n’ont pas tenu très longtemps. Nous appelons évidemment les député·es à rejeter cet article qui veut légaliser des pratiques pour l’instant illégales dans la surveillance des transports en commun. Toutes les explications dans notre article.

Lire l’article : https://www.laquadrature.net/2024/05/14/vsa-lassemblee-discute-deja-son-extension-aux-transports/
Notre page de campagne contre la VSA : laquadrature.net/vsa

Recours contre le blocage de TikTok en Nouvelle-Calédonie

Dans un contexte de grande violence et de crise politique majeure en Nouvelle-Calédonie, le gouvernement a décidé de couper d’autorité l’accès à TikTok sur le territoire calédonien. Par-delà les questions de sécurité invoquées, cette censure arbitraire constitue un précédent très inquiétant, et une application directe des intentions de censure exprimées par Emmanuel Macron et le gouvernement lors des révoltes urbaines de l’été 2023. Nous avons déposé un référé-liberté (procédure d’urgence) devant le Conseil d’État pour contester cette mesure de censure. Plus de détails dans notre communiqué de presse.

Lire le communiqué : https://www.laquadrature.net/2024/05/17/la-quadrature-du-net-attaque-en-justice-le-blocage-de-tiktok-en-nouvelle-caledonie/

Soutenir La Quadrature en 2024

Nous avons besoin de vous pour travailler en 2024, et nous avons pour le moment réuni 65% de notre objectif de collecte. N’hésitez pas à faire un don de soutien à l’association, ou à faire connaître notre campagne de dons autour de vous. Merci pour votre aide !

Présentation des grands chantiers de 2024 : https://www.laquadrature.net/donner/ et https://www.laquadrature.net/2023/11/15/de-nouveaux-combats-pour-2024/
Faire un don à La Quadrature : https://don.laquadrature.net/

Agenda

• 18 mai 2024 : La Quadrature sera au Festival du livre et des cultures libres à l’espace autogéré des Tanneries, à Dijon. Plus d’infos ici.
• 25 mai 2024 : Journées du logiciel libre à Lyon – Conférence « La vidéosurveillance algorithmique menace nos villes, contre-attaquons ! ». Plus d’infos sur la conférence et plus d’infos sur les JDLL.
• 25 mai 2024 : La Quadrature participe à une table ronde organisée par le collectif Base Bleue dans le cadre de l’exposition « Les Yeux Olympiques ». Ce sera de 16h à 18h au Doc, 27 rue du Docteur Potain dans le 19e arrondissement de Paris.
• 1er juin 2024 : Table ronde sur les réseaux sociaux dans l’environnement militant au festival Ma’Track à coté d’Angers. Plus d’informations ici.
• 5 juin 2024 : Atelier-terrasse d’autodéfense numérique, LQDN convoquée Au Poste par David Dufresne.

La Quadrature dans les médias

Vidéosurveillance algorithmique (VSA)

• Vidéosurveillance algorithmique – Pas le temps de souffler, l’Assemblée prépare déjà son extension ! [Korben]
• La Quadrature du Net saisit la CNIL contre la vidéosurveillance algorithmique, notamment testée dans les gares [Clubic]
• « Un traitement des données particulièrement intrusif » : une association porte plainte contre la vidéosurveillance algorithmique, testée dans plusieurs gares [France 3 Provences-Alpes-Côte d’Azur]
• Vidéosurveillance algorithmique : premières expérimentations et premières critiques [ZDNet]
• L’expérimentation des caméras dopées à l’IA de la SNCF va-t-elle trop loin ? [01Net]
• Un dispositif de vidéosurveillance algorithmique testé à la gare Saint-Charles, une association porte plainte [La Provence]
• Les expérimentations de la SNCF avec la vidéosurveillance algorithmique ne passent pas [Numerama]
• Surveillance à haut risque : plainte contre la SNCF pour vidéosurveillance algorithmique dans les gares du Sud [Var Actu]

Blocage de TikTok

• « Machine autoritaire »: le blocage de Tiktok en Nouvelle-Calédonie attaqué en justice [BFMTV]
• Nouvelle-Calédonie : le blocage de TikTok attaqué devant la justice [AFP]
• Le blocage de TikTok en Nouvelle-Calédonie visé par deux recours [Mediapart]
• French TikTok block in overseas territory sets ‘dangerous precedent,’ critics warn [Politico]
• « Personne n’est dupe » : TikTok interdit en Nouvelle-Calédonie, la LDH et Quadrature du Net déposent des référés-libertés [La Voix du Nord]

Divers

• Google, Facebook, la Quadrature du Net… tirs nourris contre la loi sur le numérique [L’informé]

Par un référé-liberté déposé ce jour, La Quadrature du Net demande au Conseil d’État la suspension de la décision du Premier ministre Gabriel Attal de bloquer en Nouvelle-Calédonie la plateforme TikTok. Par cette décision de blocage, le gouvernement porte un coup inédit et particulièrement grave à la liberté d’expression en ligne, que ni le contexte local ni la toxicité de la plateforme ne peuvent justifier dans un État de droit.

Les réflexes autoritaires du gouvernement

Alors que la situation en Nouvelle-Calédonie atteint un stade dramatique, après trois ans de crise, et que le dialogue politique semble rompu suite à la décision du gouvernement et du Parlement de modifier les règles d’accession au collège électoral au détriment des indépendantistes kanaks, le gouvernement a décidé de revenir à de vieux réflexes autoritaires et coloniaux. Outre l’envoi de forces armées, il a ainsi choisi de bloquer purement et simplement la plateforme TikTok sur le territoire de Nouvelle-Calédonie. Selon Numerama, le premier ministre justifie cette mesure « en raison des ingérences et de la manipulation dont fait l’objet la plateforme dont la maison mère est chinoise », ajoutant que l’application serait « utilisée en tant que support de diffusion de désinformation sur les réseaux sociaux, alimenté par des pays étrangers, et relayé par les émeutiers ».

Or, pour mettre en œuvre cette censure, quoi de mieux qu’une des lois d’exception dont le gouvernement systématise l’usage ces dernières années ? En déclarant l’état d’urgence en Nouvelle-Calédonie, le gouvernement s’est autorisé à expérimenter un article de la loi de 1955, ajouté en 2017 : la possibilité de bloquer les plateformes en ligne « provoquant à la commission d’actes de terrorisme ou en faisant l’apologie ».

Personne n’est dupe : en réalité, le blocage de TikTok n’est absolument pas justifié par une quelconque présence sur la plateforme de contenus terroristes, mais bien par le fait qu’il s’agit d’une plateforme centrale dans l’expression en ligne des personnes qui en viennent aujourd’hui à se révolter. Cette décision de s’en prendre aux moyens de communication lors de moments de contestation violente – une première dans l’Union européenne et qui paraît digne des régimes russe ou turc, régulièrement condamnés par la CEDH pour atteintes à la liberté d’expression¹Très logiquement, nous nous appuyons donc dans notre recours sur les précédents jurisprudentiels de la CEDH sanctionnant ces deux pays en raison des atteintes à la liberté d’expression contraires à la Convention européenne des droits de l’homme. – a déjà été éprouvée l’année dernière, après la mort de Nahel Merzouk.

À l’été 2023, Emmanuel Macron avait exprimé son souhait de pouvoir bloquer les réseaux sociaux lors de moments de crise. Le président de la République s’était alors lancé dans une véritable course à l’échalote autoritaire contre les plateformes en ligne, blâmant les jeux vidéos, puis les réseaux sociaux qu’il voulait alors pouvoir bloquer et sur lesquels il voulait accentuer la fin généralisée de l’anonymat en ligne (déjà bien amoché en pratique). À ce moment-là, les plateformes avaient répondu présentes pour censurer les contenus relatifs aux évènements et aux violences dans les banlieues. Nous avions alors dénoncé cette collaboration entre plateformes privées et pouvoirs publics, unis pour brimer la liberté d’expression au nom du « retour de l’ordre » (voir notre analyse). Aujourd’hui le gouvernement persiste et signe dans sa volonté de mettre au pas les moyens de communications, cette fois-ci en choisissant la voie explicitement autoritaire : le blocage total.

La Nouvelle-Calédonie, terrain d’expérimentation

La décision de bloquer TikTok en Nouvelle-Calédonie constitue pour le gouvernement une première mise en pratique du programme macroniste de censure en ligne annoncé l’été dernier. L’occasion paraît idéale pour le pouvoir : d’une part du fait du relatif désintérêt des médias français pour l’archipel (il aura fallu attendre plusieurs jours, et notamment un premier mort parmi les habitant·es, pour que la presse en métropole commence à traiter de l’actualité calédonienne) et d’autre part parce que ce territoire dispose de règles juridiques différentes, notamment vis-à-vis du droit de l’Union européenne. De cette manière, le gouvernement croit pouvoir éteindre la révolte sans répondre aux griefs de manifestants, en refusant d’aborder la question du rôle de la réforme constitutionnelle sur les élections calédoniennes dans le malaise de la population kanak.

L’objectif de cette décision de censure consiste avant tout à étouffer l’expression d’une révolte. Elle constitue aussi un ballon d’essai avant une possible généralisation de ce type de mesure. De ce point de vue, le contexte politique semble favorable. Dans un récent rapport faisant suite aux révoltes urbaines de 2023, la commission des Lois du Sénat ne demandait rien d’autre que ce qui est en train d’être appliqué en Nouvelle-Calédonie : le blocage des réseaux sociaux et des sanctions plus dures contre les personnes les ayant utilisés lors des révoltes d’une partie de la jeunesse des quartiers populaires l’an dernier.

Lutter contre la surenchère autoritaire

Par notre recours en référé déposé ce jour, nous tentons donc de stopper une machine autoritaire lancée à pleine vitesse. Ne nous y trompons pas : il ne s’agit pas de défendre TikTok, une plateforme dont la toxicité avérée commence à être prise en compte par le législateur. Mais les pouvoirs publics restent obnubilés par la nationalité chinoise des détenteurs des capitaux de la plateforme, alors qu’au fond pas grand-chose ne sépare le modèle de TikTok de celui d’Instagram, de Snapchat ou d’autres réseaux dominants. Au-delà de TikTok et de la tutelle exercée par le régime chinois, c’est l’ensemble de l’économie politique liée à ces réseaux sociaux centralisés, fondés sur la collecte et l’exploitation massive des données des utilisateurices, organisés autour d’algorithmes et d’interfaces toxiques, qu’il convient de démanteler. C’est notamment pour promouvoir des alternatives favorables à la liberté d’expression et protectrices des droits que nous appelons à imposer l’interopérabilité des réseaux sociaux.

Par ce recours, il s’agit de dénoncer haut et fort cette mesure autoritaire inédite dans un régime qui se prétend démocratique, mais aussi d’empêcher que ces désirs de contrôle puissent trouver une quelconque légitimité politique ou juridique à l’avenir. Alors que la loi visant à sécuriser et réguler l’espace numérique (SREN) a été votée et promet une large remise en question de l’anonymat en ligne et une plus grande censure administrative, alors que la lutte contre le terrorisme sert plus que jamais de prétexte à étouffer l’expression en ligne et les contestations, il faut continuer à agir.

Dans ce contexte, La Quadrature a d’autant plus besoin de vous. Le recours que nous avons déposé aujourd’hui ne serait pas possible sans votre soutien. Rejoignez-nous dans nos combats, pour ne pas rester silencieux.euses face aux attaques autoritaires du gouvernement. Et si vous le pouvez, faites-nous un don sur https://www.laquadrature.net/donner/

Alors que les expérimentations de vidéosurveillance algorithmique (VSA) prévues par la loi relative aux Jeux Olympiques ont à peine débuté et qu’aucune évaluation n’a encore été réalisée, le gouvernement passe déjà à la vitesse supérieure. Mercredi 15 mai, la commission des lois de l’Assemblée va discuter d’une proposition de loi visant à légaliser une nouvelle forme de VSA, en utilisant cette fois-ci comme excuse la sécurité dans les transports. Derrière ce texte passé presque inaperçu se cache une nouvelle avancée sécuritaire mais surtout un agenda politique assumé : celui de la généralisation sur le long terme des technologies de surveillance algorithmique des espaces publics. Le rapporteur Clément Beaune a refusé de nous auditionner. Pourtant nous aurions eu beaucoup à lui dire sur les dangers de cette technologie et les contradictions du gouvernement qui trahit sans scrupule les promesses formulées il n’y a même pas un an.

Vous vous souvenez de la loi Sécurité globale ? Voici sa petite sœur, la proposition de loi « relative au renforcement de la sûreté dans les transports ». Adoptée en février par le Sénat, ce texte propose les pires projets sécuritaires : captation du son dans les wagons, pérennisation des caméras-piétons pour les agent·es et extension aux chauffeur·euses de bus, autorisation donnée aux régies de transports pour traiter des données sensibles (ce qui permettrait de collecter des données liées à l’origine raciale, les données de santé ou encore les opinions religieuses et politiques) ou encore transmission directe au ministère public des procès-verbaux d’infractions commises dans les transports.

Expérimenter pour banaliser et légitimer

Mais surtout, cette proposition de loi envisage une nouvelle expérimentation de la vidéosurveillance algorithmique jusqu’en 2027. Son article 9 est un quasi copié-collé de l’article 10 de la loi relative aux Jeux olympiques adoptée l’année dernière et qui prévoyait l’utilisation d’algorithmes de reconnaissance de comportements dans un cadre soit-disant « expérimental » pour tout évènement récréatif, sportif et culturel. Alors que les premiers déploiements ont à peine commencé, que des sénateur·rices ont constaté dans un récent rapport que ces dispositifs ne seront pas suffisamment opérationnels pour les JO de Paris et que l’évaluation prévue par la loi n’a pas encore été faite, ce nouveau texte discuté demain propose de rendre légal un autre type de logiciel d’analyse de flux vidéos.

En l’occurrence, il s’agirait d’autoriser des traitements de données ayant pour but d’« extraire et exporter les images » réquisitionnées par la police dans le cadre d’enquêtes pénales. Derrière cette formule floue, nous devinons qu’il s’agit en réalité des algorithmes de VSA dits « a posteriori » dont nous documentons l’usage depuis des années dans le cadre de l’initiative Technopolice.

En effet, s’il est très facile d’effectuer une recherche dans un document texte, la tâche s’avère plus compliquée et chronophage lorsqu’il s’agit d’effectuer une recherche dans un flux vidéo. La VSA « a posteriori » permet d’ automatiser des recherches dans des archives vidéo. Comme nous l’expliquons dans notre brochure détaillée publiée début mai, cela consiste à lancer des requêtes de reconnaissance d’image afin de faire remonter l’ensemble des bandes vidéos correspondant à certains critères thématiques comme détecter l’ensemble des hommes portant un t-shirt jaune et un pantalon noir repérés dans une zone géographique donnée durant les dernières 24h. Concrètement, cela permet de retracer le parcours de quelqu’un dans une ville. La VSA peut également raccourcir le temps de visionnage en condensant des heures ou des jours de vidéos en quelques minutes. Le rôle de la VSA dans cet usage est de sélectionner les passages susceptibles d’intéresser la police et de faire une ellipse sur le reste du temps de vidéo. Cette technologie repose sur l’analyse et le tri des caractéristiques biométriques des personnes, ce qui la rend totalement illégale.

Le plus connu des logiciels permettant de tels usages est celui de Briefcam, une entreprise israélienne rachetée par le groupe japonais Canon. Pas moins de 200 villes françaises seraient dotées de sa technologie de VSA, qui permet aussi de faire de la reconnaissance faciale. Le manuel d’utilisation que nous avons obtenu ainsi que les vidéos promotionnelles¹ Voir notamment cette vidéo à partir de 3:12 sont parlantes quant aux capacités de ces algorithmes de tri et de catégorisation des personnes, considérés comme de simples « objets ».

Comme toute technologie de VSA, elle permet à la police d’augmenter son contrôle de l’espace public, réduisant ainsi l’anonymat et les libertés que l’on y exerce. Mais la VSA étend également les logiques policières en les automatisant. Toute décision opérée sur le logiciel ne fait que refléter un choix humain, en l’occurrence celui des policiers, et généralise les habitudes qu’ils ont en matière de surveillance de l’espace public. Qu’il s’agisse des critères physiques choisis pour mettre en œuvre des filtres de tri et de repérage (par exemple, un homme vêtu d’un jogging et d’une casquette), des lieux ciblés par cette analyse (abords d’un lieu militant ou quartier populaire…) ou encore de la fonctionnalité choisie (pour retrouver le parcours de quelqu’un ou pour ne repérer qu’une certaine catégorie de personne), chacune des utilisations de cette VSA renforce des pratiques policières discriminantes et créé un risque supplémentaire de surveillance.

Une hypocrisie de plus : légaliser l’illégal

Bien que ces logiciels soient massivement utilisés par la police dans de nombreuses villes de France, et ce en toute illégalité, la proposition de loi discutée ce mercredi cantonne « l’expérimentation » aux transports pour trois ans. En pratique, seules la RATP ou la SNCF seront donc autorisées par la loi à avoir recours à ces algorithmes, et uniquement pour répondre à des réquisitions d’enregistrements dans le cadre d’enquêtes pénales. Plutôt que de condamner ces utilisations illégales et massives de VSA, le gouvernement a donc choisi de les légitimer au travers d’un texte qui semble en apparence circonscrit et proportionné. Comme pour la loi relative aux Jeux Olympiques, le gouvernement souhaite avancer par « petit pas » pour mettre en œuvre sa stratégie de légalisation, en concentrant l’attention sur un spectre réduit d’usages encadrés par des lois « expérimentales ».

Ces cadres « expérimentaux » permettent de donner l’apparence d’un aspect éphémère et réversible pour construire l’acceptabilité sociale d’une technologie autoritaire. Mais il ne fait que peu de doute que ces dispositifs seront soit pérennisés soit étendus à de nouveaux usages L’arrivée de ce texte, un an à peine après celui de la loi JO, en est le meilleur exemple. Il n’est d’ailleurs pas étonnant que les transports aient été choisis pour mettre en application cette nouvelle accélération. En effet, ceux-ci jouent un rôle moteur dans la promotion de la VSA en France. En 2022, la CNIL avait lancé une consultation publique sur le sujet et les contributions de la RATP et de la SNCF étaient éloquentes quant à leurs intentions de surveillance.

Aussi, comme l’a rappelé Mediapart, la SNCF expérimente régulièrement depuis 2017, de façon totalement illégale, plusieurs logiciels de surveillance dans les gares achetés auprès de plusieurs entreprises. Début mai, nous avons dénoncé à la CNIL un de ces programmes illégaux mis en œuvre par la SNCF, Prevent PCP, qui vise à faire de la filature automatisée de personnes dans les gares, sur la base de leurs attributs physiques et biométriques, sous prétexte de retrouver les personnes qui abandonneraient un bagage en gare. Quant à la RATP, elle a expérimenté la vidéosurveillance algorithmique dans ses rames et sur ses quais avec Evitech et Wintics. Bref, la proposition de loi apparaît taillée sur mesure pour légaliser une partie des dispositifs de VSA d’ores et déjà utilisés illégalement par la SNCF ou la RATP.

Un Parlement instrumentalisé

Qu’il s’agisse de cette proposition de loi sur les transports ou de la loi relative aux Jeux olympiques adoptée en mai 2023, l’intention qui préside à ces textes n’est pas d’engager une discussion sincère sur l’utilité de la VSA, mais d’entériner des états de fait. Le Sénat et l’Assemblée nationale apparaissent alors comme de simples chambre d’enregistrement du gouvernement, qui trahit ses engagements et multiplie les manœuvres rendant impossible un réel débat parlementaire.

En effet, celui-ci n’a pas peur de s’asseoir sur ses promesses faites l’année dernière aux député·es et sénateur·ices. Lors des débats sur la loi sur les Jeux Olympiques, aussi bien le rapporteur Guillaume Vuilletet que Gerald Darmanin assuraient mordicus aux parlementaires inquiets que de nombreuses garanties avaient été prévues, et notamment puisqu’il s’agissait d’une « expérimentation », que seul l’aboutissement d’un processus d’évaluation permettrait d’aller plus loin. Les modalités de cet examen ont été précisées par un décret du 11 octobre 2023 et un comité a été nommé pour rendre un rapport d’ici fin mars 2025. Mais ces gardes-fous, pourtant votés par la représentation nationale il y a un an, sont balayés d’un revers de main aujourd’hui : sans attendre ce rapport, le gouvernement préfère avancer, en assumant avoir menti aux parlementaires.

D’autre part, le processus législatif qui entoure ce texte sur les transports démontre que le gouvernement refuse au Parlement les conditions d’un débat serein et approfondi. Comme son nom l’indique, ce texte est une proposition de loi, c’est à dire une initiative parlementaire et non gouvernementale, déposée en l’occurrence par Philippe Tabarot, un sénateur LR. Celui-ci n’est pas sans lien avec le sujet puisqu’il a été plusieurs années à la tête de la régie des transports PACA puis vice-président de la Commission des transports de Régions de France.

Or, compte tenu du fait qu’il s’agit d’une proposition de loi de l’opposition, ce texte ne pouvait en théorie être transféré à l’Assemblée qu’au travers d’une « niche » du parti LR. C’était sans compter la volonté de l’exécutif de le mettre à l’ordre du jour de son propre chef. En outre, le gouvernement n’a pas hésité à recourir une fois de plus à l’excuse des Jeux olympiques pour déclencher une procédure accélérée pour l’examen du loi, prétextant que ce texte devait entrer en vigueur avant cet évènement en juillet. Mais ce n’est pas tout. Alors que l’année dernière, pour la loi JO, le gouvernement avait au minimum posé les conditions d’un examen parlementaire informé, ici aucune étude d’impact, aucun avis de la CNIL, aucune explication de la technologie couverte par l’article 9 n’a été publiée ou transmise aux parlementaires.

Les député·es vont donc voter un texte sans comprendre les implications techniques et les conséquences en termes de surveillance de cet usage de la VSA, qui sera très probablement minimisée et mal expliquée par le rapporteur Clément Beaune. D’ailleurs, ce dernier ne semble pas disposé à un quelconque débat : lorsque nous lui avons demandé à être auditionné afin d’en savoir plus sur le contenu de ce texte ainsi que pour alerter sur ses dangers, l’administration de l’Assemblée nationale a refusé, prétextant un « calendrier trop chargé ».

Faire passer un texte à toute vitesse, faire primer l’opportunisme politique sur la transparence démocratique et refuser d’écouter une association de défense des droits qui travaille depuis des années sur le sujet, c’est tout le jeu démocratique qui est bafoué. Une fois de plus, il n’y a aucune volonté de la part des pouvoirs publics d’examiner sincèrement l’utilité ou les dangers de la VSA, et encore moins de démanteler l’infrastructure de surveillance illégalement déployée depuis des années. En réalité, les intérêts politiques et sécuritaires priment et les garde-fous démocratiques sont réduits à de purs instruments cosmétiques.

Cette proposition de loi sur les transports constitue une étape de plus dans le déploiement de la surveillance automatisée des rues, au bénéfice de la police et des industriels de la Technopolice. Alors que le gouvernement ne s’embarrasse même plus à permettre les conditions d’un débat parlementaire, mobilisons-nous ! Interpellez votre député·e sur ce texte ou bien créez vous-même la contestation dans votre ville ou votre département. Car à coté de ces débats législatifs, la VSA continue de s’installer de façon illégale à travers le pays, souvent à l’échelon des collectivité locales. Pour dénoncer cette hypocrisie et refuser le projet de société de surveillance de l’espace public, nous avons lancé un kit de mobilisation il y a deux semaines. Vous pouvez y trouver ressources, modes d’action et des affiches pour faire valoir une opposition populaire à la VSA. Rejoignez la campagne sur www.laquadrature.net/vsa, et si vous le pouvez, faites un don sur www.laquadrature.net/donner !

Lancement de notre campagne contre la VSA

La loi JO de 2023 a légalisé des « expérimentations » de vidéosurveillance algorithmique (VSA) dans un cadre précis : des événements « festifs, sportifs ou culturels », sur une période donnée (jusqu’en mars 2025), et pour surveiller seulement huit critères parmi lesquels les départs de feu, les franchissements de ligne ou les mouvements de foule par exemple. Mais on le sait depuis longtemps grâce à notre campagne Technopolice, la VSA est déjà présente et utilisée dans des dizaines de communes sans aucun cadre légal. La SNCF expérimente par exemple depuis plusieurs mois un dispositif appelé Prevent PCP et qui dépasse largement le cadre délimité par la loi JO.

C’est pourquoi nous lançons cette semaine une grande campagne contre la VSA légale et illégale, en profitant de l’intérêt suscité par les JO, pour dénoncer l’hypocrisie consistant à légaliser petit à petit, et à banaliser par le fait, un système de surveillance qui sert à la fois des intérêts électoraux, industriels et policiers au mépris complet des droits fondamentaux et sans aucun débat démocratique.

Première action de cette campagne : une plainte devant la CNIL contre le dispositif Prevent PCPC de la SNCF. Pour en savoir plus sur la campagne, lisez notre communiqué de lancement ! Et retrouvez sur notre page de campagne les éléments de communication et de sensibilisation que nous avons préparés. Ils seront complétés au fil de la campagne.

Lire le communiqué de lancement de la campagne : https://www.laquadrature.net/2024/05/02/contre-lempire-de-la-videosurveillance-algorithmique-la-quadrature-du-net-contre-attaque/
Le site de campagne : hhttps://www.laquadrature.net/vsa/

Hadopi : la CJUE renonce à protéger l’anonymat en ligne

C’est une affaire qui commence en 2019. Dans le cadre de nos actions contre Hadopi, nous avions soulevé devant le Conseil d’État le problème de l’absence de contrôle préalable à la collecte des adresses IP et de l’identité civile des internautes, et la question de la licéité de cette collecte au regard du droit de l’UE. Après un circuit complet, du Conseil d’État au Conseil constitutionnel et retour, le Conseil d’État avait décidé de transmettre le problème sous forme d’une « question préjudicielle » à la Cour de justice de l’Union européenne (CJUE). Celle-ci a rendu une décision très décevante ce mardi 30 avril. À rebours de sa décision de 2020, la CJUE autorise toujours la collecte massive de l’identité civile des internautes, et admet désormais que l’association de celle-ci avec l’adresse IP et une communication peut se faire pour n’importe quel motif. Elle semble valider de guerre lasse la pratique illicite des États européens depuis des années. Tous les détails de cette décision et de ses conséquences dans notre article de réaction.

Lire notre réaction : https://www.laquadrature.net/2024/04/30/surveillance-et-hadopi-la-justice-europeenne-enterre-un-peu-plus-lanonymat-en-ligne/

Soutenir La Quadrature en 2024

Nous avons besoin de vous pour travailler en 2024, et nous avons pour le moment atteint 60% de notre objectif de collecte. N’hésitez pas à faire un don de soutien à l’association, ou à faire connaître notre campagne de dons autour de vous. Merci pour votre aide !

Présentation des grands chantiers de 2024 : https://www.laquadrature.net/donner/ et https://www.laquadrature.net/2023/11/15/de-nouveaux-combats-pour-2024/
Faire un don à La Quadrature : https://don.laquadrature.net/

Agenda

• 3 mai 2024 : Apéro public dans nos locaux, 115 rue de Ménilmontant, 75020 Paris, à partir de 19h. Venez nous rencontrer !
• 16 mai 2024 : Causerie mensuelle du groupe Technopolice Marseille, à partir de 19h au Manifesten, 59 Rue Adolphe Thiers, Marseille.
• 18 mai 2024 : La Quadrature sera au Festival du livre et des cultures libres à l’espace autogéré des Tanneries, à Dijon. Plus d’infos ici : https://festivaldulivre.tanneries.org/.
• 25 mai 2024 : Journées du logiciel libre à Lyon – Conférence « La vidéosurveillance algorithmique menace nos villes, contre-attaquons ! » à 13h. Plus d’infos sur la conférence et plus d’infos sur les JDLL.
• Retrouvez tout l’agenda en ligne.

La Quadrature dans les médias

VSA et JO

• La Quadrature du Net dépose plainte devant la CNIL contre la vidéosurveillance algorithmique dans les gares [Le Monde]
• Algorithmes de vidéosurveillance : la SNCF visée par une plainte auprès de la Cnil [Mediapart]
• « Traitement intrusif »: une association porte plainte devant la Cnil contre la vidéosurveillance algorithmique dans les gares [BFM]
• Vidéosurveillance algorithmique dans les gares : la SNCF visée par une plainte devant la Cnil [Libération]
• La Quadrature du Net contre-attaque face à la surveillance algorithmique [Korben]

Hadopi

• Hadopi : la CJUE valide la surveillance des IP, la Quadrature déçue [Next]
• Hadopi : la Cour de justice de l’Union européenne rétropédale sur l’anonymat en ligne [Clubic]

Divers

• Smart Police, le logiciel de police prédictive qui inquiète [Numerama]

L’« expérimentation » de la vidéosurveillance algorithmique (VSA) dans le cadre fixé par la loi « Jeux Olympiques » adoptée l’an dernier n’en est pas une : elle n’est qu’une manœuvre hypocrite destinée à légaliser par petites touches une infrastructure policière déjà massivement déployée en France. Pour contrer cette stratégie, La Quadrature du Net lance aujourd’hui une campagne visant à nourrir l’opposition populaire à la VSA, une technologie basée sur des techniques d’« Intelligence Artificielle » qui s’assimile à un contrôle constant et automatisé des espaces publics, et qui marque un tournant historique dans la surveillance d’État. Une plainte a également été déposée devant la CNIL afin de dénoncer l’hypocrisie des promoteurs de la VSA et pointer l’incurie de l’autorité de protection des données personnelles.

Le prétexte des Jeux Olympiques

Depuis quelques jours, les services de police du pays et les services de sécurité des sociétés de transport ont légalement recours à la VSA¹Voir notre article consacré aux premiers arrêtés préfectoraux autorisant le recours à la VSA.. Fin avril, invoquant des afflux importants de personnes liés à des matchs de foot ou des concerts, la préfecture de police de Paris a en effet autorisé la SNCF et la RATP à utiliser les technologies de la startup Wintics pour croiser les flux des centaines de caméras installées dans certaines gares et stations de métro parisiennes²Les catégories d’événements à repérer par les systèmes de VSA reprennent une partie des catégories prévues par la loi de 2023, en l’espèce : franchissement ou présence d’une personne dans une zone interdite ou sensible, densité trop importante de personnes, mouvement de foule, présence d’objets abandonnés.. Ces « expérimentations » vont se poursuivre jusqu’en mars 2025, dans le cadre juridique fixé par la loi relative aux Jeux Olympiques adoptée l’an dernier.

Qu’importe l’efficacité dérisoire de ces systèmes de surveillance automatisée des espaces publics. Pour le ministère de l’intérieur, les industriels et leurs relais politiques, ces expérimentations servent avant tout à détourner l’attention, alors qu’en parallèle, des centaines de systèmes de VSA sont illégalement utilisés depuis des années par l’État, les collectivités locales ou les régies de transport. Il s’agit aussi de faire oublier qu’au croisement d’intérêts économiques, électoralistes et autoritaires, les promoteurs de la Technopolice travaillent depuis des années à l’imposition de la VSA partout sur le territoire.

Le pire est à venir

De fait, les projets de loi visant à pérenniser la VSA en recourant aux applications les plus sensibles – à l’image de la reconnaissance faciale en temps réel dans l’espace public ou de la vidéoverbalisation automatique des petites infractions – sont pour certains déjà dans les cartons.

La proposition de loi Transports est un parfait exemple : l’Assemblée nationale s’apprête à débattre de cette proposition poussée par la droite sénatoriale et visant à légaliser la VSA dans les transports. Le gouvernement soutient l’initiative parlementaire puisqu’il a activé la procédure accélérée sur ce texte, sans même attendre les évaluations imposées par la loi JO³Guillaume Jacquot. « Transports : le Sénat adopte une proposition de loi qui renforce l’arsenal de sécurité, avec le soutien du gouvernement », Public Sénat, 14 février 2024..

Par ailleurs, en juin 2023, soit moins de trois mois après l’adoption de la loi JO, le Sénat reprenait un projet d’expérimentation d’abord mûri par la majorité macroniste en adoptant une proposition de loi prévoyant une expérimentation de trois ans de la reconnaissance faciale couplée à la vidéosurveillance. « Trop tôt », avait en substance répondu le gouvernement, estimant que les conditions politiques n’étaient pas réunies et préférant s’en tenir à une stratégie des petits pas⁴Simon Barbarit, « Reconnaissance faciale : le Sénat adopte une proposition de loi pour expérimenter cette technologie ». Public Sénat, 12 juin 2023..

Dénoncer l’hypocrisie ambiante

Pour mieux illustrer l’hypocrisie des « expérimentations » liées à la loi JO, La Quadrature du Net vient de déposer une plainte devant la CNIL contre un déploiement de la VSA totalement illégal et resté largement sous les radars : le projet Prevent PCP.

Associant la SNCF et la RATP avec un panel d’entreprises, dont le groupe Atos et ChapsVision (par ailleurs toutes deux prestataires des expérimentations liées à la loi JO), Prevent PCP prend formellement la forme d’un marché public subventionné par l’Union européenne. En pratique, les entreprises voient leurs systèmes de VSA déployés dans des grandes gares à travers l’Europe pour détecter des « bagages abandonnés », via une méthode reposant sur l’identification et le suivi des propriétaires des bagages. En France, ces systèmes de VSA sont ainsi déployés depuis des mois dans la gare du Nord et la gare de Lyon à Paris ou, plus récemment, dans la gare de Marseille-Saint-Charles.

Grâce aux éléments mis au jour par le groupe local Technopolice Marseille, La Quadrature du Net a donc déposé une plainte devant la CNIL contre ce projet, qui n’est qu’un exemple parmi les centaines de déploiements illégaux de la VSA en France. À travers cette démarche, il s’agit de renvoyer l’autorité en charge de la protection des données personnelles au rôle qui devrait être le sien, alors qu’elle laisse proliférer des projets illégaux de VSA tout en accompagnant le processus de légalisation. Cette plainte permet également de souligner l’hypocrisie des protagonistes de Prevent PCP : alors même qu’elles prennent part à l’expérimentation de la VSA prévue par loi JO, la SNCF, la RATP, Atos ou ChapsVision se livrent en parallèle à des déploiements dépourvus de toute base légale.

Nourrir une opposition populaire à la VSA

Aujourd’hui, La Quadrature du Net lance également différents outils destinés à nourrir des mobilisations contre la VSA dans les prochains mois, et résister à sa légalisation programmée. Une brochure détaillée expliquant les dangers de la VSA, ainsi que des affiches destinées à informer la population sont disponibles sur cette page de campagne dédiée, qui sera enrichie dans les semaines et mois à venir⁵La page de campagne est disponible à l’adresse laquadrature.net/vsa..

Cette campagne contre la VSA s’inscrit dans le cadre de l’initiative Technopolice, lancée en 2019 par La Quadrature pour résister au nouvelles technologies de surveillance policière. Le site Technopolice propose un forum public ainsi qu’une plateforme de documentation participative (appelée le « carré »), libre d’utilisation et destinés à organiser et fédérer des collectifs locaux opposés à ces technologies.

Pour faire la lumière sur les arrêtés préfectoraux qui autorisent localement la VSA dans le cadre de la loi JO, nous avons également lancé un compte Mastodon, Attrap’Surveillance, qui analyse les recueils des actes administratifs des préfectures et diffuse des alertes lorsque des autorisations de surveillance policière sont détectées. C’est ce dispositif qui a permis de repérer mi-avril les premiers arrêtés de VSA. Dans les prochaines semaines, il permettra d’être averti des expérimentations de la VSA autorisées par les préfets afin de les dénoncer.

Par tous les moyens, il nous faut faire valoir notre refus d’un contrôle permanent de nos faits et gestes, dénoncer ces expérimentations, documenter les projets illégaux qui continuent de proliférer, et nous organiser localement pour battre en brèche la Technopolice. Ensemble, luttons pour que l’espace public ne se transforme pas définitivement en lieu de répression policière, pour que nos villes et nos villages soient des espaces de liberté, de créativité et de rencontres !

Pour suivre l’actualité de La Quadrature et suivre cette campagne contre la VSA, vous pouvez vous abonner à notre lettre d’information.

Dans son arrêt du 30 avril 2024, la Cour de justice de l’Union européenne (CJUE) vient de rendre sa décision concernant la légalité du système de surveillance massif de la Hadopi. Cet arrêt est décevant. La CJUE tempère très fortement sa précédente jurisprudence, au-delà du cas de la Hadopi. En considérant désormais que l’accès aux adresses IP n’est pas sensible, elle admet la possibilité de surveiller massivement Internet.

La Cour de justice de l’Union européenne vient d’autoriser l’accès massif et automatisé à l’adresse IP associée à l’identité civile et au contenu d’une communication. Le tout pour des finalités triviales et sans contrôle préalable par un juge ou par une autorité administrative indépendante.

L’arrêt du 30 avril 2024 est un revirement de jurisprudence. La CJUE vient d’autoriser un accès massif aux adresses IP associées à l’identité civile de l’internaute. Les polices de toute l’Europe, après une décennie de combat où les États ont délibérément choisi de ne pas appliquer les nombreuses décisions précédentes de la CJUE, viennent de l’emporter. C’est une prime à l’abus, un signe très fort lancé aux pays autoritaires : la CJUE admet qu’elle finira par changer sa jurisprudence si ses décisions ne sont pas appliquées. C’est un affaiblissement inquiétant de l’autorité de la Cour face à la pression des États membres.

Alors qu’en 2020, la CJUE considérait que la conservation des adresses IP constitue une ingérence grave dans les droits fondamentaux et que ces dernières ne peuvent faire l’objet d’un accès, associé à l’identité civile de l’internaute, seulement dans des cas de criminalité grave ou d’atteinte à la sécurité nationale, tel n’est aujourd’hui plus le cas. La CJUE renverse son raisonnement : elle estime désormais que la conservation des adresses IP n’est, par défaut, plus une atteinte grave aux libertés fondamentales, et que dans certains cas seulement cet accès porte une ingérence grave qu’il faut entourer de garanties.

Concernant notre affaire et le cas précis de la Hadopi en France, la Cour pousse seulement la Hadopi à évoluer. Elle estime que dans certaines situations « atypiques » l’accès à l’adresse IP et l’identité civile associée à une œuvre culturelle peut créer une ingérence grave dans le droit à la vie privée (on peut penser au cas d’une œuvre permettant de tirer des conclusions relatives aux opinions politiques, à l’orientation sexuelle, etc.) ; elle estime aussi que cet accès porte une ingérence grave en cas de « réitération » et exige dès lors que l’accès aux adresses IP ne puisse pas être « entièrement automatisé ». Mais dans tous les autres cas la CJUE dit bien que la Hadopi peut accéder de manière massive et automatisée à l’identité civile des personnes.

Autrement dit, la riposte graduée (du nom de la procédure suivie par Hadopi qui consiste à envoyer plusieurs avertissements dans les premiers temps, avant de saisir la justice si l’internaute ne « sécurise » pas sa connexion) devra changer de forme. Le législateur devra inventer une machine à gaz pour prévoir un pseudo contrôle externe indépendant de l’accès à l’identité civile par la Hadopi. Alors qu’aujourd’hui il n’existe aucune obligation de contrôle externe de la Hadopi, l’autorité devra désormais prévoir un tel contrôle lorsqu’elle souhaite, dans ces cas « atypiques » ou en cas de « réitération » de l’internaute, accéder à l’identité civile. En somme, des agent·es externes à la Hadopi seront chargé·es de cliquer sur un bouton « autoriser », là où aujourd’hui la Hadopi se l’autorise elle-même.

Plus généralement, cet arrêt de la Cour européenne a surtout validé la fin de l’anonymat en ligne. Alors qu’en 2020 elle précisait qu’il existait un droit à l’anonymat en ligne concrétisé par la directive ePrivacy, elle l’abandonne aujourd’hui. Et pour cause : en permettant à la police d’accéder largement à l’identité civile associée à une adresse IP et au contenu d’une communication, elle met de facto fin à l’anonymat en ligne.

Nous nous attendons désormais à ce que le Conseil d’État sauve la Hadopi, malgré cet arrêt. La Quadrature du Net continuera son combat contre la surveillance en ligne, y compris celle de la Hadopi. Pour nous aider, vous pouvez nous faire un don.

VSA et JO : top départ

Vous le savez, la loi JO votée en 2023 autorise la vidéosurveillance algorithmique (VSA) à titre « d’expérimentation » sur une période assez étendue, jusqu’à 2025. On attendait les arrêtés préfectoraux nécessaires pour les utilisations de la VSA lors des événements publics qui doivent servir de terrain d’essai. Les premiers arrêtés sont arrivés durant ce mois d’avril.

La RATP et la SNCF ont ainsi pu surveiller automatiquement les personnes à l’occasion du match PSG-OL du 21 au 22 avril et lors du concert des Black Eyed Peas le 20 avril, sur des caméras installées à la Gare de Lyon et près du pont du Garigliano, ainsi que l’ensemble des caméras des stations de métro et de RER dans les gares de Nanterre Préfecture et de La Défense Grande Arche.

La Quadrature du Net s’est mobilisée depuis 2019 contre cette technologie et continue sa bataille. Nous vous tiendrons au courant dans les prochaines semaines des actions à venir !

Lire l’article : https://www.laquadrature.net/2024/04/17/experimentation-de-la-vsa-les-premieres-autorisations-sont-tombees/

La loi SREN aggravée en commission paritaire

Nous avions suivi depuis mai 2023 les discussions de la loi pour « Sécuriser et réguler l’espace numérique » (SREN), qui était encore travaillée en mars dernier par la commission mixte paritaire – un groupe de membres de l’Assemblée nationale et du Sénat à parts égales – pour trouver un accord sur un texte commun entre les deux chambres.

La commission a rendu son travail le 16 mars, et le résultat n’est pas bon. Vérification obligatoire de l’âge des internautes sur les plateformes, retrait des contenus signalés par la police sans validation par un juge (censure administrative), « délit d’outrage en ligne » mal défini, filtrage des sites au niveau du navigateur, etc.

La plupart de ces mesures sont nocives parce qu’elles instaurent des exceptions ou des restrictions à la liberté de communication sous des prétextes populaires (protéger les enfants, en particulier), en autorisant des moyens d’action faciles à utiliser ensuite pour d’autres buts, et placés entre les mains de la police ou des caprices des gouvernements.

Certaines mesures entrent même directement en conflit avec le droit de l’Union européenne. Le texte oblige par exemple les plateformes à vérifier l’âge des internautes. Une obligation qui ne peut être imposée qu’au niveau européen. Pour contourner l’obstacle, la dernière version du texte cible seulement les plateformes situées « en France ou hors de l’Union européenne »…

Découvrez tous les détails diaboliques du texte en lisant notre article.

Lire l’article : https://www.laquadrature.net/2024/04/09/projet-de-loi-sren-le-parlement-saccorde-pour-mettre-au-pas-internet/

Surveillance des militants

Soupçonnées de s’être introduites dans une cimenterie Lafarge en décembre 2023, dans le cadre d’une action écologiste, dix-sept personnes ont été arrêtées le 8 avril 2024. Dans le cadre d’un rassemblement de soutien organisé à Aix-en-Provence, un membre de La Quadrature a lu un texte pour exprimer l’inquiétude de l’association. Sous prétexte de « lutte contre le terrorisme », on a donné à la police et aux services de renseignement des moyens de surveillance numérique démesurés, très intrusifs, peu ou mal contrôlés, utilisés pour monter des dossiers criminels contre des citoyen·nes exerçant des droits politiques légitimes. De l’aveu même des services, la part des militant·es surveillé·es a doublé dans les cinq dernières années. Un texte à lire en intégralité sur notre site.

Lire l’article : https://www.laquadrature.net/2024/04/08/contre-la-criminalisation-et-la-surveillance-des-militant%c2%b7es-politiques/

Soutenir La Quadrature en 2024

Nous avons besoin de vous pour travailler en 2024 ! N’hésitez pas à faire un don de soutien à l’association, ou à faire connaître notre campagne de dons autour de vous. Merci pour votre aide !

Présentation des grands chantiers de 2024 : https://www.laquadrature.net/donner/ et https://www.laquadrature.net/2023/11/15/de-nouveaux-combats-pour-2024/
Faire un don à La Quadrature : https://don.laquadrature.net/

Agenda

• 2 mai 2024 : A-t-on besoin de la vidéosurveillance pour être en sécurité dans nos espaces publics ? À l’occasion d’une conférence à l’ENSAD Paris, nous essayerons d’y répondre en questionnant la notion de sécurité, et la place de la vidéosurveillance dans nos espaces publiques. École des Arts Décoratifs (amphithéatre Rodin), 31 rue d’Ulm, Paris 5e arrondissement, de 18h30 à 20h30. Plus d’informations : https://www.ensad.fr/fr/videosurveillance-espace-public.
• 3 mai 2024 : Apéro public dans nos locaux, 115 rue de Ménilmontant, 75020 Paris, à partir de 19h. Venez nous rencontrer !
• 18 mai 2024 : Conférence « Surveillance de masse et gestion des données personnelles », de 16h à 17h30, Médiathèque Visages du Monde, 10 place du Nautilus, à Cergy. Détails dans le programme de la médiathèque.
• 18 mai 2024 : La Quadrature sera au Festival du livre et des cultures libres à l’espace autogéré des Tanneries, à Dijon. Plus d’infos ici : https://festivaldulivre.tanneries.org/.
• 25 mai 2024 : Journées du logiciel libre à Lyon – Conférence « La vidéosurveillance algorithmique menace nos villes, contre-attaquons ! », à 13h. Plus d’infos sur la conférence ici : https://pretalx.jdll.org/jdll2024/talk/ZNZL3Z/ et plus d’infos sur les JDLL : https://www.jdll.org/.
• Retrouvez tout l’agenda en ligne.

La Quadrature dans les médias

VSA et JO

• Surveillance : les JO vont-ils créer un précédent ? [RFI]

Algos de contrôle social

• Dématérialiser pour mieux régner : l’algorithmisation du contrôle CAF [Le vent se lève]

Loi SREN

• Une commission mixte paritaire modifie la contestée loi SREN [Siècle Digital]
• Le Parlement rectifie le projet de loi SREN pour répondre aux exigences européennes [Hardware & Co]

Surveillance

• Félix Tréguer: « On assiste à une légalisation des pratiques de surveillance numériques » [L’Echo]
• Brest : la mairie installe des caméras équipées d’un logiciel israélien, elles sont repeintes en quelques jours [Contre-Attaque]

Divers

• Défendre les libertés fondamentales dans le numérique, avec la Quadrature du Net [C-Lab]
• Vol de données de 43 millions de Français : que risquez-vous ? Qui est responsable ? [Blast]

Les premiers arrêtés préfectoraux autorisant la vidéosurveillance algorithmique (VSA) dans le cadre de la loi JO viennent d’être publiés. La RATP et la SNCF peuvent désormais surveiller automatiquement les personnes à l’occasion du match PSG/OL du 19 au 22 avril et du concert des Black Eyed Peas le 20 avril. La Quadrature du Net s’est mobilisée depuis 2019 contre cette technologie et continue sa bataille. Nous vous tiendrons au courant dans les prochaines semaines des actions à venir.

Déployée en toute illégalité depuis des années et autorisée de façon inédite en Europe avec la loi sur les JOP, la vidéosurveillance algorithmique était dans les starting blocks pour être utilisée pour la première fois par la police. C’est maintenant chose faite.

La préfecture de police de Paris a autorisé ce 17 avril 2024 l’utilisation du logiciel de VSA de la société Wintics par la SNCF et la RATP. La surveillance commencera dès le 19 avril sur 118 caméras de la gare de Lyon et du pont du Garigliano à Paris. Elle concernera également le 20 avril l’ensemble des caméras des stations de métro et de RER des gares de Nanterre Préfecture et de La Défense Grande Arche.

La rumeur d’une autorisation de VSA à l’occasion du match PSG-OL circulait depuis plusieurs semaines puisque la SNCF annonçait depuis quelques temps sur des affiches gare de Lyon avoir obtenu une autorisation de la préfecture de Police. On apprenait sur cette affiche que la SNCF procédait déjà à des « tests » liés à la phase de conception de l’algorithme, où les personnes filmées servent de cobayes pour ajuster les logiciels. Des tests ont aussi été effectués lors de deux concerts de Depeche Mode à Paris. Une autre affiche dans les couloirs du métro parisien indiquait que des expérimentations allaient aussi bientôt être mises en œuvre par la RATP.

Nous avons développé un outil de recensement des autorisations préfectorales de surveillance, dont l’information fait quasi systématiquement défaut, ce qui empêche les personnes surveillées d’être au courant de ces mesures. Cet outil, dénommé « Attrap’Surveillance » (pour Automate de Traque des Termes de Recherche dans les Arrêtés Préfectoraux), analyse automatiquement les recueils des actes administratifs de chaque préfecture afin d’y repérer les autorisations préfectorales d’utilisation des drones et de VSA. C’est comme cela que nous avons pu apprendre la publication aujourd’hui de la première autorisation formelle d’une utilisation répressive de la VSA à Paris. En publiant aussi tardivement ces arrêtés, le préfet de police tente d’éviter au maximum les recours en justice, qui n’auront probablement pas le temps d’être jugés avant le début de la surveillance algorithmique.

Face à la concrétisation de cette surveillance, aux abus qui se profilent et à la Technopolice qui avance illégalement en parallèle de la loi JO, La Quadrature du Net s’apprête à répliquer. Nous vous tiendrons au courant dans les prochaines semaines des actions à venir.

Nous vous parlions l’année dernière du projet de loi SREN (pour « Sécuriser et réguler l’espace numérique »). Il s’agit d’un texte censé réguler les plateformes en ligne, dont nombre de ses mesures ont révélé une vision archaïque d’Internet¹Voir notre analyse générale du texte, celle spécifique du filtre anti-arnaque, et celle sur la vérification de l’âge en ligne co-écrite avec Act Up-Paris.. Le 26 mars dernier, député·es et sénateur·rices de la commission mixte paritaire (CMP) se sont accordé·es sur une version commune du texte. Les modifications apportées ne sont pourtant que cosmétiques. Après son vote la semaine dernière par le Sénat, cette version commune doit encore être votée par l’Assemblée nationale demain. Nous appelons cette dernière à le rejeter.

Vérification de l’âge : s’isoler plutôt que de se conformer au droit européen

Si le projet de loi SREN met autant de temps à être voté, c’est que la France mène depuis plusieurs mois un bras de fer avec la Commission européenne. Normalement, la régulation des plateformes en ligne se décide au niveau de l’ensemble de l’Union européenne. Pourtant, avec ce texte, le gouvernement français a décidé de n’en faire qu’à sa tête. En voulant forcer les plateformes hébergeant du contenu pornographique à vérifier l’âge des internautes, mesure inutile qui n’empêchera pas les mineur·es d’accéder à ces contenus, la France souhaite ainsi s’affranchir des règles européennes qui s’imposent normalement à elle.

La Commission européenne n’a évidemment pas vu cela d’un bon œil. Elle a donc actionné les pouvoirs qui lui sont octroyés dans ce genre de situations, et a bloqué le texte à deux reprises, arguant que le projet de loi SREN empiétait sur le droit de l’Union.

La parade trouvée par la CMP consiste à restreindre l’obligation de vérification de l’âge des internautes aux seules plateformes établies « en France ou hors de l’Union européenne ». Autrement dit, puisque les plateformes européennes ne sont plus concernées par cette vérification d’âge, cette mesure ne rentre plus dans le champ du droit européen, et la Commission européenne n’a plus rien à dire ! Stupide, mais habile formalisme.

La France décide ainsi de s’isoler du reste de l’Union : les plateformes françaises ou non-européennes devront faire cette vérification d’âge, alors que les plateformes européennes en seront épargnées. On félicitera l’audace de la parade : alors qu’habituellement, pour refuser les régulations sur les sujets numériques, le gouvernement français est le premier à brandir la concurrence des États sur Internet et le risque que les acteurs français s’enfuient à l’étranger en cas de « sur-régulation » (argument brandi par exemple pour détricoter le règlement IA ou supprimer l’interopérabilité des réseaux sociaux), il semble ici s’accommoder précisément de ce qu’il dénonce, puisque les plateformes françaises seront pénalisées par rapport à celles situées dans le reste de l’UE. Tout ça pour garder la face.

Ce tour de passe-passe politique ne doit néanmoins pas masquer la réalité de cette vérification d’âge. Au-delà d’une question d’articulation avec le droit de l’Union européenne, cette mesure, comme nous le dénonçons depuis le début, mettra fin à toute possibilité d’anonymat en ligne, notamment sur les réseaux sociaux (voir notre analyse et celle d’Act Up-Paris sur la question de la vérification de l’âge).

Vous reprendrez bien un peu de censure automatisée ?

Le texte final de ce projet de loi prévoit d’étendre la censure automatisée. Ses articles 3 et 3 bis A prévoient une obligation de censure en 24 heures des contenus, respectivement d’abus sexuels sur enfants et de représentation d’actes de torture et de barbarie. Le mécanisme est un calque de la censure automatisée des contenus à caractère terroriste : une notification de la police, une obligation de censure en 24h sous peine de fortes amendes et de plusieurs années de prison, un contrôle par la justice qui n’est pas obligatoire puisque le juge doit être saisi une fois la censure effective par l’hébergeur des contenus et non par la police.

La Quadrature du Net, tout comme de nombreuses autres organisations, dénoncent depuis des années le fait que ce système de censure administrative en très peu de temps aura comme conséquence une automatisation de la censure : face aux sanctions monstrueuses en cas de non-retrait, et alors que les hébergeurs n’ont que très peu de temps pour agir, ils seront nécessairement poussés à ne pas contester la police et à censurer les contenus qu’on leur demande de retirer. C’est d’ailleurs exactement ce mécanisme qu’avait censuré le Conseil constitutionnel en 2020 avec la loi Avia, et qu’avec cinq autres associations nous dénonçons devant la justice à propos du règlement européen de censure terroriste.

Et le prétexte de la lutte contre les abus sexuels sur mineur·es ou la lutte contre les actes de torture ou de barbarie ne peut justifier ces censures. Tout comme le projet de règlement européen CSAR (pour « Child sexual abuse regulation », aussi appelé « Chat Control »), le projet de loi SREN ne résoudra pas le problème des abus sexuels sur mineur·es ni des actes de torture en censurant ces contenus. Une autre politique, ambitieuse, pour lutter contre les réseaux et trafiquants, est pour cela nécessaire.

Prendre les gens pour des schtroumpfs

Les débats sur ce projet de loi auront, une fois de plus, démontré la piètre qualité des débats parlementaires lorsqu’il s’agit de numérique²Ce qui n’est pas inédit, voir par exemple ce qui s’est passé pendant les débats sur la loi JO qui a légalisé une partie de la vidéosurveillance algorithmique.. Les débats autour du filtre « anti-arnaque » ou de la peine de bannissement ont été particulièrement révélateurs de la manière dont le gouvernement voit les internautes : comme des incapables à qui il faudrait montrer la voie, quitte à mentir.

Le filtre anti-arnaque n’a pas été substantiellement modifié en CMP et la vision paternaliste que nous dénoncions (voir notre analyse) est toujours présente en l’état actuel du texte. Ce filtre fait le constat de l’inefficacité des listes anti-hameçonnages qu’utilisent les principaux navigateurs mais, au lieu de fournir une liste anti-hameçonnage complémentaire, de qualité et transparente, le gouvernement préfère forcer la main des navigateurs en leur imposant de censurer les contenus et de devenir des auxiliaires de police.

Main sur le cœur, le gouvernement nous promet toutefois que seuls les contenus d’hameçonnage seront concernés par ce nouveau dispositif de censure que devront implémenter les navigateurs. N’ayons aucune crainte, cette nouvelle manière de censurer ne sera jamais étendue à tout le reste ! Difficile, en réalité, de croire un gouvernement d’Emmanuel Macron alors que ce dernier a clairement adopté depuis son arrivée à l’Élysée une politique de remise en cause drastique des libertés fondamentales (voir notre récapitulatif en 2022 pour son premier mandat).

Et difficile de croire un gouvernement dont le ministre Jean-Noël Barrot, lorsqu’il était chargé de défendre ce texte avant d’être débarqué des affaires numériques, n’hésitait pas à raconter n’importe quoi pour mieux faire passer la pilule. Car la peine de bannissement de réseaux sociaux, prévue à l’article 5 du projet de loi, nécessite que les plateformes connaissent l’identité des personnes ouvrant un compte (et ce afin d’empêcher que les personnes bannies ne reviennent sur la plateforme). Or, questionné sur France Culture à propos des atteintes à l’anonymat en ligne qu’implique cette mesure, le ministre Barrot a préféré mentir plutôt que d’admettre le problème. Il a affirmé que le projet de loi ne prévoyait qu’« une obligation de moyens [d’empêcher un·e internaute banni·e de se refaire un compte] mais qui n’est pas sanctionnée par une amende ». Sauf que c’est totalement faux : un réseau social qui n’aurait pas empêché un·e internaute banni·e de se refaire un compte risquera jusqu’à 75 000 € d’amende par compte recréé. Et ce point n’a pas évolué lors des débats parlementaires.

Détricoter la loi de 1881 sur la liberté d’expression

Le texte final comporte une grande nouveauté : le délit d’outrage en ligne a été réintroduit par la CMP. Cette disposition, initialement introduite par le Sénat puis supprimée par l’Assemblée nationale car jugée trop dangereuse, consiste à faire des abus d’expression en ligne une circonstance aggravante par rapport aux cas où ils seraient commis hors ligne. Concrètement, le projet de loi SREN sanctionne de 3 750 euros d’amende et d’un an d’emprisonnement le fait de « diffuser en ligne tout contenu qui soit porte atteinte à la dignité d’une personne ou présente à son égard un caractère injurieux, dégradant ou humiliant, soit crée à son encontre une situation intimidante, hostile ou offensante ».

Il s’agit donc d’un délit extrêmement large puisque la notion de « situation intimidante, hostile ou offensante » n’est nullement définie légalement et sera la porte ouverte aux interprétations larges. De plus, la possibilité de sanctionner ce délit par une amende forfaitaire rajoute des possibilités d’abus, ce que dénoncent déjà des avocat·es et la Défenseure des droits. Mais ce délit peut également être sanctionné par une peine de bannissement.

Surtout, ce délit d’outrage en ligne déroge à la loi de 1881. Cette loi est le socle qui régit aujourd’hui les abus d’expression, y compris en ligne : elle prévoit des mécanismes qui évitent les abus (délais de prescription courts, procédures particulières, etc.). Exit ces garde-fous : en introduisant ce délit d’outrage en ligne dans le code pénal et non dans la loi de 1881, le législateur concrétise une longue envie de la droite autoritaire de détricoter cette loi. Pourquoi, pourtant, faudrait-il abandonner les protections de la loi de 1881 pour le simple fait que ce serait en ligne, alors que la presse papier ou la télévision sont souvent des déversoirs de haine ?

Le projet de loi SREN n’a donc pas fondamentalement évolué. Il s’agit toujours d’un texte fondé sur un mode de régulation d’Internet à la fois vertical et brutal, qui ne peut mener qu’à une impasse et une restriction des libertés. Comme si l’État ne savait pas réguler un média autrement sur ce modèle autoritaire. Les autres modèles de régulation, notamment l’obligation d’interopérabilité des réseaux sociaux, ont été sèchement rejetés par le pouvoir. Le résultat de ce refus de voir ce qu’est Internet est un texte inadapté, dangereux pour les droits fondamentaux et l’expression libre en ligne, et qui ne résoudra aucunement les problèmes auxquels il prétend s’attaquer. L’Assemblée nationale doit donc rejeter ce projet de loi. Et pour nous aider à continuer la lutte, vous pouvez nous faire un don.

Ce texte a été lu par un·e membre de La Quadrature du Net le 5 avril 2024 lors du rassemblement devant le Tribunal judiciaire d’Aix-en-Provence, à l’occasion des deux nouvelles mises en examen dans l’affaire Lafarge.

On est là aujourd’hui pour dire notre soutien aux personnes convoquées, à toutes les personnes placées en garde à vue et inquiétées dans cette affaire. On est là pour dénoncer l’instrumentalisation de la justice et des services antiterroristes pour réprimer les militantes et militants et dissuader toute forme de désobéissance civile. Là, enfin, pour dire notre indignation face au recours systématique à des formes de surveillance intrusives et totalement disproportionnées.

Les mises en examen de ce jour, ou celles qui les ont précédé dans cette « affaire Lafarge », s’inscrivent dans un contexte plus global. Jusqu’à un passé pas si lointain, de nombreuses formes d’action directes étaient tolérées par les autorités. Mais progressivement, en lien avec la dérive néo-libérale amorcée dans les années 1980, l’espace accordé à la critique d’un système injuste et écocide a fondu comme neige au soleil. De crise en crise, on a assisté à la consolidation d’un État d’exception, à l’inflation des services de renseignement, à la multiplication de dérogations au droit libéral — un droit certes bien trop imparfait, mais qui n’en demeurait pas moins un héritage fondamental des luttes passées. On a également vu un pouvoir politique s’entêter au point de ne plus tolérer la moindre contestation, instrumentalisant le droit commun à coup d’amendes, de dissolutions, de maintien de l’ordre hyper-violent.

Le tout pour réprimer toutes celles et ceux qui ont la dignité de dire leur refus d’un système à la violence décomplexée, et le courage de mettre ce refus en actes. Dans ce processus du criminalisation des militant·es, les services de renseignement, de police judiciaire comme les magistrats du parquet peuvent désormais s’appuyer sur les exorbitants moyens de surveillance. Autant de dispositifs qui se sont accumulés depuis 25 ans et qui, dans l’affaire Lafarge et d’autres jugées récemment, s’emboîtent pour produire une surveillance totale. Une surveillance censée produire des éléments sur lesquels pourront s’édifier le récit policier et la répression.

Cette surveillance, elle commence par l’activité des services de renseignement. Contrôles d’identité qui vous mettent dans le viseur des services, caméras et micro planquées autour de lieux militants ou dans des librairies, balises GPS, interceptions, analyse des métadonnées, … Tout est bon pour servir les priorités politiques et justifier la pérennisation des crédits. L’activité du renseignement consacrée à la surveillance des militant·es – érigée en priorité depuis la stratégie nationale du renseignement de 2019 –, elle a doublé sous Macron, passant de 6 % au moins du total des mesures de surveillance en 2017 à plus de 12% en 2022.

Après le fichage administratif, après les notes blanches du renseignement, vient le stade des investigations judiciaires. Là encore, comme l’illustre l’affaire Lafarge, la surveillance en passe par le recours à la vidéosurveillance – plus de 100 000 caméras sur la voie publique aujourd’hui –, puis par l’identification biométrique systématique, notamment via la reconnaissance faciale et le fichier TAJ, ou quand ce n’est pas possible par le fichier des cartes d’identité et de passeport, l’infâme fichier TES, qui est ainsi détourné.

Pour rappel, le recours à la reconnaissance faciale via le fichier TAJ, ce n’est pas de la science fiction. Ce n’est pas non plus l’exception. Il est aujourd’hui utilisée au moins 1600 fois par jour par la police, et ce alors que cette modalité d’identification dystopique n’a jamais été autorisée par une loi et que, de fait, son usage n’est pas contrôlé par l’autorité judiciaire.

Cette reconnaissance faciale, elle est employée y compris pour des infractions dérisoires, notamment lorsqu’il s’agit d’armer la répression d’opposants politiques comme l’ont illustré les jugements de la semaine dernière à Niort, un an après Sainte-Soline. Et ce alors que le droit européen impose normalement un critère de « nécessité absolue ».

La surveillance découle enfin du croisement de toutes les traces numériques laissées au gré de nos vies et nos activités sociales. Dans cette affaire et d’autres encore, on voit ainsi se multiplier les réquisitions aux réseaux sociaux comme Twitter ou Facebook, l’espionnage des conversations téléphoniques et des SMS, le suivi des correspondances et des déplacements de groupes entiers de personnes via leurs métadonnées, la surveillance de leurs publications et de leurs lectures, la réquisition de leurs historiques bancaires ou des fichiers détenus par les services sociaux, … Le tout, souvent sur la seule base de vagues soupçons. Et à la clé, une violation systématique de leur intimité ensuite jetée en pâture à des policiers, lesquels n’hésitent pas à à s’en servir pour intimider ou tenter d’humilier lors des interrogatoires, et construire une vision biaisée de la réalité qui puisse corroborer leurs fantasmes.

De plus en plus, c’est la logique même de la résistance à la dérive autoritaire qui est criminalisée. Vous utilisez des logiciels libres et autres services alternatifs aux multinationales qui dominent l’industrie de la tech et s’imbriquent dans les systèmes de surveillance d’État ? Cela suffit à faire de vous un suspect, comme le révèle l’affaire du « 8 décembre » jugée il y a quelques mois. Vous choisissez des messageries dotées de protocoles de chiffrement pour protéger votre droit à la confidentialité des communications ? On pourra recourir aux spywares et autres méthodes d’intrusion informatique pour aspirer le maximum de données contenues dans vos ordinateurs ou smartphones. C’est ce dont a été victime le photographe mis en cause dans cette affaire. Et si vous refusez de livrer vos codes de chiffrement lors d’une garde à vue, on retiendra cela contre vous et on intentera des poursuites, quand bien même l’infraction censée légitimer votre garde à vue s’est avérée tout à fait grotesque.

Pour conclure, nous voudrions rappeler que, dans les années 30, alors que l’Europe cédait peu à peu au fascisme, un gouvernement français pouvait faire du pays une terre d’accueil pour les militant·es, les artistes, les intellectuelles. C’était juste avant la fin honteuse de la IIIe république, juste avant le régime de Vichy. Aujourd’hui, alors que, à travers l’Europe comme dans le monde entier, les militant·es des droits humains, les militant·es écologistes, celles et ceux qui dénoncent la violence systémique des États ou les méfaits des multinationales, sont chaque jour plus exposé·es à la répression, l’État français se place aux avant-gardes de la dérive post-fasciste.

Reste à voir si, plutôt que de s’en faire la complice active comme le font craindre les décisions récentes, l’institution judiciaire aura encore la volonté d’y résister.

Pour mieux surveiller ses allocataires, La CAF aura dorénavant accès aux revenus des Français en temps réel

Notre travail d’enquête sur les algorithmes de contrôle social continue. Après avoir obtenu l’algorithme utilisé par la CAF pour contrôler ses allocataires en fonction d’un « score de risque », après avoir analysé cette méthode de calcul et démontré qu’elle ciblait volontairement les personnes les plus précaires, nous poursuivons nos recherches du côté des outils utilisés par d’autres services sociaux : assurance vieillesse, assurance maladie, assurance chômage, etc. Vous pouvez retrouver l’ensemble de ces travaux sur notre page de campagne.

Mais les dernières nouvelles concernant les pratiques de la CAF nous sont arrivées par la presse : tout en se défendant des mauvaises intentions que nous lui prêtions, la CAF continuait/continu ? de demander l’accès à toujours plus de données, pour mieux surveiller ses allocataires. Elle a donc obtenu récemment le droit d’accéder au fichier du Dispositif des ressources mensuelles (DRM), qui recense quotidiennement pour chaque personne l’intégralité de ses sources de revenus : les salaires perçus et les prestations sociales touchées. Créé pour faciliter le calcul des aides personnalisées pour le logement (APL), le fichier connaît donc une déviation flagrante de sa finalité première. Et l’utilisation que compte en faire la CAF n’est pas brillante : il s’agit d’améliorer la « productivité » de son algorithme de contrôle.
Les revenus des allocataires étaient jusqu’à présent connus annuellement au moment de la déclaration de revenus, ou chaque trimestre auprès des allocataires. La surveillance mensuelle des variations de revenus, en permettant une révision plus serrée des droits des allocataires, permettra sans doute de détecter de plus nombreux « trop perçus » – voilà pour la « productivité ». Et qui sont les personnes dont les revenus varient le plus, et ont le plus besoin des aides sociales ? Les plus pauvres, encore une fois.

En plus de cette discrimination automatisée, cette annonce nous paraît révéler deux problèmes : d’une part l’inefficacité du contrôle opéré par la CNIL, pourtant créée pour surveiller l’usage des fichiers, et d’autre part le dévoiement du projet gouvernemental de « solidarité à la source », annoncé comme un moyen de lutter contre le « non recours » aux aides sociales, en passe de devenir un système de centralisation des donnée pléthorique et sans contrôle.

Lire l’article : https://www.laquadrature.net/2024/03/13/notation-des-allocataires-la-caf-etend-sa-surveillance-a-lanalyse-des-revenus-en-temps-reel/

Soutenir La Quadrature en 2024

Nous sommes toujours en campagne de soutien pour financer notre travail en 2024. C’est pour nous l’occasion de présenter les grands chantiers en cours, principalement la lutte contre les algorithmes de contrôle social dans les administrations, la défense du droit au chiffrement des communications, la promotion de l’interopérabilité des services Web, et la réflexion nécessaire autour du numérique dans le contexte de la crise écologique mondiale.

Nous avons besoin de vous pour travailler en 2024 ! N’hésitez pas à faire un don de soutien à l’association, ou à faire connaître notre campagne de dons autour de vous. Merci pour votre aide !

Présentation des grands chantiers de 2024 : https://www.laquadrature.net/donner/ et https://www.laquadrature.net/2023/11/15/de-nouveaux-combats-pour-2024/
Faire un don à La Quadrature : https://don.laquadrature.net/

Agenda

• 29 mars 2024 : apéro public dans nos locaux, 115 rue de Ménilmontant, 75020 Paris, à partir de 19h.
• 11 avril 2024 : causerie mensuelle du groupe Technopolice Marseille, au Manifesten, 59 rue Adolphe Thiers, 13001 Marseille, à partir de 19h.

La Quadrature dans les médias

Algos de contrôle social

• CAF : pourquoi la solidarité à la source n’est pas forcément une bonne nouvelle pour les allocataires du RSA et de la prime d’activité [Midi Libre]
• RSA, prime d’activité : la solidarité à la source, un piège pour les allocataires ? [Merci pour l’info]
• RSA, prime d’activité : analyse de vos ressources à la source, ce nouveau piège pour les allocataires [Actualité News]
• Fraude sociale : les bénéficiaires de l’AAH particulièrement visés par la CAF ? [Econostrum]
• CAF : les allocataires du RSA et de la prime d’activité doivent se méfier de la solidarité à la source ! [Les écrans de Paris]
• Révélation choc : Comment le RSA et la prime d’activité pourraient devenir des outils de surveillance [Mobeez]
• La CAF cible-t-elle particulièrement les bénéficiaires de l’AAH pour le fraude sociale ? [Objeko]
• Algorithme CNAF. Quand la branche famille cible les plus précaires? [La CGT Analyses et Propositions]

Surveillance

• Ecoutes, géolocalisations : de plus en plus de personnes sont surveillées en France [Basta!]
• Extension de la surveillance : « On est en plein solutionnisme technologique » [Basta!]

Technopolice : police prédictive

• « Fichage illégal », surveillance sur les réseaux sociaux… La police prédictive est-elle hors-la-loi ? [Usbek & Rica]
• « Police prédictive » : les algorithmes peuvent-ils vraiment devancer les délinquants ? [Usbek & Rica]

Technopolice : VSA et JO

• Vidéoprotection « intelligente » : « L’objectif, c’est qu’elle soit généralisée plus tard », estime la sénatrice LR Agnès Canayer [Public Sénat]
• JO de Paris 2024 : De la vidéosurveillance sans reconnaissance faciale, vraiment ? [20 minutes]
• Paris 2024 : un premier test de la vidéosurveillance algorithmique à l’occasion d’un concert de Depeche Mode [Libération]
• Derniers préparatifs avant le déploiement de la vidéosurveillance algorithmique [Siècle Digital]

Divers

• Comme la quadrature du net, le SMG dénonce le fichage des personnes trans [Syndicat de la médecine générale]
• La France crée un fichier des personnes trans [Dijoncter.info]
• Loi Avia : la mobilisation de la Quadrature du Net contre une censure « autoritaire » [Salle421.eu]

Retrouvez l’ensemble de nos publications, documentations et prises de positions sur l’utilisation par les organismes sociaux – CAF, Pôle Emploi, Assurance Maladie, Assurance Vieillesse – d’algorithmes à des fins de contrôle social sur notre page dédiée et notre gitlab.

Il y a tout juste deux mois, nous publiions le code source de l’algorithme de notation des allocataires de la CAF. Cette publication démontrait l’aspect dystopique d’un système de surveillance allouant des scores de suspicion à plus de 12 millions de personnes, sur la base desquels la CAF organise délibérement la discrimination et le sur-contrôle des plus précaires. Ce faisant, nous espérions que, face à la montée de la contestation¹Le président de la Seine-Saint-Denis a notamment saisi le Défenseur des Droits suite à la publication du code source de l’algorithme. Notre travail pour obtenir le code source de l’algorithme a par ailleurs servi aux équipes du journal Le Monde et de Lighthouse Reports pour publier une série d’articles ayant eu un grand retentissement médiatique. Une députée EELV a par ailleurs abordé la question de l’algorithme lors des questions au gouvernement. Thomas Piketty a écrit une tribune sur le sujet et ATD Quart Monde un communiqué. Le parti EELV a aussi lancé une pétition sur ce sujet disponible ici., les dirigeant·es de la CAF accepteraient de mettre fin à ces pratiques iniques. Il n’en fut rien.

À la remise en question, les responsables de la CAF ont préféré la fuite en avant. La première étape fut un contre-feu médiatique où son directeur, Nicolas Grivel, est allé jusqu’à déclarer publiquement que la CAF n’avait ni « à rougir » ni à s’« excuser » de telles pratiques. La deuxième étape, dont nous venons de prendre connaissance²Voir l’article « L’État muscle le DRM, l’arme pour lutter contre la fraude et le non-recours aux droits » publié le 01/02/2024 par Emile Marzof et disponible ici., est bien plus inquiétante. Car parallèlement à ses déclarations, ce dernier cherchait à obtenir l’autorisation de démultiplier les capacités de surveillance de l’algorithme via l’intégration du suivi en « temps réel »³Bien que la fréquence de mise à jour des revenus soit majoritairement mensuelle, dans la mesure où les salaires sont versés une fois par mois, nous reprenons ici l’expression utilisée par la Cour des comptes. Voir le chapitre 9 du Rapport sur l’application des lois de financement de la sécurité sociale de 2022 disponible ici. des revenus de l’ensemble des allocataires. Autorisation qu’il a obtenue, avec la bénédiction de la CNIL, le 29 janvier dernier⁴Décret n° 2024-50 du 29 janvier 2024 disponible ici. Voir aussi la délibération n° 2023-120 du 16 novembre 2023 de la CNIL ici. Le décret prévoit une expérimentation d’un an. La surveillance des revenus est aussi autorisée pour le contrôle des agriculteurs·rices par les Mutualités Sociales Agricoles et des personnes âgées par la Caisse Nationale d’Assurance Vieillesse..

Surveillance et « productivité » des contrôles

Pour rappel, le revenu est une des quelque quarante variables utilisées par la CAF pour noter les allocataires. Comme nous l’avions montré, plus le revenu d’un·e allocataire est faible, plus son score de suspicion est élevé et plus ses risques d’être contrôlé·e sont grands. C’est donc un des paramètres contribuant directement au ciblage et à la discrimination des personnes défavorisées.

Jusqu’à présent, les informations sur les revenus des allocataires étaient soit récupérées annuellement auprès des impôts, soit collectées via les déclarations trimestrielles auprès des allocataires concerné·es (titulaires du RSA, de l’AAH…)⁵Voir lignes 1100 du code de l’algorithme en usage entre 2014 et 2018 disponible ici : pour le calcul des revenus mensuels, la CAF utilise soit les déclarations de revenus trimestrielles (dans le cadre des personnes au RSA/AAH) divisées par 3, soit les revenus annuels divisés par 12. Si nous ne disposons pas de la dernière version de l’algorithme, la logique devrait être la même.
. Désormais, l’algorithme de la CAF bénéficiera d’un accès en « temps réel » aux ressources financières de l’ensemble des 12 millions d’allocataires (salaires et prestations sociales).

Pour ce faire, l’algorithme de la CAF sera alimenté par une gigantesque base de données agrégeant, pour chaque personne, les déclarations salariales transmises par les employeurs ainsi que les prestations sociales versées par les organismes sociaux (retraites, chômage, RSA, AAH, APL…)⁶ L’architecture de la base DRM repose sur l’agrégation de deux bases de données. La première est la base des « Déclarations Sociales Nominatives » (DSN) regroupant les déclarations de salaires faites par les employeurs. La seconde, « base des autres revenus » (PASRAU), centralise les prestations sociales monétaires (retraites, APL, allocations familiales, indemnités journalières, AAH, RSA, allocations chômage..). La base DRM est mise à jour quotidiennement et consultable en temps réel. D’un point de vue pratique, il semblerait que le transfert de données de la base DRM à la CAF soit fait mensuellement. La CAF peut aussi accéder à une API pour une consultation du DRM en temps réel. Voir notamment le chapitre 9 du rapport de la Cour des comptes d’octobre 2022 sur l’application des lois de financement de la sécurité sociale, disponible ici.
 : c’est le « Dispositif des Ressources Mensuelles » (DRM). Cette base, créée en 2019 lors de mise en place de la réforme de la « contemporanéisation » des APL⁷Plus précisément, cette base a été créée afin de mettre en place la réforme des APL de 2021 et l’information des assuré·es sociaux (voir la délibération de la CNIL 2019-072 du 23 mai 2019 disponible ici et le décret n° 2019-969 du 18 septembre 2019 disponible ici.) La liste des prestations sociales pour lesquelles le DRM peut être utilisé à des fins de calcul s’est agrandie avec le récent décret permettant son utilisation à des fins de contrôle (voir le décret n°2024-50 du 29 janvier 2024 disponible ici. Il peut désormais, entre autres, être utilisée pour le calcul du RSA, de la PPA – prime d’activité –, des pensions d’invalidités, de la complémentaire santé-solidaire, des pensions de retraite… Il est par ailleurs le pilier de la collecte de données sur les ressources dans le cadre du projet de « solidarité » à la source. Concernant la lutte contre la fraude, son utilisation n’était pas envisagée pour détecter des situations « à risque » même si certaines de ces données pouvaient, a priori, être utilisées notamment lors d’un contrôle par les administrations sociales (consultation RNCPS – répertoire national commun de protection sociale…) via l’exercice du droit de communication. Voir aussi le rapport de la Cour des comptes d’octobre 2022 sur l’application des lois de financement de la sécurité sociale, disponible ici ainsi que le rapport de la Cour des comptes de 2021 sur la mise en place du prélèvement à la source disponible ici.
, est mise à jour quotidiennement, et offre des capacités inégalées de surveillance des allocataires.

La justification d’une telle extension de la surveillance à l’œuvre à des fins de notation des allocataires est d’accroître la « productivité du dispositif [de l’algorithme] » selon les propres termes des responsables de la CAF⁸Voir la délibération 2023-120 de la CNIL disponible ici.
. Qu’importe que se multiplient les témoignages révélant les violences subies par les plus précaires lors des contrôles⁹Voir notamment les témoignages collectés par le collectif Changer de Cap, disponibles ici et le rapport de la Défenseure des Droits.. Qu’importe aussi que les montants récupérés par l’algorithme soient dérisoires au regard du volume des prestations sociales versées par l’institution¹⁰Les montants d’« indus » récupérés par la CAF dans le cadre des contrôles déclenchés par l’algorithme représentent 0,2% du montant total des prestations versées par la CAF. Voir ce document de la CAF.. Les logiques gestionnaires ont fait de la course aux « rendements des contrôles » une fin en soi à laquelle tout peut être sacrifié.

Que cette autorisation soit donnée à titre « expérimental », pour une période d’un an, ne peut être de nature à nous rassurer tant on sait combien le recours aux « expérimentations » est devenu un outil de communication visant à faciliter l’acceptabilité sociale des dispositifs de contrôle numérique¹¹Voir notamment notre article « Stratégies d’infiltration de la surveillance biométrique dans nos vies », disponible ici..

La CNIL à la dérive

La délibération de la CNIL qui acte l’autorisation accordée à la CAF de ce renforcement sans précédent des capacités de surveillance de son algorithme de notation laisse sans voix¹²Voir la délibération n° 2023-120 du 16 novembre 2023 disponible ici.. Loin de s’opposer au projet, ses recommandations se limitent à demander à ce qu’une attention particulière soit « accordée à la transparence » de l’algorithme et à ce que… le « gain de productivité du dispositif » fasse l’objet d’un « rapport circonstancié et chiffré ». La violation de l’intimité des plus de 30 millions de personnes vivant dans un foyer bénéficiant d’une aide de la CAF est donc ramenée à une simple question d’argent…

Nulle part n’apparaît la moindre critique politique d’un tel dispositif, alors même que cela fait plus d’un an que, aux côtés de différents collectifs et de la Défenseure des Droits, nous alertons sur les conséquences humaines désastreuses de cet algorithme. La CNIL alerte par contre la CNAF sur le risque médiatique auquelle elle s’expose en rappelant qu’un scandale autour d’un algorithme en tout point similaire a « conduit le gouvernement néerlandais à démissionner en janvier 2021 ». Une illustration caricaturale de la transformation du « gendarme des données » en simple agence de communication pour administrations désireuses de ficher la population.

On relèvera également un bref passage de la CNIL sur les « conséquences dramatiques » du risque de « décisions individuelles biaisées » conduisant l’autorité à demander à ce que l’algorithme soit « conçu avec soin ». Celui-ci démontre – au mieux – l’incompétence technique de ses membres. Rappelons que cet algorithme ne vise pas à détecter la fraude mais les indus ayant pour origine des erreurs déclaratives. Or, ces erreurs se concentrent, structurellement, sur les allocataires aux minima sociaux, en raison de la complexité des règles d’encadrement de ces prestations¹³Voir nos différents articles sur le sujet ici et l’article de Daniel Buchet, ancien directeur de la maîtrise des risques et de la lutte contre la fraude de la CNAF. 2006. « Du contrôle des risques à la maîtrise des risques », disponible ici.
. Le ciblage des plus précaires par l’algorithme de la CAF n’est donc pas accidentel mais nécessaire à l’atteinte de son objectif politique : assurer le « rendement des contrôles ». La seule façon d’éviter de tels « biais » est donc de s’opposer à l’usage même de l’algorithme.

Pire, la CNIL valide, dans la même délibération, l’utilisation du DRM à des fins de contrôle de nos aîné·es par l’Assurance Vieillesse (CNAV)… tout en reconnaissant que l’algorithme de la CNAV n’a jamais « fait l’objet de formalités préalables auprès d’elle, même anciennes »¹⁴Si nous n’avons pas encore la preuve certaine que la CNAV utilise un algorithme de profilage pour le contrôle des personnes à la retraite, la CNIL évoque concernant cette administration dans sa délibération « un traitement de profilage » et « un dispositif correspondant [à l’algorithme de la CNAF] » laissant sous-entendre que c’est le cas. . Soit donc qu’il est probablement illégal. Notons au passage que le rapporteur de la CNIL associé à cette délibération n’est autre que le député Philippe Latombe, dont nous avons dû signaler les manquements déontologiques auprès de la CNIL elle-même du fait de ses accointances répétées et scandaleuses avec le lobby sécuritaire numérique¹⁵Voir aussi l’article de Clément Pouré dans StreetPress, disponible ici, qui pointe par ailleurs les relations du député avec l’extrême-droite..

« Solidarité » à la source et contrôle social : un appel à discussion

Si nous ne nous attendions pas à ce que le directeur de la CAF abandonne immédiatement son algorithme de notation des allocataires, nous ne pouvons qu’être choqué·es de voir que sa seule réponse soit de renforcer considérablement ses capacités de surveillance. C’est pourquoi nous appelons, aux côtés des collectifs avec qui nous luttons depuis le début, à continuer de se mobiliser contre les pratiques numériques de contrôle des administrations sociales, au premier rang desquelles la CAF.

Au-delà du mépris exprimé par la CAF face à l’opposition grandissante aux pratiques de contrôle, cette annonce met en lumière le risque de surveillance généralisée inhérent au projet gouvernemental de « solidarité » à la source. Présenté comme la « grande mesure sociale » du quinquennat¹⁶Pour reprendre les termes de cet article du Figaro., ce projet vise à substituer au système déclaratif une automatisation du calcul des aides sociales via le pré-remplissage des déclarations nécessaires à l’accès aux prestations sociales.

Étant donné la grande complexité des règles de calculs et d’attribution de certaines prestations sociales – en particulier les minima sociaux – cette automatisation nécessite en retour que soit déployée la plus grande infrastructure numérique jamais créée à des fins de récolte, de partage et de centralisation des données personnelles de la population française (impôts, CAF, Assurance-Maladie, Pôle Emploi, CNAV, Mutualités Sociales Agricoles….). De par sa taille et sa nature, cette infrastructure pose un risque majeur en termes de surveillance et de protection de la vie privée.

Et c’est précisément à cet égard que l’autorisation donnée à la CAF d’utiliser le DRM pour nourrir son algorithme de notation des allocataires est emblématique. Car le DRM est lui-même une pierre angulaire du projet de « solidarité » à la source¹⁷Plus précisément, cette base a été créée afin de mettre en place la réforme des APL de 2021 et l’information des assuré·es sociaux (voir la délibération de la CNIL 2019-072 du 23 mai 2010 disponible ici et le décret n° 2019-969 du 18 septembre 2019 disponible ici.) La liste des prestations sociales pour lesquelles le DRM peut être utilisé à des fins de calcul s’est agrandie avec le récent décret permettant son utilisation à des fins de contrôle (voir le décret n°2024-50 du 29 janvier 2024 disponible ici. Il peut désormais, entre autres, être utilisée pour le calcul du RSA, de la PPA – prime d’activité –, des pensions d’invalidités, de la complémentaire santé-solidaire, des pensions de retraite… Il est par ailleurs le pilier de la collecte de données sur les ressources dans le cadre du projet de « solidarité » à la source. Concernant la lutte contre la fraude, son utilisation n’était pas envisagée pour détecter des situations « à risque » même si certaines de ces données pouvaient, a priori, être utilisées notamment lors d’un contrôle par les administrations sociales (consultation RNCPS – répertoire national commun de protection sociale…) via l’exercice du droit de communication. Voir aussi le rapport de la Cour des comptes d’octobre 2022 sur l’application des lois de financement de la sécurité sociale, disponible ici ainsi que le rapport de la Cour des comptes de 2021 sur la mise en place du prélèvement à la source disponible ici.
 – sa « première brique » selon les termes du Premier ministre – dont il constitue le socle en termes de centralisation des données financières¹⁸Sénat, commission des affaires sociales, audition de M. Gabriel Attal, alors ministre délégué chargé des comptes publics. Disponible ici.. Or, si sa constitution avait à l’époque soulevé un certain nombre d’inquiétudes¹⁹Voir notamment l’article de Jérôme Hourdeaux « Caisse d’allocations familiales : le projet du gouvernement pour ficher les allocataires » disponible (paywall) ici., le gouvernement s’était voulu rassurant. Nulle question qu’il soit utilisée à des fins de contrôle : ses finalités étaient limitées à la lutte contre le non-recours et au calcul des prestations sociales²⁰Décret n° 2019-969 du 18 septembre 2019 relatif à des traitements de données à caractère personnel portant sur les ressources des assurés sociaux disponible ici. La délibération de la CNIL associée est disponible ici.. Cinq années auront suffit pour que ces promesses soient oubliées.

Nous reviendrons très prochainement sur la solidarité à la source dans un article dédié. Dans le même temps, nous appelons les acteurs associatifs, au premier titre desquels les collectifs de lutte contre la précarité, à la plus grande prudence quant aux promesses du gouvernement et les invitons à engager une discussion collective autour de ces enjeux.

Un nouveau fichier de police pour les immigrées et les transgenres

Un arrêté du ministre de l’Intérieur, dans les derniers jours de décembre 2023, crée un nouveau fichier pour « la consultation de l’identité des personnes ayant changé de nom ou de prénom »., à laquelle les services de police et de gendarmerie auront un accès direct. Vous êtes concernée si vous avez changé de nom à l’état civil, quelle qu’en soit la raison. Concrètement, qui va se retrouver dans ce fichier ? Des personnes dont le nom de famille était lourd à porter (les Connard qui aspirent à une vie plus apaisée), des immigrées qui ont francisé leur nom, et des personnes trans qui ont adopté un prénom en accord avec leur identité de genre. Pourquoi la police a-t-elle besoin de les rassembler dans un fichier ?

On se met à la place des administrations : il est évidement important pour elles de connaître le changement d’état civil d’un personne. Mais des procédures efficace existent déjà et de façon entièrement décentralisée : la modification est signalée au cas par cas aux administrations concernées (impôts, caisses de sécurité sociale, employeur, permis de conduire, etc.), par l’INSEE ou par la personne concernée, et le système fonctionne très bien sans fichier centralisé de police.

Les questions soulevées par la création de ce fichier sont nombreuses. D’abord, il réunit des données sensibles, au sens juridique, mais les précautions légales nécessaires pour ce genre de traitement n’ont pas été prises. La CNIL, créée en 1978 pour mettre un frein à la frénésie de fichage de l’État, semble avoir renoncé à s’en soucier. Non seulement les fichiers prolifèrent de manière spectaculaire depuis une vingtaine d’années, mais les possibilités de les croiser au moment de la consultation se sont démultipliées, à la demande d’une police dont la vision de la société n’est contre-balancée par aucun contre-pouvoir, et même vigoureusement encouragée par les gouvernements.

Or, le comportement du corps policier, pris dans sa globalité statistique, démontre une hostilité marquée à l’égard des personnes d’origine étrangère (même lointainement) et à l’égard des personnes transgenres, fréquemment objets de moqueries, d’humiliations ou de brutalités physiques. Donner aux policiers, ces humains plein de défauts, un moyen de connaître l’origine étrangère ou la transidentité de quelqu’un, c’est exposer les personnes à des risques réels, pour un bénéfice d’enquête très marginal a priori. D’autant plus quand l’actualité montre un nombre croissant d’accès illégaux à des fichiers de police sensibles.

Pour connaître le contexte de la création de ce fichier et notre analyse juridique et politique des risques qu’il comporte, lisez notre article de la semaine dernière !

Lire l’article : https://www.laquadrature.net/2024/01/30/la-france-cree-un-fichier-des-personnes-trans/

Soutenez La Quadrature en 2024

Comme bon nombre d’associations, nous sommes en campagne de soutien pour financer notre travail en 2024. C’est pour nous l’occasion de présenter les grands chantiers qui nous attendent, principalement la lutte contre les algorithmes de contrôle social dans les administrations, la défense du droit au chiffrement des communications, la promotion de l’interopérabilité des services Web, et la réflexion nécessaire autour du numérique dans le contexte de la crise écologique mondiale.

Nous avons besoin de vous pour travailler en 2024 ! N’hésitez pas à faire un don de soutien à l’association, ou à faire connaître notre campagne de dons autour de vous. Merci pour votre aide !

Présentation des grands chantiers de 2024 : https://www.laquadrature.net/donner/ et https://www.laquadrature.net/2023/11/15/de-nouveaux-combats-pour-2024/
Faire un don pour soutenir La Quadrature : https://don.laquadrature.net/

Agenda

• 13 février 2024 : Conférence « Enquêter, s’organiser et lutter contre la surveillance numérique », dans le cadre du Festival international Filmer le travail. 17h30, Université de Poitiers (Amphi Bourdieu). Plus d’infos ici : Enquêter, s’organiser et lutter contre la surveillance numérique.
• 14 mars 2024 : réunion mensuelle du groupe Technopolice Marseille, à 19h au Manifesten, 59 Rue Adolphe Thiers, Marseille. Présentations, discussions, préparations d’actions à venir. Venez nombreuses !

La Quadrature dans les médias

Algorithmes administratifs

• Contrôles de CAF, des associations demandent au gouvernement la fin des algorithmes de scoring [Le Monde]
• Des associations montent au créneau sur le contrôle algorithmique des allocataires [Acteurs publics]
• Les associations de défense des libertés numériques en guerre contre les algorithmes de la CAF [Siècle Digital]
• Algorithme discriminatoire des CAF : un collectif interpelle Matignon [ASH]
• Une trentaine d’associations demandent la fin des « algorithmes de notation » de la CAF [Clubic]
• Des associations montent au créneau sur le contrôle algorithmique des allocataires [Acteurs publics]
• Mémo Sécu n°18 : Algorithme CNAF : Quand la branche famille cible les plus précaires ? [CGT Finances publiques]
• Les pratiques informatiques de la CAF contestées par des associations [La revue du digital]
• Fraude sociale : voici comment procède la CAF pour contrôler ses allocataires [Econostrum]

Divers

• « Jachère », robots à tout bout de champ, roman posthume de Philippe Aigrain [Libération]
• Félix Tréguer : “La surveillance croit largement avec les techniques d’IA” [Techniques de l’ingénieur]
• JO et surveillance : Des incubateurs de nos non-libertés [CGT Paris]

Révélé et dénoncé par plusieurs associations de défense des droits des personnes transgenres, un récent arrêté ministériel autorise la création d’un fichier de recensement des changements d’état civil. Accessible par la police et présenté comme une simplification administrative, ce texte aboutit en réalité à la constitution d’un fichier plus que douteux, centralisant des données très sensibles, et propice à de nombreuses dérives. Le choix de créer un tel fichier pose d’immenses problèmes aussi bien politiquement que juridiquement.

Brève histoire du RNIPP

Comme beaucoup d’actes réglementaires pris en fin d’année, l’arrêté du 19 décembre 2023 « portant création d’un traitement automatisé de données à caractère personnel dénommé « table de correspondance des noms et prénoms » » aurait pu passer inaperçu. Il est pourtant d’une sensibilité extrême.

Avant d’en détailler le contenu, revenons rapidement sur le contexte et l’origine de ce texte. Celui-ci découle d’un autre acte réglementaire : un décret-cadre de 2019 relatif à l’utilisation du Numéro d’identification au répertoire national des personnes physiques (NIR). Le NIR, c’est ce fameux numéro « de sécurité sociale » attribué à chaque personne à sa naissance sur la base d’éléments d’état civil transmis par les mairies à l’INSEE. Bien que, dans les années 1970, le projet d’utiliser le NIR pour interconnecter des fichiers d’États ait inquiété et conduit à la création de la CNIL, il est aujourd’hui largement utilisé par les administrations fiscales, dans le domaine des prestations sociales, dans l’éducation ou encore la justice, ainsi que pour le recensement. Le NIR peut également être consulté au travers du répertoire national d’identification des personnes physiques (RNIPP).

Si, en théorie, ce numéro devrait être très encadré et contrôlé par la CNIL, son utilisation est aujourd’hui très étendue, comme le démontre ce fameux décret-cadre de 2019 qui recense la longue liste des traitements utilisant le NIR ou permettant la consultation du RNIPP. Régulièrement mis à jour pour ajouter chaque nouveau traitement lié au NIR ou RNIPP, le décret a ainsi été modifié en octobre 2023 pour autoriser une nouvelle possibilité de consultation du RNIPP lié au changement d’état civil. C’est donc cela que vient ensuite préciser l’arrêté de décembre, objet de nos critiques.

Lorsqu’on lit le décret et l’arrêté ensemble, on comprend qu’il accorde aux services de police un accès au RNIPP « pour la consultation des seules informations relatives à l’identité des personnes ayant changé de nom ou de prénom » en application du code civil, à l’exclusion du NIR, et ce « aux fins de transmission ou de mise à disposition de ces informations aux services compétents du ministère de l’intérieur et des établissements qui lui sont rattachés et de mise à jour de cette identité dans les traitements de données à caractère personnel mis en œuvre par eux ». Il s’agirait du premier accès au RNIPP accordé au ministère de l’intérieur.

Un fichier de données sensibles…

Dans ce nouveau fichier, seront ainsi enregistrées pendant six ans les données liées au changement d’état civil ayant lieu après le 19 décembre 2023 : les noms de famille antérieurs et postérieurs au changement de nom, les prénoms antérieurs et postérieurs au changement de prénom, la date et le lieu de naissance, la date du changement de nom ou de prénom, le sexe et le cas échéant, la filiation.

Ces changements ne concernent pas l’utilisation d’un nom d’usage, tel que le nom de la personne avec qui l’on est marié·e, qui est le changement le plus courant. En pratique, de telles modifications d’état civil concerneraient deux principales situations : le changement de prénom lors d’une transition de genre ou le changement de nom et/ou prénom que des personnes décident de « franciser », notamment après une obtention de papiers. Si le fichier apparaît comme un instrument de simplification administrative au premier regard, il constitue également – comme l’ont dénoncé les associations de défense des droits LGBTQI+ – un fichier recensant de fait les personnes trans et une partie des personnes immigrées.

D’un point de vue juridique, notre analyse nous conduit à estimer que ce fichier contient des données dites « sensibles », car elles révéleraient « la prétendue origine raciale ou l’origine ethnique » ainsi que « des données concernant la santé ». La Cour de justice de l’Union européenne a récemment établi¹Voir l’arrêt de la CJUE, gr. ch., 1er août 2022, OT c. Vyriausioji tarnybin˙es etikos komisija, aff. C-184/20 que la définition des données sensibles devait être interprétée de façon large et considère que si des données personnelles sont susceptibles de dévoiler, même de manière indirecte, des informations sensibles concernant une personne, elles doivent être considérées comme des données sensibles. Dans cette même décision, la Cour ajoute ainsi que si les données traitées ne sont pas sensibles lorsqu’elles sont prises indépendamment mais que, par recoupement avec d’autres données (fait par le traitement ou par un tiers) elles peuvent malgré tout révéler des informations sensibles sur les personnes concernées, alors elles doivent être considérées comme étant sensibles.

C’est exactement le cas ici : les noms et prénoms ne sont pas des données sensibles, mais si une personne tierce a en parallèle l’information que ceux-ci ont été modifiés, elle peut, par recoupement, en déduire des informations sur la transidentité d’une personne (qui changerait de Julia à Félix) ou son origine (qui passerait de Fayad à Fayard pour reprendre l’exemple donné par l’État). Cette table de correspondance crée donc en réalité un traitement de données sensibles. Or celles-ci sont particulièrement protégées par la loi. L’article 6 de la loi informatique et libertés de 1978 et l’article 9 du RGPD posent une interdiction de principe de traiter ces données et prévoient un nombre limité d’exceptions l’autorisant. Pourtant, dans sa délibération sur le décret, d’ailleurs particulièrement sommaire, la CNIL ne s’est pas penchée sur cette conséquence indirecte mais prévisible de création de données sensibles. Celles-ci seraient donc traitées en dehors des règles de protection des données personnelles.

…à destination de la police

Ensuite, la raison d’être de ce fichier particulièrement sensible interroge. La finalité avancée dans l’arrêté est « la consultation de l’identité des personnes ayant changé de nom ou de prénom en application des articles 60, 61 et 61-3-1 du code civil » et « la mise à jour de cette identité dans les traitements de données à caractère personnel que [le ministre de l’intérieur] ou les établissements publics qui lui sont rattachés mettent en œuvre ». En première lecture, on pourrait imaginer qu’il s’agit de simple facilité de mise à jour administrative. Pourtant, celle-ci diffère des procédures existantes. En effet, aujourd’hui, lorsqu’une personne change de prénom et/ou de nom, la mairie ayant enregistré le changement d’état civil informe l’INSEE qui met à jour le RNIPP et prévient les organismes sociaux et fiscaux (Pôle Emploi, les impôts, la CPAM…). En parallèle, la personne concernée doit faire un certain nombre de procédures de modifications de son coté (carte d’identité, de sécurité sociale, permis de conduire…)²L’Amicale Radicale des Cafés Trans de Strasbourg a publié dans un billet de blog un récapitulatif de l’ensemble des démarches à effectuer pour changer d’état civil en France..

Aucune administration n’a donc, à aucun moment, accès à un fichier recensant les changements d’état civil puisque ces modifications sont faites de façon distribuée, soit à l’initiative de l’INSEE soit à celle de la personne concernée. Pourquoi ne pas en rester là ? La raison tient sans doute au fait qu’en réalité, ce fichier est un des instruments de surveillance de la police. La lecture des nombreux destinataires du traitement est éloquente. Il s’agit des agents habilités de la police nationale et de la gendarmerie nationale, des agents habilités des services centraux du ministère de l’Intérieur et des préfectures et sous-préfectures, des agents effectuant des enquêtes administratives (pour des emplois publics ou demandes de séjour) ou des enquêtes d’autorisation de voyage, ou encore de l’agence nationale des données de voyage, du commandement spécialisé pour la sécurité nucléaire et du conseil national des activités privées de sécurité (sécurité privée qui a de plus en plus de pouvoir depuis la loi Sécurité globale…).

On le comprend alors : cette « table de correspondance » a pour unique but d’être consultée en parallèle d’autres fichiers de police, dont le nombre a explosé depuis 20 ans (il y en aurait aujourd’hui plus d’une centaine³Le dernier décompte a été fait en 2018 dans un rapport parlementaire sur le sujet ) et dont les périmètres ne cessent de s’élargir. Ainsi, par exemple, lorsqu’un agent de police contrôle l’identité d’une personne, il ne consultera plus seulement le fichier de traitement des antécédents judiciaires (ou TAJ), mais également ce fichier des personnes ayant changé de nom : le premier lui permettra alors de connaître les antécédents de la personne, et le second de savoir si elle est trans ou étrangère.

Si les deux situations soulèvent des inquiétudes sérieuses, attardons-nous sur le cas des personnes trans. Elles seront outées de fait auprès de la police qui aurait alors connaissance de leur deadname⁴Le lexique du site Wiki Trans définit l’outing comme la révélation « qu’une personne est trans (ou LGBTQIA+). L’outing ne doit JAMAIS se faire sans le consentement de la personne concernée. Et cela peut être considéré, dans le code pénal, comme une atteinte à la vie privée ». Le deadname est le « prénom assigné à la naissance » et peut être source de souffrance pour une personne trans.. Or de nombreux témoignages, tels que ceux recensés chaque année par SOS Homophobie dans ses rapports sur les LGBTI-phobies, démontrent qu’il existe une réelle transphobie au sein de la police. Compte tenu de ces discriminations et des violences qui peuvent y êtres associées, fournir de telles informations à la police aura non seulement pour effet de les renforcer mais peut également mettre en danger les personnes trans confrontées à la police. Ces craintes ont été partagées sur les réseaux sociaux et laissent entendre que certain·es pourraient renoncer à entamer de telles démarches de changement d’état civil face à la peur d’être présent·es dans un tel fichier. De façon générale, les personnes trans sont historiquement et statistiquement davantage victimes de violences policières.

Par ailleurs, les informations de cette « table de correspondance » pourront venir nourrir le renseignement administratif, notamment le fichier PASP qui permet de collecter un grand nombre d’informations, aussi bien les opinions politiques que l’activité des réseaux sociaux ou l’état de santé des dizaines de milliers de personne qui y sont fichées. Alors que ces capacités de surveillance prolifèrent, sans aucun réel contrôle de la CNIL (nous avons déposé une plainte collective contre le TAJ il y a plus d’un an, toujours en cours d’instruction par l’autorité à ce jour), l’arrêté de décembre dernier offre à la police toujours plus de possibilités d’en connaître davantage sur la population et de nourrir son appétit de généralisation du fichage.

Un choix dangereux en question

Au-delà de cette motivation politique, qui s’inscrit dans une extension sans limite du fichage depuis deux décennies, il faut également critiquer les implications techniques liées à la création d’un tel fichier. En centralisant des informations, au demeurant très sensibles, l’État crée un double risque. D’une part, que ces informations dès lors trop facilement accessibles soient dévoyées et fassent l’objet de détournement et autres consultations illégales de la part de policiers, comme pour bon nombre de fichiers de police au regard du recensement récemment effectué par Mediapart.

D’autre part, du fait de la centralisation induite par la création d’un fichier, les sources de vulnérabilité et de failles de sécurité sont démultipliées par rapport à un accès décentralisé à ces informations. Avec de nombreux autres acteurs, nous formulions exactement les mêmes critiques en 2016 à l’encontre d’une architecture centralisée de données sensibles au moment de l’extension du fichier TES à l’ensemble des personnes détentrices d’une carte d’identité, cela aboutissant alors à créer un fichier qui centralise les données biométriques de la quasi-totalité de la population française.

En somme, ce décret alimente des fichiers de police déjà disproportionnés, en y ajoutant des données sensibles en dérogation du cadre légal, sans contrôle approprié de la CNIL et touche principalement les personnes trans et étrangères, facilitant par là le travail de surveillance et de répression de ces catégories de personnes déjà stigmatisées par la police.

Cette initiative n’est pas unique à la France et s’inscrit dans un mouvement global inquiétant. En Allemagne, malgré l’objectif progressiste d’une loi de 2023 sur le changement de genre déclaratif, des associations telles que le TGEU ont dénoncé le fait que les modifications d’état civil soient automatiquement transférées aux services de renseignement. Aux États-Unis, différents États ont adopté des lois discriminatoires vis-à-vis des personnes trans, forçant certaines personnes à détransitionner ou bien à quitter leur État pour éviter de perdre leurs droits. Au Texas, le procureur général républicain a essayé d’établir une liste des personnes trans à partir des données relatives aux modifications de sexe dans les permis de conduire au cours des deux dernières années.

En outre, ce décret crée pour la première fois un accès pour le ministère de l’Intérieur au RNIPP, répertoire pourtant réservé aux administrations sociales et fiscales. Or, l’expérience nous montre que toute nouvelle possibilité de surveillance créé un « effet cliquet » qui ne conduit jamais à revenir en arrière mais au contraire à étendre toujours plus les pouvoirs accordés.

Nous nous associons donc aux différentes organisations ayant critiqué la création de ce fichier stigmatisant et qui participe à l’édification d’un État policier ciblant des catégories de populations déjà en proie aux discriminations structurelles. Nous espérons qu’outre ses dangers politiques, son illégalité sera dénoncée et conduira rapidement à son abrogation.

Comment les polices françaises utilisent les outils de « police prédictive »

Dans le cadre d’une enquête européenne coordonnée par l’ONG Fair Trials, La Quadrature du Net s’est chargée d’enquêter sur les polices françaises et publie un rapport complet sur leurs pratiques numériques de « police prédictive ». Cinq logiciels sont étudiés, utilisés par la police nationale (PredVol, RTM), la gendarmerie (PAVED) ou des polices municipales (Smart Police, M-Pulse).

La « police prédictive » est un rêve de policier : faire entrer dans un logiciel toutes les données possibles, des procès-verbaux de police, des mains courantes et des plaintes, des données fournies par les pompiers, les hôpitaux, le trafic routier, et même la météo, pour prévoir grâce à la puissance de l’intelligence artificielle (cette déesse) et des algorithmes (ses elfes), les lieux et les moments où les délinquants vont sévir. Agrégeant des montagnes de données et les passant à la moulinette de logiciels conçus dans d’autres buts plus sérieux (la prévision des tremblements de terre, par exemple), ces outils n’ont jamais démontré une efficacité supérieure à celle d’un agent expérimenté. Ils risquent en plus d’amplifier les discriminations structurelles auxquelles participe déjà l’institution policière. Cela n’a pas empêché, aux États-Unis, en Grande-Bretagne ou en France, que des sommes considérables leur soient consacrées, dans l’espoir d’affecter les effectifs de police au bon endroit au bon moment, grâce aux prophéties des logiciels.

C’est une lecture en deux temps que nous vous proposons.

D’une part le rapport en lui-même, qui présente avec beaucoup de précision les logiciels, leurs finalités, leur fonctionnement, les données qu’ils exploitent, et les conséquences pratiques qu’ils entraînent pour le travail des agents. Un document de référence sur le sujet, qui croise des informations techniques et opérationnelles, apporte des éléments historiques et met en lien ces « innovations » avec d’autres tendances qui traversent les politiques de sécurité.

D’autre part, un article introductif qui propose une synthèse thématique des présupposés qui entourent ces outils policiers (préjugés sociaux, corrélations approximatives, choix techniques arbitraires) et de leurs conséquences (automatisation et renforcement des logiques de stigmatisation sociale, géographique, etc.). Malgré leur nullité et leur nocivité démontrées, ces outils continuent d’être en usage en France. Notre article se termine donc sur un appel à témoignages : aidez-nous à faire interdire les outils de la répression policière automatisée !

Lire l’article : https://www.laquadrature.net/2024/01/18/la-police-predictive-en-france-contre-lopacite-et-les-discriminations-la-necessite-dune-interdiction/
Lire le rapport : https://www.laquadrature.net/wp-content/uploads/sites/8/2024/01/20240118_LQDN_policepredictive.pdf

Jeux olympiques : la surveillance algorithmique à l’échauffement

Légalisée par la loi Jeux Olympiques en mai 2023, l’utilisation « expérimentale » de la vidéosurveillance algorithmique (VSA) est entrée dans sa phase d’application. Les entreprises candidates pour les essais préalables ont reçu leur part du marché : chacune sait désormais dans quelle zone (il y en a 4), et dans quel secteur d’activité elles pourront déployer leurs logiciels de surveillance automatisée (enceintes sportives, espaces publics, transports, etc.).

N’ayant pas le temps ni les compétences de développer lui même ces solutions, le ministère de l’Intérieur a choisi la facilité, c’est-à-dire d’acheter sur le marché des outils déjà existants. Et sans surprise, on retrouve dans la liste des entreprises retenues tous les « suspects habituels » dont nous suivons le travail depuis plusieurs années dans notre campagne Technopolice.

Rien d’étonnant bien sûr dans le fait de confier un travail à ceux qui le font déjà depuis plusieurs années, même si c’était jusqu’alors de manière illégale. Mais c’est surtout l’entérinement d’une logique purement opérationnelle où les fantasmes policiers et la stratégie industrielle marchent main dans la main. Cet état de fait entraîne à nos yeux les plus grands dangers : la discussion politique et la prudence démocratique sont évacuées et annulées par la logique unie de l’industrie et de la police, l’une répondant aux vœux de l’autre, l’autre validant seule les propositions techniques de l’une. Le « comité de pilotage » du dispositif au sein de ministère de l’Intérieur est d’ailleurs dirigé par une haute fonctionnaire spécialiste des « industries et innovations de sécurité », et chargée de faciliter les partenariats entre la puissance publique et les entreprises privées nationales. Les citoyens et leurs droits ne sont pas invités à la table.

Les dispositifs de VSA vont donc se déployer dans les semaines qui viennent, et la période d’expérimentation durera bien au-delà des JO de Paris, jusqu’en mars 2025, lors d’évènements d’ordre « récréatif, sportif et culturel » (le délassement oui, mais sous surveillance). Un « comité d’évaluation » constitué de deux « collèges » aura son mot à dire sur les résultats de ces expériences. On n’attend rien de surprenant venant du collège des utilisateurs eux-mêmes (police et autres), et notre attention se portera sur le second collège qui doit réunir des chercheurs, des juristes et des parlementaires — nous verrons. Pour l’heure, tout est en place pour valider à l’avance le succès et la pérennisation de ces mesures exceptionnelles — « Plus vite, plus haut, plus fort ».

Vous trouverez dans l’article le détail des cas d’usage, les noms des entreprises retenues, et le détail du dispositif d’évaluation, avec ses comités et ses collèges. Bonne lecture à vous !

Lire l’article : https://www.laquadrature.net/2024/01/26/vsa-et-jeux-olympiques-coup-denvoi-pour-les-entreprises-de-surveillance/

L’Union européenne se couche devant les outils numériques de surveillance de masse

L’Union européenne travaille sur un règlement autour de l’intelligence artificielle (IA), dont le texte a été rendu public en décembre 2023. Sous la pression de plusieurs États, la France en tête, le texte se contente d’encadrer l’utilisation des techniques de surveillance biométrique de masse (SBM), qui recoupent en partie les applications de la vidéosurveillance algorithmique (VSA), au lieu de les interdire. Le continent qui se targue d’avoir enfanté les droits de l’Homme et la liberté démocratique ne trouve donc aucune raison de s’opposer à la surveillance systématique et massive des citoyens.

La reconnaissance des émotions ou des couleurs de peaux ont par exemple passé les filtres démocratiques et se retrouve autorisée par le règlement IA. De même pour la reconnaissance faciale a posteriori, d’abord réservée à des crimes graves et désormais acceptée dans bien d’autres cas, sans limites claires.

La coalition européenne Reclaim Your Face, dont fait partie La Quadrature du Net, a publié le 18 janvier un communiqué de presse en anglais et en allemand pour avertir des dangers réels et imminents qui pèsent sur l’ensemble des Européens, quelques semaines avant des élections européennes dont on dit qu’elles verront probablement les partis d’extrême-droite sortir vainqueurs. Nous publions sur notre site la version française de ce communiqué.

Lire l’article : https://www.laquadrature.net/2024/01/19/le-reglement-europeen-sur-lia-ninterdira-pas-la-surveillance-biometrique-de-masse/

Soutenez La Quadrature en 2024 !

Comme bon nombre d’associations, nous sommes en campagne de soutien pour financer notre travail en 2024. C’est pour nous l’occasion de présenter les grands chantiers qui nous attendent, principalement la lutte contre les algorithmes de contrôle social dans les administrations, la défense du droit au chiffrement des communications, la promotion de l’interopérabilité des services Web, et la réflexion nécessaire autour du numérique dans le contexte de la crise écologique mondiale.

Nous avons besoin de vous pour travailler en 2024 ! N’hésitez pas à faire un don de soutien à l’association, ou à faire connaître notre campagne de dons autour de vous. Merci pour votre aide !

Présentation des grands chantiers de 2024 : https://www.laquadrature.net/donner/ et https://www.laquadrature.net/2023/11/15/de-nouveaux-combats-pour-2024/
Faire un don pour soutenir La Quadrature : https://don.laquadrature.net/

Agenda

• 27 janvier 2024 : La Quadrature sera aux 3ème Assises de l’attention, pour parler de démocratie à l’heure du numérique – de 9h à 18h30, Académie du Climat, 2 place Baudoyer, 75004 Paris. Détails ici : https://www.collectifattention.com/assises-de-lattention/assises-2024/.
• 8 février 2024 : Causerie mensuelle du groupe Technopolice Marseille – à 19h00 au Manifesten, 59 Rue Adolphe Thiers Marseille. Venez nombreuses !

La Quadrature dans les médias

À écouter

• StakkaStakka 17 Gennaio – La quadratura della rete (entretien avec Noémie Levain, en italien) [ActuIA]
• Contre-histoire d’internet du XVe siècle à nos jours(entretien avec Félix Tréguer) [Lundi matin]

Algorithmes administratifs

• Les algorithmes de notation pour les droits sociaux, un sujet particulièrement sensible [ActuIA]

GAFAM et données personnelles

• RGPD : Amazon monte au créneau face à l’UE et fait appel face à l’amende « record » de 746 millions d’euros [Clubic]
• Amazon Appeals Privacy Fine of 746 Million Euros [bankinfosecurity.com]

Divers

• JO de Paris : l’installation de vidéosurveillance « intelligente » génère des inquiétudes [Nouvel Obs]
• La Quadrature réitère son appel à l’interdiction des logiciels de police prédictive [Next]

Après des mois d’attente, les entreprises chargées de mettre en place la vidéosurveillance algorithmique dans le cadre de la loi Jeux Olympiques ont été désignées. Sans grande surprise, il s’agit de sociétés s’étant insérées depuis plusieurs années dans le marché de cette technologie ou entretenant de bonnes relations avec l’État. Les « expérimentations » vont donc commencer très prochainement. Nous les attendons au tournant.

Un marché juteux

Rappelez-vous : le 17 mai 2023, le Conseil constitutionnel validait le cadre législatif permettant à la police d’utiliser la vidéosurveillance algorithmique (VSA) en temps réel, après plusieurs mois de bataille législative en plein mouvement des retraites. Depuis, que s’est-il passé ? Un appel d’offres a tout d’abord été publié dès l’été pour lancer la compétition entre les nombreuses entreprises qui ont fleuri ces dernières années dans le secteur. Ce marché public, accompagné de clauses techniques, décrit les exigences auxquelles devront se soumettre les entreprises proposant leurs services et, en premier lieu, les fameuses situations et comportements « suspects » que devront repérer les logiciels afin de déclencher une alerte. En effet, la loi avait été votée à l’aveugle sans qu’ils soient définis, ils ont ensuite été formalisés par un décret du 28 août 2023.

Comme nous le l’expliquons depuis longtemps¹Pour une analyse plus approfondie de nos critiques sur la VSA, vous pouvez lire notre rapport de synthèse envoyé aux parlementaires l’année dernière ou regarder cette vidéo de vulgarisation des dangers de la VSA., ces comportements n’ont pour beaucoup rien de suspect mais sont des situations pour le moins banales : détection de personne au sol après une chute (attention à la marche), non-respect du sens de circulation commun par un véhicule ou une personne (attention à son sens de l’orientation), densité « trop importante » de personnes, mouvement de foule (argument répété sans cesse pendant les débats par Darmanin) mais aussi détection d’armes, de franchissement de zone, d’objets abandonnés ou de départs de feu. Le tout pour 8 millions d’euros d’acquisition aux frais du contribuable.

Sans surprise, ces huit cas d’usage pour les algorithmes commandés par l’État dans le cadre de cette expérimentation correspondent à l’état du marché que nous documentons depuis plusieurs années au travers de la campagne Technopolice. Ils correspondent aussi aux cas d’usage en apparence les moins problématiques sur le plan des libertés publiques (l’État se garde bien de vouloir identifier des personnes via la couleur de leurs vêtements ou la reconnaissance faciale, comme la police nationale le fait illégalement depuis des années). Et ils confirment au passage que cette « expérimentation » est surtout un terrain de jeu offert aux entreprises pour leur permettre de développer et tester leurs produits, en tâchant de convaincre leurs clients de leur intérêt.

Car depuis des années, la VSA prospérait à travers le pays en toute illégalité – ce que nous nous efforçons de dénoncer devant les tribunaux. Ces sociétés ont donc œuvré à faire évoluer la loi, par des stratégies de communication et d’influence auprès des institutions. Le déploiement de cette technologie ne répond à aucun besoin réellement documenté pour les JO²Si les Jeux Olympiques constituent sans aucun doute un moment « exceptionnel » au regard du nombre inédit de personnes qui seront au même moment dans la région parisienne, la surveillance n’est pas la réponse à apporter. Nous démontions l’année dernière l’idée selon laquelle les technologies sécuritaires auraient pu modifier le cours du « fiasco » de la finale de la Ligue des champions au Stade de France. Comme nous l’exposons, celle-ci n’était causée par rien d’autre qu’une mauvaise gestion stratégique du maintien de l’ordre. Pour pallier à ces défaillances humaines, auraient été utiles non pas la VSA ou la reconnaissance faciale mais un véritable savoir-faire humain de gestion de la foule, des compétences logistiques, des interlocuteurs parlant plusieurs langues….mais résulte uniquement d’une convergence d’intérêts (économiques pour le secteur, politiques pour les décideurs publics et autoritaires pour la police qui accroît toujours plus son pouvoir de contrôle), le tout enrobé d’un double opportunisme : l’exploitation du discours de promotion de l’innovation et l’instrumentalisation, comme dans bien d’autres pays hôtes avant la France, du caractère exceptionnel des Jeux olympiques pour imposer ces technologies.

Après plusieurs mois de tests et de mises en situation, retardées par le fait qu’une entreprise a contesté en justice les conditions du marché, celui-ci a donc été attribué au début du mois de janvier. Le marché est divisé en quatre lots géographiques. La start-up Wintics installera ses logiciels en Île-de-France quand Videtics se chargera de l’Outre-Mer et d’un ensemble de régions du Sud (Provence Alpes Cote d’Azur, Rhône-Alpes et Corse). Pour les autres régions de France, c’est Chapsvision qui a été désignée. Cette entreprise omniprésente dans les services de l’État et qui se veut le nouveau Palantir français, vient de racheter la start-up de VSA belge ACIC. Enfin, Wintics s’est également vu attribuer la surveillance des transports (comprenant gares et stations). Quant à Orange Business Service – en partenariat avec Ipsotek, filiale d’Atos (nouvellement Eviden), elle est également attributaire au 3e rang du lot des transports, c’est à dire mobilisable en cas de défaillance de Wintics. Du beau monde !

Une évaluation incertaine

Ces entreprises pourront ainsi mettre à disposition leurs algorithmes, bien au-delà des seuls Jeux olympiques puisque cette expérimentation concerne tout « évènement récréatif, sportif et culturel », et ce jusqu’au 31 mars 2025 soit bien après la fin des JO. Elle sera par la suite soumise à une « évaluation » présentée comme particulièrement innovante mais dont les modalités avaient en réalité été envisagées dès 2019 par Cédric O, alors secrétaire d’État au numérique, comme une manière de légitimer la reconnaissance faciale. Ces modalités ont été précisée par un second décret en date du 11 octobre 2023. Ainsi, un « comité d’évaluation » verra prochainement le jour et sera présidé par Christian Vigouroux, haut fonctionnaire passé par la section Intérieur du Conseil d’État. Le comité sera divisé en deux collèges distincts. Le premier réunira les « utilisateurs » de la VSA, c’est à dire la police, la gendarmerie, la SNCF, etc. Le second rassemblera des « personnalités qualifiées » telles que des experts techniques, des spécialistes du droit des données personnelles et des libertés publiques ou encore des parlementaires. Ils devront déterminer et mettre en œuvre un protocole d’évaluation qui ne sera rendu public qu’à la fin de l’expérimentation en mars 2025.

Mais il ne faut pas se leurrer. Au regard de l’agenda politique de ces entreprises et des autorités qui veulent, à long terme, légaliser ces outils et de façon générale toute forme de surveillance biométrique³Plusieurs rapports parlementaires préconisent déjà d’aller plus loin en généralisant le recours à la reconnaissance faciale en temps réel ou la VSA en temps différé, massivement utilisée de façon illégale dans les enquêtes judiciaires. Voir ainsi le rapport de 2022 des sénateurs Marc-Philippe Daubresse (LR), Arnaud de Belenet et Jérôme Durain (PS) sur « la reconnaissance biométrique dans l’espace public » et le rapport de 2023 des députés Philippe Latombe (Modem) et Philippe Gosselin (LR) « sur les enjeux de l’utilisation d’images de sécurité dans le domaine public dans une finalité de lutte contre l’insécurité ». Le gouvernement français s’est également ménagé d’importantes marges de manœuvre pour ce faire à travers son lobbying féroce autour du règlement IA, afin de tenir en échec toute limitation un tant soit peu significative de la surveillance biométrique des espaces publics., cette « expérimentation » pendant les Jeux olympiques doit être vue comme une simple étape vers la légitimation et la pérennisation de ces technologies. En évoquant un dispositif au caractère temporaire et réversible, ce concept d’« expérimentation », permet de rendre une technologie aussi controversée que la VSA plus facilement acceptable pour le public.

Le caractère expérimental permet également de sortir du cadre classique juridique d’examen de proportionnalité. Ainsi l’évaluation ne portera pas sur les critères habituels de nécessité vis à vis d’un objectif d’intérêt public ou de proportionnalité vis à vis des atteintes aux droits. Non, l’évaluation sera plutôt guidée par une approche pragmatique et opérationnelle. On peut imaginer que seront pris en compte le nombre de cas détectés ou le nombre d’interpellations, sans mesurer leur réelle utilité sur la sécurité en tant que politique publique globale, et ce, dans la lignée de la politique du chiffre conduite depuis des années par le Ministère de l’intérieur.

Surtout, on peine à voir comment l’État abandonnerait soudainement une technologie dans laquelle il a tant investi et à laquelle il a déjà cédé énormément de place dans les pratiques policières. Les exemples passés nous montrent que les projets sécuritaires censés être temporaires sont systématiquement prolongés, telles que les boites noires de la loi Renseignement ou les dispositions dérogatoires de l’état d’urgence.

L’issue du comité d’évaluation risque donc d’être surdéterminée par les enjeux politiques et économiques : si l’efficacité policière de ces technologies est jugée satisfaisante, on appellera à les pérenniser ; dans le cas contraire, on évoquera la nécessité de poursuivre les processus de développement afin que ces technologies parviennent à un stade de maturation plus avancé, ce qui justifiera de proroger le cadre expérimental jusqu’à ce que, in fine, elles aient fait leurs preuves et qu’on puisse alors établir un cadre juridique pérenne. À la fin, c’est toujours la police ou les industriels qui gagnent. Or, nous le répétons depuis des années : le choix qui devrait s’imposer à toute société qui se prétend démocratique est celui de l’interdiction pure et simple de ces technologies. Mais il est clair qu’en l’absence de pression citoyenne en ce sens, ni le gouvernement, ni la CNIL, ni la plupart des autres acteurs invités à se prononcer sur les suites à donner à l’expérimentation de la VSA ne voudront envisager de refermer la boîte de Pandore.

Le public au service du privé

Le décret du 11 octobre 2023 prévoit également la création d’un « comité de pilotage » au sein du ministère de l’Intérieur, chargé de la mise en œuvre de cette surveillance « expérimentale ». Celui-ci sera confié à Julie Mercier, cheffe de la direction des entreprises et partenariats de sécurité et des armes (Depsa). Cela est peu surprenant mais révélateur, une fois de plus, des réels intérêts en jeu ici. La Depsa est dotée d’un département « des industries et innovations de sécurité » qui est présenté comme devant assurer « l’interface et le dialogue avec les entreprises productrices de moyens de sécurité » ainsi que participer « à la veille technologique et industrielle » et « au contrôle des investissements étrangers en France et au suivi des entreprises à protéger prioritairement ». Ainsi, sa raison d’être est de stimuler et influencer le marché privé de la sécurité, voire d’aller prodiguer directement des conseils lors de réunions des lobbys de la surveillance. On pourrait être surpris de voir de tels objectifs et pratiques orientées vers le privé dans le fonctionnement d’un ministère régalien. Il s’agit pourtant d’une politique assumée et enclenchée il y a une dizaine d’années, et dont le paroxysme a été à ce jour la loi Sécurité globale consacrant le « continuum de sécurité » entre public et privé.

Lors du salon Mlilipol – grand-messe du marché de la sécurité et de la surveillance – qui s’est tenu en novembre dernier en région parisienne, et où les Jeux olympiques étaient à l’honneur, Julie Mercier expliquait ainsi vouloir « participer à la construction de la base industrielle et technologique de sécurité », car « les entreprises, et pas seulement les grands opérateurs, sont essentielles dans l’expression du besoin et dans la structuration de la filière ». Pour elle, le programme d’expérimentations mis en place en 2022 par le ministère de l’Intérieur dans la perspective des Jeux olympiques a permis d’enclencher une « dynamique vertueuse ». Ce mélange des genres démontre un des objectifs principaux de l’expérimentation : promouvoir le marché privé de la surveillance numérique, en l’associant étroitement aux politiques publiques.

Et maintenant ?

Les expérimentations devraient donc être mises en route dans les prochaines semaines. En théorie, la loi prévoyait une première étape de « conception » des algorithmes, qui nous inquiétait particulièrement. Dans le but de paramétrer les logiciels, elle autorisait de façon inédite le Ministère de l’intérieur à utiliser les images des caméras publiques afin d’améliorer les algorithmes. La CNIL s’est même inquiétée dans sa délibération de l’absence d’information des personnes qui, par leur présence sur une image, nourrirait des logiciels.

Sauf que du fait du retard du processus (l’État voulait initialement débuter les expérimentations lors de la coupe du monde de rugby) couplée à l’impatience des entreprises et de la police et au risque du fiasco si la VSA était en fin de compte remise sur l’étagère, le ministère de l’Intérieur s’est décidé à passer rapidement à la phase de mise en œuvre à travers l’acquisition de solutions toutes prêtes. Cependant, cela ne réduit aucunement les craintes à avoir. Si les logiciels sont censés répondre à un ensemble de critères techniques définis par la loi, l’opacité régnant sur ces technologies et l’absence de mécanisme de transparence empêche de facto de connaître la façon dont ils ont été conçus ou la nature des données utilisées pour l’apprentissage.

Après avoir été auditées et certifiées par une autorité tierce⁴D’après l’avis d’attribution de l’appel d’offre, il s’agira du Laboratoire National de Métrologie et d’Essais (LNE), inconnu au bataillon., ces solutions seront donc intégrées au plus vite aux infrastructures de vidéosurveillance dans les zones où les préfectures en feront la demande. Chaque autorisation fera l’objet d’un arrêté préfectoral rendu public, ce qui devrait permettre de connaître l’emplacement, la nature et la durée de la surveillance mise en place.

Nous les attendrons au tournant. L’expérimentation de la VSA ne doit pas rester invisible. Au contraire, il nous faudra collectivement documenter et scruter ces arrêtés préfectoraux afin de pouvoir s’opposer sur le terrain et rendre matérielle et concrète cette surveillance de masse que tant veulent minimiser. La voix des habitantes et habitants des villes, des festivalier·es, des spectateur·ices, de l’ensemble des personnes qui seront sous l’œil des caméras, sera cruciale pour rendre visible l’opposition populaire à ces technologies de contrôle. Dans les prochains mois, nous tâcherons de proposer des outils, des méthodes et des idées d’actions pour y parvenir et lutter, avec vous, contre l’expansion de la surveillance de masse dans nos rues et dans nos vies.

Traduction du communiqué de presse de la coalition Reclaim Your Face.

Le 8 décembre 2023, les législateurs de l’Union européenne se sont félicités d’être parvenus à un accord sur la proposition de règlement tant attendue relative l’intelligence artificielle (« règlement IA »). Les principaux parlementaires avaient alors assuré à leurs collègues qu’ils avaient réussi à inscrire de solides protections aux droits humains dans le texte, notamment en excluant la surveillance biométrique de masse (SBM).

Pourtant, malgré les annonces des décideurs européens faites alors, le règlement IA n’interdira pas la grande majorité des pratiques dangereuses liées à la surveillance biométrique de masse. Au contraire, elle définit, pour la première fois dans l’UE, des conditions d’utilisation licites de ces systèmes. Les eurodéputés  et les ministres des États membres de l’UE se prononceront sur l’acceptation de l’accord final au printemps 2024.

L’UE entre dans l’histoire – pour de mauvaises raisons

La coalition Reclaim Your Face soutient depuis longtemps que les pratiques des SBM sont sujettes aux erreurs et risquées de par leur conception, et qu’elles n’ont pas leur place dans une société démocratique. La police et les autorités publiques disposent déjà d’un grand nombre de données sur chacun d’entre nous ; elles n’ont pas besoin de pouvoir nous identifier et nous profiler en permanence, en objectifiant nos visages et nos corps sur simple pression d’un bouton.

Pourtant, malgré une position de négociation forte de la part du Parlement européen qui demandait l’interdiction de la plupart des pratiques de SBM, très peu de choses avaient survécu aux négociations du règlement relatif à l’IA. Sous la pression des représentants des forces de l’ordre, le Parlement a été contraint d’accepter des limitations particulièrement faibles autour des pratiques intrusives en matière de SBM.

L’une des rares garanties en la matière ayant apparemment survécu aux négociations – une restriction sur l’utilisation de la reconnaissance faciale a posteriori [par opposition à l’utilisation en temps réel] – a depuis été vidée de sa substance lors de discussions ultérieures dites « techniques » qui se sont tenues ces dernières semaines.

Malgré les promesses des représentants espagnols en charge des négociations, qui juraient que rien de substantiel ne changerait après le 8 décembre, cette édulcoration des protections contre la reconnaissance faciale a posteriori  est une nouvelle déception dans notre lutte contre la société de surveillance.

Quel est le contenu de l’accord ?

D’après ce que nous avons pu voir du texte final, le règlement IA est une occasion manquée de protéger les libertés publiques. Nos droits de participer à une manifestation, d’accéder à des soins de santé reproductive ou même de nous asseoir sur un banc pourraient ainsi être menacés par une surveillance biométrique omniprésente de l’espace public. Les restrictions à l’utilisation de la reconnaissance faciale en temps réel et a posteriori prévues par la loi sur l’IA apparaissent minimes et ne s’appliqueront ni aux entreprises privées ni aux autorités administratives.

Nous sommes également déçus de voir qu’en matière de « reconnaissance des émotions » et les pratiques de catégorisation biométrique, seuls des cas d’utilisation très limités sont interdits dans le texte final, avec d’énormes lacunes.

Cela signifie que le règlement IA autorisera de nombreuses formes de reconnaissance des émotions – telles que l’utilisation par la police de systèmes d’IA pour évaluer qui dit ou ne dit pas la vérité – bien que ces systèmes ne reposent sur aucune base scientifique crédible. Si elle est adoptée sous cette forme, le règlement IA légitimera une pratique qui, tout au long de l’histoire, a partie liée à l’eugénisme.

Le texte final prévoit également d’autoriser la police à classer les personnes filmées par les caméras de vidéosurveillance en fonction de leur couleur de peau. Il est difficile de comprendre comment cela peut être autorisé étant donné que la législation européenne interdit normalement toute discrimination. Il semble cependant que, lorsqu’elle est pratiquée par une machine, les législateurs considèrent de telles discriminations comme acceptables.

Une seule chose positive était ressortie des travaux techniques menés à la suite des négociations finales du mois de décembre : l’accord entendait limiter la reconnaissance faciale publique a posteriori aux cas ayant trait à la poursuite de crimes transfrontaliers graves. Bien que la campagne « Reclaim Your Face » ait réclamé des règles encore plus strictes en la matière, cela constituait un progrès significatif par rapport à la situation actuelle, caractérisée par un recours massif à ces pratiques par les États membres de l’UE.

Il s’agissait d’une victoire pour le Parlement européen, dans un contexte où tant de largesses sont concédées à la surveillance biométrique. Or, les négociations menées ces derniers jours, sous la pression des gouvernements des États membres, ont conduit le Parlement à accepter de supprimer cette limitation aux crimes transfrontaliers graves tout en affaiblissant les garanties qui subsistent. Désormais, un vague lien avec la « menace » d’un crime pourrait suffire à justifier l’utilisation de la reconnaissance faciale rétrospective dans les espaces publics.

Il semblerait que ce soit la France qui ait mené l’offensive visant à faire passer au rouleau compresseur notre droit à être protégés contre les abus de nos données biométriques. À l’approche des Jeux olympiques et paralympiques qui se tiendront à Paris cet été, la France s’est battue pour préserver ou étendre les pouvoirs de l’État afin d’éradiquer notre anonymat dans les espaces publics et pour utiliser des systèmes d’intelligence artificielle opaques et peu fiables afin de tenter de savoir ce que nous pensons. Les gouvernements des autres États membres et les principaux négociateurs du Parlement n’ont pas réussi à la contrer dans cette démarche.

En vertu du règlement IA, nous serons donc tous coupables par défaut et mis sous surveillance algorithmique, l’UE ayant accordé un blanc-seing à la surveillance biométrique de masse. Les pays de l’UE auront ainsi carte blanche pour renforcer la surveillance de nos visages et de nos corps, ce qui créera un précédent mondial à faire froid dans le dos.

Après plusieurs mois d’enquête, dans le cadre d’une initiative européenne coordonnée par l’ONG britannique Fair Trials, La Quadrature publie aujourd’hui un rapport sur l’état de la police prédictive en France. Au regard des informations recueillies et compte tenu des dangers qu’emportent ces systèmes dès lors notamment qu’ils intègrent des données socio-démographiques pour fonder leurs recommandations, nous appelons à leur interdiction.

Après avoir documenté dès 2017 l’arrivée de systèmes assimilables à la police prédictive, puis ayant été confrontés à l’absence d’informations à jour et de réel débat public sur ces systèmes, nous avons souhaité enquêter plus en détail. Pour ce rapport, nous avons donc réuni les informations accessibles sur plusieurs logiciels de police prédictive anciennement ou actuellement en utilisation au sein des forces de police françaises, et notamment :

• RTM (Risk Terrain Modelling), un logiciel de « prévention situationnelle » utilisé par la préfecture de Police de Paris pour cibler les zones d’intervention à partir des données « environnementales » (présence d’écoles, de commerces, de stations de métro, etc.) ;
• PredVol, logiciel développé en 2015 au sein d’Etalab, expérimenté en Val d’Oise en 2016 pour évaluer le risque de vols de véhicule, abandonné en 2017 ou 2018 ;
• PAVED, logiciel développé à partir de 2017 par la Gendarmerie et expérimenté à partir de 2018 dans différents départements métropolitains pour évaluer le risque de vols de voiture ou de cambriolages. En 2019, peu avant sa généralisation prévue sur tout le territoire, le projet a été mis « en pause » ;
• M-Pulse, auparavant nommé Big Data de la Tranquillité Publique, développé par la ville de Marseille en partenariat avec la société Engie pour évaluer l’adéquation des déploiements de la police municipale dans l’espace public urbain ;
• Smart Police, logiciel comportant notamment un module « prédictif » et mis au point par la startup française Edicia qui, d’après son site web, a vendu cette suite logicielle à plus de 350 forces municipales.

Des technologies dangereuses, sans encadrement ni évaluation

Nous résumons ici les principales critiques à l’encontre des systèmes étudiés, dont la plupart font appel à des techniques d’intelligence artificielle.

Corrélation n’est pas causalité

Le premier danger associé à ces systèmes, lui-même amplifié par l’absence de transparence, est le fait qu’ils extrapolent des résultats à partir de corrélations statistiques entre les différentes sources de données qu’ils agrègent. En effet, par mauvaise foi ou fainéantise idéologique, les développeurs de ces technologies entretiennent une grave confusion entre corrélation et causalité (ou du moins refusent-ils de faire la distinction entre les deux). Or, ces amalgames se traduisent de façon très concrète dans le design et les fonctionnalités des applications et logiciels utilisés sur le terrain par les policiers, mais aussi dans leurs conséquences sur les habitantes exposées à une policiarisation accrue.

Lorsqu’elle recourt à ces systèmes d’aide à la décision, la police devrait donc au minimum tâcher de démontrer la pertinence explicative de l’utilisation de variables socio-démographiques spécifiques dans ses modèles prédictifs (c’est-à-dire aller au-delà des simples corrélations pour retracer les causes structurelles de la délinquance, ce qui pourrait conduire à envisager d’autres approches que les politiques sécuritaires pour y faire face). Cela implique en premier lieu d’être transparent au sujet de ces variables, ce dont on est pour l’instant très loin.

S’agissant par exemple de PAVED, le modèle prédictif utiliserait quinze variables socio-démographiques qui, selon les développeurs, sont fortement corrélées avec la criminalité. Cependant, il n’y a aucune transparence sur la nature de ces variables, et encore moins de tentative de démonstration d’une véritable relation de cause à effet. Il en va globalement de même pour les variables utilisées par Smart Police, le logiciel d’Edicia, quoiqu’on ait dans ce cas encore moins de visibilité sur la nature exacte des variables mobilisées.

Des variables potentiellement discriminatoires

Or, il est probable que, à l’image des algorithmes utilisés par la Caisse nationale des allocations familiales (CNAF), certaines variables socio-démographiques mobilisées soient discriminatoires.

En effet, les scores de risque sont possiblement corrélés à un taux de chômage ou de pauvreté important, ou encore à un taux élevé de personnes nées en dehors de l’Union européenne dans le quartier considéré. Et ce d’autant plus que l’on sait que, pour PAVED, parmi les données pertinentes pour l’établissement des « prédictions », on retrouve les indicateurs suivants : nationalité et données d’immigration, revenus et composition des ménages ou encore niveau de diplôme. Autant de variables qui risquent de conduire à cibler les populations les plus précarisées et les plus exposées au racisme structurel.

De fausses croyances criminologiques

Un autre danger associé à ces systèmes réside dans le fait qu’ils enracinent des doctrines criminologiques décriées. Les promoteurs de la police prédictive refusent de s’atteler à une compréhension générale et à une analyse sociale des comportements déviants et des illégalismes : nulle mention des politiques de précarisation, d’exclusion, de discrimination, et de la violence sociale des politiques publiques. Et lorsqu’ils s’aventurent à proposer des modèles explicatifs et qu’ils tentent d’inscrire ces modèle dans les algorithme de scoring, ils semblent s’en remettre à des « savoirs » dont la pertinence est parfaitement douteuse.

Certaines allusions doctrinales apparaissent par exemple dans les articles de recherche du principal développeur de PAVED, le colonel de gendarmerie Patrick Perrot. Ce dernier y fait part d’hypothèses de base concernant la criminalité (par exemple, la criminalité comme « phénomène en constante évolution »), et évoque les « signaux faibles » et autres « signes précurseurs » de la délinquance qui font écho aux théories de la « vitre brisée », dont la scientificité est largement mise en cause. De même, dans le cas d’Edicia, le module prédictif semble reposer sur l’idée selon laquelle la délinquance a un effet de débordement géographique (ou effet de « contagion ») et intègre lui aussi des postulats « remontés » du « terrain » qui prétendent que « la petite délinquance entraîne la grande délinquance ».

Autant de doctrines ineptes qui servent surtout à masquer les conséquences désastreuses des politiques ultralibérales, à criminaliser les incivilités du quotidien, qui doivent s’interpréter comme l’élément clé d’une tentative de criminalisation des pauvres. Aujourd’hui, elles sont donc incorporées aux systèmes automatisés que s’octroie la police, lesquels contribuent à les invisibiliser.

Un risque d’auto-renforcement

La critique est largement connue, mais elle mérite d’être rappelée ici : les logiciels de police prédictive soulèvent un important risque d’effet d’auto-renforcement et donc d’une démultiplication de la domination policière de certains quartiers (surveillance, contrôle d’identité, usages de pouvoirs coercitifs).

En effet, leur usage conduit nécessairement à sur-représenter les aires géographiques définies comme étant à haut risque dans les données d’apprentissage. Dès lors qu’un nombre important de patrouilles sont envoyées dans une zone donnée en réponse aux recommandations de l’algorithme, elles seront conduites à constater des infractions – mêmes mineures – et à collecter des données relatives à cette zone, lesquelles seront à leur tour prises en compte par le logiciel et contribueront à renforcer la probabilité que cette même zone soit perçue comme « à risque ».

La police prédictive produit ainsi une prophétie auto-réalisatrice en concentrant des moyens importants dans des zones déjà en proie aux discriminations et à la sur-policiarisation.

De possibles abus de pouvoir

Bien que nous n’ayons pas trouvé d’éléments relatifs aux instructions particulières données aux policiers lorsqu’ils patrouillent dans des zones jugées à haut risque par les systèmes prédictifs, une source nous indique que, grâce à PAVED, la gendarmerie a pu obtenir auprès du procureur de la République l’autorisation pour que les agents en patrouille se positionnent dans les lieux de passage et arrêtent les véhicules à proximité. Dans ce cadre, il s’agissait pour eux de vérifier les plaques d’immatriculation et les permis de conduire des conducteurs, et de procéder dans certains cas à des fouilles de véhicule.

Si l’information s’avérait exacte, cela signifierait que des contrôles préventifs, menés dans le cadre d’une autorisation du Parquet, ont été décidés sur la seule base d’une technologie fondée sur des postulats douteux et dont l’efficacité n’a jamais été évaluée. Une situation qui, en elle-même, matérialiserait une disproportion caractérisée des mesures restrictives de liberté prises à l’encontre des personnes concernées.

Des outils à l’efficacité douteuse

Au regard de leur nature discriminatoire, même dans la mesure où ces systèmes de police prédictive s’avéreraient efficaces du point de vue de la rationalité policière, ils poseraient d’importants problèmes en terme de justice sociale et de respect des droits humains. Or, en dépit de l’absence d’évaluation officielle, le fait est que les données disponibles semblent confirmer l’absence de valeur ajoutée des modèles prédictifs pour atteindre les objectifs que la police s’était fixés.

De fait, ces outils semblent loin d’avoir convaincu leurs utilisateurs et utilisatrices. PredVol ne ferait pas mieux que la simple déduction humaine. Quant à PAVED, même s’il pourrait avoir empêché quelques vols de voiture, il s’avère décevant en termes de capacités de prévision et ne se traduit pas par une hausse du nombre d’arrestations en flagrant délit, qui pour la police reste l’étalon de l’efficacité sous le règne de la politique du chiffre¹. Malgré ce qui était envisagé au départ, la généralisation de PAVED au sein de la gendarmerie nationale n’a jamais vu le jour. À l’issue d’une phase expérimentale, menée de 2017 à 2019, il a été décidé de mettre le logiciel de côté. Et si M-Pulse a trouvé une nouvelle jeunesse au gré du « rebranding citoyenniste » poussé par la nouvelle majorité municipale marseillaise de centre gauche, ses usages sécuritaires semblent relativement marginaux.

Pour quelles raisons ? L’opacité qui entoure ces expérimentations ne permet pas de le dire avec certitude, mais l’hypothèse la plus probable réside à la fois dans l’absence de vraie valeur ajoutée par rapport aux savoirs et croyances existantes au sein des forces de police et dans la complexité organisationnelle et technique associée à l’usage et à la maintenance de ces systèmes.

De graves lacunes dans la gestion des données

Pour les opposants à ces systèmes, les informations présentées dans ce rapport pourraient sembler rassurantes. Mais en réalité, même si l’effet de mode autour de la « police prédictive » semble passé, les processus de R&D relatifs aux systèmes d’aide à la décision des forces de police continuent. Des sommes d’argent conséquentes continuent d’être dépensées pour répondre à l’ambition affichée de « porter le ministère de l’Intérieur à la frontière technologique », ainsi que l’envisageait le livre blanc de la sécurité intérieure de 2020². Dans ce contexte d’un primat accordé aux approches techno-sécuritaires, PAVED pourrait ainsi être ré-activé ou remplacé par d’autres systèmes dans un futur proche. Quant à Edicia, l’entreprise envisageait ces derniers mois d’incorporer à son module prédictif de nouvelles sources de données issues des réseaux sociaux, comme l’envisageaient les concepteurs de M-Pulse au début du projet. La police prédictive reste donc d’actualité.

Interrogée via une demande CADA en mars 2022 et à nouveau en novembre 2023, la CNIL nous a indiqué qu’elle n’avait jamais reçu ou produit de document relatif aux logiciels de police prédictive dans le cadre de ses prérogatives. Cela semble indiquer que l’autorité de protection des données personnelles ne s’est jamais intéressée à ces logiciels dans le cadre de sa politique de contrôle. En soit, cela interroge lorsqu’on sait que, pour certains, ils sont utilisés par des milliers d’agents de police municipale à travers le pays.

Enfin, dans la mesure où les pouvoirs de police administrative exercés dans les zones jugées « à risque » par les systèmes prédictifs peuvent être considérés sur le plan juridique comme des « décisions administratives individuelles », les exigences énoncées par le Conseil constitutionnel dans sa jurisprudence sur les algorithmes devraient être respectées³. Or, celles-ci proscrivent notamment l’interdiction d’utiliser des « données sensibles » et imposent de prévoir des possibilités de recours administratifs pour les personnes concernées. S’y ajoutent des obligations de transparence imposées par la loi, notamment la loi de 2016 dite « République numérique »⁴.

Ces exigences législatives et jurisprudentielles ne semblent pas respectées s’agissant des systèmes de police prédictive. Non seulement il n’y a pas de tentative significative et proactive d’informer les citoyens et les autres parties prenantes sur le fonctionnement exact de ces systèmes, en dehors des quelques informations parfois disséminées de manière opportuniste. Plus grave encore, le droit à la liberté d’information que nous avons exercé via nos demandes CADA pour en apprendre davantage n’a donné lieu qu’à des informations partielles, et s’est heurté le plus souvent à l’absence de réponse, notamment de la part du ministère de l’Intérieur.

Il est urgent d’interdire la police prédictive

L’effet de mode semble passé. La police prédictive ne fait presque plus parler d’elle. Et pourtant…

Malgré une absence flagrante d’évaluation, d’encadrement législatif et en dépit de piètres résultats opérationnels, les promoteurs de ces technologies continuent d’entretenir la croyance selon laquelle l’« intelligence artificielle » pourra permettre de rendre la police plus « efficace ». De notre point de vue, ce que ces systèmes produisent c’est avant tout une automatisation de l’injustice sociale et de la violence policière, une déshumanisation encore plus poussée des relations entre police et population.

Dans ce contexte, il est urgent de mettre un coup d’arrêt à l’utilisation de ces technologies pour ensuite conduire une évaluation rigoureuse de leur mise en œuvre, de leurs effets et de leurs dangers. L’état de nos connaissances nous conduit à penser qu’une telle transparence fera la preuve de leur ineptie et de leurs dangers, ainsi que de la nécessité de les interdire.

Nous aider

Pour pallier l’opacité volontairement entretenue par les concepteurs de ces systèmes et par les autorités publiques qui les utilisent, si vous avez à votre disposition des documents ou éléments permettant de mieux comprendre leur fonctionnement et leurs effets, nous vous invitons à les déposer sur notre plateforme de partage anonyme de document. Il est également possible de nous les envoyer par la poste à l’adresse suivante : 115 rue de Ménilmontant, 75020 Paris.

Enfin, n’hésitez pas à nous signaler la moindre erreur factuelle ou d’analyse que vous pourriez identifier dans ce rapport en nous écrivant à contact@technopolice.fr. Et pour soutenir ce type de recherche à l’avenir, n’hésitez pas non plus à faire un don à La Quadrature du Net.

Lire le rapport complet

---

1. Lecorps, Yann, et Gaspard Tissandier. « PAVED with good intentions : an evaluation of the Gendarmerie predictive policing system ». Centre d’Économie de la Sorbonne (CES), Université Paris 1 Panthéon Sorbonne. Paris, septembre 2022. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4314831. ︎
2. Le livre blanc proposait de consacrer 1% du PIB aux missions de sécurité intérieure à l’horizon 2030, soit une augmentation escomptée d’environ 30% du budget du ministère sur la décennie.Ministère de l’intérieur, « Livre blanc de la sécurité intérieure » (Paris : Gouvernement français, 16 novembre 2020), https://www.interieur.gouv.fr/Actualites/L-actu-du-Ministere/Livre-blanc-de-la-securite-interieure. ︎
3. Voir la décision sur la transposition du RGPD (décision n° 2018-765 DC du 12 juin 2018) et celle sur Parcoursup (décision n° 2020-834 QPC du 3 avril 2020). ︎
4. Sur les obligations légales de transparence des algorithmes publics, voir : Loup Cellard, « Les demandes citoyennes de transparence au sujet des algorithmes publics », Note de recherche (Paris : Mission Etalab, 1 juillet 2019), http://www.loupcellard.com/wp-content/uploads/2019/07/cellard_note_algo_public.pdf. ︎