Cyberpunk is the way - Lexicon

A few definitions of the tags used here / Quelques définitions relatives aux tags utilisés ici.

Gig Worker

FR

Un travailleur de plateformes est un travailleur indépendant ou salarié ou opérant sous un autre statut, voire sans statut, vendant un service via une plateforme numérique.

ENG

Gig workers are independent contractors, online platform workers, contract firm workers, on-call workers, and temporary workers. Gig workers enter into formal agreements with on-demand companies to provide services to the company's clients.

Datafication

FR

La datafication est une tendance technologique transformant de nombreux aspects de notre vie en données, considérées comme des informations permettant la création d'une nouvelle forme de valeur. Ce terme a été introduit en 2013 par Kenneth Cukier et Victor Mayer-Schöenberger dans un examen des processus de «big data» dans les entreprises et les sciences sociales, où l’on présente la datafication d’un phénomène comme la transcription quantifiée de celui-ci pour qu’il puisse être étudié.

ENG

Datafication is a technological trend turning many aspects of our life into data which is subsequently transferred into information realised as a new form of value. Kenneth Cukier and Viktor Mayer-Schönberger introduced the term datafication to the broader lexicon in 2013. Up until this time, datafication had been associated with the analysis of representations of our lives captured through data, but not on the present scale. This change was primarily due to the impact of big data and the computational opportunities afforded to predictive analytics.

Enshitification

FR

Le phénomène des plateformes en ligne qui dégradent progressivement la qualité de leurs services, souvent en promouvant des publicités et du contenu sponsorisé, afin d'augmenter leurs profits.

ENG

The phenomenon of online platforms gradually degrading the quality of their services, often by promoting advertisements and sponsored content, in order to increase profits.

Transhumanism

FR

Le transhumanisme est un mouvement culturel et intellectuel international prônant l'usage des sciences et des techniques afin d'améliorer la condition humaine par l'augmentation des capacités physiques et mentales des êtres humains et de supprimer le vieillissement et la mort.

ENG

Transhumanism is a philosophical and intellectual movement which advocates the enhancement of the human condition by developing and making widely available sophisticated technologies that can greatly enhance longevity and cognition.

Technopaganism

FR

Le technopaganisme est la fusion du néopaganisme et des rituels magiques avec les technologies numériques. Il peut s'agir de l'utilisation de la technologie comme simple aide, comme la vidéoconférence par exemple, ou d'une adoration de la technologie elle-même.

ENG

Technopaganism is the merging of neopaganism and magical ritual with digital technologies. This may be through the use of technology merely as an aid, such as video conferencing for example, or it may be a worship of the technology itself.

Un psychothérapeute italien condamné à de la prison pour avoir induit de faux souvenirs

C’est l’histoire de Sara (le prénom a été modifié), une adolescente de 15 ans, dont les parents ont divorcé. Nous sommes en 2015. A vrai dire, tout a commencé quelques années plus tôt, en 2003, lorsque sa mère fait appel, pour la première fois, aux services sociaux pour obtenir un soutien économique dans un contexte de relation parentale conflictuelle.

Lors d’une rencontre avec les travailleurs sociaux, la mère de Sara les informe que sa fille a été victime d’abus sexuel de la part de son petit ami, également adolescent. Les faits sont portés à la connaissance du procureur et une enquête est ouverte à l’encontre de l’ami de Sara. L’adolescente n’entend pas être mêlée à l’affaire criminelle et en veut beaucoup à sa mère d’avoir trahi sa confiance en divulguant des éléments de sa vie.

Les services sociaux vont la questionner de manière intensive avant même qu’elle ne soit entendue par la justice. Durant ces entretiens, l’adolescente déclare éprouver beaucoup de honte à devoir raconter ce qu’elle a vécu et finit par réaliser à quel point tout cela l’a affectée. Plus tard, les services sociaux informent Sara qu’elle a été agressée sexuellement dans son enfance par un ami de son père, alors même que l’adolescente ne garde aucun souvenir de ce qui s’est passé.

Quelques mois plus tard, Sara est confiée par ces services sociaux aux bons soins d’un psychothérapeute, le Dr X, qui exerce dans un centre privé. L’établissement en question se situe à Reggio Emilia, non loin de Bologne, dans la région d’Emilie-Romagne. Agréé par la municipalité, il est fréquemment sollicité par les services sociaux pour des affaires concernant des enfants à problèmes.

Les séances de thérapie débutent en février 2016. Sara raconte ce qu’elle a vécu. Le thérapeute va alors la convaincre à penser que les épisodes qu’elle relate sont liés à des abus sexuels commis par un ami de son père lorsqu’elle avait cinq ou six ans, événements dont elle n’avait aucun souvenir avant cette psychothérapie. Les séances sont enregistrées sur bandes-vidéo, ce qui se révélera crucial, par la suite, pour documenter la dynamique de l’implantation de faux souvenirs.

Les séances avec le Dr X se poursuivent jusqu’à octobre 2016. Au cours de quatorze entretiens, le thérapeute revient plusieurs fois sur les supposés abus sexuels dont Sara aurait été victime à plusieurs reprises et explique que ses problèmes actuels seraient la conséquence de ces abus. Plus précisément, Sara va être poussée à se souvenir de l’abus perpétré par son ex-petit ami âgé de 13-14 ans, d’une récente agression par un camarade de classe et d’un abus sexuel commis par l’ami de son père, dont elle a été victime durant son enfance.

Durant les entretiens, les questions posées à Sara par le Dr X sont difficiles à comprendre pour la jeune adolescente dans la mesure où le thérapeute utilise une syntaxe complexe. Par ailleurs, le thérapeute fait de longs monologues destinés à persuader la jeune fille qu’elle a réellement été abusée sexuellement par son petit ami et par l’ami de son père.

De longues questions suggestives

Extrait des échanges entre le Dr X et Sara, tels que retranscrits par des criminologues belges et des psychologues néerlandais et italiens qui relatent cette histoire dans un article paru en septembre 2022 dans le Journal of Forensic Sciences, revue américaine de médecine légale :

Dr. X : Mmh, des hommes plus âgés, tu dis, hein ? (…) mais il est possible que des hommes plus âgés t’aient fait du mal dans le passé.

Sara : (hoche la tête)

Dr. X : Hein, hein… alors, pour éviter de tels risques désagréables, tu as imaginé mettre de la distance avec tout le monde… n’est-ce pas ?

Dr. X : ...d’une certaine manière, ton père est aussi lié à de mauvaises expériences de maltraitance et d’abus ?

Dr X : Il a posé ses mains sur toi. Donc, c’était un manque de respect, un sérieux manque de respect. Je comprends que ton histoire… oui, en effet, ce n’est pas toi…ce n’est pas ta vie qui est nulle hein, hein, ces hommes que tu as rencontrés sont nuls ! Tu as l’impression de mélanger les deux choses, hein ?

Dr X : C’est l’ami de ton père qui posait ses mains d’une manière dérangeante ?

Sara : Oui.

Dr. X : Sur ton corps, hein ?

Sara : M-hm, m-hm.

Selon les auteurs qui rapportent les tenants et aboutissants de cette affaire criminelle, « du fait des interventions thérapeutiques suggestives, Sara a eu tendance à adhérer aux déclarations et suggestions du psychothérapeute et a fréquemment changé ses réponses afin de se conformer à ce qu’il attendait ». Exemple : Dr X : « d’une certaine façon, il a commis un acte sexuel ». Sarah : « Oui ».

Henry Otgaar (faculté de droit et de criminologie de l’université de Louvain, Belgique) et ses collègues psychologues des universités de Maastricht (Pays-Bas), de Bari et de Padoue (Italie) soulignent que Sara avait une attitude « très passive » lorsqu’elle répondait aux questions du thérapeute et ne lui répondait souvent que par un simple mot (« Oui »), alors même que le Dr X lui posait de longues questions suggestives.

Le thérapeute fait de longues phrases. Il parle environ trois fois plus que sa jeune patiente. Il ressort des enregistrements vidéo que le Dr X utilise plus de 3 200 mots, quand Sara n’en prononce que 1 200. Le thérapeute emploie environ 21 mots dans une phrase alors que Sara se contente d’en utiliser 12, avec pour conséquence un réel déséquilibre dans la quantité d’information partagée entre le thérapeute et sa patiente.

Répondre à des questions longues, utilisant une grammaire compliquée pour une jeune enfant, a pu entraver la communication entre les deux et inciter Sara à adhérer aux propos de la personne ayant autorité, en l’occurrence son thérapeute.

Thérapie EMDR

Au cours des séances, Sara a également suivi une thérapie EMDR (eye movement desensitization and reprocessing), souvent utilisée dans la prise en charge d’un trouble psychotraumatique. Cette méthode de psychothérapie consiste à traiter des mémoires douloureuses à l’aide, notamment, de mouvements des yeux. La thérapie EMDR se focalise sur les aspects émotionnels, cognitifs et corporels liés à la mémoire traumatique. Le patient doit voir en image son traumatisme, afin de « le revivre » d’une certaine façon. Le thérapeute stimule alors latéralement les yeux du patient, en lui demandant de suivre du regard son doigt de droite à gauche et vice-versa durant plusieurs secondes. Il a été montré que cette procédure oculaire réduit la vivacité et la charge émotionnelle liées à la mémoire autobiographique, et pour ainsi dire permet au cerveau de « digérer » l’événement traumatisant. Des études ont cependant indiqué que la thérapie EMDR pouvait altérer la qualité et la quantité de la mémoire et potentiellement faciliter la création de faux souvenirs.

Au fur et à mesure des séances de thérapie EMDR, dans l’esprit de Sara, l’image de son père vient progressivement chevaucher celle de l’ami de son père, comme étant son agresseur sexuel lorsqu’elle était toute petite. C’est ainsi que Sara déclare à son thérapeute : « Euh…. je ne sais pas pourquoi mais… il m’est arrivé assez souvent… Euh… que je confonde l’ami de mon père avec mon père ».

Au cours des séances avec le Dr X, l’image de l’agresseur sexuel, initialement identifié comme étant l’ami du père de Sara, a commencé à devenir celle de son propre père. Sara déclare alors : « Je ne peux… Je ne peux pas comprendre pourquoi ces deux types se ressemblent autant ». La fillette ne parvient pas à distinguer ce qui arrivait avec son père de ce qui s’est passé avec l’ami de son père. « Je ne sais pas pourquoi je vois beaucoup de similarité avec mon père, donc je ne sais pas », dit-elle alors. À la 14e et dernière séance, la fille reconnaît que son père est le seul agresseur.

« À un certain moment, Sara semblait de plus en plus confuse et incertaine quant à savoir si l’agresseur était l’ami du père ou le père lui-même. Une fois les séances thérapeutiques terminées, Sara a été invitée par les travailleurs sociaux à continuer de rencontrer le Dr. X deux fois par mois. En octobre 2017, le tribunal des mineurs a déchu le père de Sara de son autorité parentale », indiquent les auteurs.

Deux ans plus tard, en octobre 2019, la mère et la sœur de Sara ont rapporté aux enquêteurs que la fille avait un comportement radicalement différent. Elle était devenue irritable et agressive, fréquentait des gens peu recommandables et se droguait. Elle refusait de voir son père et entretenait une relation très conflictuelle avec sa mère. Sara finit par rencontrer son père en août 2019.

Implantation de faux souvenirs d’abus sexuel commis par le père

En novembre 2021, le Dr X (68 ans) a été reconnu coupable, par la justice italienne, d’avoir infligé lors de sa pratique de sérieux dommages psychologiques à sa jeune patiente, d’abus de pouvoir et de fraude dans la prise en charge. Le Dr. X a été accusé d’avoir utilisé des questions fortement suggestives affectant les déclarations de Sara dans un cadre thérapeutique pour prouver la survenue d’un abus sexuel commis par son père qui n’a jamais eu lieu.

« Le Dr X et ses collègues ont utilisé des techniques psychologiques non éthiques et manipulatrices visant à laver le cerveau des enfants afin d’amener les victimes à se souvenir qu’elles avaient été abusées sexuellement par leurs parents. Parmi ces techniques, l’accent était mis sur l’utilisation d’entretiens très suggestifs et sur l’altération des souvenirs traumatiques par des pratiques EMDR », déclarent les auteurs.

Avant de débuter les séances avec son thérapeute, Sara n’avait aucun souvenir d’avoir été agressée sexuellement par son père. Elle déclarait uniquement avoir eu des rapports sexuels avec son petit ami.

L’analyse des dialogues entre Sara et son thérapeute illustre les changements dans la mémoire de la jeune adolescente au fil des séances. En effet, au début, Sara expliquait clairement ne pas se souvenir d’avoir été victime d’abus sexuel par l’ami de son père et que cette information provenait uniquement des services sociaux. Plus précisément, Sara déclarait alors n’avoir aucun souvenir relatif à une supposée agression sexuelle. Elle se rappelait juste qu’elle portait une robe rose et était assise sur le canapé à côté de l’ami de son père. L’image que Sara a fournie était floue et n’était pas placée dans l’espace et le temps. De plus, Sara ne se souvenait pas de ce à quoi cette image, dans sa mémoire, faisait référence. Elle ne savait pas ce qui s’était spécifiquement passé à cette occasion.

Cependant, au fur et à mesure des séances avec le Dr. X, la mémoire de la jeune fille va changer. Elle va progressivement accepter le scénario d’abus sexuel formulé par le thérapeute, celui-ci lui disant notamment : « Il est possible que des hommes âgés t’aient fait du mal dans le passé ». Dans la mémoire de Sara, l’abus commis par l’ami du père va devenir progressivement plus clair et finir par être intégré comme ayant réellement été vécu par elle-même, Sara déclarant alors : « ça s’est transformé … non plus en une image mais en un petit film ».

Alors qu’au début des séances, Sara évoquait seulement quelques détails (le canapé, la robe rose, l’ami de son père), au fil de la thérapie, Sara en a fourni un plus grand nombre (le visage de cet homme, ses mains), allant même jusqu’à en ajouter d’autres dans son récit, tel que la main de l’ami de son père lui touchant les parties intimes.

Au cours du procès, il s’est avéré que les enfants, confiés aux bons soins de ce thérapeute ou d’une de ses collègues, appartenaient à des familles pauvres ou à problèmes. « Parmi les techniques utilisées, le ou la thérapeute se déguisait en un mauvais personnage des contes de fées les plus célèbres et, habillé(e) ainsi, jouait le rôle de père/mère de l’enfant dans une sorte d’approche cathartique. Les enfants confrontés à de tels personnages étaient amenés à croire que leurs parents étaient dangereux, menaçants, abuseurs, de sorte que seul le fait de les affronter dans un tel acte symbolique pouvait les libérer de leur malaise », précisent les auteurs de l’article.

Peine d’emprisonnement

Alors que le procureur avait initialement requis une peine d’emprisonnement de six ans, le tribunal a finalement condamné le Dr. X à quatre ans de prison. Le thérapeute a fait appel.

Il a également écopé d’une interdiction d’exercer des fonctions publiques pendant une période de cinq ans et de pratiquer la psychologie et la psychothérapie pendant deux ans. Le tribunal a motivé son verdict en déclarant que de faux souvenirs ont été implantés par des « méthodes hautement suggestives et inductrices » afin que Sara soit convaincue d’avoir été sexuellement abusée par son père.

Selon les auteurs de l’article, cette affaire criminelle jugée – une première en Italie – pose la question de savoir si des psychothérapeutes doivent utiliser des techniques suggestives lors des séances de thérapie. Et de citer une étude américaine publiée en 2019 dans Clinical Psychological Science qui indiquait que 9 % des 2 326 patients en thérapie s’étaient vus interrogés sur l’existence de souvenirs refoulés. Cela souligne avec force « la nécessité d’une formation appropriée et de programmes éducatifs pour les thérapeutes sur la science de la mémoire », estiment Henry Otgaar et ses collègues criminologues et psychologues.

Sur le plan médical, ce cas montre que, lors de séances de thérapie, des techniques d’entretiens inappropriées peuvent avoir un impact délétère sur la santé mentale des patients. Cela a été le cas pour Sara dont la vie a été profondément affectée et dont les relations familiales ont été bouleversées.

Concernant les implications sur le plan légal de la fabrique de faux souvenirs, les auteurs concluent que « lorsque les professionnels du droit (juges, avocats, procureurs) ont des doutes ou des questions concernant l’exactitude des témoignages de victimes, de témoins et de suspects présumés, ils devraient consulter des experts de la mémoire. Ces experts peuvent fournir aux tribunaux des informations sur la fiabilité de la mémoire en règle générale ou dans le cadre d’une affaire ».

Charlatans français

Signalons, qu’en France, un psychothérapeute, a été reconnu coupable par la justice en juin 2022 d’avoir induit de faux souvenirs traumatisants. Il a été condamné à un an de prison avec sursis pour abus de faiblesse, le parquet n’hésitant pas à le qualifier de « charlatan ». Cet « humanothérapeute » demandait à ses patients de se déshabiller intégralement pendant de longues et éprouvantes séances, dans le but de revivre des traumatismes prétendument enfouis dans leur mémoire.

En mai 2017, une kinésithérapeute a été condamnée à un an de prison avec sursis pour avoir induit, chez des patientes, de faux souvenirs d’abus sexuels qu’elles auraient subis pendant l’enfance. Ces femmes avaient décrit un mécanisme d’emprise mentale. Les faux souvenirs concernaient en majorité des faits d’inceste ou de maltraitance subis durant l’enfance. L’une des plaignantes avait accusé à tort son père de l’avoir violée.

Marc Gozlan (Suivez-moi sur Twitter, Facebook, LinkedIn, Mastodon, et sur mon autre blog ‘Le diabète dans tous ses états’, consacré aux mille et une facettes du diabète – déjà trente billets).

Pour en savoir plus :

Otgaar H, Curci A, Mangiulli I, et al. A court ruled case on therapy-induced false memories. J Forensic Sci. 2022 Sep;67(5):2122-2129. doi: 10.1111/1556-4029.15073

Otgaar H, Houben STL, Rassin E, Merckelbach H. Memory and eye movement desensitization and reprocessing therapy: a potentially risky combination in the courtroom. Memory. 2021 Oct;29(9):1254-1262. doi: 10.1080/09658211.2021.1966043

Leer A, Engelhard IM. Side effects of induced lateral eye movements during aversive ideation. J Behav Ther Exp Psychiatry. 2020 Sep;68:101566. doi: 10.1016/j.jbtep.2020.101566

Houben STL, Otgaar H, Roelofs J, et al. Increases of correct memories and spontaneous false memories due to eye movements when memories are retrieved after a time delay. Behav Res Ther. 2020 Feb;125:103546. doi: 10.1016/j.brat.2019.103546

Patihis L, Pendergrast MH. Reports of recovered memories of abuse in therapy in a large age-representative US national sample: therapy type and decade comparisons. Clin Psych Sci. 2019;7(1):3–21.

Mazzoni G, Memon A. Imagination can create false autobiographical memories. Psychol Sci. 2003 Mar;14(2):186-8. doi: 10.1046/j.1432-1327.1999.00020.x

Kaplan R, Manicavasagar V. Is there a false memory syndrome? A review of three cases. Compr Psychiatry. 2001 Jul-Aug;42(4):342-8. doi: 10.1053/comp.2001.24588

Loftus EF. Memories for a past that never was. Current Directions in Psychological Science. 1997;6(3):60–65.

Garry M, Manning CG, Loftus EF, Sherman SJ. Imagination inflation: Imagining a childhood event inflates confidence that it occurred. Psychon Bull Rev. 1996 Jun;3(2):208-14. doi: 10.3758/BF03212420

Ceci SJ, Bruck M. Suggestibility of the child witness: a historical review and synthesis. Psychol Bull. 1993 May;113(3):403-39. doi: 10.1037/0033-2909.113.3.403

Sur le web :

Le thérapeute accusé de fabriquer des faux souvenirs condamné à de la prison avec sursis (Le Monde, 12 juin 2022)

Une kiné condamnée à un an de prison avec sursis pour avoir induit de faux souvenirs (France Info, 25 mai 2017)

Communiqué de la SIF sur ChatGTP et les modèles génératifs

Publié le 06 mars 2023

La mise en accès ouvert de ChatGPT par la société OpenAI a réussi le double tour de force d'amener à la une des médias le sujet des modèles génératifs ("MG" – c'est-à-dire les modèles d'IA qui génèrent du contenu) en intelligence artificielle, mais aussi de provoquer une curiosité, des réactions, et des inquiétudes parfois extrêmes du public. La Société informatique de France prend position par ce communiqué : au-delà d'une forme d'engouement massif et non raisonné pour une technologie déjà en gestation depuis des années, l'impact sociétal potentiellement considérable de celle-ci demande à être accompagné.

Que sont les modèles génératifs de texte ?

Les MGs de texte comme ChatGPT (GPT signifiant Generative Pre-trained Transformer ou Transformateur génératif pré-entraîné) sont construits par l'apprentissage d'associations de mots dans leur contexte, c'est-à-dire dans des phrases, et ce sur des quantités de données gigantesques. Leur tâche est de prévoir et de proposer les meilleurs mots et phrases suivant ceux proposés par un utilisateur. L'avancée de ChatGPT (mais aussi celle de Bard de Google, ou de tous les autres déjà annoncés) vient du modèle de langage GPT-3 (LAMDA pour Bard), entraîné sur des volumes massifs de phrases prises sur le Web, suivi d'une phase complémentaire pour affiner les "meilleures" réponses à proposer. Ainsi, ChatGPT propose un modèle de langage complété d'une fonctionnalité d'agent conversationnel (chatbot).

Nous sommes donc ici face à un système qui s’appuie sur des probabilités pour générer la suite la plus probable au regard des mots qui précèdent et des données d’apprentissage en rapport avec la question posée. Par exemple : “je suis étudiant… à l’université” est plus probable que “je suis étudiant… à Bali”. Il faut bien insister sur le fait que ceci ne résulte en rien d'un mécanisme "intelligent" ou "conscient" doté de la capacité de raisonner. Les MGs manipulent ainsi des suites de mots, mais pas des assertions logiques ou des éléments de calcul : la notion de justesse ou de vérité du résultat proposé est totalement absente du mécanisme en question. De ce fait, les MGs sont aussi "bons" (ou "mauvais") que les données ayant servi à les entraîner : ils ne savent que ce qu'ils ont appris. Par exemple, ChatGPT, entraîné sur des données jusque fin 2021, ignore tout ou presque de ce qui s'est passé depuis, même si l'agent conversationnel qui lui est associé continue à évoluer en continu grâce aux données des conversations avec les utilisateurs.

Il est également important de souligner que de tels modèles génératifs sont presque tous fournis et opérés actuellement par quelques très grandes entreprises (Microsoft, Google, Meta-Facebook, Baidu). Ils ne sont ainsi pas neutres : le commanditaire a en pratique toute latitude de les modeler sur les sujets qui lui importent ou ne lui nuisent pas, stratégiquement ou économiquement ; c'est lui qui décide ce qu'il est convenable de dire ou ne pas dire, comme c'est déjà le cas pour les moteurs de recherche. Lesquels moteurs de recherche vont d'ailleurs se trouver profondément transformés par l'incorporation de MGs, comme le montre la guerre désormais déclarée entre Microsoft-ChatGPT et Google-Bard.

Des usages qui se multiplient

Comme avec les outils génératifs d'images (type Dall-E, MidJourney, Stable Diffusion), les possibilités offertes par les MGs de texte comme ChatGPT sont nombreuses, et de nouveaux usages apparaissent quotidiennement. On peut imaginer que cela va transformer les tâches de rédaction de textes : courriels, rapports techniques, articles journalistiques, etc. L'écriture de code informatique et plus généralement le développement logiciel le serait également comme le montre l'introduction par Microsoft de Copilot dans GitHub. Certains de ces usages potentiels sont bien reçus, d'autres moins. En effet, ces outils soulèvent de nombreuses questions comme le risque de perturber l'emploi, ou des problèmes de copyright (rappelons que le modèle de langage est entraîné sur des données du Web, qui peuvent être protégées). Dans des domaines comme l'éducation ou les ressources humaines, ils questionnent aussi les formes classiques d'évaluation, depuis les notations d'examen jusqu'à l'appréciation de lettres de motivation.

Pour tenter de dédramatiser le débat, une analogie peut cependant être faite entre l'apparition de ces outils et l'invention des dictionnaires à partir du XVIIe siècle : l'apparition du dictionnaire simple a été suivie par celle du dictionnaire des synonymes, puis de celui des citations – le plus proche des outils que nous discutons ici. Jugée comme disruptive au départ, l'utilisation de ces dictionnaires a été progressivement intégrée au processus rédactionnel courant. Une différence majeure avec les MGs de texte est la nature aléatoire de ces derniers, qui permet des variations significatives dans les réponses lorsque des questions similaires sont posées. Si les textes produits n'ont aucun caractère de vérité, ils peuvent néanmoins constituer une excellente source d'inspiration, ou permettre d'étoffer et de mettre en forme rapidement une trame grossière donnée par l'utilisateur, laissant ce dernier se concentrer sur l'aspect le plus créatif de son propos. Ces MGs doivent ainsi être vus comme de simples assistants de rédaction de textes qui doivent toujours être relus, vérifiés, complétés par l'utilisateur.

Une telle assistance a cependant le travers de pouvoir se faire passer pour ce qu'elle n'est pas. Une classe d'élèves pourrait s'en servir pour répondre au même sujet de dissertation, sans que le professeur n'ait l'impression de corriger deux fois la même copie (en effet, il est encore impossible de détecter automatiquement qu'un texte a été produit par un MG, même si des recherches dans ce sens sont en cours). Des enseignants pourraient ainsi se trouver en difficulté face à ces outils, dont ils soupçonneraient l'usage sans pouvoir véritablement le prouver. De même, ces technologies pourraient permettre à un lobby de créer automatiquement un grand nombre de pages web défendant – mais de manière légèrement différente – la même thèse. Plutôt que de vouloir interdire les MGs, la SIF recommande un accompagnement de leur usage pédagogique, qui passe bien sûr par une phase de formation et de démystification : une charte d'usage devrait alors être proposée pour réguler le recours aux MGs.

Conclusion

De nombreuses questions sont toujours en suspens. Tout d'abord, ces outils nécessitent des moyens considérables pour leur entraînement puis leur utilisation, qu'il faut questionner à l'heure d'une nécessaire sobriété numérique (empreinte carbone tout particulièrement). Les avancées de la recherche en informatique permettront-elles à terme de réduire ces coûts ? De plus, ils sont pour le moment aux mains de grands industriels non européens. Au-delà de la question des biais dans les résultats fournis, l'avantage compétitif, mais surtout les impacts géopolitiques attendus de l'accroissement de leur efficacité et de leur usage devraient pousser l'Europe à prendre les mesures nécessaires pour maîtriser ses propres outils. Pourrait-on alors imaginer de concevoir et de mettre en ligne, au niveau européen, des modèles génératifs au service de tous, fondés sur la recherche publique, le partage, la mise en commun de logiciels et de données d'apprentissage ? La Commission européenne comme l'Agence Nationale de la Recherche viennent d'ailleurs de lancer des appels à projet de recherche sur les MGs.

Pour la génération de texte, le génie est sorti de sa boîte : ces outils sont une opportunité créative, permettant de réduire les tâches répétitives et les coûts, et on voit mal pourquoi on devrait s'en passer. L'esprit critique s'impose plus que jamais sans bloquer pour autant la créativité que ces MGs peuvent stimuler. On devra sans doute en réguler les utilisations problématiques, mais surtout, il convient aux institutions d'accompagner les usagers, et de faciliter la compréhension des objectifs et des limites de ces systèmes. La SIF plaide donc pour la formation des jeunes aux outils numériques et à l'informatique, et ce dès l'école et le collège, et plus généralement pour un accompagnement éclairé de la population, tout au long de la vie et pour le plus grand nombre.

ChatGPT Is a Blurry JPEG of the Web

OpenAI’s chatbot offers paraphrases, whereas Google offers quotes. Which do we prefer?

By Ted Chiang February 9, 2023

In 2013, workers at a German construction company noticed something odd about their Xerox photocopier: when they made a copy of the floor plan of a house, the copy differed from the original in a subtle but significant way. In the original floor plan, each of the house’s three rooms was accompanied by a rectangle specifying its area: the rooms were 14.13, 21.11, and 17.42 square metres, respectively. However, in the photocopy, all three rooms were labelled as being 14.13 square metres in size. The company contacted the computer scientist David Kriesel to investigate this seemingly inconceivable result. They needed a computer scientist because a modern Xerox photocopier doesn’t use the physical xerographic process popularized in the nineteen-sixties. Instead, it scans the document digitally, and then prints the resulting image file. Combine that with the fact that virtually every digital image file is compressed to save space, and a solution to the mystery begins to suggest itself.

Compressing a file requires two steps: first, the encoding, during which the file is converted into a more compact format, and then the decoding, whereby the process is reversed. If the restored file is identical to the original, then the compression process is described as lossless: no information has been discarded. By contrast, if the restored file is only an approximation of the original, the compression is described as lossy: some information has been discarded and is now unrecoverable. Lossless compression is what’s typically used for text files and computer programs, because those are domains in which even a single incorrect character has the potential to be disastrous. Lossy compression is often used for photos, audio, and video in situations in which absolute accuracy isn’t essential. Most of the time, we don’t notice if a picture, song, or movie isn’t perfectly reproduced. The loss in fidelity becomes more perceptible only as files are squeezed very tightly. In those cases, we notice what are known as compression artifacts: the fuzziness of the smallest JPEG and MPEG images, or the tinny sound of low-bit-rate MP3s.

Xerox photocopiers use a lossy compression format known as JBIG2, designed for use with black-and-white images. To save space, the copier identifies similar-looking regions in the image and stores a single copy for all of them; when the file is decompressed, it uses that copy repeatedly to reconstruct the image. It turned out that the photocopier had judged the labels specifying the area of the rooms to be similar enough that it needed to store only one of them—14.13—and it reused that one for all three rooms when printing the floor plan.

The fact that Xerox photocopiers use a lossy compression format instead of a lossless one isn’t, in itself, a problem. The problem is that the photocopiers were degrading the image in a subtle way, in which the compression artifacts weren’t immediately recognizable. If the photocopier simply produced blurry printouts, everyone would know that they weren’t accurate reproductions of the originals. What led to problems was the fact that the photocopier was producing numbers that were readable but incorrect; it made the copies seem accurate when they weren’t. (In 2014, Xerox released a patch to correct this issue.)

I think that this incident with the Xerox photocopier is worth bearing in mind today, as we consider OpenAI’s ChatGPT and other similar programs, which A.I. researchers call large language models. The resemblance between a photocopier and a large language model might not be immediately apparent—but consider the following scenario. Imagine that you’re about to lose your access to the Internet forever. In preparation, you plan to create a compressed copy of all the text on the Web, so that you can store it on a private server. Unfortunately, your private server has only one per cent of the space needed; you can’t use a lossless compression algorithm if you want everything to fit. Instead, you write a lossy algorithm that identifies statistical regularities in the text and stores them in a specialized file format. Because you have virtually unlimited computational power to throw at this task, your algorithm can identify extraordinarily nuanced statistical regularities, and this allows you to achieve the desired compression ratio of a hundred to one.

Now, losing your Internet access isn’t quite so terrible; you’ve got all the information on the Web stored on your server. The only catch is that, because the text has been so highly compressed, you can’t look for information by searching for an exact quote; you’ll never get an exact match, because the words aren’t what’s being stored. To solve this problem, you create an interface that accepts queries in the form of questions and responds with answers that convey the gist of what you have on your server.

What I’ve described sounds a lot like ChatGPT, or most any other large language model. Think of ChatGPT as a blurry JPEG of all the text on the Web. It retains much of the information on the Web, in the same way that a JPEG retains much of the information of a higher-resolution image, but, if you’re looking for an exact sequence of bits, you won’t find it; all you will ever get is an approximation. But, because the approximation is presented in the form of grammatical text, which ChatGPT excels at creating, it’s usually acceptable. You’re still looking at a blurry JPEG, but the blurriness occurs in a way that doesn’t make the picture as a whole look less sharp.

This analogy to lossy compression is not just a way to understand ChatGPT’s facility at repackaging information found on the Web by using different words. It’s also a way to understand the “hallucinations,” or nonsensical answers to factual questions, to which large language models such as ChatGPT are all too prone. These hallucinations are compression artifacts, but—like the incorrect labels generated by the Xerox photocopier—they are plausible enough that identifying them requires comparing them against the originals, which in this case means either the Web or our own knowledge of the world. When we think about them this way, such hallucinations are anything but surprising; if a compression algorithm is designed to reconstruct text after ninety-nine per cent of the original has been discarded, we should expect that significant portions of what it generates will be entirely fabricated.

This analogy makes even more sense when we remember that a common technique used by lossy compression algorithms is interpolation—that is, estimating what’s missing by looking at what’s on either side of the gap. When an image program is displaying a photo and has to reconstruct a pixel that was lost during the compression process, it looks at the nearby pixels and calculates the average. This is what ChatGPT does when it’s prompted to describe, say, losing a sock in the dryer using the style of the Declaration of Independence: it is taking two points in “lexical space” and generating the text that would occupy the location between them. (“When in the Course of human events, it becomes necessary for one to separate his garments from their mates, in order to maintain the cleanliness and order thereof. . . .”) ChatGPT is so good at this form of interpolation that people find it entertaining: they’ve discovered a “blur” tool for paragraphs instead of photos, and are having a blast playing with it.

Given that large language models like ChatGPT are often extolled as the cutting edge of artificial intelligence, it may sound dismissive—or at least deflating—to describe them as lossy text-compression algorithms. I do think that this perspective offers a useful corrective to the tendency to anthropomorphize large language models, but there is another aspect to the compression analogy that is worth considering. Since 2006, an A.I. researcher named Marcus Hutter has offered a cash reward—known as the Prize for Compressing Human Knowledge, or the Hutter Prize—to anyone who can losslessly compress a specific one-gigabyte snapshot of Wikipedia smaller than the previous prize-winner did. You have probably encountered files compressed using the zip file format. The zip format reduces Hutter’s one-gigabyte file to about three hundred megabytes; the most recent prize-winner has managed to reduce it to a hundred and fifteen megabytes. This isn’t just an exercise in smooshing. Hutter believes that better text compression will be instrumental in the creation of human-level artificial intelligence, in part because the greatest degree of compression can be achieved by understanding the text.

To grasp the proposed relationship between compression and understanding, imagine that you have a text file containing a million examples of addition, subtraction, multiplication, and division. Although any compression algorithm could reduce the size of this file, the way to achieve the greatest compression ratio would probably be to derive the principles of arithmetic and then write the code for a calculator program. Using a calculator, you could perfectly reconstruct not just the million examples in the file but any other example of arithmetic that you might encounter in the future. The same logic applies to the problem of compressing a slice of Wikipedia. If a compression program knows that force equals mass times acceleration, it can discard a lot of words when compressing the pages about physics because it will be able to reconstruct them. Likewise, the more the program knows about supply and demand, the more words it can discard when compressing the pages about economics, and so forth.

Large language models identify statistical regularities in text. Any analysis of the text of the Web will reveal that phrases like “supply is low” often appear in close proximity to phrases like “prices rise.” A chatbot that incorporates this correlation might, when asked a question about the effect of supply shortages, respond with an answer about prices increasing. If a large language model has compiled a vast number of correlations between economic terms—so many that it can offer plausible responses to a wide variety of questions—should we say that it actually understands economic theory? Models like ChatGPT aren’t eligible for the Hutter Prize for a variety of reasons, one of which is that they don’t reconstruct the original text precisely—i.e., they don’t perform lossless compression. But is it possible that their lossy compression nonetheless indicates real understanding of the sort that A.I. researchers are interested in?

Let’s go back to the example of arithmetic. If you ask GPT-3 (the large-language model that ChatGPT was built from) to add or subtract a pair of numbers, it almost always responds with the correct answer when the numbers have only two digits. But its accuracy worsens significantly with larger numbers, falling to ten per cent when the numbers have five digits. Most of the correct answers that GPT-3 gives are not found on the Web—there aren’t many Web pages that contain the text “245 + 821,” for example—so it’s not engaged in simple memorization. But, despite ingesting a vast amount of information, it hasn’t been able to derive the principles of arithmetic, either. A close examination of GPT-3’s incorrect answers suggests that it doesn’t carry the “1” when performing arithmetic. The Web certainly contains explanations of carrying the “1,” but GPT-3 isn’t able to incorporate those explanations. GPT-3’s statistical analysis of examples of arithmetic enables it to produce a superficial approximation of the real thing, but no more than that.

Given GPT-3’s failure at a subject taught in elementary school, how can we explain the fact that it sometimes appears to perform well at writing college-level essays? Even though large language models often hallucinate, when they’re lucid they sound like they actually understand subjects like economic theory. Perhaps arithmetic is a special case, one for which large language models are poorly suited. Is it possible that, in areas outside addition and subtraction, statistical regularities in text actually do correspond to genuine knowledge of the real world?

I think there’s a simpler explanation. Imagine what it would look like if ChatGPT were a lossless algorithm. If that were the case, it would always answer questions by providing a verbatim quote from a relevant Web page. We would probably regard the software as only a slight improvement over a conventional search engine, and be less impressed by it. The fact that ChatGPT rephrases material from the Web instead of quoting it word for word makes it seem like a student expressing ideas in her own words, rather than simply regurgitating what she’s read; it creates the illusion that ChatGPT understands the material. In human students, rote memorization isn’t an indicator of genuine learning, so ChatGPT’s inability to produce exact quotes from Web pages is precisely what makes us think that it has learned something. When we’re dealing with sequences of words, lossy compression looks smarter than lossless compression.

A lot of uses have been proposed for large language models. Thinking about them as blurry JPEGs offers a way to evaluate what they might or might not be well suited for. Let’s consider a few scenarios.

Can large language models take the place of traditional search engines? For us to have confidence in them, we would need to know that they haven’t been fed propaganda and conspiracy theories—we’d need to know that the JPEG is capturing the right sections of the Web. But, even if a large language model includes only the information we want, there’s still the matter of blurriness. There’s a type of blurriness that is acceptable, which is the re-stating of information in different words. Then there’s the blurriness of outright fabrication, which we consider unacceptable when we’re looking for facts. It’s not clear that it’s technically possible to retain the acceptable kind of blurriness while eliminating the unacceptable kind, but I expect that we’ll find out in the near future.

Even if it is possible to restrict large language models from engaging in fabrication, should we use them to generate Web content? This would make sense only if our goal is to repackage information that’s already available on the Web. Some companies exist to do just that—we usually call them content mills. Perhaps the blurriness of large language models will be useful to them, as a way of avoiding copyright infringement. Generally speaking, though, I’d say that anything that’s good for content mills is not good for people searching for information. The rise of this type of repackaging is what makes it harder for us to find what we’re looking for online right now; the more that text generated by large language models gets published on the Web, the more the Web becomes a blurrier version of itself.

There is very little information available about OpenAI’s forthcoming successor to ChatGPT, GPT-4. But I’m going to make a prediction: when assembling the vast amount of text used to train GPT-4, the people at OpenAI will have made every effort to exclude material generated by ChatGPT or any other large language model. If this turns out to be the case, it will serve as unintentional confirmation that the analogy between large language models and lossy compression is useful. Repeatedly resaving a JPEG creates more compression artifacts, because more information is lost every time. It’s the digital equivalent of repeatedly making photocopies of photocopies in the old days. The image quality only gets worse.

Indeed, a useful criterion for gauging a large language model’s quality might be the willingness of a company to use the text that it generates as training material for a new model. If the output of ChatGPT isn’t good enough for GPT-4, we might take that as an indicator that it’s not good enough for us, either. Conversely, if a model starts generating text so good that it can be used to train new models, then that should give us confidence in the quality of that text. (I suspect that such an outcome would require a major breakthrough in the techniques used to build these models.) If and when we start seeing models producing output that’s as good as their input, then the analogy of lossy compression will no longer be applicable.

Can large language models help humans with the creation of original writing? To answer that, we need to be specific about what we mean by that question. There is a genre of art known as Xerox art, or photocopy art, in which artists use the distinctive properties of photocopiers as creative tools. Something along those lines is surely possible with the photocopier that is ChatGPT, so, in that sense, the answer is yes. But I don’t think that anyone would claim that photocopiers have become an essential tool in the creation of art; the vast majority of artists don’t use them in their creative process, and no one argues that they’re putting themselves at a disadvantage with that choice.

So let’s assume that we’re not talking about a new genre of writing that’s analogous to Xerox art. Given that stipulation, can the text generated by large language models be a useful starting point for writers to build off when writing something original, whether it’s fiction or nonfiction? Will letting a large language model handle the boilerplate allow writers to focus their attention on the really creative parts?

Obviously, no one can speak for all writers, but let me make the argument that starting with a blurry copy of unoriginal work isn’t a good way to create original work. If you’re a writer, you will write a lot of unoriginal work before you write something original. And the time and effort expended on that unoriginal work isn’t wasted; on the contrary, I would suggest that it is precisely what enables you to eventually create something original. The hours spent choosing the right word and rearranging sentences to better follow one another are what teach you how meaning is conveyed by prose. Having students write essays isn’t merely a way to test their grasp of the material; it gives them experience in articulating their thoughts. If students never have to write essays that we have all read before, they will never gain the skills needed to write something that we have never read.

And it’s not the case that, once you have ceased to be a student, you can safely use the template that a large language model provides. The struggle to express your thoughts doesn’t disappear once you graduate—it can take place every time you start drafting a new piece. Sometimes it’s only in the process of writing that you discover your original ideas. Some might say that the output of large language models doesn’t look all that different from a human writer’s first draft, but, again, I think this is a superficial resemblance. Your first draft isn’t an unoriginal idea expressed clearly; it’s an original idea expressed poorly, and it is accompanied by your amorphous dissatisfaction, your awareness of the distance between what it says and what you want it to say. That’s what directs you during rewriting, and that’s one of the things lacking when you start with text generated by an A.I.

There’s nothing magical or mystical about writing, but it involves more than placing an existing document on an unreliable photocopier and pressing the Print button. It’s possible that, in the future, we will build an A.I. that is capable of writing good prose based on nothing but its own experience of the world. The day we achieve that will be momentous indeed—but that day lies far beyond our prediction horizon. In the meantime, it’s reasonable to ask, What use is there in having something that rephrases the Web? If we were losing our access to the Internet forever and had to store a copy on a private server with limited space, a large language model like ChatGPT might be a good solution, assuming that it could be kept from fabricating. But we aren’t losing our access to the Internet. So just how much use is a blurry JPEG, when you still have the original?

More Science and Technology

• Can we stop runaway A.I.?
• Saving the climate will depend on blue-collar workers. Can we train enough of them before time runs out?
• There are ways of controlling A.I.—but first we need to stop mythologizing it.
• A security camera for the entire planet.
• What’s the point of reading writing by humans?
• A heat shield for the most important ice on Earth.
• The climate solutions we can’t live without.

A Tale of Unwanted Disruption: My Week Without Amazon

These are only my thoughts and opinions.

On Wednesday, May 31, 2023, I finally regained access to my Amazon account after an unexpected and unwarranted lockout that lasted nearly a week, from Thursday, May 25. This wasn’t just a simple inconvenience, though. I have a smart home, and my primary means of interfacing with all the devices and automations is through Amazon Echo devices via Alexa. This incident left me with a house full of unresponsive devices, a silent Alexa, and a lot of questions.

I do want to note that since I host many of my own local services and many devices are local only. I only lost the ability to use Alexa. My home was fine as I just used Siri or locally hosted dashboard if I wanted to change a light’s color or something of that nature. However, this was a huge over reaction and I’m hoping we as consumers get more protections and will truly be able to own our devices. I go over this more here.

Unpacking the Cause

The sequence of events that led to this digital exile began innocuously enough. A package was delivered to my house on Wednesday, May 24, and everything seemed fine. The following day, however, I found that my Echo Show had signed out, and I was unable to interact with my smart home devices. My initial assumption was that someone might have attempted to access my account repeatedly, triggering a lockout. I use a fairly old email address for my Amazon account, and it’s plausible that an old password might have been exposed in a past data breach. However, I currently use strong, auto-generated passwords via Apple and employ two-factor authentication with an authenticator app, so unauthorized access seemed unlikely.

I swiftly checked my other accounts (social media, streaming apps, etc.) to ensure I hadn’t been compromised. All seemed normal, with no flood of notifications from Microsoft Authenticator that would indicate an attempted breach. Puzzled, I followed the advice of the Amazon app and dialed the customer service number it provided. That’s when things began to take a surreal turn.

An Unexpected Accusation

The representative told me I should have received an email, which I indeed found in my inbox. It was from an executive at Amazon. As I dialed the number provided in the email, I half-wondered if Amazon was experiencing some issues and I was unwittingly falling into a scam.

When I connected with the executive, they asked if I knew why my account had been locked. When I answered I was unsure, their tone turned somewhat accusatory. I was told that the driver who had delivered my package reported receiving racist remarks from my “Ring doorbell” (it’s actually a Eufy, but I’ll let it slide).

Addressing the Problem

Here’s where things got even more baffling. First, I have multiple cameras recording everything that happens on my property. If the driver’s claims were accurate, I could easily verify them with video footage. Second, most delivery drivers in my area share the same race as me and my family. It seemed highly unlikely that we would make such remarks. Finally, when I asked what time the alleged incident occurred, I realized it was practically impossible for anyone in my house to have made those comments, as nobody was home around that time (approximately 6:05 PM).

I reviewed the footage and confirmed that no such comments had been made. Instead, the Eufy doorbell had issued an automated response: “Excuse me, can I help you?” The driver, who was walking away and wearing headphones, must have misinterpreted the message. Nevertheless, by the following day, my Amazon account was locked, and all my Echo devices were logged out.

Let me be clear: I fully support Amazon taking measures to ensure the safety of their drivers. However, I question why my entire smart home system had to be rendered unusable during their internal investigation (Clarification, I wrote this from the perspective of the average user. My entire system was fine but only due to me self hosting many services and that should not have to be the norm/expected of everyone). It seems more sensible to impose a temporary delivery restriction or purchasing ban on my account. Submitting video evidence from multiple angles right after my initial call with the executive appeared to have little impact on their decision to disable my account.

The Fallout

This incident has led me to question my relationship with Amazon. After nearly a decade of loyalty, I’ve been given a harsh reminder that a misunderstanding can lead to such drastic measures. It seems more reasonable to handle such issues in a more compartmentalized way, rather than a blanket shutdown of all services.

Due to this experience, I am seriously considering discontinuing my use of Amazon Echo devices and will caution others about this incident. This ordeal has made a case for a more personalized home assistant system, perhaps utilizing Raspberry Pi devices scattered around the house.

The Resolution

Despite promptly submitting video evidence immediately upon learning of the issue, my account remained locked. The timing couldn’t have been worse: the onset of Memorial day weekend was approaching, and I was keen to resolve the issue before the long weekend. However, despite numerous calls and emails, it wasn’t until Friday afternoon that I received confirmation that the investigation had started. I was told to expect a response within two business days, meaning not until Tuesday of the following week at the earliest.

In the end, my account was unlocked on Wednesday, with no follow-up email to inform me of the resolution. This incident stands as a stark reminder of the need for better customer service and a more nuanced approach to incident management.

Through sharing my experience, I hope to encourage Amazon to reform and rethink their approach to handling such situations in the future. It’s essential for customers to feel confident in the security and reliability of their services, especially when those services are integral to the functionality of their homes. It’s time for Amazon to take a more customer-focused approach to problem-solving and conflict resolution.

Update: For those saying I’m okay with this happening to a anyone else, I’m not. No matter how abhorrent their views or beliefs are. If someone bought and paid for a device they should be able to use it. At least on their own property/ if it doesn’t hurt anyone else. I’m only pushing this story so that this WONT happen to any one else. Regardless of their race, religion, beliefs, if you paid for it you should OWN it.

Update: I was not truly in the dark for a week. My smart home runs mostly locally and Alexa really is just a polymorphic interface. I was just able to use Siri. Though out of habit I’d sometimes say “alexa” only for her to remind me she’s locked out.

« 95% des projets NFT ne valent plus rien » : après l’emballement, la désillusion

Les NFT ont connu leur heure de gloire en 2021 et en début 2022. Mais depuis, les ventes sont en chute libre, des projets ont disparu, et certains se retrouvent avec des NFT qui ne valent plus rien. D’autres ont fait fortune grâce aux tokens. Les propriétaires de NFT nous racontent.

Le projet de NFT WorkerTown, lancé fin 2021, ressemblait à de nombreux autres. Dans ce jeu play to earn, les joueurs pouvaient acheter de petits personnages pixelisés et compléter des tâches pour gagner des tokens de crypto-monnaies. Le jeu avait levé plus de 750 000 dollars et avait attiré une communauté de plusieurs milliers de personnes, dont celui que l’on connait sous le pseudo Sungie. Le Français avait investi une centaine d’euros dans le NFT, et fut même pendant un temps modérateur en chef de la communauté sur Internet.

Puis, en avril 2022, les deux fondateurs sont partis avec l’argent, raconte aujourd’hui Sungie. Les comptes Twitter et Instagram du projet ont disparu, le groupe Discord a été supprimé. « Un mec calé en blockchain a regardé les transactions, et il a vu que tout l’argent du portefeuille du projet avait été retiré d’un coup. Les deux co-créateurs du projet se sont enfuis avec un peu plus d’un million d’euros, au bout de 7 mois de boulot et un mois de lancement », se souvient-il, amer.

Sur un groupe Telegram, les derniers membres de la communauté sont nombreux à utiliser le terme de « rug pull », une forme d’arnaque dans laquelle les dirigeants partent avec la caisse, tirant le tapis de sous les pieds des participants. « L’équipe s’est retrouvée démunie et volée, au même titre que les utilisateurs, qui portaient de grands espoirs dans ce jeu. J’y croyais, et j’y ai investi, pour au final, [me retrouver avec] un rugpull des plus classiques », regrette-t-il. « C’était un épisode traumatisant.»

Sungie n’est pas le seul dans ce cas. Après l’explosion de la popularité des NFT, de très nombreux projets et collections ont vu le jour, beaucoup promettant des retours sur investissement importants et un gameplay révolutionnaire. D’autres espéraient remplacer les Bored Ape Yacht Club, la collection de NFT la plus populaire et la plus chère à ce jour. Parmi les acheteurs, la grande majorité était à la recherche d’argent facile, attirée par les records de vente des NFT ou convaincue par des influenceurs d’investir dans leurs idées.

Aujourd’hui, plus de deux ans après l’arrivée des NFT, il ne reste plus grand chose de cet ancien marché qui pesait des milliards de dollars. Après un bear market qui a fait plonger la valeur du bitcoin de plus de 50 %, et des faillites spectaculaires de géants de la crypto, les ventes de NFT sont au plus bas. Même si certains ont réussi à faire fortune, une large partie des projets lancés pendant la période faste des NFT ont disparu, ou rencontrent des difficultés à se maintenir. Pour les investisseurs qui n’ont pas pu vendre à temps, et qui se retrouvent avec des NFT sans valeur, il y a surtout des regrets.

« Je me suis faite à l’idée de ne jamais revoir mon argent »

C’est la collection de NFT Badass Ape Guild qui a convaincu Selma d’investir. Lancée fin 2021, la collection, qui met en scène des singes au design largement inspiré par les Bored Apes, devait s’accompagner d’un métaverse, et devait à terme regrouper plusieurs jeux. « Beaucoup de points m’ont mise en confiance », nous confie la francophone, avec qui nous nous sommes entretenue par écrit. La collection, hébergée sur la blockchain de Binance, disposait d’un Discord, d’un site internet, d’objectifs clairs, d’un compte Twitter très actif… Rassurée, Selma a acheté pour plus de 2 000 euros de NFT dans cette collection.

Le projet a pris de l’importance et gagné en popularité. Au moment de la mise en vente des NFT, ils atteignaient un prix plancher de 400 dollars et enregistraient un volume de vente de 1,2 million de dollars. Binance avait même inclus la collection dans un tweet promotionnel, pour inciter ses clients à se mettre aux NFT.

Puis, petit à petit, la communication s’est arrêtée sur Twitter, et les participants au groupe Discord se sont retrouvés livrés à eux-mêmes. « Il y a eu beaucoup de promesses de la part du créateur », indique Selma, « mais aujourd’hui, il s’est volatilisé après avoir empoché un paquet de thunes ». La collection a été laissée à l’abandon, et « aujourd’hui, un NFT de cette collection ne vaut même pas 1 euro », alors qu’ils valaient encore plusieurs centaines de dollars chacun il y a quelques mois. « Je me suis faite à l’idée que je ne reverrai jamais mon argent », a-t-elle commenté sur le Discord du groupe, où ils sont nombreux dans le même cas.

« Au-delà de ma frustration, ce qui me chagrine, c’est que la plateforme de Binance n’a pas de dispositif face à des cas de scam [arnaque] aussi énormes, et il y en a plein d’autres… » Numerama, qui a essayé de contacter les équipes de Badass Ape Guild et de Binance, n’a pas reçu de réponse de leur part.

Sungie et Selma sont loin d’être des cas isolés. L’impressionnant succès des NFT a attiré un grand nombre de personnes mal intentionnées, attirées par la promesse d’argent rapide, et des consommateurs peu avertis sur les dangers du milieu des cryptos. Les dérives étaient si nombreuses en début d’année 2022 qu’Opensea, la principale plateforme de vente de NFT, avait déclaré que « 80 % des fichiers créés étaient des œuvres plagiées, des fausses collections, et des spams. »

Depuis, de nombreux articles ont dénoncé des projets de NFT louches, ayant laissé leurs participants sur la paille. Il faut cependant faire la différence entre les arnaques, comme les rug pulls que Sungie et Selma ont vus, et les projets n’ayant pas pu aboutir pour d’autres raisons. Il n’y avait pas que des escrocs dans le lot : certains créateurs de projets n’ont simplement pas eu les moyens d’aller jusqu’au bout de leur ambition.

Les entreprises obligées de se réinventer pour survivre

Pour les projets lancés au plus haut de la mode des NFT, l’argent coulait à flots. Selon Crunchbase, les entreprises spécialisées dans les NFT ont levé 2,9 milliards de dollars sur l’année 2021, et 2,1 milliards seulement pendant le premier trimestre 2022 — sans compter les projets ayant récolté de l’argent directement avec les ventes. Un nombre impressionnant de grandes entreprises se sont également lancées dans le milieu, telles que Coca-Cola, Adidas, Samsung, Louis Vuitton, Lacoste, et bien d’autres encore.

Depuis, la manne s’est tarie. La mode est passée, les scandales et arnaques ont terni la réputation du milieu, et les nombreuses faillites d’entreprises de la crypto ont refroidi les investisseurs. « Le milieu NFT n’est plus du tout aussi tendance qu’il ne l’était l’année dernière », écrivait Crunchbase dans un article publié en novembre 2022. « Moins d’accords sont conclus, pour beaucoup moins d’argent ». Seuls 131 millions de dollars ont été investis lors du dernier trimestre 2022, et 78 millions pour le premier trimestre 2023, selon Metaverse Post.

Entre les manques de fonds et la baisse drastique des ventes, même certains projets soutenus par de grandes entreprises n’ont pas survécu. En octobre 2022, CNN a ainsi mis fin à son aventure dans les NFT en fermant sa plateforme de vente, au grand dam des acheteurs. Pour les plus petits projets, la situation est encore plus difficile.

Chez Solid, une entreprise française spécialisée dans l’impression de NFT que Numerama avait rencontré en avril 2022 lors du Paris NFT Day, « on a beaucoup plus de mal qu’à la fin 2021, en effet », reconnait Max, au téléphone. « Le marché des NFT s’est bien calmé en volume, en prix, en activité, en création… donc ça a un très fort impact sur nous. On a ressenti très vite en 2022 que c’était en baisse », se souvient le fondateur. « Avant, on ne prospectait presque pas, on n’avait pas de plan marketing. On s’est mis désormais à mettre en place des plans de ressources, on a pas mal pivoté aussi.»

« Les NFT sont toujours là »

L’entreprise continue de travailler en partenariat avec des entreprises s’étant lancées dans les NFT, comme Yves Saint-Laurent, ou Mugler, mais s’appuie aussi sur un nouveau business plan. « Aujourd’hui, on s’occupe de gérer les communautés digitales des créateurs de contenus », explique Max. « Les NFT sont un support pour ces communautés-là, et elles ont envie d’avoir des expériences en physique. Donc nous, on s’occupe de l’impression des NFT, de l’événementiel, des cadeaux, etc. On fait des salons, on crée des événements pour le lancement de nouvelles collections NFT… Le marché n’est pas aussi fort qu’en 2021 et 2022, mais les NFT sont toujours là. »

Il y a tout de même des limites. « Le métaverse, ça n’est plus à la mode », admet ainsi Gauthier Bros. Le fondateur de Metaverse Weapon Factory (une entreprise qui vendait des NFT d’armes virtuelles), que nous avions également rencontré en 2022, n’est cependant pas défaitiste. « Ceux qui étaient dans le milieu pour la technologie sont restés. Nous, on voit un intérêt à avoir une propriété sur des objets numériques, donc on reste.»

Le fabricant d’armes en NFT, qui n’a pas encore sorti de collection, n’est pas inquiet sur le futur. « Ce projet NFT, c’est en parallèle de notre entreprise principale, Atayen. Notre but n’était donc pas de sortir un truc trop vite, mais de montrer un produit fini, qui a du sens.» Il continue cependant de travailler sur le développement « d’un générateur d’objets en 3D pour produire des armes, des véhicules et des animaux de compagnie », qui doivent, à terme, être vendus et utilisés dans toutes sortes de jeux vidéo différents.

Même si le métaverse n’est plus une notion qui fait rêver, Gauthier Bros estime qu’il y a un marché pour les NFT dans les jeux. « Imaginez avoir des objets réutilisables dans plusieurs environnements ! Pour nous, c’est le futur. Même pour les développeurs, cela serait génial de ne pas avoir à refaire les mêmes armes 12 000 fois ».

Il en veut également pour preuve le marché des skins sur le jeu Counter-Strike, où certains items s’arrachent à plus de 100 000 dollars. « Le marché pour des armes en NFT est là, mais pour l’instant, c’est jeu par jeu, et c’est dommage de devoir acheter deux fois un AR-15. Je crois que le futur, c’est un marché transversal. Les joueurs voudront des objets vraiment à eux. Il y a une demande pour les NFT, mais bon, si des gens achètent une photo d’un singe en espérant devenir milliardaires, c’est sûr qu’ils vont perdre de l’argent ».

« Aujourd’hui, 95 % des projets NFT ne valent plus rien »

Malgré ce qu’assure Gauthier, certains ont bien réussi à faire fortune grâce à l’achat et à la vente de NFT. Benjamin, un ex-trader, a acheté pour « plus de 100 000 euros de NFT », et a fait « d’énormes retours sur investissement.» « J’avais une méthode de trading avant, que j’ai appliquée aux NFT, sans affect. J’en ai acheté tellement que j’ai gardé moins de 5 min que je ne les ai plus en tête ,» raconte-t-il. Il a tout de même acheté des tokens par intérêt, « mais à chaque fois que j’ai acheté avec de l’affect, j’ai perdu. » Aujourd’hui, il ne lui reste plus que quelques NFT « de cœur », et il a revendu tous les autres.

Benjamin, qui a réussi à échapper aux gros des escroqueries grâce à sa méthode, admet cependant qu’il y a eu « une énorme déception de la part du public. Beaucoup de projets n’ont pas tenu leurs promesses, et beaucoup d’arnaques visaient en priorité les personnes qui n’y connaissaient rien.»

Bountydreams est, lui aussi, arrivé dans le monde des NFT après y avoir été attiré par les sommes records empochées lors des ventes. « Je me suis renseigné sur la tech, et je me suis complètement pris de passion pour le sujet en un mois. Je suis passé d’un mec dont le but était de revendre le plus cher à quelqu’un, à une personne vraiment convaincue par le projet. Aujourd’hui, j’ai des NFT qui valent une fortune que je ne vendrai pour rien au monde », assène-t-il, lui qui possède 2 NFT de la collection des Bored Ape.

« Je pense qu’en tout, j’ai acheté 4 000 NFT. J’ai beaucoup revendu au début, et je me suis fait pas mal d’argent. Je pense que j’ai facilement multiplié mon investissement de départ par 2 000. Ça a changé ma vie, tout simplement.» Aujourd’hui, même s’il a vendu la majorité de ce qu’il a acheté, il possède toujours près de 700 NFT, « certains pour de l’investissement à long terme, d’autres, pour ma collection personnelle ».

Néanmoins, « aujourd’hui, 95 % des projets NFT qui se sont lancés sur les dernières années ne valent plus rien. Cela ne vaut pas le coup. Le prix des Bored Apes a été divisé par 4 par rapport à leur pic, et même la plupart des gros projets de 2022 ont vu leur prix divisé par 10 en moyenne. »

Même si le marché n’est pas au beau fixe, Bountydreams et Benjamin sont persuadés que ce n’est pas vraiment la fin des NFT. « Le marché s’est vraiment calmé, mais il y a toujours beaucoup d’argent qui tourne dans le milieu. Les événements de 2022 ont fait peur au grand public, et c’est normal, mais je n’ai jamais été inquiet personnellement. Il y a toujours un futur pour les entreprises », assure-t-il. « Pour le tracking de data, pour les tickets dans l’événementiel, il y a des opportunités. »

Benjamin prédit, lui, que le marché risque de stagner pendant encore quelque temps. « Il y a besoin de nouvelles initiatives fraiches. Après la hype, maintenant il faut construire des projets avec une vraie utilité, comme dans les jeux vidéo, par exemple. En tout cas, ça n’est pas la fin des NFT », pronostique-t-il. D’autres n’abondent pas dans ce sens. Sungie l’assure : « Les NFT, je n’y mets plus jamais les pieds. »

Électricité, la grande arnaque

Comment l’État laisse les fournisseurs privés d’électricité siphonner les ressources d’EDF, dans l’espoir de sauver une ouverture du marché de l’énergie.

Par Erwan Seznec et Géraldine Woessner (avec Clément Fayol)

Trente euros il y a deux ans, 200 euros en début d'année, près de 500 euros le mégawattheure (MWh) fin août : le marché européen de l'électricité paraît hors de contrôle, et rien ne laisse présager un retour rapide à la normale. En cause, une reprise post-Covid vigoureuse et la guerre en Ukraine, qui perturbe les approvisionnements en gaz russe. Deux facteurs aggravés, côté français, par une disponibilité historiquement faible du parc nucléaire.

Les Français réalisent-ils l'ampleur du problème ? Pas sûr. Leurs factures d'électricité au tarif réglementé ont augmenté de 4 % seulement depuis l'hiver dernier. Sans le bouclier tarifaire instauré par le gouvernement à l'automne 2021, elles auraient flambé de 35 %. Et, si le gouvernement a décidé de prolonger la digue en 2023, les finances publiques ne pourront pas soutenir longtemps un dispositif qui a d'ores et déjà coûté plus de 10,5 milliards d'euros…

Les fournisseurs alternatifs d'électricité, eux, ont parfaitement conscience de la gravité de la situation. Pesant environ 30 % du marché, ils se sont engagés à fournir à leurs clients des kilowattheures (kWh) à prix fixe, sur plusieurs mois, voire plusieurs années. Ceux qui ont vu venir l'envolée des prix se sont couverts, en achetant à l'avance, sur les marchés, des mégawattheures livrables cet hiver. Voilà pour les fourmis. Mais les fournisseurs cigales, eux, ont commencé à rendre l'âme. E.Leclerc Énergies a jeté l'éponge dès octobre 2021, suivi par Bulb ou Oui Energy. Hydroption a fait faillite. Ce courtier avait décroché des marchés de fourniture des villes de Paris, Rouen et de l'armée française ! La structure se résumait en fait à une dizaine de traders basés dans le Var, dépourvus de la moindre capacité de production… Quand les prix ont explosé, ils n'ont pas pu approvisionner leurs clients. Un cas loin d'être unique. À quelques exceptions près, comme TotalEnergies ou Engie, les « fournisseurs » alternatifs sont essentiellement des courtiers, non des industriels. Depuis l'ouverture du marché de l'énergie, la concurrence d'EDF affiche un bilan plus que décevant en termes de création de capacités productives. En 2021, le nucléaire historique représente toujours 67 % du mix électrique français, contre 78 % en 2007. Et si les alternatifs ont rongé les parts de marché d'EDF, l'entreprise historique assure toujours 85 % de la production d'électricité consommée dans le pays.

Nucléaire. Sa place est en effet incontournable lorsqu'on prend en considération la notion d'énergie pilotable, c'est-à-dire indépendante du vent et du soleil, capable d'assurer de manière planifiée l'indispensable équilibre entre l'offre et la demande sur le réseau, 7 jours/7 et 24 heures/24. Adieu, panneaux solaires et éoliennes. La France évite le black-out grâce à quelques grands barrages, à des turbines d'appoint au gaz mais, surtout, à son parc de 56 réacteurs nucléaires.

Autant dire qu'en théorie le champagne devrait couler à flots dans les bureaux d'EDF. L'opérateur historique sait à l'avance que les prix vont flamber les soirs d'hiver sans vent ni soleil, quand la demande sera maximale et les renouvelables à l'arrêt. Le nucléaire , lui, répondra présent alors que le mégawattheure s'envolera à 1 000 euros, voire davantage. De quoi renflouer les caisses de l'électricien, qui a accumulé 44 milliards d'euros de dettes au fil du temps. Sauf que…

Prix bradé. L'État en a décidé autrement lorsqu'il s'est avéré, quelques années après la libéralisation du marché, que les alternatifs n'arriveraient jamais à concurrencer le mégawattheure produit à faible coût et à la demande par un parc nucléaire quasi amorti. En 2010, la loi Nome (Nouvelle organisation du marché de l'électricité) instaure un nouveau mécanisme, nommé Accès régulé à l'électricité nucléaire historique (Arenh). Dans le but de rétablir l'équilibre avec de nouveaux entrants qui peinent à décoller, EDF est contrainte, par la loi, de partager la production de ses réacteurs avec eux. L'opérateur historique doit céder à ses concurrents un gros quart de sa production nucléaire -100 térawattheures (TWh) - à prix coûtant, très au-dessous des prix du marché : 42 euros le mégawattheure depuis 2012, peut-être revalorisé en 2023 à 49,50 euros. Pour répondre à la crise, en mars 2022, le gouvernement a décidé d'imposer à EDF un supplément d'Arenh de 20 TWh par an, au prix de 46,20 euros le mégawattheure.

En résumé, alors que le parc nucléaire d'EDF est ralenti par des problèmes de maintenance et de corrosion, l'entreprise doit céder à prix bradé 120 TWh à ses concurrents, soit plus d'un tiers de sa production. Et ce volume devrait encore augmenter : lors d'une audition au Sénat en juillet 2022, la ministre de la Transition énergétique, Agnès Pannier-Runacher, a confié réfléchir à porter l'Arenh à 135 TWh par an, pour limiter l'envolée des factures des clients des fournisseurs alternatifs. Une fuite en avant ?

Effets pervers. « La crise actuelle prouve à quel point le système était mal pensé au départ », soupire l'économiste Jacques Percebois, directeur du Centre de recherche en économie et droit de l'énergie (Creden). D'une part parce que l'Arenh se voulait un dispositif transitoire, qui doit d'ailleurs prendre fin en 2025 : « l'esprit du texte était de subventionner les petits fournisseurs pendant quelques années, afin qu'ils investissent et développent leur propre parc de production. Mais très peu l'ont fait », la majorité se contentant d'empocher les bénéfices, sans investir un euro. D'autre part parce que le système - par la magie d'une étrange règle de calcul - a récemment contribué… à faire augmenter les prix ! En effet, les fournisseurs alternatifs, sans moyen de production propre, doivent acheter, sur les marchés, l'électricité qu'ils revendent à leurs clients. Environ la moitié (et jusqu'à 75 %) de leurs achats viennent de l'Arenh, qu'ils obtiennent donc à un prix très avantageux. Mais le reste est acheté le plus souvent au prix fort sur le marché de gros. En bon gardien de la concurrence, la Commission de régulation de l'énergie (CRE) a, depuis 2015, pour principe d'augmenter le tarif réglementé en fonction des coûts, non seulement de l'opérateur historique, mais aussi des fournisseurs alternatifs : plus le volume d'Arenh qu'ils demandent est élevé, plus le tarif réglementé de l'électricité payée par les consommateurs augmente, afin de permettre aux alternatifs d'augmenter leurs prix tout en restant compétitifs, au moins en apparence. Un principe qui ulcère l'association de défense des consommateurs CLCV depuis des années.

Dernier effet pervers, et non des moindres : ce système laisse la porte grande ouverte à un certain nombre de dérives. « Certains fournisseurs ne répercutent pas le prix de l'Arenh dans les contrats de leurs clients. D'autres surestiment volontairement la consommation de leurs clients, afin d'obtenir davantage d'Arenh qu'ils n'en consommeront, et qu'ils pourront revendre au prix du marché », détaille Jacques Percebois. La CRE s'en est aperçue et peut infliger après coup des pénalités, « mais, quel que soit leur montant, ils auront gagné beaucoup d'argent ».

Depuis LePoint

Hydrogène : comment l'Europe prépare un nouveau scandale climatique

Par Géraldine Woessner

Publié le 22/09/2022 à 10h23 - Modifié le 22/09/2022 à 13h51

Les eurodéputés ont adopté un amendement autorisant gaz et charbon dans la production d’hydrogène « vert ». De quoi ruiner les efforts de décarbonation.

est le problème des politiques publiques lorsqu'elles sont élaborées sur des bases mensongères, ou erronées : arrive fatalement un moment où leur poursuite produira un effet exactement inverse de celui recherché. Ainsi de l'hydrogène, présenté par quelques dirigeants européens comme LA solution miracle qui permettra de décarboner l'industrie et les transports, sans rien changer de nos modes de vie ni de nos procédés de production. Le 14 septembre, alors qu'ils planchaient sur une nouvelle version de la directive sur les énergies renouvelables, les eurodéputés ont adopté, à une courte majorité, un amendement positivement aberrant : il permettra demain d'étiqueter comme « vert » de l'hydrogène qui serait produit avec du gaz ou du charbon… Donc ultra-polluant !

Par quel « miracle », se demande-t-on ? Pour comprendre la chaîne de causes qui ont conduit à ce vote contraire à tous les objectifs de décarbonation proclamés la main sur le cœur par des politiques soucieux du réchauffement climatique, il faut rappeler quelques réalités concernant l'hydrogène, un gaz extrêmement prometteur, mais aussi particulièrement complexe à produire en grandes quantités. Pour de l'hydrogène « vert », des quantités colossales d'électricité

Il existe aujourd'hui deux façons de produire de l'hydrogène, ou plus exactement du dihydrogène (H2) : avec du gaz ou avec de l'eau.

- La première méthode, par vaporeformage, consiste à casser une molécule de méthane en un atome de carbone (C) et quatre atomes d'hydrogène (H). Elle présente l'inconvénient majeur de dégager beaucoup de carbone : on émet 9 à 10 kg de CO2 par kilo d'hydrogène produit.

- La seconde méthode, qui nourrit tous les espoirs, consiste à casser une molécule d'eau (H2O), par électrolyse. Un électron sépare alors l'atome d'oxygène des deux atomes d'hydrogène… Simple, propre, efficace ? Pas tout à fait. Car pour que l'hydrogène produit soit « vert », encore faut-il que l'énergie qui permet de faire tourner l'électrolyseur soit elle-même bas carbone, c'est-à-dire produite à partir d'éolien, de solaire, de barrages hydroélectriques, ou de nucléaire.

La technologie existe, mais elle est pour l'instant si peu rentable que 98 % de l'hydrogène consommé dans le monde est encore produit avec des ressources fossiles. Pour une raison simple : un électrolyseur requiert des quantités énormes d'électricité. À titre d'exemple, pour remplacer par de l'hydrogène le gaz et le charbon brûlant dans les six hauts fourneaux des aciéries françaises, il faudrait mobiliser toute la production de trois réacteurs EPR. C'est dire à quel point l'idée, vendue par les industriels, de faire rouler demain un parc entier de voitures particulières à l'hydrogène relève de l'utopie.

« On a largement surestimé le potentiel de l'hydrogène, à la fois en termes de volume, de compétitivité et de potentiel de déploiement », soupire le spécialiste des questions énergétiques Maxence Cordiez. « Il faudrait réserver son usage à quelques secteurs, qui ne pourront pas décarboner sans : les mobilités lourdes, la métallurgie… » Mais certains pays, dont l'Allemagne, qui ont beaucoup misé sur l'hydrogène puisque c'est la seule solution au stockage de l'électricité solaire et éolienne, peuvent difficilement s'en passer.

Greenwashing : l'entourloupe des « garanties d'origine »

Ayant fait le choix de s'appuyer sur le gaz pour sortir du nucléaire, Berlin cherche en effet désespérément le moyen de sortir de cette dépendance, tout en optimisant son gigantesque parc d'énergies renouvelables. Or l'intermittence du solaire et de l'éolien bride le développement de l'hydrogène, puisqu'un électrolyseur qui y serait raccordé ne peut tourner, au mieux, que 50 % du temps. Difficile, dans ces conditions, de rentabiliser l'investissement… Plusieurs pays en ont pourtant un besoin vital, n'ayant plus vraiment d'autre option pour faire tourner leurs usines en l'absence de gaz. « L'hydrogène, c'est une brique indispensable pour aller vers la neutralité carbone de l'industrie. Cela va nécessiter des quantités gigantesques d'électricité. Comment y arriver ? » résume Bertrand Charmaison, directeur d'I-Thésé, l'Institut de recherche en économie de l'énergie du CEA. Réponse : en s'exonérant des exigences climatiques pour sa propre production, et en important massivement.

Déposé par le député allemand Markus Pieper (CDU), l'amendement adopté par le Parlement européen permet de résoudre une partie du problème. La Commission européenne, pour s'assurer que l'hydrogène produit en Europe ne le serait pas avec du charbon, pensait fixer des limites étroites : un acte délégué prévoyait de n'étiqueter comme « durable » que de l'hydrogène « compensé » par des ressources renouvelables produites à la même heure, et dans la même zone géographique. Impossible, donc, de faire tourner « en base » l'électrolyseur avec le mix disponible (fortement carboné en Allemagne) quand le vent ne souffle pas.

Le nouvel amendement balaie ces précautions : il suffira au producteur d'acheter la même quantité d'électrons d'origine renouvelable, dans une période de trois mois. « Avec l'amendement voté par le Parlement, il suffit d'acheter de grandes quantités de certificats nommés « garanties d'origine » auprès de producteurs d'électricité éolienne lorsque le vent souffle, en septembre, par exemple. Et si en octobre les pales ne tournent pas, vous pourrez utiliser de l'électricité produite par du gaz ou du charbon : votre hydrogène sera considéré comme vert, dès lors qu'on lui associe les certificats de septembre », s'indigne Bertrand Charmaison, qui a effectué ses calculs : « Avec le mix électrique fortement carboné de nombreux pays européens tel qu'il est aujourd'hui, produire cet hydrogène « vert » pourrait rejeter jusqu'à15 kg de CO2 par kg d'hydrogène produit, c'est-à-dire davantage que par la méthode classique ! »

Verdissement européen, au détriment d'autres pays

Une discussion qui risque de s'ouvrir sous de mauvais auspices, redoutent les observateurs. « Nous sommes dans une compétition économique », décrypte une source proche du dossier. « Si la France maintient finalement les 12 centrales nucléaires qu'elle avait prévu de fermer, comme Emmanuel Macron s'y est engagé, on pourrait avoir un excédent d'électricité nucléaire jusqu'en 2028-2030, ce qui rendrait très concurrentiel notre hydrogène vert. Ceux qui rejettent le nucléaire vont s'y opposer… » Ainsi la stratégie énergétique allemande, qui prévoit une production domestique d'hydrogène de seulement 14 TWh pour une consommation estimée entre 90 et 110 TWh en 2030, repose essentiellement sur des importations à bas coût.

Berlin « met en place des coopérations par différents canaux », avec « des exportateurs traditionnels d'énergies fossiles [Angola, Nigeria, Arabie saoudite, Russie, Canada, Ukraine] et des nouveaux entrants comme le Chili, le Brésil, l'Afrique du Sud, le Maroc, le Portugal ou encore l'Australie », détaillait l'an dernier une note du Trésor. L'Allemagne a déjà affecté deux milliards d'euros de fonds publics à des partenariats avec le Maroc, la Namibie, la République démocratique du Congo, l'Afrique du Sud : leurs fermes solaires lui livreront de l'hydrogène par cargos. Une aberration au regard du climat, constate un expert du secteur : « C'est un énorme scandale, on crée une politique anti-climatique. Quel sens y a-t-il à piquer le renouvelable des pays en développement ? Avec quoi feront-ils leur transition ? »

Aujourd'hui, la consommation d'énergie au Maroc est encore dominée par les fossiles, à plus de 90 %, quasiment entièrement importés. Elle risque de l'être encore pour longtemps.

Publié sur le journal LePoint

Bercy veut vos relevés bancaires en temps réel

Du Ficoba au Flics aux basques
Par Pierre Januel Le vendredi 23 septembre 2022 à 10:03

Lors de la refonte du fichier des comptes bancaires (Ficoba), Bercy a voulu le transformer en fichier des opérations bancaires, qui lui aurait permis d’accéder en temps réel à nos relevés de compte. Un projet finalement bloqué par la Dinum, faute de base légale.

Dans la grande famille des fichiers, Ficoba est l’un des plus anciens. Ce FIchier des COmptes Bancaires et Assimilés liste, depuis 1971, tous les comptes ouverts en France : comptes courants, comptes d'épargne, comptes-titres… Il contient environ 800 millions de références de comptes dont 300 millions d’actifs. Les informations sont conservées durant toute la durée de vie du compte et pendant 10 ans après sa clôture.

Ficoba est un mastodonte que doivent nourrir toutes banques et qui est régulièrement consulté par de nombreux organismes : sécurité sociale, fisc, douane, enquêteurs judiciaires, notaires en charge d’une succession, banques, huissiers, TRACFIN. Au total, il y a eu pas moins de 41 millions de consultations en 2020. Le fichier est obsolète. Ainsi dans un récent référé, la Cour des comptes regrettait que le Ficoba, à cause de son obsolescence technique, ne soit pas assez utilisé par les organismes sociaux pour lutter contre la fraude à l’identité.

Le Ficoba ne contient que des informations sur les titulaires et bénéficiaires des comptes : rien sur les opérations effectuées sur les comptes ou sur le solde. Si le fisc ou la police veut en savoir plus, ils doivent passer par des réquisitions spéciales aux banques. C’est apparemment trop limité et trop compliqué pour Bercy.

Bercy voulait intégrer les opérations bancaires au Ficoba

Une refonte de Ficoba, intitulée Ficoba 3, est actuellement en chantier depuis 2020. L’objectif : mettre à jour technologiquement l’outil qui commence à dater, améliorer l’ergonomie et inscrire de nouveaux produits financiers (comme les coffres-forts) et de nouvelles données (noms des bénéficiaires effectifs et des mandataires) comme le prévoient des directives européennes. Un projet évalué à 17,4 millions d’euros, financé par le FTAP 2 à hauteur de 7,8 millions d’euros et qui devrait s’étaler jusqu’à 2024.

Mais un courrier adressé en septembre 2021 par Bercy à la Direction du numérique, qui est chargée de rendre un avis sur les grands projets informatiques, nous permet d’en savoir plus. Le ministère de l’Économie et des Finances y indiquait qu’il y avait d’autres buts à la refonte du Ficoba : « Les objectifs du projet Ficoba 3 sont également de préparer, de par son architecture, les étapes suivantes : a) intégrer les opérations effectuées sur les comptes bancaires ; b) évoluer et devenir le référentiel des comptes bancaires de la DGFiP. »

Le directeur interministériel du numérique, Nadi Bou Hanna, va bloquer sur ce point. Transformer un fichier des comptes bancaires en relevé de toutes les opérations bancaires serait une modification massive du Ficoba. Cela reviendrait à donner ces informations en temps réel au fisc, aux services de renseignement et à un tout un tas d’organismes. De quoi nourrir le data mining de Bercy, de plus en plus mis en avant dans la lutte contre la fraude fiscale.

La Dinum note que concernant les nouvelles exigences européennes, « les principales mesures attendues (intégration des coffres-forts, des bénéficiaires effectifs et des mandataires par exemple) ont d’ores et déjà été embarquées dans les évolutions en cours de Ficoba 2. »

Surtout l’intégration des soldes de comptes bancaires et à terme les opérations effectuées sur ces comptes bancaires serait « une évolution fonctionnelle très significative de Ficoba, passant d’une gestion des données de référence statiques à une gestion des données dynamiques très sensibles ».

Mais « les cas d’usage de ces soldes et de ces opérations ne sont pas détaillés et leur conformité avec le cadre juridique actuel ne me paraissent pas suffisamment solides ». La DINUM n’a notamment pas trouvé trace « de débats parlementaires permettant d’autoriser ces évolutions substantielles ». Afin de sécuriser le projet, il conviendrait que Bercy s’assure « de leur conformité auprès des instances compétentes, en premier lieu la CNIL, avant de débuter les travaux de réalisation ».

Les éléments fournis par Bercy ne permettent pas à la Dinum de conclure à la « conformité juridique indispensable du périmètre fonctionnel additionnel de constitution d’un référentiel porté par la DGFIP des soldes et des mouvements des comptes bancaires des entreprises et des particuliers ». En conséquence, son avis conforme est défavorable pour cette partie du projet.

Pour le reste, l’avis de la Dinum à Ficoba 3 est favorable, moyennant d’autres demandes, comme celle de permettre le partage des RIB avec plusieurs administrations via FranceConnect, le renforcement de l’approche « données » du projet, le resserrement du pilotage du projet et le fait de mener une réflexion en faveur de la cloudification du Ficoba (qui devrait rester hébergé à la DGFIP).

Bercy, qui n’a pas souhaité répondre à nos questions, semble pour l’instant avoir abandonné son projet fou. La dernière version de son cahier des charges ne mentionne plus le fait que le Ficoba 3 intégrera les soldes et les opérations bancaires.

Une présentation faite à l’association des marchés financiers en mars 2022 évoque uniquement « un cadre légal évolutif permettant de stocker de nouvelles données », mais rien de précis concernant l’inclusion des soldes et des opérations. En bref, il faudra changer la loi avant de changer le Ficoba.

Article publié dans la revue NextInpact par Pierre Januel

La Cnil saisie d’un recours collectif contre la « technopolice »

La Quadrature du Net a recueilli les mandats de 15 248 personnes pour déposer trois plaintes contre les principaux outils de surveillance policière déployés un peu partout en France. Elle demande notamment le démantèlement de la vidéosurveillance et l’interdiction de la reconnaissance faciale.
Jérôme Hourdeaux 25 septembre 2022 à 10h23

C’est un recours d’une ampleur inédite qui a été déposé samedi 24 septembre auprès de la Cnil (Commission nationale de l’informatique et des libertés) : plus de 15 248 personnes regroupées pour contester peu ou prou l’intégralité du dispositif techno-sécuritaire déployé par le gouvernement ces 20 dernières années.

Pendant presque six mois, l’association La Quadrature du Net a battu le rappel pour récolter les mandats de citoyens et citoyennes souhaitant s’opposer à ce qu’elle a baptisé la « technopolice », terme désignant la vidéosurveillance, les dispositifs algorithmiques de surveillance ou encore la reconnaissance faciale.

Au total, trois plaintes ont été préparées par La Quadrature du Net et déposées symboliquement samedi soir en clôture de son festival « Technopolice », qui se tenait à Marseille. La démarche est de fait particulièrement ambitieuse. Les plaintes s’attaquent en effet à plusieurs des piliers de la surveillance numérique ayant envahi nos villes ces dernières décennies.

La première a tout simplement pour ambition de faire « retirer l’ensemble de caméras déployées en France », et ainsi de mettre un terme à la vidéosurveillance. Pour cela, la réclamation devant la Cnil se fonde sur le règlement général sur la protection des données (RGPD), qui impose à tout traitement de données un certain nombre de bases légales. Toute collecte de données doit ainsi répondre à un intérêt légitime ou encore remplir une mission d’intérêt public.

Or, comme le rappelle la plainte, l’efficacité de la vidéosurveillance dans la lutte contre l’insécurité n’a jamais été démontrée. Elle a même été démentie par plusieurs études universitaires. La Cour des comptes elle-même, dans une étude de 2020 sur les polices municipales, n’avait trouvé « aucune corrélation globale […] entre l’existence de dispositifs de vidéoprotection et le niveau de la délinquance commise sur la voie publique, ou encore les taux d’élucidation ». En 2021, une autre étude, cette fois commandée par la gendarmerie, concluait que « l’exploitation des enregistrements de vidéoprotection constitue une ressource de preuves et d’indices peu rentable pour les enquêteurs ».

« Or, en droit, il est interdit d’utiliser des caméras de surveillance sans démontrer leur utilité, plaide La Quadrature sur le site de son projet Technopolice lancé il y a trois ans. En conséquence, l’ensemble des caméras autorisées par l’État en France semblent donc être illégales. »

« Dans notre argumentaire, nous nous appuyons sur une décision rendue il y a quatre ans par la cour administrative d’appel de Nantes qui concernait la commune de Ploërmel, explique à Mediapart Noémie Levain, juriste et membre de La Quadrature. Elle avait confirmé l’annulation d’une autorisation préfectorale d’installation de la vidéosurveillance dans la ville au motif, notamment, qu’aucun lien n’était établi entre celle-ci et la baisse de la délinquance. Elle n’était ni nécessaire ni légitime et donc illégale. Nous reprenons ce raisonnement pour l’étendre à toute la France. »

« Pour installer un système de vidéosurveillance, la ville doit demander une autorisation au préfet, qui doit normalement décider de la finalité, du lieu, de la durée…, détaille encore la juriste. Mais, dans les faits, cette autorisation préfectorale est juste formelle. Elle est toujours accordée. Ce qui, pour nous, rend ces actes illégaux. »

« Pour ramener ça au niveau national – la décision de la cour administrative d’appel de Nantes étant locale –, nous soulignons que le ministre de l’intérieur est co-responsable du traitement des données avec les communes, via les préfets qui dépendent de lui, explique encore Noémie Levain. De plus, il y a une très forte incitation de la part du gouvernement visant à pousser les communes à s’équiper via des aides financières. Celles-ci représentent généralement 60-70 % du financement, souvent versé par le Fonds interministériel de prévention de la délinquance (FIPD). »

Un éventuel démantèlement du réseau de caméras de vidéosurveillance, même partiel, aurait pour conséquence de rendre inopérant un autre des aspects de la « technopolice » : la vidéosurveillance algorithmique. Celle-ci consiste en l’utilisation de « caméras intelligentes » et de logiciels capables d’analyser les images pour repérer les comportements suspects. En l’absence de caméras, « qui en sont le support matériel », souligne La Quadrature, ces logiciels deviendraient logiquement caducs.

Le traitement d’antécédents judiciaires et la reconnaissance faciale

La deuxième plainte de l’association vise le traitement d’antécédents judiciaires (TAJ), un fichier dans lequel est inscrite toute personne impliquée dans une enquête judiciaire, qu’elle soit mise en cause, juste suspectée ou même victime. Le TAJ est accessible aux forces de police et de gendarmerie et aux services de renseignement, ainsi que dans le cadre des enquêtes administratives menées lors du recrutement à certains postes sensibles.

« Nous attaquons tout d’abord sa disproportion, explique Noémie Levain. Ce fichier comporte plus de 20 millions de fiches, avec aucun contrôle et énormément d’erreurs. Beaucoup de fiches n’ont aucun lien avec une infraction. Et il y a ces dernières années de plus en plus de témoignages de policiers prenant en photos des cartes d’identité de manifestants. »

À travers le TAJ, la plainte vise également la reconnaissance faciale. En effet, le décret du 7 mai 2012 lui ayant donné naissance, en fusionnant deux autres fichiers, précise que peut y être enregistrée la « photographie comportant des caractéristiques techniques permettant de recourir à un dispositif de reconnaissance faciale ».

Et depuis, sur cette seule base légale, les policiers multiplient les recours à la reconnaissance faciale. Selon un rapport sénatorial rendu au mois de mai 2022, 1 680 opérations de reconnaissance faciale seraient ainsi effectuées quotidiennement par les forces de police.

« Le TAJ, c’est une porte d’entrée pour la reconnaissance faciale qui a été ouverte par une simple petite phrase du décret de 2012, pointe Noémie Levain. Nous disons que cette petite phrase ne suffit absolument pas. Il faut un grand débat. D’autant plus qu’avec l’explosion de la quantité d’images issues de la vidéosurveillance, et celles des réseaux sociaux, nous avons changé d’échelle. Cette omniprésence des caméras dans notre société fait craindre une vidéosurveillance de masse. »

Le « fichier des gens honnêtes »

Enfin, la troisième plainte vise le fichier des titres électroniques sécurisés (TES). Créé en 2005, celui-ci incorporait initialement les données personnelles des titulaires de passeports, puis leurs données biométriques avec l’introduction du passeport électronique. En octobre 2016, un décret avait étendu son champ d’application aux cartes d’identité, malgré une vaste mobilisation de la société civile.

Comme le soulignait à l’époque ses opposants, au fur et à mesure des renouvellements de cartes d’identité, c’est l’ensemble de la population française dont les données biométriques seront à terme enregistrées dans le TES, créant ainsi un gigantesque « fichier des gens honnêtes ». Ces données sont de plus stockées de manière centralisée. Le dispositif avait même été critiqué par la Cnil et l’Agence nationale de la sécurité des systèmes d’information (Anssi).

L’extension du fichier TES aux cartes d’identité avait à l’époque été justifiée par la lutte contre l’usurpation d’identité et le trafic de faux papiers. Or, selon La Quadrature du net, « ce risque, qui était déjà extrêmement faible en 2016, a entièrement disparu depuis qu’une puce – qui contient le visage et les empreintes – est désormais présente sur les passeports et permet de remplir la même fonction de façon décentralisée ».

En résumé, La Quadrature estime qu’une lecture des données inscrites dans la puce est suffisante à l’authentification du titulaire et qu’un fichier centralisé est désormais inutile et n’a donc plus de base légale. De plus, souligne-t-elle, la présence des photos fait craindre une utilisation du fichier TES par les forces de l’ordre. « Créer un fichier avec les photos de tous les Français ne peut avoir d’autre but que la reconnaissance faciale », pointe Noémie Levain.

Si actuellement les forces de l’ordre n’y ont normalement pas accès, la tentation est en effet grande d’interconnecter le fichier TES avec d’autres fichiers de police. À l’occasion d’un rapport parlementaire sur les fichiers mis à la disposition des forces de sécurité rendu en octobre 2018, les auteurs signalaient qu’il leur avait été « suggéré » lors des auditions, « pour aller plus loin dans la fiabilisation de l’état civil des personnes mises en cause, de créer une application centrale biométrique qui serait interconnectée avec les données d’identité du fichier TES ».

Reste à savoir quel sort la Cnil réservera à ces plaintes. La commission dispose en effet de pouvoir limités vis-à-vis des fichiers des forces de l’ordre et des services de renseignement. Longtemps, elle a disposé d’un pouvoir d’appréciation a priori des projets gouvernementaux qui devaient lui être soumis, appréciation validée par elle à travers un « avis conforme ». Mais celui-ci lui a été retiré en 2004 et, désormais, le travail de la Cnil sur les traitements de données régaliens se limite à un rôle de conseil et d’accompagnement du gouvernement.

« Depuis 2004, la Cnil a perdu une grande partie de ses pouvoirs, constate Noémie Levain. Elle peut rendre des avis, des rapports parfois très critiques… Mais le gouvernement peut toujours passer outre. L’idée de cette plainte est qu’elle aille voir les pratiques. Un des problèmes est l’opacité des pratiques de la police. La Cnil dispose des pouvoirs d’investigation pour aller voir ce qu’il se passe. Après ses conclusions, il s’agira d’une question de volonté politique de sa part. On verra si elle instaurera un rapport de force. »

« La Quadrature tape souvent sur eux, mais nous pensons qu’il y a à la Cnil des gens qui font les choses biens, poursuit la juriste. Là, nous lui apportons les éléments pour aller voir ce qu’il se passe. Notre but est de faire du bruit, de peser sur le débat public. D’autant plus que les Jeux olympiques vont être l’occasion de l’expérimentation de tout un tas de technologies. On a déjà vu la Cnil rendre de bonnes décisions. Avec cette plainte, on lui donne la clef pour le faire. »

Article publié dans la revue Mediapart par Jérôme Hourdeaux

Peut-on limiter l’extension de la « société de la notation » ?

Vincent Coquaz (@vincentcoquaz) et Ismaël Halissat (@ismaelhat), journalistes à Libération livrent dans La nouvelle guerre des étoiles (Kero, 2020) une bonne enquête sur le sujet de la notation : simple, claire, accessible, grand public. Leur synthèse prend la forme d’un reportage informé et rythmé, proche du journalisme d’investigation télé auquel nous ont habitué des émissions comme Capital ou Cash Investigation. Reste que derrière les constats que délimitent leur enquête, notamment celui du manque de fiabilité de la notation, se pose une question de fond : comment border, limiter ou réguler cette « société de la notation » qui se met en place ?

La société de la notation

L’invention de la notation remonte au XVe siècle, sous l’impulsion des Jésuites et de la contre-réforme, qui, pour lutter contre l’expansion protestante, vont fonder des collèges dans toute l’Europe, et vont utiliser la notation pour évaluer leurs élèves, comme le pointe le spécialiste des pratiques pédagogiques Olivier Maulini. Pour distinguer et classer les élèves, la notation s’impose, et avec elle le tri et la compétition, appuie le sociologue spécialiste des politiques éducatives Pierre Merle dans Les pratiques d’évaluation scolaire (PUF, 2018). Il faudra attendre le début du XIXe siècle pour que se mette en place le barème sur 20 qui va se répandre dans tout le système scolaire à la fin du siècle. La généralisation d’une échelle plus précise va surtout permettre de renforcer la discrimination et l’individualisation, la différenciation et la hiérarchisation. La moyenne, quant à elle, apparaît au début du XXe siècle et consacre « le classement sur le savoir », puisque celle-ci va permettre d’additionner par exemple des notes en math avec des notes en sport… ce qui semble loin d’une quelconque rigueur mathématique ou scientifique. Plus omniprésente que jamais, la note va pourtant voir sa domination contestée. À la fin des années 90, de nouvelles formes d’évaluation alternatives, comme les niveaux de compétences (distinguant les notions acquises de celles qui ne le sont pas) se répandent, mais demeurent limitées et marginales par rapport à la gradation chiffrée.

Si la notation n’est pas née avec le numérique, celui-ci va être un incroyable accélérateur de « la société de la notation » et va favoriser son essor bien au-delà de la seule sphère scolaire où elle est longtemps restée limitée (la note s’étant peu imposée dans le monde du travail avant l’essor du numérique). Amazon, dès 1995, propose aux acheteurs de noter sur 5 étoiles les produits qu’ils commandent. TripAdvisor en 2000, Yelp en 2004 élargiront ces possibilités aux restaurants et hôtels. En 2008, ebay proposera aux utilisateurs de noter les vendeurs… avant que toutes les plateformes de l’économie collaborative n’emboîtent le pas à la fin des années 2000. En quelques années finalement, la note et le classement se sont imposés dans la société, tant et si bien qu’elles semblent désormais être partout. Comme si avec l’essor de la note et du classement, venait une forme de libération de l’efficacité de l’évaluation… Ce n’est pourtant pas le constat que dressent les journalistes.

En se répandant partout, la note semble avoir généré ses propres excès affirment-ils. Partout où leur enquête les pousse, des médecins aux restaurateurs en passant par les services de livraison, le succès des notations par les consommateurs laisse entrevoir combien la note est devenue à la fois un Graal et une guillotine, gangrénée par les avis bidon, par un marketing d’affiliation et de recommandation largement invisible aux utilisateurs quand ce n’est pas par une instrumentation pure et simple de ces nouvelles formes d’évaluation. Cette notation anarchique n’est pas sans conséquence, pas seulement sur les établissements, mais également, de plus en plus, sur chacun d’entre nous, qui sommes de plus en plus concernés par ces évaluations de plus en plus individualisées et individualisantes. Dans la plupart des secteurs où se répand la notation par les utilisateurs, la notation des clients a de plus en plus souvent un impact sur une part du salaire des employés ou sur les primes des gens ou secteurs évalués.

L’omerta à évaluer l’évaluation

Le principal problème que soulignent les auteurs, c’est que cette évaluation est bien souvent tributaire d’affects, de contexte ou d’appréciations qui n’ont rien à voir avec ce qui est sensé être évalué. Derrière son apparence de neutralité et d’objectivité, l’évaluation n’a rien de neutre ni d’objectif. Sur Ziosk par exemple, un outil d’évaluation des serveurs de restaurant, certaines des questions posées portent sur la nourriture ou la propreté, qui ne dépendent pas nécessairement des serveurs. Or, pour eux comme pour de plus en plus de ceux qui sont évalués, ces notes ont un impact réel sur une part de leur rémunération voir sur leur emploi. La mathématicienne Cathy O’Neil, auteure de Algorithmes, la bombe à retardement (Les arènes, 2018), le répète depuis longtemps : les évaluations naissent de de bonnes intentions, mais les méthodes échouent à produire des résultats fiables et robustes, ce qui sape leur but originel. L’opacité des calculs empire les choses. Et au final, de plus en plus de gens sont confrontés à des processus d’évaluation très contestables, mais qui les impactent directement, explique encore celle qui réclame la plus grande transparence sur ces systèmes d’évaluation et de notation. Nous en sommes pourtant très loin soulignent les deux journalistes qui constatent combien l’évaluation demeure opaque.

La notation par le consommateur a colonisé l’industrie des services. Désormais, les notes des clients affectent la rémunération des salariés et deviennent un outil de contrôle et de pression managériale. Nous sommes passé d’un outil censé produire de l’amélioration à un outil de contrôle. Et cela ne concerne pas que les enseignes du numérique comme Uber ou Deliveroo, mais également nombre de commerces en relation avec des clients. Le problème de cette notation, pointent Coquaz et Halissat, c’est l’omerta. Derrière les nouveaux standards que tous adoptent, aucune des entreprises qu’ils évoquent dans leur livre n’a accepté de leur répondre sur leurs méthodes. Des centres d’appels des opérateurs télécoms, aux grandes enseignes de livraison d’électroménager, en passant par les concessionnaires automobiles, aux sociétés de livraison ou aux chaînes de distribution…. Voir aux services publics qui le mobilisent de plus en plus, tout le monde se pare derrière le secret quand il est question de regarder concrètement les procédés d’évaluation. Or, le problème des évaluations consiste à toujours contrôler si elles évaluent bien ce qu’elles sont censées évaluer.

Le livreur qui n’aide pas à monter une livraison va se voir mal noté par le client, alors que cela ne fait pas partie de la prestation qu’il doit accomplir. Si le colis est abîmé, il va recevoir également une mauvaise note, alors que le colis a pu être abîmé ailleurs et par d’autres. Le ressenti client est partout, sans aucune transparence sur l’évaluation. Le coeur du problème, relève certainement du déport de l’évaluation sur l’utilisateur, plutôt que de se doter de services d’évaluation compétents. À l’heure où la question de l’évaluation semble partout devenir centrale, la question de l’évaluation peut-elle de plus en plus reposer sur des évaluations sans méthodes et sans science ?

Coquaz et Halissat ont raison de mettre en cause le fameux « Net Promoter Score » (NPS) inventé par le consultant américain Fred Reichheld (@fredreichheld) au début des années 2000 qui va optimiser les vieux questionnaires clients réalisés en papier ou par sondage, au goût du numérique. Le problème, c’est que là encore, le NPS est loin d’une quelconque rigueur mathématique, puisque seuls ceux qui donnent une note optimale (9 ou 10) sont considérés comme des clients qui vous recommanderaient. Pour le NPS, mettre un 0 ou un 6 équivaut dans le score à être un détracteur de la marque ! Malgré cette absence de scientificité, cette méthode à évaluer la loyauté des clients est pourtant très rapidement devenue un « indicateur clé de performance » pour nombre d’entreprises. Malgré les nombreuses critiques qui l’accablent, comme celles du chercheur Timothy Keiningham (@tkeiningham, qui montre que cet indicateur ne prédit aucune croissance pour les firmes qui l’utilisent), comme celles de son inventeur lui-même qui a pris quelques distances avec son indicateur, le NPS semble pourtant étrangement indétrônable.

Derrière l’omerta, le Far West

Cette absence de scientificité de l’évaluation donne lieu à nombre de pratiques délétères que les deux auteurs détaillent longuement… notamment bien sûr, la fabrique de fausses notes, consistant à rémunérer des personnes en échange de commentaires et de bonnes notes. Dans un monde où la note devient un indicateur sur-déterminant, qui préside à la visibilité ou à l’invisibilité et donc à des revenus corrélés à cette visibilité, la notation est devenue un enjeu majeur. Pour nombre de produits, les bonnes notes peuvent multiplier les ventes par 5 ou 10 ! L’enjeu financier autorise alors toutes les pratiques : contributions bidons, moyennes au calcul obscur, labellisation qui auto-alimente ce que l’on pourrait considérer comme une chaîne de Ponzi, une chaîne d’escroquerie où les fausses notes alimentent des chaînes automatisées de recommandation toujours plus défectueuses et opaques, à l’image du label « Amazon’s Choice », une appellation qui récompense les produits les plus vendus et les mieux notés pour les faire remonter dans les résultats, alors que ces notes et ces ventes sont souvent altérées par des pratiques plus que contestables. Coquaz et Halissat montre que si Amazon fait la chasse aux appréciations bidons, c’est visiblement sans grand empressement, tant finalement la tromperie entretient le marché. Amazon n’est pas le seul en cause : toutes les plateformes proposant des évaluations tirent finalement intérêt à laisser passer de fausses évaluations. Malgré l’existence d’outils plus efficaces que les leurs, comme ReviewMeta (dont on peut recommander le blog) ou FakeSpot ou Polygraphe en cours de développement par la DGCCRF, les fausses critiques pullulent et se répandent d’autant plus que la concurrence et la pression marketing s’accélèrent. Face au tonneau des Danaïdes des faux commentaires, beaucoup écopent bien sagement, ayant plus à gagner d’un système défaillant que de sa remise en question. Google My Business est certainement aujourd’hui le plus avancé dans ce Far West d’une notation sans modération, permettant à tout à chacun de noter le monde entier, sans aucun contrôle sur l’effectivité des déclarations ou des déclarants. La grande question du livre consiste à comprendre ce que note la note : derrière l’opacité généralisée, personne ne semble être capable de le dire précisément. On a surtout l’impression qu’on produit des classements imparfaits, voire frauduleux, pour nourrir une machinerie d’évaluation qui accélère et renforce l’iniquité.

Les notations individuelles qu’on poste sur Google permettent au système d’évaluer des taux d’affinités avec d’autres lieux notés, mais sans savoir depuis quels critères et biais, comme s’en émouvait les désigners de l’agence Vraiment Vraiment.

Coquaz et Halissat dressent le même constat en ce qui concerne le développement de la notation des employés, pointant là encore combien ces systèmes d’évaluation des ressources humaines opaques ne sont pas des modèles de méritocratie, mais bien des outils orwelliens qui visent à rendre chacun plus attentif à ce qu’il fait ou dit. Là encore, sur ces systèmes, un même silence et la même opacité se posent sur leur fonctionnement, leurs critères de calculs, l’évaluation des interactions qu’ils génèrent. Nous sommes bien loin d’une quelconque cogouvernance des systèmes, comme le défendait récemment la syndicaliste britannique Christina Colclough.

Malgré les défaillances des mesures, l’évaluation par la satisfaction usager fait également son entrée dans le service public. Et les mêmes défauts semblent y reproduire les mêmes conséquences. L’évaluation par les usagers sert là encore de grille pour rendre compte de la qualité du service public, permettant à la fois de justifier toujours plus d’automatisation et de corréler une bien fragile « performance » à des financements supplémentaires. D’ici fin 2020, tous les services de l’État en relation avec les usagers doivent s’engager à rendre des comptes sur la qualité de services, via des indicateurs de performance et de satisfaction, à l’image de ceux disponibles sur resultats-services-publics.fr ou voxusagers.gouv.fr… Malgré les résistances, dans le monde de l’enseignement et de la médecine notamment, ces mesures se pérennisent, comme c’est le cas à Pôle emploi qui publie régulièrement un baromètre de satisfaction. Au final, ces outils participent d’un mouvement de déréglementation, une alternative au contrôle par les services de l’État ou les services internes aux entreprises. L’évaluation par le client permet finalement avant tout d’externaliser et déréguler l’évaluation. Faite à moindres coûts, elle se révèle surtout beaucoup moins rigoureuse. Au final, en faisant semblant de croire au client/usager/citoyen roi, la notation ne lui donne d’autre pouvoir que de juger les plus petits éléments des systèmes, ceux qui comme lui, ont le moins de pouvoir. L’usager note le livreur, l’agent, le vendeur… L’individu est renvoyé à noter l’individu, comme s’il n’avait plus aucune prise sur l’entreprise, l’institution, l’organisation, le système.

La démocratisation de l’évaluation n’est pas démocratique

En fait, le plus inquiétant finalement, n’est-il pas que la notation apparaît à beaucoup comme la forme la plus aboutie (ou la plus libérale) de la démocratisation ? La note du consommateur, de l’utilisateur, du citoyen… semble l’idéal ultime, ouvert à tous, parfaitement méritocratique et démocratique. L’avis ultime et leur somme semblent attester d’une réalité indépassable. Pourtant, les études sur les avis et commentaires en ligne montrent depuis longtemps que seule une minorité d’utilisateurs notent. Les commentateurs sont souvent très peu représentatifs de la population (voir notamment le numéro de 2014 de la revue Réseaux sur le sujet). Très peu d’utilisateurs notent ou commentent : la plupart se cachent voire résistent. Partout, des « super-commentateurs » (1 à 1,5 % bien souvent produisent de 25 à 80 % des contributions) fabriquent l’essentiel des notes et contenus, aidés par de rares commentateurs occasionnels. L’évaluation qui se présente comme méritocratique et démocratique est en fait parcouru de stratégies particulières et de publics spécifiques. La distribution des commentaires procède d’effets de contextes qui sont rarement mis en avant (comme le soulignait cette étude qui montre que les commentaires de satisfaction suite à des nuitées d’hôtels sont plus nourris et élevés chez ceux qui voyagent en couples que pour ceux qui voyagent seuls et pour le travail). La société de la notation et du commentariat n’est pas le lieu d’une démocratie parfaitement représentative et distribuée, au contraire. Les femmes y sont bien moins représentées que les hommes, les plus jeunes que les plus anciens, et c’est certainement la même chose concernant la distribution selon les catégories socioprofessionnelles (même si certaines études pointent plutôt une faible participation des catégories sociales les plus élevées). Sans compter l’impact fort des effets de cadrages qui favorisent les comportements moutonniers consistants à noter, quand les notes sont visibles, comme l’ont fait les autres. Ou encore, l’impact des modalités de participation elles-mêmes, qui ont bien souvent tendance à renforcer les inégalités de participation (améliorant la participation des plus motivés et décourageant les moins engagés).

La grande démocratisation égalitaire que promet la note, elle aussi repose sur une illusion.

De l’obsession à l’évaluation permanente

Les deux journalistes dressent finalement un constat ancien, celui d’une opacité continue des scores. Une opacité à la fois des méthodes pour établir ces notations comme de l’utilisation des scores, qui, par des chaînes de traitement obscures, se retrouvent être utilisées pour bien d’autres choses que ce pour quoi ils ont été prévus. Nombre de scores ont pour origine l’obsession à évaluer les risques et les capacités d’emprunts des utilisateurs. Les secteurs de la banque, de l’assurance et du marketing ont bâti sur l’internet des systèmes d’échange de données pour mettre en place des systèmes de calcul et de surveillance disproportionnés aux finalités.

Une opacité entretenue notamment par les systèmes de scoring de crédit et de marketing. À l’image de Sift, un algorithme qui attribue aux utilisateurs du net un score de fiabilité sur une échelle de 1 à 100 depuis plus de 16 000 signaux et données. Inconnu du grand public, ce courtier de données permet pourtant aux entreprises qui l’utilisent de bloquer certains profils, sans permettre aux utilisateurs de rectifier ou d’accéder aux raisons de ce blocage. Chaque site utilise le scoring à discrétion et décide de seuils de blocage librement, sans en informer leurs utilisateurs. Sift n’est pas le seul système. Experian propose également une catégorisation des internautes en grandes catégories de consommateurs (Expérian disposerait de données sur 95 % des foyers français). Aux États-Unis, le célèbre Fico Score, né à la fin des années 80 est un score censé prédire la capacité de chaque Américain à rembourser leur crédit… Complexe, obscur, les critiques à son égard sont nourries et ce d’autant plus que ce score peut être utilisé pour bien d’autres choses, comme d’évaluer des candidats qui postulent à un emploi. Un autre courtier, Lexis Nexis, propose aux assureurs par exemple de calculer une note de santé pour leurs clients potentiels, visant à prédire la détérioration de leur santé sur les 12 prochains mois, en prenant en compte des données aussi hétéroclites que leurs revenus, leur historique d’achat, leur casier judiciaire, leur niveau d’étude, leur inscription ou non sur les listes électorales… Autant de données utilisées pour produire des signaux et des inférences. L’un de ses concurrents, Optum, utilise également les interactions sur les réseaux sociaux.

Le problème, bien sûr, c’est la boucle de renforcement des inégalités et des discriminations que produisent ces scoring invisibles aux utilisateurs. « Les mals notés sont mals servis et leur note devient plus mauvaise encore », expliquait déjà le sociologue Dominique Cardon dans a quoi rêvent les algorithmes (Seuil, 2015). Chez Experian, la note la plus basse pour caractériser un foyer est le « S71 », une catégorie qui masque sous son intitulé abscons le bas de l’échelle socio-économique où les 2/3 de ceux qui sont classés ainsi sont célibataires, divorcés ou veufs, où 40 % sont afro-américains (soit 4 fois plus représentés que la moyenne nationale), majoritairement peu éduqués. Cette catégorie par exemple va pouvoir être utilisée pour proposer de la publicité ou des produits dédiés, comme des crédits à la consommation aux taux les plus élevés du marché !

Ces évaluations dénoncées depuis longtemps (la FTC américaine, appelait déjà en 2014 à une meilleure régulation du secteur (.pdf)…), perdurent dans un no man’s land législatif, comme si leur régulation était sans cesse repoussée. À croire que l’opacité est voulue, malgré ses conséquences et ses injustices.

Plutôt que d’ouvrir les discussions sur leur production, finalement, la note semble mettre fin à toute discussion. Comme à l’école !

En devenant un objectif plus qu’une mesure, la notation change de statut tout en perdant finalement le sens de ce qu’elle était censée représentée. Quant à l’opacité des systèmes, nous ne l’avons pas accepté comme le disent les journalistes, mais il nous a été imposé. Derrière la notation, on crée des mécanismes extralégaux, qui permettent de punir automatiquement, sans présomption d’innocence, sans levier ni appel sur ces notations. L’année dernière, le journaliste Mike Elgan (@mikeelgan) dénonçait pour Fast Company le fait que les entreprises de la technologie américaines, finalement, construisaient elles aussi un système de crédit social tout aussi inquiétant et panoptique que celui de la Chine. Si Coquaz et Halissat ont plutôt tendance à minimiser les enjeux du Crédit social chinois, rappelant qu’il relève surtout pour l’instant d’expérimentations locales très diverses (ce qui est exact, mais semble oublier les finalités et l’objectif assignés par la Chine à ces projets), au final, ils montrent que le « panoptique productif » de la note, lui, est déjà largement en place.

Reste à savoir comment remettre le mauvais génie de la notation dans sa bouteille ? En conclusion, les auteurs proposent, en convoquant l’écrivain Alain Damasio, le sabotage. Mais peut-on saboter un système trompeur qui repose déjà sur des données et méthodes largement contestables ?

On a souligné quelques pistes, plus structurantes que le sabotage. Faire revenir les services d’évaluation internes plutôt que les déporter sur les usagers. Les outiller de méthodes et de procédures ouvertes, transparentes, discutables afin qu’elles évaluent bien ce qu’elles sont censées évaluer. Minimiser leur portée et leur croisement pour qu’elles n’entretiennent pas des chaînes d’injustices… Réguler plutôt que déréguler en somme ! Pour sortir de l’hostilité généralisée provoquée par La nouvelle guerre des étoiles, il faut trouver les modalités d’un traité de paix.

Hubert Guillaud

FR

Le cyberpunk (association des mots cybernétique et punk) est un genre de la science-fiction très apparenté à la dystopie et à la hard science-fiction. Il met souvent en scène un futur proche, avec une société technologiquement avancée (notamment pour les technologies de l'information et la cybernétique).

Selon Bruce Sterling, « le courant cyberpunk provient d'un univers où le dingue d'informatique et le rocker se rejoignent, d'un bouillon de culture où les tortillements des chaînes génétiques s'imbriquent. »

Les mondes cyberpunks sont empreints de violence et de pessimisme ; ils sont souvent lugubres, parfois ironiquement grinçants ; les personnages sont des antihéros désabusés, cyniques et cupides.

Le cyberpunk a depuis essaimé ses thématiques dans de nombreux médias, notamment dans la bande dessinée, le cinéma, la musique, les jeux vidéo et les jeux de rôle.

ENG

Cyberpunk is a subgenre of science fiction in a dystopian futuristic setting that tends to focus on a "combination of lowlife and high tech", featuring futuristic technological and scientific achievements, such as artificial intelligence and cybernetics, juxtaposed with societal collapse, dystopia or decay.

Much of cyberpunk is rooted in the New Wave science fiction movement of the 1960s and 1970s, when writers like Philip K. Dick, Michael Moorcock, Roger Zelazny, John Brunner, J. G. Ballard, Philip José Farmer and Harlan Ellison examined the impact of drug culture, technology, and the sexual revolution while avoiding the utopian tendencies of earlier science fiction.

La vidéosurveillance intelligente fera ses premiers pas aux JO et sera expérimentée jusqu’en juin 2025

Un projet de loi, adopté en conseil des ministres, comporte un certain nombre de dérogations ou d’expérimentations en matière de sécurité, publicité, ou transport.

Par Philippe Le Coeur Publié le 22 décembre 2022 à 13h00, modifié le 07 avril 2023 à 14h31

Le projet de loi relatif aux Jeux olympiques-paralympiques propose de tester la mise en œuvre d’algorithmes d’intelligence artificielle en appui de caméras de vidéoprotection afin de détecter « des situations anormales ». FRED TANNEAU / AFP

Officiellement, c’est un texte ne recélant que des « points très techniques ». Avec un objectif : procéder à des aménagements législatifs jugés nécessaires au bon déroulement des Jeux olympiques et paralympiques en 2024 (du 26 juillet au 11 août, puis du 28 août au 8 septembre). Que cela concerne le cadre des compétitions, mis aussi – voire surtout – l’environnement de l’événement.

Le projet de loi relatif aux Jeux, qui a été adopté en conseil des ministres jeudi 22 décembre, et qui sera soumis au Sénat en janvier 2023, consiste à faire adopter, à travers dix-neuf articles, une succession de dérogations ou d’expérimentations.

Au-dela de leur technicité revendiquée, un certain nombre de ces dispositions – dont le vote par le Parlement est attendu au premier semestre 2023 – pourraient cependant avoir une portée loin d’être anodine. Il en va ainsi en matière de sécurité, l’un des enjeux majeurs de ces Jeux.

Si le recours à la reconnaissance faciale est explicitement exclu dans le texte du projet de loi, celui-ci propose d’instaurer un cadre juridique « expérimental et temporaire » pour « améliorer » les dispositifs de vidéosurveillance, en mettant en œuvre des algorithmes d’intelligence artificielle aptes à détecter « des situations anormales ». Cela concernera les lieux accueillant les compétitions mais aussi les moyens de transport.

Le temporaire s’étendra néanmoins bien au-delà des seuls Jeux, jusqu’au 30 juin 2025. Le gouvernement considère qu’il faudra quelques mois d’utilisation dans le cadre d’autres événements (sportifs, festifs, culturels) exposés à des risques d’actes terroristes ou d’atteintes graves à la sécurité des personnes pour pouvoir faire un bilan du fonctionnement de cet outil. « Gérer les mouvements de foule »

Avec ces « algorithmes intelligents, mais anonymisés, on peut gérer les mouvements de foule dans les transports », avait expliqué la ministre des sports et des Jeux olympiques et paralympiques, Amélie Oudéa-Castéra, le 12 octobre devant les sénateurs. Newsletter « Sport » Enquêtes, reportages, analyses : l’actualité du sport dans votre boîte e-mail chaque samedi S’inscrire

« Il s’agit de cibler non pas tel ou tel individu, mais des personnes répondant à tel signalement, ou encore des catégories de gestes, comme la dégradation de biens publics », avait détaillé, quelques jours plus tard au Sénat également, le ministre de l’intérieur, Gérald Darmanin.

Le texte du projet de loi précise en l’occurrence qu’il s’agit, avec ces traitements algorithmiques, de procéder « exclusivement à un signalement d’attention, strictement limité à l’indication du ou des événements qu’ils ont été programmés pour détecter ». L’utilisation de cet outil ne pourra déboucher sur « aucune décision individuelle ou acte de poursuite ».

Si Mme Oudéa-Castéra a assuré que ces dispositifs devront être examinés par la Commission nationale de l’informatique et des libertés et le Conseil d’Etat, ils apparaissent tout aussi « graves » que la reconnaissance faciale, en matière de libertés publiques, aux yeux de certains spécialistes de ce sujet.

« C’est une surveillance biométrique de tout le monde, tout le temps. Ces logiciels permettent de faire des analyses très poussées des personnes », a fait valoir, dans un entretien au Parisien le 26 novembre, Bastien Le Querrec, juriste et membre de La Quadrature du Net, disant redouter que les Jeux ne soient qu’un galop d’essai qui se prolonge.

Le projet de loi autorise aussi l’utilisation des scanners corporels dans les stades, comme c’est le cas dans les aéroports, et renforce l’arsenal des sanctions pénales avec des interdictions judiciaires de stade qui seront « désormais une mesure complémentaire obligatoire et non plus facultative pour un certain nombre d’infractions liées à des violences ou perturbations lors de rencontres sportives ». Lire aussi : Article réservé à nos abonnés Jeux olympiques 2024 : le « défi sécuritaire » de la cérémonie d’ouverture sur la Seine Ouverture des commerces le dimanche

Autre sujet « sensible » : le travail dominical dans les commerces. Le projet de loi vise à autoriser, entre le 1er juin et le 30 septembre 2024, les commerçants des communes accueillant des sites de compétition ainsi que des communes situées à proximité, d’ouvrir le dimanche durant la période des Jeux. Cela ne pourra se faire que sur la base du volontariat des salariés et en s’inscrivant dans le cadre du droit du travail pour ce qui concerne les rémunérations (deux fois le salaire).

Pour Paris, cette demande avait notamment été formulée par Florence Berthout, la maire (Horizons) du 5e arrondissement. « Il faut que tout le monde puisse en profiter, qu’il n’y ait pas une distorsion de concurrence entre ceux qui sont dans les bonnes zones [zones touristiques internationales] et les autres, entre grandes enseignes et tout petits commerces », a plaidé l’élue, mi-novembre, au Conseil de Paris.

Ne cachant pas que son objectif est que la période test des Jeux puisse déboucher sur quelque chose de durable, elle a reçu l’appui d’Olivia Grégoire, qui, « en tant que ministre du commerce, en tant qu’élue de Paris », s’est dite, le 11 décembre sur France 3, « favorable à ce que nos commerces puissent ouvrir tous les dimanches dans le cadre des Jeux olympiques ».

Quant à la possibilité d’aller au-delà des Jeux et de modifier la loi qui autorise les commerces à ouvrir douze dimanches dans l’année, la ministre a déclaré y être « favorable », tout en précisant que « ce n’est pas à l’ordre du jour ». Licences pour les taxis adaptés aux personnes handicapées

Le projet de loi propose aussi que certaines règles régissant la publicité soient mises entre parenthèses durant les trois mois du relais de la flamme olympique (à partir d’avril 2024). Il s’agira de permettre aux sponsors de cette opération (dont Coca-Cola) de disposer de panneaux publicitaires à proximité de monuments historiques, quinze jours en amont du passage de la flamme et sept jours après. Lire aussi : Article réservé à nos abonnés JO 2024 : le relais de la flamme mobilisera une soixantaine de départements, mais son coût suscite des tensions

En matière de transports, c’est à la création de nouvelles licences de taxis que le gouvernement veut procéder : celles-ci concerneront ceux qui se seront équipés spécifiquement pour transporter des personnes handicapées.

La mesure viendra compléter le plan d’aide visant à rendre mille taxis accessibles aux personnes en situation de mobilité réduite – il n’y en a que deux cents référencés actuellement –, l’accessibilité étant l’un des engagements forts des organisateurs des Jeux et des pouvoirs publics.

La privatisation de nos sens

par Ploum le 2023-06-07

J’ai déjà glosé ad nauseam sur nos nuques penchées en permanence sur un petit rectangle en plastique, sur notre attention aspirée pour se cantonner à un minuscule écran ne nous montrant que ce que deux ou trois monopoles mondiaux veulent bien nous transmettre.

L’idée, explorée dans Printeurs, que ces monopoles se branchent directement dans nos cerveaux pour les influencer semble encore de la science-fiction.

Pourtant, la capture de nos sens a déjà commencé.

Avez-vous observé le nombre de personnes se baladant avec des écouteurs blancs dans les oreilles et ne les retirant pas pour converser voire même pour passer à la télévision ? Ces personnes vivent dans un environnement en « réalité augmentée ». Ils peuvent entendre un mélange des sons virtuels et des sons réels. Ce mélange étant contrôlé… par les monopoles qui vendent ces écouteurs.

Porter ce genre d’écouteur revient à littéralement vendre sa perception à des entreprises publicitaires (oui, Apple est une entreprise qui vit de la pub, même si c’est essentiellement de la pub pour elle-même). Un jour, vous vous réveillerez avec des publicités dans l’oreille. Ou bien vous ne comprendrez pas un discours, car certaines parties auront été censurées.

Ce n’est pas une potentialité éloignée, c’est l’objectif avoué de ces technologies.

Après l’audition, c’est au tour de la vue d’être attaquée à traves des lunettes de réalité augmentée.

Les publicités pour la nouvelle mouture Apple montrent des gens souriants, portant les lunettes pour participer à des vidéoconférences tout en semblant profiter de la vie. Fait amusant : personne d’autre dans ces conférences factices ne semble porter ce genre de lunettes.

Parce que ce n’est pas encore socialement accepté. Ne vous inquiétez pas, ils y travaillent. Il a fallu 20 ans pour que porter des écouteurs en public passe de psychopathe asocial à adolescent branché. C’est d’ailleurs la raison pour laquelle les lunettes Apple sont si chères : elles deviennent une marque de statut, un objet de luxe. Les premières personnes que vous verrez dans la rue les portant seront celles qui ont de l’argent à dépenser et tiennent à le faire savoir. Ce qui entrainera fatalement la popularisation des modèles meilleur marché.

Dans Tantzor, paru en 1991, Paul-Loup Sulitzer se moquait déjà de cet aspect en racontant la vie d’un entrepreneur russe qui vendait des faux écouteurs verts fluo bon marché aux gens qui ne savaient pas se payer un walkman. Pour pouvoir faire comme tout le monde, pour avoir l’air de posséder un walkman.

Porter un casque audio et visuel dans la rue deviendra un jour ou l’autre une norme acceptable. Ce qui ne serait pas un problème si la technologie n’était pas complètement contrôlée par ces morbides monopoles qui veulent transformer les humains en utilisateurs, en clients passifs.

Ils ont réussi à le faire en grande partie avec Internet. Ils sont désormais en train de s’attaquer à la grande pièce au plafond bleu en privatisant graduellement nos interactions avec le réel : le transport de nos corps à travers les voitures individuelles, les interactions humaines à travers les messageries propriétaires, l’espionnage de nos faits, paroles et gestes jusque dans nos maisons et désormais le contrôle direct de nos sens.

La technologie peut paraitre terrifiante à certains. Mais elle est merveilleuse quand on en est acteur. Elle n’est pas la cause.

Nous avons, à un moment, accepté que la technologie appartenait à une élite éthérée et que nous n’en étions que les utilisateurs. Que les outils pouvaient avoir un propriétaire différent de son utilisateur. Les luddites l’avaient bien compris dans leur chair. Marx en a eu l’intuition. Personne ne les a entendus.

Tant que nous restons soumis aux dictats du marketing, tant que nous acceptons la pression sociale provenant parfois de nos proches, nous sommes condamnés à rester des utilisateurs de la technologie, à devenir des utilisateurs de notre propre corps, de notre propre cerveau.

Activation des appareils à distance, les dangers de l’article 3 du projet de loi justice

Le projet de réforme de la justice d’Éric Dupond-Moretti sera examiné ce mardi par la Chambre haute. Pourtant, l’article 3 fait débat, nous explique Vincent Nioré, vice-bâtonnier du barreau de Paris.
Publié le Mardi 13 juin 2023 Eugénie Barbezat

Le projet de réforme de la justice d’Éric Dupond-Moretti sera examiné ce mardi par la Chambre haute. Pourtant, l’article 3 fait débat, nous explique Vincent Nioré, vice-bâtonnier du barreau de Paris.

Avec l’argument de «limiter les risques pris par les enquêteurs» et de «s’adapter aux évolutions de la délinquance», l’article 3 du projet de loi d’Éric Dupond-Moretti prévoit d’autoriser le déclenchement à distance des micros et caméras des téléphones, ordinateurs et autres appareils connectés, à l’insu des personnes visées.

Déjà utilisée par les services de renseignements, cette technique, dont le fonctionnement est couvert par le secret-défense, serait autorisée dans les affaires de terrorisme, de délinquance et de criminalité organisées. Une dérive dangereuse, alerte Me Vincent Nioré, vice-­bâtonnier du barreau de Paris et cosignataire d’un rapport du Conseil de l’ordre, qui voit dans cette disposition une atteinte grave au respect de la vie privée, au secret professionnel et aux droits de la défense.

Quel danger pointez-vous avec l’article 3 de la loi justice ?

La chancellerie souhaite introduire dans notre droit de nouvelles techniques au service des enquêteurs, en l’occurrence l’activation à distance des appareils électroniques, et plus précisément des smartphones. Or, aujourd’hui, investiguer dans un téléphone portable équivaut à une perquisition et doit obéir à des règles très particulières. Pour les crimes et délits de droit commun, punis d’au moins cinq ans d’emprisonnement, il est prévu un système d’activation à distance, en vue de la localisation en temps réel du téléphone, à l’insu du possesseur ou du propriétaire.

En l’état, rien n’est précisé sur les conditions dans lesquelles les magistrats instructeurs ou les procureurs pourraient demander l’utilisation de cet outil au juge des libertés et de la détention (JLD). En matière de géolocalisation, la chambre criminelle de la Cour de cassation exige déjà la condition de l’existence d’un risque imminent de dépérissement des preuves ou d’atteinte grave aux personnes ou aux biens. On sait seulement que, dans le nouveau texte, la prohibition de l’activation à distance n’est formulée expressément que pour les députés, les sénateurs, les avocats et les magistrats.

Mais cela n’est pas le cas pour les journalistes, détenteurs du secret des sources. Par ailleurs, ne sont pas explicitement exemptés de collecte de données les lieux d’exercice protégés habituellement par les articles 56-1, 56-2, 56-3 et 56-5 du Code de procédure pénale que sont les cabinets d’avocats et les locaux de presse et de communication audiovisuelle, les études de notaire, d’huissier, les cabinets de médecin, les locaux de magistrat et d’arbitre… C’est une carence dangereuse.

Quelles conséquences pourrait avoir ce défaut de protection ?

Cette carence induit qu’il peut y avoir une violation du secret du délibéré du magistrat, du secret médical, du secret professionnel de l’avocat et, bien sûr, du secret des sources. Et ce risque de violation du secret est encore accru quand l’affaire concerne la criminalité organisée : une disposition de la loi prévoit ce même système d’activation à distance des appareils électroniques afin de permettre la captation de données, de sons et d’images dans les affaires plus lourdes. Il suffirait d’activer à distance, par exemple, le téléphone du client d’un avocat dans le cabinet de ce dernier pour que toute la conversation soit écoutée,­ y compris les propos de l’avocat, voire de confrères à proximité. C’est attentatoire au libre exercice des droits de la défense et au secret professionnel.

Il est pourtant déjà possible de placer des suspects sur écoute ou même d’installer des micros chez eux…

Aujourd’hui, l’article 706-96 du Code de procédure pénale prévoit la possibilité, en matière de criminalité organisée, de sonoriser un lieu privé pour y recueillir des paroles confidentielles, dans le cadre d’affaires très lourdes comme la traite d’êtres humains, différents crimes en bande organisée, la délinquance financière, le terrorisme, etc.

Les services de police peuvent ainsi placer des micros et des caméras dans un appartement, dans le cadre de l’enquête, avec l’autorisation du JLD, pour une période strictement limitée. C’est dans ce contexte que vient s’intégrer l’activation à distance des appareils électroniques. Ce procédé est, à mon sens, une mesure intrusive terrible. Mais, comme il est rendu possible par la technique, le législateur veut s’en emparer. Soit. Mais il faudrait alors des garanties très fortes pour protéger les libertés publiques quant aux conditions exigées pour cette activation et quant à la protection des lieux protégés et des personnes investies d’un secret.

Qu’est-ce qui pourrait être mis en place ?

Ce que nous voulons, c’est une prohibition de principe de la collecte pour ces personnes et ces lieux. Le secret des sources, le secret professionnel de l’avocat, le secret médical et celui du délibéré sont des valeurs fondamentales du respect de la démocratie judiciaire. Il faut que la chancellerie revoie sa copie, que je trouve déviante et attentatoire notamment à la vie professionnelle de l’avocat, du journaliste et à la vie privée d’une manière générale.

On ne retrouve pas, dans le projet de loi du gouvernement, les conditions exigées par la chambre criminelle en matière de géolocalisation, à savoir la description circonstanciée des faits et des raisons précises justifiant cette mesure par le magistrat qui réclame cette mise en place. Aujourd’hui, pour ordonner une perquisition dans un lieu protégé, un magistrat doit démontrer l’existence d’indices antérieurs de la participation du suspect à la réalisation d’une infraction.

Dans la nouvelle loi, aucune condition n’est exigée, il suffirait que ces mesures soient simplement réputées «utiles à l’enquête» pour que l’activation des téléphones puisse être mise en œuvre. Avec des risques de nullité, si les données collectées au moyen de cette activation à distance l’ont été dans un des lieux protégés que j’évoquais plus haut. Au final, cet article 3 est bien une disposition aussi scélérate que délétère.

Quels types d’abus redoutez-vous si ce texte était adopté ?

En pratique, nous, avocats pénalistes, savons déjà que, dans le cadre d’écoutes « classiques », il arrive que la conversation d’un avocat avec son client soit captée, retranscrite et versée dans une procédure à charge. L’avocat doit alors déposer une requête en nullité devant la chambre d’instruction. J’ai bien peur que la nouvelle loi ne sanctuarise cette dérive. Nous nous battrons de toutes nos forces pour qu’il n’en soit jamais ainsi.

In China, AI-Generated Fashion Models Are Hugely Popular — and Sexist

China’s fashion models are rapidly being replaced by doe-eyed, big-breasted, AI-generated bots. Women are horrified.

By Shu Xinrou

The model in the picture immediately draws the eye. Slim, busty, and dressed only in a black lace bra and stockings, she smiles seductively as she poses for the camera on a sandy beach. Her fair skin, smooth as porcelain, glows under the sunshine.

She looks too perfect to be real — and she isn’t. Look closely, and her fingers give her away: The nail on her index finger is misplaced, while her thumbnail bends strangely, like a failed retouch job.

Artificial intelligence-generated images like this one have taken China’s fashion industry by storm in recent months. Doe-eyed, big-breasted AI bots are rapidly replacing human models in magazines, store catalogs, and online advertising campaigns. They’re also mesmerizing users on Chinese social media, with the hashtag #AIModel receiving millions of views.

But the trend is already generating controversy. Almost without exception, the AI models conform to a certain — highly sexualized — ideal of female beauty: one that prizes tiny waists, wide hips, and visible cleavage. Many Chinese women say they find the images disturbing — and worry that AI fashion will reinforce toxic, unrealistic beauty standards.

AI models are not unique to China, and the concept isn’t brand-new either. Levi’s recently launched a campaign featuring AI-generated images, while an AI model featured on the cover of Vogue’s Singapore edition in March. But the technology has caught on far quicker here than in most other countries.

The Chinese tech giant Alibaba rolled out a free digital fashion model generator on its e-commerce platforms as early as 2020. The tool — named Taji — allows vendors to select from 100 virtual models of varying ages and ethnicities. Then, they can upload their product photos, and Taji will generate a series of images of the model wearing the clothes in the photos. As of the end of 2022, more than 29,000 vendors had used Taji to produce over 1.6 million AI-generated images, according to an Alibaba report.

The figure is likely far higher today. As elsewhere, the launch of ChatGPT this past November led to a surge in interest in AI content generation in China. Chinese illustrators say they are now regularly receiving inquiries from e-commerce vendors interested in commissioning AI-generated fashion shoots.

The ‘male gaze’ for AI models is definitely a problem.
— Jeff Ding, academic

In March, illustrator Liu Jun posted a video on the Chinese video platform Bilibili explaining how to create photorealistic fashion images using the AI-powered design software Stable Diffusion. The video went viral, racking up more than 150,000 views overnight.

Over the next few weeks, more than 30 companies reached out to Liu to ask about his AI model service, Liu told Sixth Tone. Another illustrator, surnamed Pan, said that 15 Taobao stores and clothing factories had approached him, while another 600 vendors had joined his AI model chat group on the social app WeChat.

Chinese fashion companies tend to be interested in AI models for the same reason: They’re cheap. A human model is typically paid 1,400-1,600 yuan ($200-$225) per hour in China. Factoring in other expenses like makeup artists, photographers, and studio hire, an eight-hour shoot usually costs vendors around 36,000 yuan.

Taji, by contrast, is free. Even commissioning professional AI illustrators — who can produce far more photorealistic and individually tailored images — is far cheaper. Pan said he charges 50 yuan per image, with a minimum of 30 images per order: a total cost of 1,500 yuan. What’s more, AI models don’t get tired, have no schedule conflicts, and are not affected by the weather.

But these AI models often look eerily similar. Overwhelmingly, they are either white women with blue eyes, blond hair, and long legs; or Asian models with wide eyes, big boobs, and a slender figure. Experts caution that this is a feature of AI-generated content: It tends to amplify the cultural biases that already exist in society.

“The ‘male gaze’ for AI models is definitely a problem,” said Jeff Ding, an assistant professor at the George Washington University whose research focuses on China’s AI industry. “Since existing gender biases permeate procedures, algorithms, and design, artificial intelligence technology can replicate and reproduce gender inequality.”

This isn’t an inevitable process, however. Illustrators can generate any kind of AI model that they choose. All they have to do is to collect a data set of images in the desired style, and use it to train a machine learning model. The model will then generate new images by replicating patterns and characteristics from the data set.

“The algorithm and data set are the most important factors when generating images of AI models,” said Liu. “There are no fixed standards to determine what the models look like — their appearance is usually decided by the audience.”

The issue is that illustrators — and their clients — are mostly choosing to use data sets crammed with photos of sexually objectified women. Illustrators work on the AI art software Stable Diffusion, which generates images based on a selected machine learning model. Many opt to use ChilloutMix, a pre-trained model on the AI database Civitai, supplemented by the keyword “doll-likeness.”

Selecting these options will automatically produce images of conventionally attractive Asian women, usually scantily clad and showing large amounts of cleavage. It’s the same model that companies use to create “AI girlfriends.”

To prevent the trend from getting worse, it’s important for women to speak up against it on social media.
— Stephanie Yingyi Wang, academic

Gender experts are concerned about the social harm “doll-likeness” AI models may cause. China is already seeing a spike in cases of eating disorders among girls and young women, which is being fueled by extreme “beauty challenges” popularized on social media.

Stephanie Yingyi Wang, an assistant professor who teaches gender and sexuality at St. Lawrence University, said that AI models could make the problem worse. “Doll-likeness” images set even more unrealistic beauty standards, which will trigger more body shame and anxiety among young women. She urged women to call out companies using AI models that “exploit women.”

“To prevent the trend from getting worse, it’s important for women to speak up against it on social media,” said Wang.

That is already starting to happen. A recent viral post about AI models on the microblogging platform Weibo sparked amazement among many users, but also backlash. Soon after, Xu Ke, a master’s student at the China Academy of Art, took to the social platform Xiaohongshu to denounce the sexism inherent in many AI models.

“Can creators be aware that images of female models should serve females?” Xu wrote.

The post quickly generated more than 2,000 likes and a flood of comments from women expressing their disgust with companies using stereotypical AI models. “They’d better sell those clothes to men,” one comment read. “I’ll block the stores that use this kind of image,” another user wrote.

Many Chinese women who spoke with Sixth Tone held similar views. “I was immediately disgusted by the images (in the viral Weibo post),” said Zheng Le, a 30-year-old from east China’s Jiangxi province. “Their looks and body shapes are so unrealistic and sexual.”

“From my perspective, it’s not a good advertisement for the lingerie line — the images of the AI models looked like pictures of porn stars,” said Irene Pan, a 25-year-old who lives in the eastern city of Hangzhou.

The question is whether this criticism will convince Chinese fashion companies to overhaul their advertising practices. Until now, the ecosystem in which AI models are commissioned and created has been dominated by men, according to Xu.

“The AI models in that Weibo post were created by a man, and those who endorsed the technology in the comments section were also men,” said Xu. “The discussion of AI models was led by men.”

From my perspective, it’s not a good advertisement for the lingerie line — the images of the AI models looked like pictures of porn stars.
— Irene Pan, consumer

Xu is optimistic that change will come in time. Women are the target audience for many of the ad campaigns using AI models, and she is confident that most female consumers “are not attracted by AI models at all.”

Lin, a fashion model from east China’s Zhejiang province, said she was confident that AI would never totally replace human models. “AI models are emotionless,” said Lin, who gave only her surname for privacy reasons. “Female customers shop at certain Taobao stores because they’re fans of the models. If they replace human models with AI, e-commerce vendors are going to lose a portion of their customers.”

Rising public awareness of sexism in AI, meanwhile, may lead to fundamental, long-term shifts in China’s advertising industry, Xu said. Companies could be pressured into producing more diverse, and less problematic, types of AI models.

“More women are speaking up against the male gaze problem,” she said. “Maybe in the future, more women will contribute to AI-generated content and train machine learning models from a feminist perspective.”

Editor: Dominic Morgan.

Affaire du 8 décembre : le chiffrement des communications assimilé à un comportement terroriste

Cet article a été rédigé sur la base d’informations relatives à l’affaire dite du “8 décembre”1 dans laquelle 7 personnes ont été mises en examen pour « association de malfaiteurs terroristes » en décembre 2020. Leur procès est prévu pour octobre 2023. Ce sera le premier procès antiterroriste visant « l’ultragauche » depuis le fiasco de l’affaire Tarnac2.

L’accusation de terrorisme est rejetée avec force par les inculpé·es. Ces dernier·es dénoncent un procès politique, une instruction à charge et une absence de preuves. Ils et elles pointent en particulier des propos decontextualisés et l’utilisation à charge de faits anodins (pratiques sportives, numériques, lectures et musiques écoutées…)3. De son côté la police reconnaît qu’à la fin de l’instruction – et dix mois de surveillance intensive – aucun « projet précis » n’a été identifié4.

L’État vient d’être condamné pour le maintien à l’isolement du principal inculpé pendant 16 mois et dont il n’a été libéré qu’après une grève de la faim de 37 jours. Une seconde plainte, en attente de jugement, a été déposée contre les fouilles à nu illégales et répétées qu’une inculpée a subies en détention provisoire5.

De nombreuses personnalités, médias et collectifs leur ont apporté leur soutien6.

C’est dans ce contexte que nous avons été alerté du fait que, parmi les faits reprochés (pour un aperçu global de l’affaire, voir les références en notes de bas de page7), les pratiques numériques des inculpé·es, au premier rang desquelles l’utilisation de messageries chiffrées grand public, sont instrumentalisées comme autant de « preuves » d’une soi-disant « clandestinité » qui ne peut s’expliquer que par l’existence d’un projet terroriste.

Nous avons choisi de le dénoncer.

« Tous les membres contactés adoptaient un comportement clandestin, avec une sécurité accrue des moyens de communications (applications cryptées, système d’exploitation Tails, protocole TOR permettant de naviguer de manière anonyme sur internet et wifi public). »

DGSI

« L’ensemble des membres de ce groupe se montraient particulièrement méfiants, ne communiquaient entre eux que par des applications cryptées, en particulier Signal, et procédaient au cryptage de leurs supports informatiques […]. »

Juge d’instruction

Ces deux phrases sont emblématiques de l’attaque menée contre les combats historiques de La Quadrature du Net dans l’affaire du 8 décembre que sont le droit au chiffrement8 des communications9, la lutte contre l’exploitation des données personnelles par les GAFAM10, le droit à l’intimité et la vie privée ainsi que la diffusion et l’appropriation des connaissances en informatique11.

Mêlant fantasmes, mauvaise foi et incompétence technique, les éléments qui nous ont été communiqués révèlent qu’un récit policier est construit autour des (bonnes) pratiques numériques des inculpé·es à des fins de mise en scène d’un « groupuscule clandestin » et « conspiratif ».

Voici quelques-unes des habitudes numériques qui sont, dans cette affaire, instrumentalisées comme autant de « preuves » de l’existence d’un projet criminel12:

– l’utilisation d’applications comme Signal, WhatsApp, Wire, Silence ou ProtonMail pour chiffrer ses communications ;

– le recours à des outils permettant de protéger sa vie privée sur Internet comme un VPN, Tor ou Tails ;

– le fait de se protéger contre l’exploitation de nos données personnelles par les GAFAM via des services comme /e/OS, LineageOS, F-Droid ;

– le chiffrement de supports numériques ;

– l’organisation et la participation à des sessions de formation à l’hygiène numérique ;

– la simple détention de documentation technique.

Alors que le numérique a démultiplié les capacités de surveillance étatiques13, nous dénonçons le fait que les technologies qui permettent à chacun·e de rétablir un équilibre politique plus que jamais fragilisé soient associées à un comportement criminel à des fins de scénarisation policière.

Le chiffrement des communications assimilé à un signe de clandestinité

Loin d’être un aspect secondaire de l’affaire, le lien supposé entre pratiques numériques et terrorisme apparaît dans la note de renseignements à l’origine de toute cette affaire.

Dans ce document, par lequel la DGSI demande l’ouverture d’une enquête préliminaire, on peut lire : « Tous les membres contactés adoptaient un comportement clandestin, avec une sécurité accrue des moyens de communications (applications cryptées, système d’exploitation Tails, protocole TOR permettant de naviguer de manière anonyme sur internet et wifi public). »

Cette phrase apparaîtra des dizaines de fois dans le dossier. Écrite par la DGSI, elle sera reprise sans aucun recul par les magistrat·es, au premier titre desquels le juge d’instruction mais aussi les magistrat·es de la chambre de l’instruction et les juges des libertés et de la détention.

Durant la phase d’enquête, l’amalgame entre chiffrement et clandestinité est mobilisé pour justifier le déploiement de moyens de surveillance hautement intrusifs comme la sonorisation de lieux privés. La DGSI les juge nécessaires pour surveiller des « individus méfiants à l’égard du téléphone » qui « utilisent des applications cryptées pour communiquer ».

Après leurs arrestations, les mis·es en examen sont systématiquement questionné·es sur leur utilisation des outils de chiffrement et sommé·es de se justifier : « Utilisez-vous des messageries cryptées (WhatsApp, Signal, Telegram, ProtonMail) ? », « Pour vos données personnelles, utilisez-vous un système de chiffrement ? », « Pourquoi utilisez-vous ce genre d’applications de cryptage et d’anonymisation sur internet ? ». Le lien supposé entre chiffrement et criminalité est clair: « *Avez-vous fait des choses illicites par le passé qui nécessitaient d’utiliser ces chiffrements et protections ?* », « *Cherchez-vous à dissimuler vos activités ou avoir une meilleure sécurité ?* ». Au total, on dénombre plus de 150 questions liées aux pratiques numériques.

Et preuve de l’existence d’« actions conspiratives »

À la fin de l’instruction, l’association entre chiffrement et clandestinité est reprise dans les deux principaux documents la clôturant : le réquisitoire du Parquet national antiterroriste (PNAT) et l’ordonnance de renvoi écrite par le juge d’instruction.

Le PNAT consacrera un chapitre entier aux « moyens sécurisés de communication et de navigation » au sein d’une partie intitulée… « Les actions conspiratives ». Sur plus de quatre pages le PNAT fait le bilan des « preuves » de l’utilisation par les inculpé·es de messageries chiffrées et autres mesures de protection de la vie privée. L’application Signal est particulièrement visée.

Citons simplement cette phrase : « *Les protagonistes du dossier se caractérisaient tous par leur culte du secret et l’obsession d’une discrétion tant dans leurs échanges, que dans leurs navigations sur internet. L’application cryptée signal était utilisée par l’ensemble des mis en examen, dont certains communiquaient exclusivement [surligné dans le texte] par ce biais.* ».

Le juge d’instruction suivra sans sourciller en se livrant à un inventaire exhaustif des outils de chiffrement qu’ont « reconnu » – il utilisera abondamment le champ lexical de l’aveu – utiliser chaque mis·e en examen : « Il reconnaissait devant les enquêteurs utiliser l’application Signal », « X ne contestait pas utiliser l’application cryptée Signal », « Il reconnaissait aussi utiliser les applications Tails et Tor », « Il utilisait le réseau Tor […] permettant d’accéder à des sites illicites ».

Criminalisation des connaissances en informatique

Au-delà du chiffrement des communications, ce sont aussi les connaissances en informatique qui sont incriminées dans cette affaire : elles sont systématiquement assimilées à un facteur de « dangerosité ».

La note de la DGSI, évoquée ci-dessus, précise ainsi que parmi les « profils » des membres du groupe disposant des « compétences nécessaires à la conduite d’actions violentes » se trouve une personne qui posséderait de « solides compétences en informatique et en communications cryptées ». Cette personne et ses proches seront, après son arrestation, longuement interrogé·es à ce sujet.

Alors que ses connaissances s’avéreront finalement éloignées de ce qu’avançait la DGSI – elle n’est ni informaticienne ni versé·e dans l’art de la cryptographie – le juge d’instruction n’hésitera pas à inscrire que cette personne a « *installé le système d’exploitation Linux sur ses ordinateurs avec un système de chiffrement* ». Soit un simple clic sur « oui » quand cette question lui a été posée lors de l’installation.

La simple détention de documentation informatique est elle aussi retenue comme un élément à charge. Parmi les documents saisis suite aux arrestations, et longuement commentés, se trouvent des notes manuscrites relatives à l’installation d’un système d’exploitation grand public pour mobile dégooglisé (/e/OS) et mentionnant diverses applications de protection de la vie privée (GrapheneOS, LineageOS, Signal, Silence, Jitsi, OnionShare, F-Droid, Tor, RiseupVPN, Orbot, uBlock Origin…).

Dans le procès-verbal où ces documents sont analysés, un·e agent·e de la DGSI écrit que « ces éléments confirment [une] volonté de vivre dans la clandestinité. ». Le PNAT suivra avec la formule suivante : « Ces écrits constituaient un véritable guide permettant d’utiliser son téléphone de manière anonyme, confirmant la volonté de X de s’inscrire dans la clandestinité, de dissimuler ses activités […]. ».

Ailleurs, la DGSI écrira que « […] *la présence de documents liés au cryptage des données informatiques ou mobiles [dans un scellé]* » matérialisent « *une volonté de communiquer par des moyens clandestins.* ».

Et de leur transmission

L’incrimination des compétences informatiques se double d’une attaque sur la transmission de ces dernières. Une partie entière du réquisitoire du PNAT, intitulée « La formation aux moyens de communication et de navigation sécurisée », s’attache à criminaliser les formations à l’hygiène numérique, aussi appelées « Chiffrofêtes » ou « Cryptoparties ».

Ces pratiques collectives et répandues – que La Quadrature a souvent organisées ou relayées – contribuent à la diffusion des connaissances sur les enjeux de vie privée, de sécurisation des données personnelles, des logiciels libres et servent à la réappropriation de savoirs informatiques par toutes et tous.

Qu’est-il donc reproché à ce sujet dans cette affaire ? Un atelier de présentation de l’outil Tails, système d’exploitation grand public prisé des journalistes et des défenseurs·ses des libertés publiques. Pour le PNAT c’est lors de cette formation que « *X les a dotés de logiciels sécurisés et les a initiés à l’utilisation de moyens de communication et de navigation internet cryptés, afin de leur garantir l’anonymat et l’impunité* ». Le lien fait entre droit à la vie privée et impunité, corollaire du fantasme policier d’une transparence totale des citoyen·nes, a le mérite d’être clair.

Le PNAT ajoutera: « X ne se contentait pas d’utiliser ces applications [de protection de la vie privée], il apprenait à ses proches à le faire ». Phrase qui sera reprise, mot pour mot, par le juge d’instruction.

Pire, ce dernier ira jusqu’à retenir cette formation comme un des « *faits matériels* » caractérisant « *la participation à un groupement formé* […] *en vue de la préparation d’actes de terrorisme* », tant pour la personne l’ayant organisé – « en les formant aux moyens de communication et de navigation internet sécurisés » – que pour celles et ceux l’ayant suivi – « en suivant des formations de communication et de navigation internet sécurisés ».

De son côté, la DGSI demandera systématiquement aux proches des mis·es en examen si ces dernier·es leur avaient recommandé l’utilisation d’outils de chiffrement : « Vous ont-ils suggéré de communiquer ensemble par messageries cryptées ? », « C’est lui qui vous a demandé de procéder à l’installation de SIGNAL ? ».

Une réponse inspirera particulièrement le PNAT qui écrira : « *Il avait convaincu sa mère d’utiliser des modes de communication non interceptables comme l’application Signal.* »

« Êtes-vous anti-GAFA? »

Même la relation à la technologie et en particulier aux GAFAM – contre lesquels nous sommes mobilisés depuis de nombreuses années – est considérée comme un signe de radicalisation. Parmi les questions posées aux mis·es en examen, on peut lire : « Etes-vous anti GAFA ? », « Que pensez-vous des GAFA ? » ou encore « Eprouvez-vous une certaine réserve vis-à-vis des technologies de communication ? ».

Ces questions sont à rapprocher d’une note de la DGSI intitulée « La mouvance ultra gauche » selon laquelle ses « membres » feraient preuve « d’une grand culture du secret […] et une certaine réserve vis-à-vis de la technologie ».

C’est à ce titre que le système d’exploitation pour mobile dégooglisé et grand public /e/OS retient particulièrement l’attention de la DGSI. Un SMS intercepté le mentionnant sera longuement commenté. Le PNAT indiquera à son sujet qu’un·e inculpé·e s’est renseigné·e à propos d’un « nouveau système d’exploitation nommé /e/ […] garantissant à ses utilisateurs une intimité et une confidentialité totale ».

En plus d’être malhonnête – ne pas avoir de services Google n’implique en rien une soi-disante « confidentialité totale » – ce type d’information surprend dans une enquête antiterroriste.

Une instrumentalisation signe d’incompétence technique ?

Comment est-il possible qu’un tel discours ait pu trouver sa place dans un dossier antiterroriste ? Et ce sans qu’aucun des magistrat·es impliqué·es, en premier lieu le juge d’instruction et les juges des libertés et de la détention, ne rappelle que ces pratiques sont parfaitement légales et nécessaires à l’exercice de nos droits fondamentaux ? Les différentes approximations et erreurs dans les analyses techniques laissent penser que le manque de compétences en informatique a sûrement facilité l’adhésion générale à ce récit.

À commencer par celles de la DGSI elle-même, dont les rapports des deux centres d’analyses techniques se contredisent sur… le modèle du téléphone personnel du principal inculpé.

Quant aux notions relatives au fonctionnement de Tor et Tails, bien qu’au centre des accusations de « clandestinité », elles semblent bien vagues.

Un·e agent·e de la DGSI écrira par exemple, semblant confondre les deux : « *Thor* [sic] *permet de se connecter à Internet et d’utiliser des outils réputés de chiffrement de communications et des données. Toutes les données sont stockées dans la mémoire RAM de l’ordinateur et sont donc supprimées à l’extinction de la machine* ». Ne serait-ce pas plutôt à Tails que cette personne fait allusion?

Quant au juge d’instruction, il citera des procès verbaux de scellés relatifs à des clés Tails, qui ne fonctionnent pas sur mobile, comme autant de preuves de connaissances relatives à des « techniques complexes pour reconfigurer son téléphone afin de le rendre anonyme ». Il ajoutera par ailleurs, tout comme le PNAT, que Tor permet de « naviguer anonymement sur internet grâce au wifi public » – comme s’il pensait qu’un wifi public était nécessaire à son utilisation.

La DGSI, quant à elle, demandera en garde à vue les « identifiants et mots de passe pour Tor » – qui n’existent pas – et écrira que l’application « Orbot », ou « Orboot » pour le PNAT, serait « un serveur ‘proxy’ TOR qui permet d’anonymiser la connexion à ce réseau ». Ce qui n’a pas de sens. Si Orbot permet bien de rediriger le trafic d’un téléphone via Tor, il ne masque en rien l’utilisation faite de Tor14.

Les renseignements intérieurs confondent aussi Tails avec le logiciel installé sur ce système pour chiffrer les disques durs – appelé LUKS – lorsqu’elle demande: « Utilisez vous le système de cryptage “Tails” ou “Luks” pour vos supports numériques ? ». S’il est vrai que Tails utilise LUKS pour chiffrer les disques durs, Tails est un système d’exploitation – tout comme Ubuntu ou Windows – et non un « système de cryptage ». Mentionnons au passage les nombreuses questions portant sur « les logiciels cryptés (Tor, Tails) ». Si Tor et Tails ont bien recours à des méthodes chiffrement, parler de « logiciel crypté » dans ce contexte n’a pas de sens.

Notons aussi l’utilisation systématique du terme « cryptage », au lieu de « chiffrement ». Si cet abus de langage – tel que qualifié par la DGSI sur son site – est commun, il trahit l’amateurisme ayant conduit à criminaliser les principes fondamentaux de la protection des données personnelles dans cette affaire.

Que dire enfin des remarques récurrentes du juge d’instruction et du PNAT quant au fait que les inculpé·es chiffrent leurs supports numériques et utilisent la messagerie Signal ?

Savent-ils que la quasi-totalité des ordinateurs et téléphones vendus aujourd’hui sont chiffrés par défaut15? Les leurs aussi donc – sans quoi cela constituerait d’ailleurs une violation du règlement européen sur la protection des données personnelles16.

Quant à Signal, accuseraient-ils de clandestinité la Commission Européenne qui a, en 2020, recommandé son utilisation à son personnel17**?** Et rangeraient-ils du côté des terroristes le rapporteur des nations Unies qui rappelait en 2015 l’importance du chiffrement pour les droits fondamentaux18 ? Voire l’ANSSI et la CNIL qui, en plus de recommander le chiffrement des supports numériques osent même… mettre en ligne de la documentation technique pour le faire19 ?

En somme, nous ne pouvons que les inviter à se rendre, plutôt que de les criminaliser, aux fameuses « Chiffrofêtes » où les bases des bonnes pratiques numériques leur seront expliquées.

Ou nécessité d’un récit policier ?

Si un tel niveau d’incompétence technique peut permettre de comprendre comment a pu se développer un fantasme autour des pratiques numériques des personnes inculpé·es, cela ne peut expliquer pourquoi elles forment le socle du récit de « clandestinité » de la DGSI.

Or, dès le début de l’enquête, la DGSI détient une quantité d’informations considérables sur les futur·es mis·es en examen. À l’ère numérique, elle réquisitionne les données détenues par les administrations (Caf, Pôle Emploi, Ursaff, Assurance-Maladie…), consulte les fichiers administratifs (permis de conduire, immatriculation, SCA, AGRIPPA), les fichiers de police (notamment le TAJ) et analyse les relevés téléphoniques (fadettes). Des réquisitions sont envoyées à de nombreuses entreprises (Blablacar, Air France, Paypal, Western Union…) et le détail des comptes bancaires est minutieusement analysé20.

À ceci s’ajoutent les informations recueillies via les mesures de surveillances ayant été autorisées – comptant parmi les plus intrusives que le droit permette tel la sonorisation de lieux privés, les écoutes téléphoniques, la géolocalisation en temps réel via des balises gps ou le suivi des téléphones, les IMSI catcher – et bien sûr les nombreuses filatures dont font l’objet les « cibles ».

Mais, alors que la moindre interception téléphonique évoquant l’utilisation de Signal, WhatsApp, Silence ou Protonmail fait l’objet d’un procès-verbal – assorti d’un commentaire venant signifier la « volonté de dissimulation » ou les « précautions » témoignant d’un « comportement méfiant » – comment expliquer que la DGSI ne trouve rien de plus sérieux permettant de valider sa thèse parmi la mine d’informations qu’elle détient ?

La DGSI se heurterait-elle aux limites de son amalgame entre pratiques numériques et clandestinité ? Car, de fait, les inculpé·es ont une vie sociale, sont déclarées auprès des administrations sociales, ont des comptes bancaires, une famille, des ami·es, prennent l’avion en leur nom, certain·es travaillent, ont des relations amoureuses…

En somme, les inculpé·es ont une vie « normale » et utilisent Signal. Tout comme les plus de deux milliards d’utilisateurs et utilisatrices de messageries chiffrées dans le monde21. Et les membres de la Commission européenne…

Chiffrement et alibi policier

La mise en avant du chiffrement offre un dernier avantage de choix au récit policier. Elle sert d’alibi pour expliquer l’absence de preuves quant à l’existence d’un soi-disant projet terroriste. Le récit policier devient alors : ces preuves existent, mais elles ne peuvent pas être déchiffrées.

Ainsi le juge d’instruction écrira que si les écoutes téléphoniques n’ont fourni que « quelques renseignements utiles », ceci s’explique par « l’usage minimaliste de ces lignes » au profit d’« applications cryptées, en particulier Signal ». Ce faisant, il ignore au passage que les analyses des lignes téléphoniques des personnes inculpées indiquent une utilisation intensive de SMS et d’appels classiques pour la quasi-totalité d’entre elles.

Ce discours est aussi appliqué à l’analyse des scellés numériques dont l’exploitation n’amène pas les preuves tant espérées. Suite aux perquisitions, la DGSI a pourtant accès à tout ou partie de six des sept téléphones personnels des inculp·ées, à cinq comptes Signal, à la majorité des supports numériques saisis ainsi qu’aux comptes mails et réseaux sociaux de quatre des mis·es en examen. Soit en tout et pour tout des centaines de gigaoctets de données personnelles, de conversations, de documents. Des vies entières mises à nu, des intimités violées pour être offertes aux agent·es des services de renseignements.

Mais rien n’y fait. Les magistrat·es s’attacheront à expliquer que le fait que trois inculpé·es refusent de fournir leurs codes de déchiffrement – dont deux ont malgré tout vu leurs téléphones personnels exploités grâce à des techniques avancées – entrave « le déroulement des investigations » et empêche « de caractériser certains faits ». Le PNAT ira jusqu’à regretter que le refus de communiquer les codes de déchiffrement empêche l’exploitation… d’un téléphone cassé et d’un téléphone non chiffré. Après avoir tant dénoncé le complotisme et la « paranoïa » des inculpé·es, ce type de raisonnement laisse perplexe22.

Antiterrorisme, chiffrement et justice préventive

Il n’est pas possible de comprendre l’importance donnée à l’association de pratiques numériques à une soi-disant clandestinité sans prendre en compte le basculement de la lutte antiterroriste « d’une logique répressive à des fins préventives »23 dont le délit « d’association de malfaiteurs terroristes en vue de » (AMT) est emblématique24. Les professeur·es Julie Alix et Oliver Cahn25 évoquent une « métamorphose du système répressif » d’un droit dont l’objectif est devenu de « faire face, non plus à une criminalité, mais à une menace ».

Ce glissement vers une justice préventive « renforce l’importance des éléments recueillis par les services de renseignements »26 qui se retrouvent peu à peu libres de définir qui représente une menace « selon leurs propres critères de la dangerosité »27.

Remplacer la preuve par le soupçon, c’est donc substituer le récit policier aux faits. Et ouvrir la voie à la criminalisation d’un nombre toujours plus grands de comportements « ineptes, innocents en eux-mêmes »28 pour reprendre les mots de François Sureau. Ce que critiquait déjà, en 1999, la Fédération internationale des droits humains qui écrivait que « n’importe quel type de “preuve”, même insignifiante, se voit accorder une certaine importance »29.

Et c’est exactement ce qu’il se passe ici. Des habitudes numériques répandues et anodines sont utilisées à charge dans le seul but de créer une atmosphère complotiste supposée trahir des intentions criminelles, aussi mystérieuses soient-elles. Atmosphère dont tout laisse à penser qu’elle est, justement, d’autant plus nécessaire au récit policier que les contours des intentions sont inconnus.

À ce titre, il est particulièrement frappant de constater que, si la clandestinité est ici caractérisée par le fait que les inculpé·es feraient une utilisation « avancée » des outils technologiques, elle était, dans l’affaire Tarnac, caractérisée par le fait… de ne posséder aucun téléphone portable30. Pile je gagne, face tu perds31.

Toutes et tous terroristes

À l’heure de conclure cet article, l’humeur est bien noire. Comment ne pas être indigné·e par la manière dont sont instrumentalisées les pratiques numériques des inculpé·es dans cette affaire ?

Face au fantasme d’un État exigeant de toute personne une transparence totale au risque de se voir désignée comme « suspecte », nous réaffirmons le droit à la vie privée, à l’intimité et à la protection de nos données personnelles. Le chiffrement est, et restera, un élément essentiel pour nos libertés publiques à l’ère numérique.

Soyons clair: cette affaire est un test pour le ministère de l’intérieur. Quoi de plus pratique que de pouvoir justifier la surveillance et la répression de militant·es parce qu’ils et elles utilisent WhatsApp ou Signal?

Auditionné par le Sénat suite à la répression de Sainte-Soline, Gérald Darmanin implorait ainsi le législateur de changer la loi afin qu’il soit possible de hacker les portables des manifestant·es qui utilisent « Signal, WhatsApp, Telegram » en des termes sans équivoque: « Donnez-nous pour la violence des extrêmes les mêmes moyens que le terrorisme ».

Pour se justifier, il avançait qu’il existe « une paranoia avancée très forte dans les milieux d’ultragauche […] qui utilisent des messageries cryptées » ce qui s’expliquerait par une « culture du clandestin ». Un véritable copier-coller de l’argumentaire policier développé dans l’affaire du 8 décembre. Affaire qu’il citera par ailleurs – au mépris de toute présomption d’innocence – comme l’exemple d’un « attentat déjoué » de « l’ultragauche »32 pour appuyer son discours visant à criminaliser les militant·es écologistes.

Voici comment la criminalisation des pratiques numériques s’inscrit dans la stratégie gouvernementale de répression de toute contestation sociale. Défendre le droit au chiffrement, c’est donc s’opposer aux dérives autoritaires d’un pouvoir cherchant à étendre, sans fin, les prérogatives de la lutte « antiterroriste » *via* la désignation d’un nombre toujours plus grand d’ennemis intérieurs33.

Après la répression des personnes musulmanes, des « écoterroristes », des « terroristes intellectuels », voici venu la figure des terroristes armé·es de messageries chiffrées. Devant une telle situation, la seule question qui reste semble être : « Et toi, quel·le terroriste es-tu ? ».

Why Does Everything On Netflix Look Like That?

Even if you don’t know what to look for, you’ll probably be able to guess if something was created for Netflix just based on a few frames.

Against all odds, Netflix’s adaptation of The Sandman is a very good show. But why does it look like that?

You know what I’m talking about—the so-called “Netflix Look.” Netflix’s in-house produced television shows and movies tend to all have the same look and feel, to the point that it’s sometimes really distracting. Although it’s hard to pinpoint what exactly makes all Netflix shows look the same, a few things stand out: The image in general is dark, and the colors are extremely saturated; Especially in scenes at night, there tends to be a lot of colored lighting, making everything look like it’s washed in neon even if the characters are inside; Actors look like the makeup is caked on their faces, and details in their costumes like puckering seams are unusually visible; Most annoying to me, everything is also shot in an extremely conventional way, using the most conventional set ups to indicate mystery or intrigue as possible—to indicate that something weird is going on the framing always has a dutch angle, for example—or more often just having everyone shot in a medium close up.

Much like you can instantly recognize a Syfy channel production by its heavy reliance on greenscreen but not as expensive computer-generated special effects, or a Hallmark movie by it’s bright, fluffy, pastel look, Netflix productions also have recognizable aesthetics. Even if you don’t know what to look for, it’s so distinct that you’ll probably be able to guess whether or not something was created for Netflix just based on a few frames.

The Sandman, despite having great writing and great acting, suffers from these aspects of the Netflix look. Although the main character’s domain is the world of dreams, often in the show dramatic moments are reduced to scenes of characters talking in a medium close up. Fans of the show have also gotten frustrated by the show’s aspect ratio, which makes the frames look like they’ve been stretched upward. Tom Sturridge’s face looks especially made up as Dream—his lips are so red they’re almost distracting. Worst of all are the muddy colors, especially because the comic that The Sandman is adapting had such an exuberant color palette.

J. D. Connor, an associate professor in Cinema and Media Studies at USC, told Motherboard that the reasons for the Netflix look are varied, but one important reason is that Netflix requests some basic technical specifications from all its productions, which include things like what cameras to use, Netflix’s minimum requirements for the resolution of the image, and what percentage of the production can use a non-approved camera.

“It started as a big topic in the cinematographer community,” Connor told Motherboard in a phone call. “Netflix had an accepted camera list for its Netflix branded products. The initial list, while there were ostensibly open parameters for what cameras might qualify, there really were only like two. And yes, you can do a ton within those parameters. But it meant that this was one way that the uniformity emerged, was through their real insistence on that.”

Netflix’s list of approved cameras on their Partner Help Center website now has a lot more cameras than just two. The company explained in a video why it has a list of approved cameras, with Netflix camera systems specialist Krys Pyrgrocki saying, unhelpfully, “One of the biggest priorities for us as a studio is helping our filmmakers do their very best work. We want our filmmakers to not just feel enabled, but also encouraged to use the latest and greatest capture technologies out there to tell their stories.”

Connor says that these cameras are important to Netflix products beyond just wanting creators to use new technology.

“The other thing that really drove a lot of this was, they did what they call future proofing their content. They wanted it all to be shot in 4K HDR, ” he said.

It isn’t a totally unreasonable idea to want to make sure Netflix content still looks good when 4K televisions become more common, but it does limit your options as a filmmaker in terms of what technology you can actually use. 4K video files are also extremely large, and when compressed through streaming, that compression changes how the image looks to the streamer. It’s also important to note that Netflix, which chargers customers more for the full 4K experience (a basic subscription costs $9.99 a month while the Premium “Ultra HD (4K)” subscription costs $19.99 a month), also has a financial incentive to increase the amount of 4K content in its catalog.

“When it gets compressed, and jams through the cable pipe, or the fiber to get to your television, Netflix takes as much information out of that as they can through compression in order to reduce the amount of data that's going through, so you have a smoother streaming experience,” he said. “One of the weird things that happens when you have a very high resolution image, in general, when you shrink the amount of information the edges get sharper.”

Connor said to think about it in terms of movies from the 70s, whose visual effects look great on a huge screen, because the film grain blurs some of the details, but much worse on a smaller television.

“But when you take a movie like the original Superman or something and put it on television, all the edges get really sharp, all the blue screen looks really hacky,” he said. ”Something quite similar happens when you take a big 4K image and you jam it through a massively compressed amount of data to put it on TV.”

All of this helps to explain why the Netflix productions look uncanny. But some of the unpolished details are due to a more mundane issue: money.

Connor described the budgets on Netflix projects as being high, but in an illusory way. This is because in the age of streaming, “above the line” talent like big name actors or directors get more of the budget that’s allotted to Netflix projects because they won’t get any backend compensation from the profits of the film or television show.

“They're over compensated at the beginning,” Connor said. “That means that all of your above the line talent now costs, on day one that the series drops, 130 percent of what it costs somewhere else. So your overall budget looks much higher, but in fact, what's happened is to try to save all that money, you pull it out of things like design and location.”

“So the pandemic hurts, the technology of capture and then post production standardization hurts, the budget point squeezes all the design side stuff, and that hurts,” Connor continued.

Connor pointed out that there are many projects on streaming services that skimp on things like production design, and that some of this is due to ongoing impacts from the pandemic. But it can be particularly noticeable in Netflix productions because it happens so often.

“Red Notice to me is like the pinnacle of this sort of thing I’m talking about. It cost a fortune because they had to pay the stars a ton. It was shot in the pandemic, so they're cutting around absences in ways that are at times very, very funny,” Connor continued. “And the whole thing just looks when I watched it on my TV, and I have a fairly good TV, I thought it looked just horrible, beginning to end. A sort of brutal experience.”

That’s not to say that the Netflix look is always bad. There are a lot of kinds of projects that Netflix makes, ranging from the prestige work of Martin Scorsese to schmaltzy young adult fare like The Kissing Booth. When you’re making a young adult romance story, the Netflix look doesn’t feel totally out of place. In fact, it’s not too far off from what shows produced for the CW, like Riverdale, already look like. When you’re watching The Sandman, which is based on a beloved and very experimental comic, it comes off as totally incongruous with the story that they’re trying to tell. The technical specifications that Netflix enforces on its productions wouldn’t feel so out of place in a different genre of story.

“It all, kind of, totally works with the Adam Sandler comedies,” Connor said. “The budget point is fine, because Adam Sandler gets all the money, and like, the things just look fine. Nobody is making really theatrical comedies anymore, that whole market segment is just vaporized. And you know, I kind of want to live in a world where there's a Hubie Halloween rolling out in mid October and my theaters but like, barring that…”

Television and movies also, generally speaking, don’t have to look like that. Connor repeatedly mentioned Tokyo Vice as an example of a show with particularly rich production design, and other works on HBO, like the drama Station Eleven and the comedy Rap Shit, also put a great deal of time and care into their visual presentation. Shows like The Bear on Hulu, nominally a comedy, is extremely considered in how it frames its characters, and builds out its kitchen set with a lot of personal details. As streaming television, these shows will also always suffer from what happens to images when they’re compressed—but these shows are also shot in ways where that’s not as noticeable to the streamer on the other side.

Éducation. Un an d’IA à l’université, un an de chaos et de confusion

Vu des campus, il est à peu près impossible de distinguer les usages légitimes de l’intelligence artificielle et ses utilisations frauduleuses. Le concepteur de jeux vidéo et universitaire Ian Bogost en fait le constat pour le magazine américain “The Atlantic” : plus personne ne sait ce qu’est la pédagogie à l’ère des IA génératives.

“Cent pour cent intelligence artificielle” (IA). Voilà la conclusion du logiciel concernant la copie d’un étudiant. Un enseignant du cursus que je dirige [en cinéma, médias et ingénierie à l’université Washington, à Saint-Louis] est tombé sur ce résultat et m’a demandé quoi faire. Un deuxième a fait remonter le même constat – 100 % IA – pour un autre devoir du même étudiant, et s’est demandé : “Qu’est-ce que ça veut dire ?” Je n’en savais rien. Je ne sais toujours pas.

La question en appelle quantité d’autres : peut-on être certain qu’un étudiant a eu recours à une IA ? Que signifie au juste “utiliser une IA” pour composer un texte ? À partir de quel niveau cela relève-t-il de la tricherie ? Sans compter que le logiciel qui avait incriminé l’étudiant n’est pas exempt d’interrogations de notre part : Canvas, notre plateforme pour l’enseignement, fonctionne avec Turnitin, un programme bien connu de détection du plagiat qui vient d’intégrer un nouvel algorithme d’identification de l’IA. Les accusations de tricherie émanent donc elles-mêmes d’un assemblage de boîtes noires de technologies pour l’éducation.

Voilà à quoi ressemble la fin de cette première année universitaire de l’ère ChatGPT : un maelstrom d’incriminations et de confusion. Ces dernières semaines, j’ai discuté avec des dizaines de professeurs et d’étudiants aujourd’hui confrontés à un déferlement de “tricheries à l’IA”. Leurs récits m’ont laissé pantois. Vu des campus, tout semble indiquer qu’il est à peu près impossible de différencier les usages légitimes de l’IA de ses utilisations frauduleuses, ou d’identifier les tricheurs.

L’aide aux devoirs dans les choux

Il fut un temps où les étudiants se passaient des copies de devoir ou d’examen. Puis, avec Internet, ils ont commencé à sous-traiter leurs exercices. Plusieurs services en ligne ont commercialisé ces prestations. Aujourd’hui, des élèves peuvent acheter des réponses auprès d’un site d’“aide aux devoirs” comme Chegg – une pratique qu’ils appellent “chegging”. L’arrivée à l’automne dernier des chatbots dopés à l’IA a ringardisé ces méthodes de tricherie. “Nous pensons que [ChatGPT] affecte notre taux de croissance”, a reconnu le PDG de Chegg au début de mai. L’entreprise a depuis perdu près de 1 milliard de dollars de sa valeur sur le marché.

Ce bouleversement pourrait toutefois être une aubaine pour d’autres sociétés. En 2018, Turnitin engrangeait déjà plus de 100 millions de dollars de recettes annuelles en aidant les professeurs à détecter la tricherie. Son logiciel, intégré à la plateforme sur laquelle les étudiants soumettent leurs devoirs, compare chaque copie avec une base de données (comprenant les devoirs d’autres étudiants déjà transmis à Turnitin) et signale les éventuels copieurs. Turnitin, qui revendique plus de 15 000 institutions et établissements utilisateurs dans le monde, a été racheté en 2019 pour 1,75 milliard de dollars [1,63 milliard d’euros]. Le mois dernier, il a intégré un module de détection d’IA à son logiciel. Les mesures pour contrer l’IA se mettent en place – avec le concours d’autres IA.

Alors que s’achève le premier semestre des chatbots, le nouveau logiciel de Turnitin signale un déluge de tricheries : cette copie a été “rédigée à 18 % par une IA”, celle-là est “100 % IA”. Mais que signifient réellement ces chiffres ? Aussi étrange – et même stupéfiant – que cela puisse paraître, on ne sait pas vraiment. Dans tous les cas de devoirs “100 % IA” qui m’ont été signalés, les étudiants affirment ne pas avoir laissé ChatGPT ou toute autre IA rédiger la totalité de leur travail.

98 % de certitude

Turnitin soutient pourtant que ce signalement signifie effectivement que 100 % du document – c’est-à-dire chacune des phrases qui le composent – a été généré par un programme informatique. Avec un degré de certitude de 98 %. Une porte-parole de l’entreprise reconnaît par e-mail que “les textes rédigés avec des programmes utilisant des algorithmes ou d’autres outils informatiques”, notamment des correcteurs de syntaxe et des traducteurs automatiques, peuvent être signalés à tort comme frauduleux. De même que certains écrits “authentiques” peuvent ressembler à s’y méprendre à des contenus générés par des IA. “Certaines personnes écrivent juste de manière très prévisible”, précise-t-elle. Le logiciel tient-il compte de toutes ces limites quand il annonce 98 % de certitude ?

Mais peut-être n’est-ce pas là le problème, car Turnitin décline toute responsabilité quant aux conclusions tirées de ses signalements. “Nous ne donnons qu’un chiffre censé aider l’enseignant à déterminer si une copie nécessite un examen plus approfondi ou une discussion avec l’élève”, précise la porte-parole.

“L’enseignement reste une activité fondamentalement humaine.”

L’entreprise propose donc un guide pour aider les humains à gérer le risque “minime” de faux positifs. Et, évidemment, elle recommande l’utilisation d’autres services de Turnitin.

Autrement dit, l’étudiant de mon cursus dont les copies ont été signalées “100 % IA” a utilisé un peu d’IA, beaucoup d’IA ou peut-être une dose intermédiaire. Mais pour ce qui est des questions sous-jacentes – de quelle manière l’étudiant a-t-il eu recours à l’IA ? et a-t-il eu tort de le faire ? – nous, enseignants, sommes comme toujours livrés à nous-mêmes.

Certains étudiants s’appuient probablement à 100 % sur une IA pour faire tout le travail sans avoir à fournir le moindre effort. Mais bon nombre utilisent ChatGPT ou autres outils du même tonneau pour générer des idées, recevoir une aide lorsqu’ils se sentent coincés, reformuler des paragraphes délicats ou corriger la syntaxe.

Aux examens, “tout sauf l’IA”

Où se situe la limite ? Matthew Boedy, professeur d’anglais à l’université de Géorgie du Nord, m’a parlé d’un étudiant tellement désinvesti qu’il lui arrivait d’assister aux cours en pyjama. Lorsque, au printemps, ce dernier lui a remis une dissertation particulièrement bien ficelée, Matthew Boedy a soupçonné qu’un chatbot était en jeu, ce que l’outil de vérification d’OpenAI [l’entreprise derrière ChatGPT] a confirmé. Interrogé, l’étudiant a admis qu’il ne savait pas par où commencer et avait donc demandé à ChatGPT de rédiger une introduction puis de lui recommander des sources. En l’absence d’une charte établie sur la tricherie à l’IA, Boedy a parlé du sujet de la dissertation avec l’étudiant et lui a attribué une note sur la base de cette conversation.

Un étudiant en sciences informatiques à l’université Washington de Saint-Louis, où j’enseigne, a observé une évolution quelque peu paradoxale des consignes d’examen : au début de la pandémie, les étudiants pouvaient avoir leurs livres et leurs notes pendant l’épreuve, aujourd’hui on peut utiliser “n’importe quoi, sauf l’IA”. (Je ne divulgue par les noms des étudiants de sorte qu’ils parlent en toute franchise de leurs usages de l’IA.) Cet étudiant, qui est également professeur assistant, sait parfaitement que les machines peuvent faire à peu près tous les devoirs et exercices techniques de son cursus, et même certains travaux conceptuels. Mais tirer parti de ces technologies lui paraît “moins immoral que de payer pour Chegg ou ce genre de service”, m’explique-t-il. Un étudiant qui utilise un chatbot effectue un minimum de travail – et se prépare au monde de demain.

L’IA est si tentante

Un autre étudiant, en sciences politiques à l’université Pomona [en Californie], m’explique qu’il utilise l’IA pour tester ses idées. Pour un devoir sur le colonialisme au Moyen-Orient, il a formulé une thèse et demandé à ChatGPT ce qu’il en pensait. “Il m’a dit que j’avais tort, alors j’ai commencé à débattre avec lui, et ChatGPT m’a donné des contre-arguments sérieux, que j’ai ensuite pris en compte dans mon travail.” Cet étudiant se sert également du bot pour trouver des sources. “Je considère ChatGPT à la fois comme un collaborateur et comme un interlocuteur intéressé”, résume-t-il.

Son usage de l’IA semble à la fois malin et parfaitement honnête. Sauf que s’il emprunte un peu trop de réponses à l’IA, Turnitin risque de signaler son travail comme frauduleux. Un enseignant n’a pas les moyens de savoir si ses étudiants ont fait un usage nuancé de la technologie ou si leurs devoirs sont une pure escroquerie. Pas de problème, me direz-vous, il suffit de développer une relation de confiance mutuelle et d’aborder le sujet ouvertement avec eux. Cela ressemble à une bonne idée, mais l’IA risque fort de faire apparaître des divergences d’intérêt entre enseignants et étudiants. “L’IA est dangereuse parce qu’elle est extrêmement tentante”, résume Dennis Jerz, professeur à l’université Seton Hill, à Greensburg, en Pennsylvanie. Pour les étudiants qui ne sont pas investis dans leurs études, les résultats n’ont même pas à être bons, il suffit qu’ils soient passables, et rapides à obtenir.

“L’IA facilite surtout la production de travail médiocre.”

Du côté des enseignants, on redoute déjà de voir les étudiants remettre en question l’intérêt même de faire des devoirs. De fait, leur travail n’en devient que plus difficile. “C’est tellement démoralisant, confirme un professeur d’anglais installé en Floride. En septembre dernier, j’adorais mon travail, en avril, j’ai décidé d’arrêter complètement.” Les devoirs qu’il proposait étaient tout ce qu’il y a de plus classique : dissertation, bibliographie, exposé, essai. De son point de vue, l’IA a ouvert une bataille entre étudiants et professeurs où l’absurde le dispute à l’inutile. “Avec des outils comme ChatGPT, les étudiants pensent qu’ils n’ont plus aucune raison de développer des compétences”, résume l’enseignant. Et tandis que certains de ses étudiants reconnaissent se servir de ChatGPT pour faire leurs devoirs – l’un d’eux a même admis s’en servir systématiquement –, lui se demande pourquoi il perd son temps à noter des textes rédigés par une machine que ses étudiants n’ont peut-être même pas pris la peine de lire. La sensation d’inutilité mine sa pédagogie.

“Je suis effondré. J’adore enseigner et j’ai toujours aimé être en classe, mais avec ChatGPT plus rien n’a de sens.”

Le sentiment de perte qu’il décrit est trop profond et existentiel pour être compensé par une quelconque forme d’intégrité académique. Il témoigne de la fin d’une relation particulière – certes déjà sur le déclin – entre élèves et professeurs. “L’IA a déjà tellement bouleversé notre manière d’être en classe que je ne m’y retrouve plus”, dit-il. À l’en croire, l’IA marque moins le début d’une ère nouvelle qu’elle n’est le coup de grâce porté à un métier déjà à genoux en raison des coupes budgétaires, des violences par arme à feu, de l’interventionnisme d’État, du déclin économique, de la course aux diplômes et tout le reste. Cette nouvelle technologie déferle sur un secteur gravement fragilisé et semble transformer l’école en un lieu absurde où l’enseignement n’est plus qu’un rouage dans une grande machine.

Retrouver l’humain

On répète à l’envi que l’IA va obliger les enseignants à s’adapter. Athena Aktipis, professeure en psychologie à l’université d’État de l’Arizona, y a effectivement vu l’occasion de restructurer son enseignement pour laisser la part belle au débat et aux projets définis par les étudiants eux-mêmes. “Les élèves me disent qu’ils se sentent plus humains dans ce cours que dans n’importe quel autre”, explique-t-elle.

Reste que pour de nombreux étudiants l’université n’est pas seulement le lieu où rédiger des travaux, et la possibilité de prendre parfois la tangente offre une autre manière de se sentir humain. L’étudiant au devoir “100 % IA” a reconnu avoir passé son texte au correcteur de syntaxe et demandé à ChatGPT d’améliorer certains passages. Il semblait avoir fait passer l’efficacité avant la qualité. “Parfois, j’ai envie d’aller faire du basket, parfois, j’ai envie de faire de la musculation”, répond-il alors que je lui demande de partager ses impressions sur l’IA pour cet article. Cela peut sembler choquant : on va à l’université pour apprendre, et cela implique de faire des devoirs ! Sauf qu’un mélange de facteurs de stress, de coûts et autres causes extérieures ont créé une vaste crise de la santé mentale sur les campus. Et pour cet étudiant, l’IA est un des rares moyens de réduire ce stress.

Cela vaut également pour les professeurs. Eux aussi peuvent être tentés d’utiliser les chatbots pour se simplifier la vie ou les dispenser de certaines tâches qui les détournent de leurs objectifs. Reste que la plupart s’inquiètent de voir leurs étudiants finir en dindons de la farce – et fulminent d’être pris entre deux feux. Selon Julian Hanna, enseignant en culture à l’université de Tilbourg, aux Pays-Bas, les étudiants qui utilisent l’IA de manière sophistiquée sont ceux qui en tireront le plus de bénéfices – mais ce sont aussi ceux qui avaient déjà le plus de chances de réussir, tandis que les autres risquent d’être encore plus désavantagés. “Je pense que les meilleurs élèves n’en ont pas besoin ou craignent d’être repérés – ou les deux.” Les autres risquent d’apprendre moins qu’avant. Autre facteur à prendre en considération : les étudiants dont l’anglais n’est pas la langue maternelle sont plus susceptibles d’utiliser des correcteurs de syntaxe ou de demander à ChatGPT de reformuler leurs textes. Le cas échéant, ils seront aussi surreprésentés parmi les tricheurs présumés.

Quoi qu’il en soit, la course aux armements ne fait que commencer. Les étudiants seront tentés d’abuser de ChatGPT, et les universités tenteront de les en empêcher. Les professeurs pourront accepter certains recours à l’IA et en interdire d’autres, mais leurs choix seront influencés par le logiciel qu’on leur donnera.

Les universités aussi peineront à s’adapter. La plupart des théories sur l’intégrité académique reposent sur la reconnaissance du travail des personnes, non des machines. Il va falloir mettre à jour le code d’honneur de la vieille école, et les examinateurs chargés d’enquêter sur les copies suspectes devront se pencher sur les mystères des “preuves” logicielles de détection des IA. Et puis, tout changera à nouveau. Le temps de mettre au point un nouveau mode de fonctionnement, la technologie, aussi bien que les pratiques, aura probablement évolué. Pour rappel : ChatGPT n’est là que depuis six mois.

Ian Bogost Lire l’article original "AI ‘Cheating’ Is More Bewildering Than Professors Imagined - The Atlantic"

"Grosse salope, t’es morte" : infiltration dans la discussion Snapchat d'une classe de CM2

Paru sur Marianne

Après le suicide, le 12 mai dernier, de Lindsay, 13 ans, élève dans un collège du Pas-de-Calais, le harcèlement scolaire se retrouve au cœur des débats. Mais ce phénomène de meute démarre souvent dès l’école primaire. Exemple avec le groupe de discussion d’une classe de CM2 sur le réseau social Snapchat. Les filles y sont traitées de « putes » les garçons de « gros cons ». Un enfant menace un autre d’aller lui « casser les dents à la récré » : « Et j’rigole pas. Et tu saignes, j’men fous. D’toute façon personne t’aime. Crève. » Le même entend « démonter la gueule » à une autre parce qu’elle a « mal parlé de sa mère » : « Grosse salope, t’es morte, j’encule ta grosse mère aussi. Dans tous les cas, elle est dead. » Entre deux vidéos de mangas ou de foot à la gloire de Mbappé, les élèves s’y invectivent à tout va à coups de « wesh, wesh, wesh » et d’insultes en arabe – même si la majorité d’entre eux n’a aucune origine maghrébine.

Et non, ce ne sont pas des collégiens. Mais l’ordinaire d’un groupe de classe de CM2 sur le réseau social Snapchat que Marianne a pu consulter pendant trois mois, cette année. Cette dizaine d’élèves âgés de 10 à 11 ans est scolarisée dans la même classe d’une école publique du centre de Lyon un peu plus favorisée que la moyenne. Les familles de cadres et de professions libérales y côtoient celles de classe moyenne et de milieu plus populaire des HLM environnants. Une école mixte socialement plutôt « réputée » pour son niveau scolaire, racontent les parents.

SEXUALITÉ ET VIOLENCE

Lorsque les enfants ont créé ce groupe restreint cet hiver, il s’agissait pour eux d’échanger des photos de devoirs oubliés, agrémentées de blagues. Depuis le confinement du printemps 2020, les élèves de primaire, encouragés à communiquer entre eux et avec leurs enseignants par des moyens numériques, ont pris l’habitude de s’inscrire sur des groupes virtuels – surtout WhatsApp ou Snapchat. D’autant qu’ils sont toujours plus nombreux à posséder un téléphone dès la classe de CM1, voire de CE2. Un but semi-utilitaire a priori, rassurant pour leurs parents. Las, à lire les messages avec attention, on perçoit, jour après jour, que les échanges s’éloignent vite de l’objet initial. Au milieu des blagues classiques du type « la tête à Toto » les vidéos échangées, trouvées sur Internet par les enfants, flirtent très vite avec la sexualité et la violence. Des chats torturés ou frappés, des fesses et des seins de femmes filmés en gros plan avec des commentaires peu ragoûtants. On y parle des « darons » (les parents) auxquels il faut cacher les messages « sinon on va se faire couper le Wifi ».

Chaque enfant ou presque se voit affubler d’un surnom. Les premières de la classe y sont moquées : « Google Chrome » et « Wikipédia ». Le reste du groupe leur tombe dessus parce qu’elles écrivent leurs messages « sans fautes et avec des virgules », ce qui n’est pas admissible selon les codes auto-institués du groupe. Deux élèves d’origine africaine sont moqués, de façon répétée, en raison de leur couleur de peau et de leurs cheveux crépus sans que quiconque ou presque s’en émeuve. Les filles rondouillardes sont des « grosses » et les grandes de « sales girafes ». Simple plaisanterie puérile ? Peut-être mais qui peut vite dégénérer en harcèlement de groupe, d’autant que ces enfants, encore très jeunes, n’ont aucun filtre et racontent tout ce qui leur passe par la tête.

EFFET DE GROUPE ET CURÉE

La petite Stefania explique publiquement dans un « vocal » (un message audio), par exemple, pourquoi Arno ne peut plus être son petit ami – ce qui consiste concrètement à se tenir de temps en temps la main et se voir à la récré – et le lui annonce sur le groupe : « J’taime plus, c’est tout. Fous moi la paix. Tu m’as bien quitté la semaine dernière. C’est mon tour. » Humiliation du rejeté qui l’injurie avec sa petite voix suraiguë. Les filles prennent parti pour leur amie. Les garçons pour leur « reuf » (frère, en verlan). Tous promettent de régler ce différend dans les toilettes de l’école le lendemain.

Un autre jour, une enfant se fait railler parce que les autres soupçonnent ses parents d’être homosexuels. « On va t’appeler quatre boulettes puisque pour te fabriquer il a fallu quatre couilles et deux quéquettes. Comme t’as deux pères, tu dois être un garçon en vrai. » La rumeur enfle : « Rose, t’es un garçon, t’es un garçon… » Les moqueries se cumulent : « Tes lunettes, on dirait un pare-brise, répond nous, salope. Ton front est trop grand, on dirait celui de T’choupi [un personnage de dessin animé]. » Effet de groupe aidant, tout le monde s’y met, même les « meilleures amies » pour la moquer. Des montages de photos obscènes sont réalisés avec le visage de la victime et postés sur le groupe. C’est la curée. Consigne est donnée de ne plus lui adresser la parole « jusqu’à la fin de l’année ». Un signalement effectué par un parent auprès de l’école mettra fin à cette situation aux allures de harcèlement.

TABASSAGE, INSULTES ET SNAPCHAT

Mais parfois, cela va bien plus loin, comme Nadia a pu le constater, le mois dernier, dans son école primaire, dans l’Essonne. Cette directrice expérimentée a appris, grâce à un élève de CM2 « qui n’en dormait plus la nuit » qu’un groupe Snapchat avait été créé spécialement par sa classe pour harceler un jeune garçon. Un « très bon élève, en situation de fragilité car ses parents étaient en train de divorcer de façon houleuse. Il avait aussi des difficultés relationnelles » raconte-t-elle. Les enfants organisaient des opérations tabassage dans la cour de récréation, l’insultaient, le menaçaient dans les toilettes à l’abri du regard des adultes…

Lui-même était paradoxalement dans le groupe, mais n’osait en sortir « par peur d’être encore plus exclu » a-t-il expliqué à cette directrice, par ailleurs choquée par les vidéos porno, de suicides et de violences sur animaux qu’elle a pu visionner sur ce groupe Snapchat. Les 27 familles convoquées sont « toutes tombées de l’armoire » les enfants ont été sermonnés. Celui qui a osé dénoncer « a été félicité et montré en exemple ». « Depuis, tout est rentré dans l’ordre raconte la directrice, mais j’ai été étonnée : les parents n’étaient pour la plupart pas du tout au courant de ce que fabriquaient leurs enfants sur leurs téléphones. Leur réaction ? On va limiter le Wifi ! Or il faut avant tout parler avec les enfants pour déminer insiste-t-elle. J’y ai passé beaucoup de temps. Et c’est bien le problème. Nous pourrions passer nos journées à démêler ce qui relève de la simple querelle du véritable harcèlement. »

« ÇA COMMENCE DÈS LE PRIMAIRE »

Pour Murielle Cortot Magal, qui dirige le service du numéro vert anti-harcèlement mis en place par le gouvernement en 2011, « on repère le harcèlement majoritairement en CM1, CM2, sixième et cinquième. Il s’agit d’abord de bousculades volontaires et croche-pieds sur un enfant, de plaisanteries dégradantes sur le physique. Toute différence – handicap, couleur de peau, orientation sexuelle – est brocardée. Et plus ils grandissent, plus ça se passe sur les réseaux sociaux. On parle beaucoup des collèges car ils concentrent le plus de faits, mais ça commence dès l’école primaire. Avec une problématique particulière : le manque de moyens pour y faire face » explique-t-elle. Avec une difficulté supplémentaire : en primaire, on ne peut pas exclure, même momentanément, un élève agresseur, contrairement au collège. Pour cause : les conseils de discipline n’existent pas.

Directeur d’école à Nice depuis 1996, Thierry Pageot a toujours vu du harcèlement en primaire, même si le phénomène a pris de l’ampleur avec l’avènement du téléphone portable à l’école, souvent dès l’âge de 8 ou 9 ans. « C’est un sujet très compliqué à gérer, raconte ce secrétaire général du syndicat des directeurs d’école, d’autant que nous avons moins de personnel que dans le secondaire. » Contrairement aux collèges, les écoles primaires ne bénéficient pas de personnel de vie scolaire, ni d’assistants d’éducation. Très souvent, lorsque l’école est petite, le directeur enseigne aussi à mi-temps.

Les élèves ont donc moins d’adultes à qui parler. « La cour de récréation n’est pas toujours très surveillée. Et il arrive aussi que le scolaire et le périscolaire se renvoient la balle » confirme Maître Valérie Piau, avocate parisienne spécialisée en droit de l’éducation. « Il me semble aussi que les adultes prennent moins au sérieux la parole des écoliers que celle des collégiens parce qu’ils sont plus jeunes. Les enseignants minimisent parfois les alertes des enfants, évoquent de simples chamailleries. À leur décharge, les parents font aussi parfois remonter des faits qui n’ont rien à voir avec du harcèlement. »

4 JOURS DE FORMATION

Selon Marie Quartier, chargée de cours à l’université Lyon-II, licenciée en psychologie et auteure d’un ouvrage sur le sujet, « il ne faut pas minimiser les chamailleries et ne pas laisser faire ce que l’on ne tolérerait pas chez l’adulte, comme l’emploi d’un surnom ou le fait de bousculer. Il faut éviter que s’installe tout climat de rumeur, de moquerie. Les signaux faibles de souffrance, comme la chute des notes, le désintérêt pour la classe, les absences répétées sont également à prendre au sérieux. Tout cela peut intervenir dès la maternelle car le phénomène de groupe est présent dès le plus jeune âge ».

Certes, depuis les années 2010, des mesures sont mises en place pour que les choses bougent. Le dispositif pHARe, lancé en 2019 à titre expérimental et qui se déploie dans tous les établissements, porte ses fruits. Il prévoit la formation d’une équipe de référence d’au moins cinq personnes par collège et par circonscription du premier degré, la nomination et la formation de dix élèves ambassadeurs au moins par collège.

Certains critiquent l’aspect trop théorique des quatre journées de formation. Mais selon le ministère, le taux de résolution des situations de harcèlement est supérieur à 80 % grâce à cette méthode. On revient de loin et on a du retard, comme le souligne Marie Quartier : « Des personnes au sein de certains établissements sont dans le déni. S’ajoute à cela la difficulté du métier : de nombreux enseignants sont eux-mêmes fragilisés, fatigués, et donc pas en état de repérer les signes de souffrance des élèves. »

UN DÉLIT QUI POSE UN INTERDIT

Après le suicide d’une collégienne, Lindsay, 13 ans, dans le Pas-de-Calais, le ministre de l’Éducation nationale, Pap Ndiaye, a promis « des moyens supplémentaires ». Un responsable du suivi des situations et de la coordination de la lutte contre le harcèlement sera nommé dans chaque collège à partir de la rentrée 2023, avec une rémunération supplémentaire pour cette mission. Le ministre a aussi « enjoint aux chefs d’établissement de prendre contact systématiquement, en cas de harcèlement avéré, avec le procureur de la République, avec les autorités judiciaires ». Illusoire, comme le dénoncent des chefs d’établissement ?

Tout ne peut pas se régler sur un plan judiciaire, d’autant que le temps de la police et de la justice est souvent plus lent que celui de l’Éducation nationale. Certes, depuis la loi du 2 mars 2022, un délit de harcèlement scolaire a été créé. Il « n’aboutit pas systématiquement à une réponse judiciaire car la plupart des harceleurs sont très jeunes soulève Maître Piau, mais il pose un interdit bienvenu. Il permet de faire de la pédagogie auprès des familles ». En revanche, le problème des plates-formes numériques, lui, reste entier. Pour le moment, elles ont tendance à se défausser de leurs responsabilités.

Par Marie-Estelle Pech

Analyse. La chute du bitcoin, un “coup mortel” pour le Salvador ?

Alors que la plus célèbre des cryptomonnaies ne cesse de perdre de la valeur, le pays d’Amérique centrale, qui en a fait une devise officielle en 2021, se retrouve pris à la gorge. Pourra-t-il payer ses dettes ? s’interroge la presse de la région.

Où s’arrêtera la chute ? Déjà mal en point depuis des mois, le bitcoin, la plus célèbre des cryptomonnaies, a perdu 21 % de sa valeur la semaine dernière. L’une des raisons est la faillite, vendredi 11 novembre, de la plateforme de cryptofinance FTX, où s’échangeaient les cryptomonnaies.

Mais cette baisse n’est pas la seule. “C’est seulement la plus récente. Le bitcoin part en piqué depuis la fin de l’an dernier”, écrit Isabella Cota, chef du service économie pour l’Amérique latine du site El País México.

Lire aussi Finance. Le marché des cryptomonnaies frôle à nouveau le krach

La journaliste cite Ricardo Castaneda, économiste à l’Institut d’Amérique centrale des études financières :

“Les pertes de la semaine dernière représentent quasiment un coup mortel porté à l’adoption massive de cryptomonnaies au Salvador.”

En septembre 2021 en effet, le plus petit pays d’Amérique centrale, sous l’impulsion de son jeune et très populaire président Nayib Bukele, avait décidé d’adopter le bitcoin comme monnaie officielle – aux côtés du dollar. Avec des achats censés grossir le budget de l’État.

“L’échec est patent”

Dans un article d’opinion écrit la veille de la chute de FTX, le site Elsalvador fait rapidement le calcul :

“Le 3 novembre 2021, un bitcoin atteignait la valeur de 68 991 dollars ; mercredi 9 novembre il valait 16 686 dollars [16 172 ce 15 novembre]. L’échec est patent.”

Le correspondant à San Salvador de CNN Español cite une étude de l’Institut d’opinion de l’université d’Amérique centrale, selon laquelle “75,6 % des sondés affirment n’avoir jamais utilisé le bitcoin pour faire des achats, tandis que 77,1 % estiment que le gouvernement ne devrait plus investir de fonds publics pour acheter cette cryptomonnaie”.

Lire aussi Première mondiale. Comment le Salvador a adopté le bitcoin comme monnaie officielle

En fait, personne ne sait exactement combien le gouvernement de Nayib Bukele a investi dans le bitcoin. Les seules estimations se réfèrent à son compte Twitter, qui sert généralement au président à annoncer ses décisions. Selon le site Nayibtracker, ces achats ont représenté 107 millions de dollars, qui n’en vaudraient plus aujourd’hui que 40 millions. Ce qui est loin d’être anodin, pour Ricardo Castaneda :

“[Ces pertes] représentent par exemple la quasi-totalité du budget du ministère de l’Agriculture, dans un pays où l’insécurité alimentaire frappe la moitié de la population.”

Le temps presse

S’il n’a pas réagi à la récente chute du bitcoin, Nayib Bukele a l’habitude de répéter que ces achats ne sont pas des pertes mais des investissements pour l’avenir, quand le cours de la cryptomonnaie remontera.

Mais le temps presse. “En janvier, le gouvernement va devoir faire face au remboursement de 800 millions de dollars [à des investisseurs étrangers]”, écrit le quotidien La Prensa Gráfica, qui signale que l’an dernier, le gouvernement était en négociations avec le Fonds monétaire international (FMI) pour un prêt de 1,3 milliard de dollars.

Lire aussi Cryptomonnaie. L’adoption du bitcoin comme monnaie officielle divise le Salvador

Mais, “après l’adoption du bitcoin, les relations se sont refroidies”. Le FMI a toujours averti des risques encourus par le Salvador après que Nayib Bukele a misé sur la cryptomonnaie.

Pour le site Elsalvador, il n’y a pas de doute :

“Combien d’écoles n’ont pas été construites, combien d’hôpitaux n’ont pas pu être rénovés à cause du bitcoin ? Combien de promesses n’ont pas pu être tenues ? […] Quelque chose sent très mauvais.”

Article publié dans le Courrier International

Sexisme. En Chine, le fléau des mannequins sexualisés crée par l’IA

Le recours à l’intelligence artificielle tend à amplifier les “préjugés culturels” qui existent déjà dans la société chinoise, déplore “Sixth Tone” : les top-modèles y font notamment face à la concurrence de robots générés par une IA de type “poupée”.

“Les robots générés par intelligence artificielle, aux yeux de biche et à la poitrine généreuse, sont en passe de remplacer les mannequins humains dans les magazines, les catalogues et les campagnes publicitaires en ligne”, constate le média en ligne chinois Sixth Tone.

Ces derniers mois, les images générées par l’intelligence artificielle ont pris d’assaut l’industrie chinoise de la mode. Sur les réseaux sociaux chinois, le hashtag “#AIModel” a été consulté des millions de fois.

Mais derrière cet engouement se cache un véritable fléau. Selon Sixth Tone, “tous les mannequins IA, sans exception ou presque, répondent à un certain idéal de beauté féminine, très sexualisé, qui fait la part belle aux tailles de guêpe, aux hanches larges et aux décolletés aguichants. De nombreuses Chinoises affirment que ces images les dérangent et craignent que la mode assistée par IA ne renforce des critères de beauté malsains et irréalistes.”

Une technologie qui s’est imposée rapidement en Chine

Les top-modèles créés à l’aide de l’intelligence artificielle ne sont pas propres à la Chine, et le concept n’est pas nouveau. Levi’s a récemment lancé une campagne présentant des images générées par IA, tandis qu’une “top-modèle IA” a fait la couverture de l’édition singapourienne de Vogue en mars. Mais la technologie s’est imposée beaucoup plus rapidement en Chine que dans la plupart des autres pays, remarque le média basé à Shanghai.

En 2020, le géant chinois du commerce électronique Alibaba a ainsi introduit un générateur numérique de mannequins sur ses plateformes, rapporte Sixth Tone. Cet outil gratuit, baptisé Taji, permet aux vendeurs de choisir parmi 100 top-modèles virtuels de différents âges et ethnies. Ils peuvent ensuite télécharger les photos de leurs produits et Taji génère une série d’images du mannequin portant les vêtements figurant sur les photos.

Mais ces top-modèles issus de l’IA se ressemblent souvent étrangement, déplore le média chinois. La plupart du temps, il s’agit de femmes blanches aux yeux bleus, aux cheveux blonds et aux longues jambes, ou de mannequins asiatiques aux yeux immenses, à la forte poitrine et à la silhouette élancée.

Dégâts sociaux

Les experts soulignent, auprès de Sixth Tone, qu’il s’agit là d’une caractéristique des contenus générés par l’IA : l’outil tend à amplifier les “préjugés culturels” qui existent déjà dans la société.

“Les spécialistes de la question de l’égalité des sexes s’inquiètent des dégâts sociaux que pourraient causer les mannequins de type ‘poupée’ issus de l’IA, explique Sixth Tone. La Chine enregistre déjà une flambée des troubles alimentaires chez les adolescentes et les jeunes femmes, encouragée par les ‘défis beauté’ extrêmes, qui font fureur sur les réseaux sociaux.”
Lire aussi : Emploi. Comment les entreprises chinoises veulent attirer les experts de l’IA

Xu Ke, une étudiante en master à l’Académie chinoise des arts, constate qu’il y a de plus en plus de femmes qui s’élèvent contre le problème du regard masculin. “Peut-être qu’à l’avenir, espère-t-elle, quand davantage de femmes s’impliqueront dans la création de contenu par IA, elles formeront des modèles d’apprentissage automatique qui correspondront à une optique féministe.”

The Ministry for the Future : La somme de tous les miracles

Publié le mardi 30 août 2022 par prototypekblog

« The Ministry for the Future » est un roman de science-fiction publié en octobre 2020, écrit par Kim Stanley Robinson (KSR), écrivain américain, né en 1952. J’imagine qu’il sera traduit en français bientôt, sous le titre « Le Ministère pour le Futur ».

J’ai lu The Ministry en cet été 2022, après l’avoir commencé et vite abandonné, faute d’énergie, pendant l’hiver. C’est un roman brillant, que j’ai beaucoup apprécié. Il est vertigineux par son sujet – le changement climatique au XXIème siècle. Il est parfois déroutant par les manières de KSR – ses digressions, ses monologues d’entités abstraites (« qui je suis-je ? je suis un photon »), ses tableaux bucoliques, ses démontages psychologiques. Il est touchant par sa tendresse, notamment envers les lieux. La trilogie climatique était un bel hommage à la ville de Washington D.C. ; The Ministry est un hymne passionné à la ville de Zurich, et à la Suisse en général.

J’ai aimé ce livre, et le but de ce billet est de donner envie à un éventuel lecteur de s’y intéresser. Je ne parle dans ce blog que des livres que j’ai aimés, quand j’ai le temps – ceux que je n’ai pas aimés, je n’en parle pas, sauf exception.

Futur immédiat

J’ai lu il y a quelques années deux des œuvres les plus connues de KSR : en 2016, sa « trilogie martienne » (Red Mars, Blue Mars, Green Mars — pas évoquée ici, faute de temps), et en 2017 sa « trilogie climatique » (Forty signs of rain, Fifty degrees below, Sixty days and counting — évoquée ici). Ces livres, comme la plupart des livres de « science-fiction », se déroulaient dans le futur. Un futur plus ou moins lointain, plus ou moins précis, mais nettement dans le futur. La trilogie martienne, publiée entre 1992 et 1996, envisage une première installation sur Mars en 2026, soit trente ans plus tard, et décrit les décennies suivantes. La trilogie climatique, publiée entre 2004 et 2007, se déroule dans un futur proche, non daté, de mémoire une ou deux décennies dans le futur.

The Ministry for the Future, publié en octobre 2020, est un roman du futur immédiat. Moins d’une décennie. Quelques années. À peine.

Le futur s’est rapproché. Le futur n’est plus ce qu’il était. Le futur, c’est maintenant.

The Ministry a deux points de départ, l’un daté, l’autre pas.

Le premier point de départ est une décision prise en 2023, lors de la « COP 29 », dans un cadre légal dérivé des « accords de Paris » de décembre 2015 (« COP 21 ») (articles 14, 16, 18, etc), de créer une petite institution onusienne dotée d’une mission sibylline : défendre les intérêts et les droits des générations futures.

Be it resolved that a Subsidiary Body authorized by this twenty-ninth Conference of the Parties serving as the meeting of the parties to the Paris Climate Agreement (CMA) is hereby established, to work with the Intergovernmental Panel on Climate Change, and all the agencies of the United Nations, and all the governments signatory to the Paris Agreement, to advocate for the world’s future generations of citizens, whose rights, as defined in the Universal Declaration of Human Rights, are as valid as our own. This new Subsidiary Body is furthermore charged with defending all living creatures present and future who cannot speak for themselves, by promoting their legal standing and physical protection.” Someone in the press named this new agency “the Ministry for the Future,” and the name stuck and spread, and became what the new agency was usually called. It was established in Zurich, Switzerland, in January of 2025. Not long after that, the big heat wave struck India.

« (…) La nouvelle Entité sera chargée de défendre les futures générations de citoyens de ce monde, dont les droits, tels que définis dans la Déclaration Universelle des Droits Humains, sont aussi légitimes que les nôtres. Cette nouvelle Entité est par ailleurs chargée de défendre toutes les créatures vivantes présentes et futures, qui ne peuvent parler pour elles-mêmes, en promouvant leur statut légal et leur protection physique. » Quelqu’un dans la presse a nommé cette nouvelle agence « le Ministère pour le Futur », et le nom est resté, et est devenu le nom usuel utilisé pour parler de cette nouvelle agence. Elle fut établie à Zurich, en Suisse, en janvier 2025. Quelque temps après, la grande vague de chaleur frappait l’Inde.

Le deuxième point de départ est un accident climatique. Un dôme de chaleur se forme sur une région de l’Inde. En quelques jours, vingt millions de personnes sont tuées. Déshydratées, asphyxiées, étouffées, brûlées. Mortes. En quelques jours, plus d’êtres humains sont tués par un phénomène climatique, que jadis en quatre ans par la Première Guerre Mondiale. Un accident. Un phénomène. Un évènement météorologique.

Bienvenue dans les années 2020s.

The Ministry for the Future a été publié en octobre 2020. À l’époque (au moment où j’écris ces lignes, c’était il y a à peine deux ans !), le concept de « dôme de chaleur » était encore assez peu connu, et d’ailleurs l’expression n’est pas utilisée dans le livre telle quelle, et je ne sais pas si elle est dans la nomenclature météorologique officielle. Mais il y avait déjà eu quelques épisodes. Un système anticyclonique piège une masse d’air chaud qui n’en finit plus de se réchauffer, jour après jour, tout en gardant une forte humidité.

Pendant l’été 2021, un dôme de chaleur sur l’Ouest du continent nord-américain a fait plusieurs centaines de morts. Jusqu’à 50°C le jour ; jamais moins de 30°C la nuit. La petite ville de Lytton, en Colombie-Britannique, restera dans les livres d’Histoire pour avoir été détruite, incendiée par le dôme de chaleur de 2021.

Quant à l’été 2022, il est trop tôt pour en faire le bilan. Certaines des canicules observées à l’Ouest du continent européen rentrent probablement dans cette catégorie. Je ne sais comment sont qualifiés les phénomènes observés en Inde au printemps, au Pakistan et en Californie cette semaine, dans la très opaque République Populaire de Chine ces derniers mois. L’été 2022 n’est pas terminé.

Vancouver et Bordeaux sont sur le 45ème parallèle. Les tropiques, c’est le 23ème parallèle. Plus de la moitié de l’Inde est sous les tropiques – je n’ai pas trouvé combien ça fait de millions d’êtres humains.

Est-ce que les dômes de chaleur de ces derniers étés ont fait progresser la conscience de la menace existentielle qu’est le réchauffement climatique ? Je ne sais pas. Qu’est-ce qu’il faudra ? Je ne sais pas.

For a while, therefore, it looked like the great heat wave would be like mass shootings in the United States — mourned by all, deplored by all, and then immediately forgotten or superseded by the next one, until they came in a daily drumbeat and became the new normal.

Pendant un moment, il semblât que la grande vague de chaleur serait comme les tueries de masse aux Etats-Unis : pleurée par tous, déplorée par tous, et puis immédiatement oubliée ou remplacée par la suivante, jusqu’à ce qu’elles deviennent comme un roulement de tambour quotidien, la nouvelle normalité.

Le siècle de la terraformation

Écrite au début des années 1990s, s’étalant sur plus d’un siècle, la trilogie martienne était un manuel de terraformation de Mars. Elle tenait compte de ce qu’on savait à la fin des années 1980s de la planète Mars. Et elle tenait compte de ce qu’on pouvait supposer à la même époque des ressources technologiques et industrielles qui pourraient être mises en œuvre – mais aussi, par exemple, des rapports géopolitiques : ainsi les premiers colons comportaient un tiers d’Américains, un tiers de Russes, un tiers du reste du monde. Et KSR laissait le moins de place possible à l’imagination brute ou aux bidouilles magiques.

The Ministry for the Future, écrit trente ans plus tard, peut être vu comme un manuel de terraformation de la Terre. Avec la même méthode : ce qu’on sait maintenant, ce qu’on peut anticiper maintenant, et le moins possible de magie.

Autrement dit : comment rattraper trois décennies gaspillées, trois décennies de gaspillages, trois décennies honteuses.

De monde meilleur on ne parle plus, Tout juste sauver celui-là

Ce que ce roman décrit à mots feutrés, c’est un monde de catastrophes « naturelles » effroyables. C’est un monde grippé, titubant, remis en cause à toutes sortes de niveaux. Le changement climatique, ce n’est pas juste le changement climatique, c’est le changement de tout. C’est un monde de dépressions économiques et d’effondrements divers et de pénuries et de drames.

C’est un monde de guerre civile mondiale larvée. C’est un monde, où, par exemple, les sociétés civiles ne se contenteront plus de dénoncer les jets privés à coup de comptes Twitter automatiques ; elles se donneront les moyens de les détruire à coups d’essaims de drones. C’est un monde où les réfugiés climatiques ne seront plus des millions, mais des dizaines et des centaines de millions.

C’est un monde dévasté.

The thirties were zombie years. Civilization had been killed but it kept walking the Earth, staggering toward some fate even worse than death.

Les années 2030s furent des années zombies. La civilisation avait été tuée mais elle continuait à errer sur la Terre, titubant vers un destin pire que la mort.

Bienvenue dans les années 2030s.

Le livre parcourt un certain nombre de chantiers qui vont devoir être mis en œuvre dans les prochaines décennies : d’une part, non pas pour arrêter le changement climatique, mais pour le ralentir ; d’autre part, non pas pour s’adapter au changement climatique, mais plutôt pour permettre la survie d’une forme de civilisation, et empêcher les aspects les plus catastrophiques, les plus irréversibles et les plus meurtriers. Terraformer la Terre, pour qu’elle reste habitable.

Dans le désordre :

• Comment maintenir le plus de glaciers possibles en Antarctique, étant entendu que si rien n’est fait la hausse du niveau des océans se chiffrera en mètres, pas en centimètres.
• Comment garder un semblant de calotte glacière blanche sur l’Arctique, permettant de renvoyer le plus possible d’énergie solaire vers l’espace, étant entendu que l’albédo d’un océan est dérisoire par-rapport à celui d’une banquise.
• Comment développer des formes d’agriculture qui laissent le plus possible de carbone dans les sols.
• Comment arrêter l’exploitation d’hydrocarbures fossiles, malgré les monstres capitalistes et géopolitiques qui en dépendent.
• Comment mettre les nuisibles hors d’état de nuire.
• Etc etc etc. . . . – – – . . .

Le livre, encore une fois très touffu – mais c’est la manière de faire de KSR – décrit avec une acuité particulière le monde contemporain, le monde de 2020. Le livre parle des données fondamentales de ce monde : l’injustice, l’inégalité, l’aveuglement. Le livre parle de données structurantes mais facile à oublier dans le brouhaha. Le poids et la mémoire des vieux colonialismes, par exemple – ce n’est pas un hasard si deux des principaux acteurs du Ministère sont une Irlandaise et un Indien, avec quelques souvenirs de l’impérialisme britannique qu’ils n’ont pas connu.

Les esprits sont occupés par les vieilles structures, les vieux conflits, les vieilles habitudes.

Le livre décrit les rapports des force, et le sommet du pouvoir réel de ce monde : les banques centrales. Les rapports de force entre la demi-douzaine de banques centrales qui structurent ce monde. Et, par exemple, au sein de l’un d’entre elles, la BCE, la vieille rivalité entre France et Allemagne, le reste n’étant qu’anecdotique, ce qui m’a fait penser à cette sentence attribuée à Charles de Gaulle :

L’Europe, c’est la France et l’Allemagne. Le reste, c’est les légumes.

Bref, ce livre vous apprendra beaucoup sur le monde tel qu’il est, et ce qu’il pourrait devenir.

Ce livre est-il optimiste ou pessimiste ? Est-il réaliste ou utopiste ? Est-il trop, ou pas assez ? Qu-est-ce qu’il sous-estime, et qu’est-ce qu’il sur-estime ? Est-ce que ces questions ont un sens ? C’est une œuvre de fiction bien informée, par un des maîtres contemporains de la science-fiction (« sci-fi ») et de la climate-fiction (« cli-fi »). C’est un roman.

• 1960: 315 ppm
• 1990: 355 ppm (+40)
• 2020: 415 ppm (+60)

Au dernier quart du livre, le taux de CO2 culmine pendant sept ans vers 475 ppm, avant de commencer à redescendre. Après cinq années de descente, à 454 ppm, un soulagement se répand au Ministère.

« Next stop three-fifty! » he cried, giddy with joy. He had been fighting for this his whole career, his whole life. As had so many.

Le livre se termine plutôt bien. J’ai fini ce livre, en cet été 2022, en vacances, avec un immense malaise. J’avais eu la chance de traverser la France, cet été, dans une grosse bagnole climatisée. J’ai vu des milliers d’autres grosses bagnoles climatisées. J’ai passé des vacances pas très loin d’un aéroport, j’ai vu passer pas mal d’avions dans le ciel. J’ai aussi vu passer, plusieurs fois, le ballet des Canadairs. L’air m’a semblé tellement irrespirable, tellement suffocant, pendant ces quelques semaines luxueuses dans le Sud de la France, et pourtant on n’a guère dépassé les 40°C. Je n’arrêtais pas de penser : je suis né dans un monde à 325 ppm, et voilà à quoi ressemble un monde à 425 ppm, et tout le monde continue à s’en foutre ?

J’ai traversé, au retour, un pays grillé par la sécheresse. Ça brûlait encore dans les Gorges du Tarn. Mais les passagers des grosses bagnoles climatisées ne se rendent compte de rien ; ceux des avions encore moins. Ils ne se rendent pas compte de l’état réel du monde – « vite, mets la clim’ » ; et ils ne se rendent pas compte qu’ils font partie des causes de l’état du monde – « tu vas pas encore nous saouler avec le CO2 » ? Ignorance is bliss.

Have you ever stood and stared at it, Morpheus? Marveled at its beauty? Its genius? Billions of people, just living out their lives… oblivious.

La somme de toutes les peurs

J’ai intitulé ce billet « La somme de tous les miracles » parce que c’est ce que j’ai ressenti, personnellement, en lisant ce livre. Il faudra désormais tellement de miracles pour échapper à la catastrophe ! Plus on attend, plus il en faudra. Mais peut-être que c’est juste mon pessimisme qui s’exprime. ( Parenthèse : J’ai réalisé aussi que j’ai un problème avec le concept de miracle. Il émerge souvent dans ce blog, surtout quand je me frotte au thème de l’effondrement. C’est peut-être une déformation professionnelle. Je n’aime pas les miracles. Je ne veux pas croire aux miracles. J’y reviendrai peut-être. Fin de la parenthèse. )

J’ai intitulé ce billet « La somme de tous les miracles » aussi en référence au dernier roman de Tom Clancy sur la guerre froide, publié en 1991 (et qui vaut beaucoup plus que le film assez pitoyable avec Ben Affleck sorti une dizaine d’années plus tard), intitulé « La somme de toutes les peurs ». Un roman bien ficelé sur le risque de guerre thermonucléaire. Toute une époque.

J’ai grandi dans un monde dominé par une menace existentielle, une seule : la guerre thermonucléaire. Depuis les années 1950s, l’humanité a les moyens techniques de s’auto-détruire. Depuis les années 1970s, nous vivons en permanence à une demi-heure de l’apocalypse thermonucléaire. Les moyens de l’autodestruction sont toujours en place. L’humanité est passée à trois reprises au moins très près de l’autodestruction thermonucléaire : octobre 1962, octobre 1973, octobre 1983. Et le président Poutine a rappelé bruyamment au monde en février 2022 que cette possibilité technique existe encore.

Depuis les années 1980s, l’humanité sait – ou plutôt, a la capacité de savoir, s’il n’y avait une somme d’intérêts essentiellement capitalistes qui tentent toujours d’étouffer la connaissance scientifique – l’humanité sait qu’une deuxième menace existentielle existe : le chaos climatique.

Aujourd’hui, je vois ces deux menaces existentielles sur le même plan. Je n’en vois pas de troisième, à part peut-être les fascismes.

Par existentielles, j’entends que, en cas de basculement, ce sera irrémédiable, irréversible, sans retour. La planète survivra, des bribes d’écosystèmes et d’humanité subsisteront, mais dans un état pitoyable. La civilisation aura cessé d’exister. Au XXème siècle, en octobre 1962, en octobre 1973, en octobre 1983, ça aurait pu être sans retour. Au XXIème siècle, y aura-t-il des instants aussi précis où cela pourrait être sans retour ?

Jusqu’ici la menace existentielle de la guerre thermonucléaire a pu être surmontée. La Guerre Froide a été une somme de peurs ; elle a aussi été une somme de miracles. La fort regrettable ivresse des années 1990s partait aussi un peu de ça : le constat d’un miracle. La perspective d’une guerre thermonucléaire semblait définitivement repoussée.

Alors le chaos climatique ?

Il est trop tard ? Non, il n’est pas trop tard. Tout ce qui peut être fait pour réduire les émissions de gaz à effet de serre doit être fait. Tout ce qui peut faire pour adapter les écosystèmes et les sociétés humaines à des conditions climatiques radicalement dangereuses doit être fait. Il n’y a pas de choix entre ralentir et s’adapter : il faut ralentir et s’adapter. Il n’y a pas de choix entre sobriété et nouvelles sources d’énergie : il faut consommer moins et produire mieux. Il ne faut pas se laisser piéger par les faux dilemmes. Il ne faut plus se laisser mener par les faux prophètes des religions climatocides type néolibéralisme.

On n’y peut rien ? Non, on n’y peut pas rien. Les moyens existent. Il va falloir les mettre en œuvre. Les ressources existent. Il va falloir les prendre. Les nuisibles, les « criminels climatiques » sont connus. Il va falloir mettre les nuisibles hors d’état de nuire, autant qu’il va falloir arrêter de nuire aux plus humbles niveaux.

The Ministry, comme tous les livres de KSR, est truffé de méditations surprenantes. Je ne sais pas quoi retenir d’une des dernières du livre, alors que je la partage ici :

He was definitely saying something. That we could become something magnificent, or at least interesting. That we began as we still are now, child geniuses. That there is no other home for us than here. That we will cope no matter how stupid things get. That all couples are odd couples. That the only catastrophe that can’t be undone is extinction. That we can make a good place. That people can take their fate in their hands. That there is no such thing as fate.

Il était clairement en train de dire un truc important. Que nous pouvons devenir quelque chose de magnifique, ou au moins d’intéressant. Que nous avons commencé, comme nous sommes maintenant, comme des apprentis sorciers. Qu’il n’y a pas d’autre planète pour nous accueillir. Que nous ferons face, quels que soient les degrés de stupidité à venir. Que tous les couples sont des couples bizarres. Que la seule catastrophe irréversible serait l’extinction. Que nous pouvons faire de cette planète un bel endroit. Que les gens ont leur destin entre leurs mains. Que le destin, ça n’existe pas.

Bonne nuit.

AI Is a Lot of Work

As the technology becomes ubiquitous, a vast tasker underclass is emerging — and not going anywhere.

By Josh Dzieza, an investigations editor covering tech, business, and climate change. Since joining The Verge in 2014, he’s won a Loeb Award for feature writing, among others.

A few months after graduating from college in Nairobi, a 30-year-old I’ll call Joe got a job as an annotator — the tedious work of processing the raw information used to train artificial intelligence. AI learns by finding patterns in enormous quantities of data, but first that data has to be sorted and tagged by people, a vast workforce mostly hidden behind the machines. In Joe’s case, he was labeling footage for self-driving cars — identifying every vehicle, pedestrian, cyclist, anything a driver needs to be aware of — frame by frame and from every possible camera angle. It’s difficult and repetitive work. A several-second blip of footage took eight hours to annotate, for which Joe was paid about $10.

Then, in 2019, an opportunity arose: Joe could make four times as much running an annotation boot camp for a new company that was hungry for labelers. Every two weeks, 50 new recruits would file into an office building in Nairobi to begin their apprenticeships. There seemed to be limitless demand for the work. They would be asked to categorize clothing seen in mirror selfies, look through the eyes of robot vacuum cleaners to determine which rooms they were in, and draw squares around lidar scans of motorcycles. Over half of Joe’s students usually dropped out before the boot camp was finished. “Some people don’t know how to stay in one place for long,” he explained with gracious understatement. Also, he acknowledged, “it is very boring.”

But it was a job in a place where jobs were scarce, and Joe turned out hundreds of graduates. After boot camp, they went home to work alone in their bedrooms and kitchens, forbidden from telling anyone what they were working on, which wasn’t really a problem because they rarely knew themselves. Labeling objects for self-driving cars was obvious, but what about categorizing whether snippets of distorted dialogue were spoken by a robot or a human? Uploading photos of yourself staring into a webcam with a blank expression, then with a grin, then wearing a motorcycle helmet? Each project was such a small component of some larger process that it was difficult to say what they were actually training AI to do. Nor did the names of the projects offer any clues: Crab Generation, Whale Segment, Woodland Gyro, and Pillbox Bratwurst. They were non sequitur code names for non sequitur work.

As for the company employing them, most knew it only as Remotasks, a website offering work to anyone fluent in English. Like most of the annotators I spoke with, Joe was unaware until I told him that Remotasks is the worker-facing subsidiary of a company called Scale AI, a multibillion-dollar Silicon Valley data vendor that counts OpenAI and the U.S. military among its customers. Neither Remotasks’ or Scale’s website mentions the other.

Much of the public response to language models like OpenAI’s ChatGPT has focused on all the jobs they appear poised to automate. But behind even the most impressive AI system are people — huge numbers of people labeling data to train it and clarifying data when it gets confused. Only the companies that can afford to buy this data can compete, and those that get it are highly motivated to keep it secret. The result is that, with few exceptions, little is known about the information shaping these systems’ behavior, and even less is known about the people doing the shaping.

For Joe’s students, it was work stripped of all its normal trappings: a schedule, colleagues, knowledge of what they were working on or whom they were working for. In fact, they rarely called it work at all — just “tasking.” They were taskers.

The anthropologist David Graeber defines “bullshit jobs” as employment without meaning or purpose, work that should be automated but for reasons of bureaucracy or status or inertia is not. These AI jobs are their bizarro twin: work that people want to automate, and often think is already automated, yet still requires a human stand-in. The jobs have a purpose; it’s just that workers often have no idea what it is.

The current AI boom — the convincingly human-sounding chatbots, the artwork that can be generated from simple prompts, and the multibillion-dollar valuations of the companies behind these technologies — began with an unprecedented feat of tedious and repetitive labor.

In 2007, the AI researcher Fei-Fei Li, then a professor at Princeton, suspected the key to improving image-recognition neural networks, a method of machine learning that had been languishing for years, was training on more data — millions of labeled images rather than tens of thousands. The problem was that it would take decades and millions of dollars for her team of undergrads to label that many photos.

Li found thousands of workers on Mechanical Turk, Amazon’s crowdsourcing platform where people around the world complete small tasks for cheap. The resulting annotated dataset, called ImageNet, enabled breakthroughs in machine learning that revitalized the field and ushered in a decade of progress.

Annotation remains a foundational part of making AI, but there is often a sense among engineers that it’s a passing, inconvenient prerequisite to the more glamorous work of building models. You collect as much labeled data as you can get as cheaply as possible to train your model, and if it works, at least in theory, you no longer need the annotators. But annotation is never really finished. Machine-learning systems are what researchers call “brittle,” prone to fail when encountering something that isn’t well represented in their training data. These failures, called “edge cases,” can have serious consequences. In 2018, an Uber self-driving test car killed a woman because, though it was programmed to avoid cyclists and pedestrians, it didn’t know what to make of someone walking a bike across the street. The more AI systems are put out into the world to dispense legal advice and medical help, the more edge cases they will encounter and the more humans will be needed to sort them. Already, this has given rise to a global industry staffed by people like Joe who use their uniquely human faculties to help the machines.

Over the past six months, I spoke with more than two dozen annotators from around the world, and while many of them were training cutting-edge chatbots, just as many were doing the mundane manual labor required to keep AI running. There are people classifying the emotional content of TikTok videos, new variants of email spam, and the precise sexual provocativeness of online ads. Others are looking at credit-card transactions and figuring out what sort of purchase they relate to or checking e-commerce recommendations and deciding whether that shirt is really something you might like after buying that other shirt. Humans are correcting customer-service chatbots, listening to Alexa requests, and categorizing the emotions of people on video calls. They are labeling food so that smart refrigerators don’t get confused by new packaging, checking automated security cameras before sounding alarms, and identifying corn for baffled autonomous tractors.

“There’s an entire supply chain,” said Sonam Jindal, the program and research lead of the nonprofit Partnership on AI. “The general perception in the industry is that this work isn’t a critical part of development and isn’t going to be needed for long. All the excitement is around building artificial intelligence, and once we build that, it won’t be needed anymore, so why think about it? But it’s infrastructure for AI. Human intelligence is the basis of artificial intelligence, and we need to be valuing these as real jobs in the AI economy that are going to be here for a while.”

The data vendors behind familiar names like OpenAI, Google, and Microsoft come in different forms. There are private outsourcing companies with call-center-like offices, such as the Kenya- and Nepal-based CloudFactory, where Joe annotated for $1.20 an hour before switching to Remotasks. There are also “crowdworking” sites like Mechanical Turk and Clickworker where anyone can sign up to perform tasks. In the middle are services like Scale AI. Anyone can sign up, but everyone has to pass qualification exams and training courses and undergo performance monitoring. Annotation is big business. Scale, founded in 2016 by then-19-year-old Alexandr Wang, was valued in 2021 at $7.3 billion, making him what Forbes called “the youngest self-made billionaire,” though the magazine noted in a recent profile that his stake has fallen on secondary markets since then.

This tangled supply chain is deliberately hard to map. According to people in the industry, the companies buying the data demand strict confidentiality. (This is the reason Scale cited to explain why Remotasks has a different name.) Annotation reveals too much about the systems being developed, and the huge number of workers required makes leaks difficult to prevent. Annotators are warned repeatedly not to tell anyone about their jobs, not even their friends and co-workers, but corporate aliases, project code names, and, crucially, the extreme division of labor ensure they don’t have enough information about them to talk even if they wanted to. (Most workers requested pseudonyms for fear of being booted from the platforms.) Consequently, there are no granular estimates of the number of people who work in annotation, but it is a lot, and it is growing. A recent Google Research paper gave an order-of-magnitude figure of “millions” with the potential to become “billions.”

Automation often unfolds in unexpected ways. Erik Duhaime, CEO of medical-data-annotation company Centaur Labs, recalled how, several years ago, prominent machine-learning engineers were predicting AI would make the job of radiologist obsolete. When that didn’t happen, conventional wisdom shifted to radiologists using AI as a tool. Neither of those is quite what he sees occurring. AI is very good at specific tasks, Duhaime said, and that leads work to be broken up and distributed across a system of specialized algorithms and to equally specialized humans. An AI system might be capable of spotting cancer, he said, giving a hypothetical example, but only in a certain type of imagery from a certain type of machine; so now, you need a human to check that the AI is being fed the right type of data and maybe another human who checks its work before passing it to another AI that writes a report, which goes to another human, and so on. “AI doesn’t replace work,” he said. “But it does change how work is organized.”

You might miss this if you believe AI is a brilliant, thinking machine. But if you pull back the curtain even a little, it looks more familiar, the latest iteration of a particularly Silicon Valley division of labor, in which the futuristic gleam of new technologies hides a sprawling manufacturing apparatus and the people who make it run. Duhaime reached back farther for a comparison, a digital version of the transition from craftsmen to industrial manufacturing: coherent processes broken into tasks and arrayed along assembly lines with some steps done by machines and some by humans but none resembling what came before.

Worries about AI-driven disruption are often countered with the argument that AI automates tasks, not jobs, and that these tasks will be the dull ones, leaving people to pursue more fulfilling and human work. But just as likely, the rise of AI will look like past labor-saving technologies, maybe like the telephone or typewriter, which vanquished the drudgery of message delivering and handwriting but generated so much new correspondence, commerce, and paperwork that new offices staffed by new types of workers — clerks, accountants, typists — were required to manage it. When AI comes for your job, you may not lose it, but it might become more alien, more isolating, more tedious.

Earlier this year, I signed up for Scale AI’s Remotasks. The process was straightforward. After entering my computer specs, internet speed, and some basic contact information, I found myself in the “training center.” To access a paying task, I first had to complete an associated (unpaid) intro course.

The training center displayed a range of courses with inscrutable names like Glue Swimsuit and Poster Macadamia. I clicked on something called GFD Chunking, which revealed itself to be labeling clothing in social-media photos.

The instructions, however, were odd. For one, they basically consisted of the same direction reiterated in the idiosyncratically colored and capitalized typography of a collaged bomb threat.

“DO LABEL items that are real and can be worn by humans or are intended to be worn by real people,” it read.

“All items below SHOULD be labeled because they are real and can be worn by real-life humans,” it reiterated above photos of an Air Jordans ad, someone in a Kylo Ren helmet, and mannequins in dresses, over which was a lime-green box explaining, once again, “DO Label real items that can be worn by real people.”

I skimmed to the bottom of the manual, where the instructor had written in the large bright-red font equivalent of grabbing someone by the shoulders and shaking them, “THE FOLLOWING ITEMS SHOULD NOT BE LABELED because a human could not actually put wear any of these items!” above a photo of C-3PO, Princess Jasmine from Aladdin, and a cartoon shoe with eyeballs.

Feeling confident in my ability to distinguish between real clothes that can be worn by real people and not-real clothes that cannot, I proceeded to the test. Right away, it threw an ontological curveball: a picture of a magazine depicting photos of women in dresses. Is a photograph of clothing real clothing? No, I thought, because a human cannot wear a photograph of clothing. Wrong! As far as AI is concerned, photos of real clothes are real clothes. Next came a photo of a woman in a dimly lit bedroom taking a selfie before a full-length mirror. The blouse and shorts she’s wearing are real. What about their reflection? Also real! Reflections of real clothes are also real clothes.

After an embarrassing amount of trial and error, I made it to the actual work, only to make the horrifying discovery that the instructions I’d been struggling to follow had been updated and clarified so many times that they were now a full 43 printed pages of directives: Do NOT label open suitcases full of clothes; DO label shoes but do NOT label flippers; DO label leggings but do NOT label tights; do NOT label towels even if someone is wearing it; label costumes but do NOT label armor. And so on.

There has been general instruction disarray across the industry, according to Milagros Miceli, a researcher at the Weizenbaum Institute in Germany who studies data work. It is in part a product of the way machine-learning systems learn. Where a human would get the concept of “shirt” with a few examples, machine-learning programs need thousands, and they need to be categorized with perfect consistency yet varied enough (polo shirts, shirts being worn outdoors, shirts hanging on a rack) that the very literal system can handle the diversity of the real world. “Imagine simplifying complex realities into something that is readable for a machine that is totally dumb,” she said.

The act of simplifying reality for a machine results in a great deal of complexity for the human. Instruction writers must come up with rules that will get humans to categorize the world with perfect consistency. To do so, they often create categories no human would use. A human asked to tag all the shirts in a photo probably wouldn’t tag the reflection of a shirt in a mirror because they would know it is a reflection and not real. But to the AI, which has no understanding of the world, it’s all just pixels and the two are perfectly identical. Fed a dataset with some shirts labeled and other (reflected) shirts unlabeled, the model won’t work. So the engineer goes back to the vendor with an update: DO label reflections of shirts. Soon, you have a 43-page guide descending into red all-caps.

“When you start off, the rules are relatively simple,” said a former Scale employee who requested anonymity because of an NDA. “Then they get back a thousand images and then they’re like, Wait a second, and then you have multiple engineers and they start to argue with each other. It’s very much a human thing.”

The job of the annotator often involves putting human understanding aside and following instructions very, very literally — to think, as one annotator said, like a robot. It’s a strange mental space to inhabit, doing your best to follow nonsensical but rigorous rules, like taking a standardized test while on hallucinogens. Annotators invariably end up confronted with confounding questions like, Is that a red shirt with white stripes or a white shirt with red stripes? Is a wicker bowl a “decorative bowl” if it’s full of apples? What color is leopard print? When instructors said to label traffic-control directors, did they also mean to label traffic-control directors eating lunch on the sidewalk? Every question must be answered, and a wrong guess could get you banned and booted to a new, totally different task with its own baffling rules.

Most of the work on Remotasks is paid at a piece rate with a single task earning anywhere from a few cents to several dollars. Because tasks can take seconds or hours, wages are hard to predict. When Remotasks first arrived in Kenya, annotators said it paid relatively well — averaging about $5 to $10 per hour depending on the task — but the amount fell as time went on.

Scale AI spokesperson Anna Franko said that the company’s economists analyze the specifics of a project, the skills required, the regional cost of living, and other factors “to ensure fair and competitive compensation.” Former Scale employees also said pay is determined through a surge-pricing-like mechanism that adjusts for how many annotators are available and how quickly the data is needed.

According to workers I spoke with and job listings, U.S.-based Remotasks annotators generally earn between $10 and $25 per hour, though some subject-matter experts can make more. By the beginning of this year, pay for the Kenyan annotators I spoke with had dropped to between $1 and $3 per hour.

That is, when they were making any money at all. The most common complaint about Remotasks work is its variability; it’s steady enough to be a full-time job for long stretches but too unpredictable to rely on. Annotators spend hours reading instructions and completing unpaid trainings only to do a dozen tasks and then have the project end. There might be nothing new for days, then, without warning, a totally different task appears and could last anywhere from a few hours to weeks. Any task could be their last, and they never know when the next one will come.

This boom-and-bust cycle results from the cadence of AI development, according to engineers and data vendors. Training a large model requires an enormous amount of annotation followed by more iterative updates, and engineers want it all as fast as possible so they can hit their target launch date. There may be monthslong demand for thousands of annotators, then for only a few hundred, then for a dozen specialists of a certain type, and then thousands again. “The question is, Who bears the cost for these fluctuations?” said Jindal of Partnership on AI. “Because right now, it’s the workers.”

To succeed, annotators work together. When I told Victor, who started working for Remotasks while at university in Nairobi, about my struggles with the traffic-control-directors task, he told me everyone knew to stay away from that one: too tricky, bad pay, not worth it. Like a lot of annotators, Victor uses unofficial WhatsApp groups to spread the word when a good task drops. When he figures out a new one, he starts impromptu Google Meets to show others how it’s done. Anyone can join and work together for a time, sharing tips. “It’s a culture we have developed of helping each other because we know when on your own, you can’t know all the tricks,” he said.

Because work appears and vanishes without warning, taskers always need to be on alert. Victor has found that projects pop up very late at night, so he is in the habit of waking every three hours or so to check his queue. When a task is there, he’ll stay awake as long as he can to work. Once, he stayed up 36 hours straight labeling elbows and knees and heads in photographs of crowds — he has no idea why. Another time, he stayed up so long his mother asked him what was wrong with his eyes. He looked in the mirror to discover they were swollen.

Annotators generally know only that they are training AI for companies located vaguely elsewhere, but sometimes the veil of anonymity drops — instructions mentioning a brand or a chatbot say too much. “I read and I Googled and found I am working for a 25-year-old billionaire,” said one worker, who, when we spoke, was labeling the emotions of people calling to order Domino’s pizza. “I really am wasting my life here if I made somebody a billionaire and I’m earning a couple of bucks a week.”

Victor is a self-proclaimed “fanatic” about AI and started annotating because he wants to help bring about a fully automated post-work future. But earlier this year, someone dropped a Time story into one of his WhatsApp groups about workers training ChatGPT to recognize toxic content who were getting paid less than $2 an hour by the vendor Sama AI. “People were angry that these companies are so profitable but paying so poorly,” Victor said. He was unaware until I told him about Remotasks’ connection to Scale. Instructions for one of the tasks he worked on were nearly identical to those used by OpenAI, which meant he had likely been training ChatGPT as well, for approximately $3 per hour.

“I remember that someone posted that we will be remembered in the future,” he said. “And somebody else replied, ‘We are being treated worse than foot soldiers. We will be remembered nowhere in the future.’ I remember that very well. Nobody will recognize the work we did or the effort we put in.”

Identifying clothing and labeling customer-service conversations are just some of the annotation gigs available. Lately, the hottest on the market has been chatbot trainer. Because it demands specific areas of expertise or language fluency and wages are often adjusted regionally, this job tends to pay better. Certain types of specialist annotation can go for $50 or more per hour.

A woman I’ll call Anna was searching for a job in Texas when she stumbled across a generic listing for online work and applied. It was Remotasks, and after passing an introductory exam, she was brought into a Slack room of 1,500 people who were training a project code-named Dolphin, which she later discovered to be Google DeepMind’s chatbot, Sparrow, one of the many bots competing with ChatGPT. Her job is to talk with it all day. At about $14 an hour, plus bonuses for high productivity, “it definitely beats getting paid $10 an hour at the local Dollar General store,” she said.

Also, she enjoys it. She has discussed science-fiction novels, mathematical paradoxes, children’s riddles, and TV shows. Sometimes the bot’s responses make her laugh; other times, she runs out of things to talk about. “Some days, my brain is just like, I literally have no idea what on earth to ask it now,” she said. “So I have a little notebook, and I’ve written about two pages of things — I just Google interesting topics — so I think I’ll be good for seven hours today, but that’s not always the case.”

Each time Anna prompts Sparrow, it delivers two responses and she picks the best one, thereby creating something called “human-feedback data.” When ChatGPT debuted late last year, its impressively natural-seeming conversational style was credited to its having been trained on troves of internet data. But the language that fuels ChatGPT and its competitors is filtered through several rounds of human annotation. One group of contractors writes examples of how the engineers want the bot to behave, creating questions followed by correct answers, descriptions of computer programs followed by functional code, and requests for tips on committing crimes followed by polite refusals. After the model is trained on these examples, yet more contractors are brought in to prompt it and rank its responses. This is what Anna is doing with Sparrow. Exactly which criteria the raters are told to use varies — honesty, or helpfulness, or just personal preference. The point is that they are creating data on human taste, and once there’s enough of it, engineers can train a second model to mimic their preferences at scale, automating the ranking process and training their AI to act in ways humans approve of. The result is a remarkably human-seeming bot that mostly declines harmful requests and explains its AI nature with seeming self-awareness.

Put another way, ChatGPT seems so human because it was trained by an AI that was mimicking humans who were rating an AI that was mimicking humans who were pretending to be a better version of an AI that was trained on human writing.

This circuitous technique is called “reinforcement learning from human feedback,” or RLHF, and it’s so effective that it’s worth pausing to fully register what it doesn’t do. When annotators teach a model to be accurate, for example, the model isn’t learning to check answers against logic or external sources or about what accuracy as a concept even is. The model is still a text-prediction machine mimicking patterns in human writing, but now its training corpus has been supplemented with bespoke examples, and the model has been weighted to favor them. Maybe this results in the model extracting patterns from the part of its linguistic map labeled as accurate and producing text that happens to align with the truth, but it can also result in it mimicking the confident style and expert jargon of the accurate text while writing things that are totally wrong. There is no guarantee that the text the labelers marked as accurate is in fact accurate, and when it is, there is no guarantee that the model learns the right patterns from it.

This dynamic makes chatbot annotation a delicate process. It has to be rigorous and consistent because sloppy feedback, like marking material that merely sounds correct as accurate, risks training models to be even more convincing bullshitters. An early OpenAI and DeepMind joint project using RLHF, in this case to train a virtual robot hand to grab an item, resulted in also training the robot to position its hand between the object and its raters and wiggle around such that it only appeared to its human overseers to grab the item. Ranking a language model’s responses is always going to be somewhat subjective because it’s language. A text of any length will have multiple elements that could be right or wrong or, taken together, misleading. OpenAI researchers ran into this obstacle in another early RLHF paper. Trying to get their model to summarize text, the researchers found they agreed only 60 percent of the time that a summary was good. “Unlike many tasks in [machine learning] our queries do not have unambiguous ground truth,” they lamented.

When Anna rates Sparrow’s responses, she’s supposed to be looking at their accuracy, helpfulness, and harmlessness while also checking that the model isn’t giving medical or financial advice or anthropomorphizing itself or running afoul of other criteria. To be useful training data, the model’s responses have to be quantifiably ranked against one another: Is a bot that helpfully tells you how to make a bomb “better” than a bot that’s so harmless it refuses to answer any questions? In one DeepMind paper, when Sparrow’s makers took a turn annotating, four researchers wound up debating whether their bot had assumed the gender of a user who asked it for relationship advice. According to Geoffrey Irving, one of DeepMind’s research scientists, the company’s researchers hold weekly annotation meetings in which they rerate data themselves and discuss ambiguous cases, consulting with ethical or subject-matter experts when a case is particularly tricky.

Anna often finds herself having to choose between two bad options. “Even if they’re both absolutely, ridiculously wrong, you still have to figure out which one is better and then write words explaining why,” she said. Sometimes, when both responses are bad, she’s encouraged to write a better response herself, which she does about half the time.

Because feedback data is difficult to collect, it fetches a higher price. Basic preferences of the sort Anna is producing sell for about $1 each, according to people with knowledge of the industry. But if you want to train a model to do legal research, you need someone with training in law, and this gets expensive. Everyone involved is reluctant to say how much they’re spending, but in general, specialized written examples can go for hundreds of dollars, while expert ratings can cost $50 or more. One engineer told me about buying examples of Socratic dialogues for up to $300 a pop. Another told me about paying $15 for a “darkly funny limerick about a goldfish.”

OpenAI, Microsoft, Meta, and Anthropic did not comment about how many people contribute annotations to their models, how much they are paid, or where in the world they are located. Irving of DeepMind, which is a subsidiary of Google, said the annotators working on Sparrow are paid “at least the hourly living wage” based on their location. Anna knows “absolutely nothing” about Remotasks, but Sparrow has been more open. She wasn’t the only annotator I spoke with who got more information from the AI they were training than from their employer; several others learned whom they were working for by asking their AI for its company’s terms of service. “I literally asked it, ‘What is your purpose, Sparrow?’” Anna said. It pulled up a link to DeepMind’s website and explained that it’s an AI assistant and that its creators trained it using RLHF to be helpful and safe.

Until recently, it was relatively easy to spot bad output from a language model. It looked like gibberish. But this gets harder as the models get better — a problem called “scalable oversight.” Google inadvertently demonstrated how hard it is to catch the errors of a modern-language model when one made it into the splashy debut of its AI assistant, Bard. (It stated confidently that the James Webb Space Telescope “took the very first pictures of a planet outside of our own solar system,” which is wrong.) This trajectory means annotation increasingly requires specific skills and expertise.

Last year, someone I’ll call Lewis was working on Mechanical Turk when, after completing a task, he received a message inviting him to apply for a platform he hadn’t heard of. It was called Taskup.ai, and its website was remarkably basic: just a navy background with text reading GET PAID FOR TASKS ON DEMAND. He applied.

The work paid far better than anything he had tried before, often around $30 an hour. It was more challenging, too: devising complex scenarios to trick chatbots into giving dangerous advice, testing a model’s ability to stay in character, and having detailed conversations about scientific topics so technical they required extensive research. He found the work “satisfying and stimulating.” While checking one model’s attempts to code in Python, Lewis was learning too. He couldn’t work for more than four hours at a stretch, lest he risk becoming mentally drained and making mistakes, and he wanted to keep the job.

“If there was one thing I could change, I would just like to have more information about what happens on the other end,” he said. “We only know as much as we need to know to get work done, but if I could know more, then maybe I could get more established and perhaps pursue this as a career.”

I spoke with eight other workers, most based in the U.S., who had similar experiences of answering surveys or completing tasks on other platforms and finding themselves recruited for Taskup.ai or several similarly generic sites, such as DataAnnotation.tech or Gethybrid.io. Often their work involved training chatbots, though with higher-quality expectations and more specialized purposes than other sites they had worked for. One was demonstrating spreadsheet macros. Another was just supposed to have conversations and rate responses according to whatever criteria she wanted. She often asked the chatbot things that had come up in conversations with her 7-year-old daughter, like “What is the largest dinosaur?” and “Write a story about a tiger.” “I haven’t fully gotten my head around what they’re trying to do with it,” she told me.

Taskup.ai, DataAnnotation.tech, and Gethybrid.io all appear to be owned by the same company: Surge AI. Its CEO, Edwin Chen, would neither confirm nor deny the connection, but he was willing to talk about his company and how he sees annotation evolving.

“I’ve always felt the annotation landscape is overly simplistic,” Chen said over a video call from Surge’s office. He founded Surge in 2020 after working on AI at Google, Facebook, and Twitter convinced him that crowdsourced labeling was inadequate. “We want AI to tell jokes or write really good marketing copy or help me out when I need therapy or whatnot,” Chen said. “You can’t ask five people to independently come up with a joke and combine it into a majority answer. Not everybody can tell a joke or solve a Python program. The annotation landscape needs to shift from this low-quality, low-skill mind-set to something that’s much richer and captures the range of human skills and creativity and values that we want AI systems to possess.”

Last year, Surge relabeled Google’s dataset classifying Reddit posts by emotion. Google had stripped each post of context and sent them to workers in India for labeling. Surge employees familiar with American internet culture found that 30 percent of the labels were wrong. Posts like “hell yeah my brother” had been classified as annoyance and “Yay, cold McDonald’s. My favorite” as love.

Surge claims to vet its workers for qualifications — that people doing creative-writing tasks have experience with creative writing, for example — but exactly how Surge finds workers is “proprietary,” Chen said. As with Remotasks, workers often have to complete training courses, though unlike Remotasks, they are paid for it, according to the annotators I spoke with. Having fewer, better-trained workers producing higher-quality data allows Surge to compensate better than its peers, Chen said, though he declined to elaborate, saying only that people are paid “fair and ethical wages.” The workers I spoke with earned between $15 and $30 per hour, but they are a small sample of all the annotators, a group Chen said now consists of 100,000 people. The secrecy, he explained, stems from clients’ demands for confidentiality.

Surge’s customers include OpenAI, Google, Microsoft, Meta, and Anthropic. Surge specializes in feedback and language annotation, and after ChatGPT launched, it got an influx of requests, Chen said: “I thought everybody knew the power of RLHF, but I guess people just didn’t viscerally understand.”

The new models are so impressive they’ve inspired another round of predictions that annotation is about to be automated. Given the costs involved, there is significant financial pressure to do so. Anthropic, Meta, and other companies have recently made strides in using AI to drastically reduce the amount of human annotation needed to guide models, and other developers have started using GPT-4 to generate training data. However, a recent paper found that GPT-4-trained models may be learning to mimic GPT’s authoritative style with even less accuracy, and so far, when improvements in AI have made one form of annotation obsolete, demand for other, more sophisticated types of labeling has gone up. This debate spilled into the open earlier this year, when Scale’s CEO, Wang, tweeted that he predicted AI labs will soon be spending as many billions of dollars on human data as they do on computing power; OpenAI’s CEO, Sam Altman, responded that data needs will decrease as AI improves.

Chen is skeptical AI will reach a point where human feedback is no longer needed, but he does see annotation becoming more difficult as models improve. Like many researchers, he believes the path forward will involve AI systems helping humans oversee other AI. Surge recently collaborated with Anthropic on a proof of concept, having human labelers answer questions about a lengthy text with the help of an unreliable AI assistant, on the theory that the humans would have to feel out the weaknesses of their AI assistant and collaborate to reason their way to the correct answer. Another possibility has two AIs debating each other and a human rendering the final verdict on which is correct. “We still have yet to see really good practical implementations of this stuff, but it’s starting to become necessary because it’s getting really hard for labelers to keep up with the models,” said OpenAI research scientist John Schulman in a recent talk at Berkeley.

“I think you always need a human to monitor what AIs are doing just because they are this kind of alien entity,” Chen said. Machine-learning systems are just too strange ever to fully trust. The most impressive models today have what, to a human, seems like bizarre weaknesses, he added, pointing out that though GPT-4 can generate complex and convincing prose, it can’t pick out which words are adjectives: “Either that or models get so good that they’re better than humans at all things, in which case, you reach your utopia and who cares?”

As 2022 ended, Joe started hearing from his students that their task queues were often empty. Then he got an email informing him the boot camps in Kenya were closing. He continued training taskers online, but he began to worry about the future.

“There were signs that it was not going to last long,” he said. Annotation was leaving Kenya. From colleagues he had met online, he heard tasks were going to Nepal, India, and the Philippines. “The companies shift from one region to another,” Joe said. “They don’t have infrastructure locally, so it makes them flexible to shift to regions that favor them in terms of operation cost.”

One way the AI industry differs from manufacturers of phones and cars is in its fluidity. The work is constantly changing, constantly getting automated away and replaced with new needs for new types of data. It’s an assembly line but one that can be endlessly and instantly reconfigured, moving to wherever there is the right combination of skills, bandwidth, and wages.

Lately, the best-paying work is in the U.S. In May, Scale started listing annotation jobs on its own website, soliciting people with experience in practically every field AI is predicted to conquer. There were listings for AI trainers with expertise in health coaching, human resources, finance, economics, data science, programming, computer science, chemistry, biology, accounting, taxes, nutrition, physics, travel, K-12 education, sports journalism, and self-help. You can make $45 an hour teaching robots law or make $25 an hour teaching them poetry. There were also listings for people with security clearance, presumably to help train military AI. Scale recently launched a defense-oriented language model called Donovan, which Wang called “ammunition in the AI war,” and won a contract to work on the Army’s robotic-combat-vehicle program.

Anna is still training chatbots in Texas. Colleagues have been turned into reviewers and Slack admins — she isn’t sure why, but it has given her hope that the gig could be a longer-term career. One thing she isn’t worried about is being automated out of a job. “I mean, what it can do is amazing,” she said of the chatbot. “But it still does some really weird shit.”

When Remotasks first arrived in Kenya, Joe thought annotation could be a good career. Even after the work moved elsewhere, he was determined to make it one. There were thousands of people in Nairobi who knew how to do the work, he reasoned — he had trained many of them, after all. Joe rented office space in the city and began sourcing contracts: a job annotating blueprints for a construction company, another labeling fruits despoiled by insects for some sort of agricultural project, plus the usual work of annotating for self-driving cars and e-commerce.

But he has found his vision difficult to achieve. He has just one full-time employee, down from two. “We haven’t been having a consistent flow of work,” he said. There are weeks with nothing to do because customers are still collecting data, and when they’re done, he has to bring in short-term contractors to meet their deadlines: “Clients don’t care whether we have consistent work or not. So long as the datasets have been completed, then that’s the end of that.”

Rather than let their skills go to waste, other taskers decided to chase the work wherever it went. They rented proxy servers to disguise their locations and bought fake IDs to pass security checks so they could pretend to work from Singapore, the Netherlands, Mississippi, or wherever the tasks were flowing. It’s a risky business. Scale has become increasingly aggressive about suspending accounts caught disguising their location, according to multiple taskers. It was during one of these crackdowns that my account got banned, presumably because I had been using a VPN to see what workers in other countries were seeing, and all $1.50 or so of my earnings were seized.

“These days, we have become a bit cunning because we noticed that in other countries they are paying well,” said Victor, who was earning double the Kenyan rate by tasking in Malaysia. “You do it cautiously.”

Another Kenyan annotator said that after his account got suspended for mysterious reasons, he decided to stop playing by the rules. Now, he runs multiple accounts in multiple countries, tasking wherever the pay is best. He works fast and gets high marks for quality, he said, thanks to ChatGPT. The bot is wonderful, he said, letting him speed through $10 tasks in a matter of minutes. When we spoke, he was having it rate another chatbot’s responses according to seven different criteria, one AI training the other.

La publicité, ou comment transformer l’être humain en rouage docile de la machine capitaliste

« La publicité est partout, à tel point qu’elle est devenue invisible pour l’homo economicus que nous sommes. Nous croyons la dominer alors que nous la subissons. Mais c’est bien elle qui joue avec nous, qui s’impose pour modeler nos comportements et notre environnement. »

« Nous ne mettons pas en cause les activités publicitaires en tant que mise à disposition du public d’informations commerciales, mais nous refusons la violence et la manipulation dont usent les procédés publicitaires, auquel nul ne peut échapper et qui diffusent en permanence l’idéologie dominante. »

La publicité, un matraquage auquel personne ne doit échapper

« La publicité se conjugue avec matraquage (et c’est un point commun avec les techniques des régimes dictatoriaux). Elle est totalitaire car elle cherche à envahir la totalité de l’espace avec des panneaux (souvent surdimensionnés) qui accaparent notre environnement, des affiches recouvrant tout un immeuble, dix publicités identiques à la suite dans le métro, des « tunnels » publicitaires de 20 minutes à la télévision ou à la radio etc. Il devient difficile de poser son regard sur un paysage libre de publicité. Elle s’immisce dans les films à la télévision ou au cinéma en les coupant ou en les pénétrant, plus discrètement, puisque les entreprises payent les cinéastes pour y montrer leurs produits.

La publicité envahit le temps également. Elle rythme toute la vie collective sur le mode de la consommation avec les commémorations, les fêtes, les événements réels ou factices. Tout est bon pour faire consommer. De la même façon, la publicité se saisit de tous les âges de l’existence individuelle pour en faire des moments de consommation, avec les enfants avides de jouets, les adolescents couverts de marques, les hommes motorisant leur vie et devenant fan de gadgets en tout genre, les femmes avec la mode et la beauté mais aussi la ménagère, la mère de famille ou encore les personnes âgées invitées à préparer leur avenir. Si notre espace est accaparé par la publicité, notre temporalité est rythmé par les slogans publicitaires, signe que notre civilisation glisse doucement mais sûrement vers un totalitarisme publicitaire puisqu’il est difficile d’y échapper (frontalement ou indirectement (…)). »

Un maillon essentiel du système capitaliste

« La publicité n’est pas neutre car elle existe pour promouvoir le système capitaliste et un modèle de société fondé sur la consommation. Elle contribue à déconstruire notre réflexion pour mieux nous aliéner. L’omniprésence de la publicité vise à réduire la totalité de l’être humain à la seule dimension de la consommation.

Loin d’être synonyme de liberté, la publicité participe à façonner l’idéologie dominante, à la soutenir afin que chacun prenne part à l’effort de Croissance. Elle est un maillon essentiel de l’activité économique. La publicité suscite le besoin, matraque pour ne pas dire impose un mode de vie. Elle est un rouage essentiel pour créer davantage de besoins, rendre obsolètes les produits, renouveler notre imaginaire afin de nous nourrir de nouveautés et abreuver le système en croissance par la mise en avant de biens et de services marchands. La publicité nous manipule plus qu’elle n’informe.

Modeler nos pensées et nos comportements pour nous conformer à l’impératif de Croissance

« La mainmise de la publicité sur la société est insidieuse puisqu’elle fait de la consommation un fondement de notre société, en nous incitant à penser en terme de consommation. Surtout, en plus de vouloir nous faire dépenser, la publicité vise à nous faire dé-penser en divulguant à feu doux l’idéologie capitaliste, de façon discrète et sournoise à tel point que nous n’avons toujours pas conscience d’être embrigadé. Elle est complice d’une vaste manipulation afin de tout marchandiser et asseoir la société de Croissance, l’alimenter sans cesse en nouveautés, créer de nouveaux besoins et acter l’obsolescence. Elle développe une idéologie et un mode de vie qui n’est pas neutre car directement au service du capitalisme. »

« [La publicité] a recours sans cesse aux sophismes de l’image, falsifie le sens des mots, déstructure l’ordre logique. Ce langage, dès le plus jeune âge, façonne ainsi des modes de pensée qui sont à l’opposé de la raison cartésienne. La règle publicitaire, qui oblige à faire du produit un spectacle, conduit ainsi l’enfant à confondre l’image et la chose, le visible et le réel. Règne ensuite la culture de l’amalgame : la publicité pratique cette rhétorique de l’association selon laquelle n’importe quelle valeur peut être associée à n’importe quel produit (la beauté du sport par exemple à la célébration de boissons alcoolisées). La rythmique publicitaire (jingles, chocs et frissons), les montages chaotiques et “déments”, en tentant de happer au lieu de convaincre, en nous saisissant viscéralement pour contourner nos résistances conscientes, font prédominer les conduites-réflexes sur toute démarche réfléchie. En liaison avec la trépidation médiatique et les oripeaux de la société du spectacle, c’est toute une relation au monde fondée sur l’adhésion sensorielle et le refus de penser que tisse la publicité dans la “conscience collective“. Ce mode de pensée instaure le règne de l’impensé. »

« L’omniprésence quantitative du phénomène publicitaire entraîne (…) un changement qualitatif dans sa façon d’imposer ses modèles : sa norme paraît “ normale ”. Pour mieux faire passer son message, la publicité a su évoluer en abandonnant le ton impératif pour introduire le mode indicatif. Celui-ci est, finalement, plus contraignant que le mode impératif dans la mesure où l’on ne peut pas se distancier de ses ordres. Qui plus est, cette normalité est commune à tous : la collectivité semble s’y être déjà pliée. Les modèles de consommation deviennent alors d’autant plus coercitifs qu’ils sont supposés massivement répandus. »

Une entreprise totalitaire

« La publicité, sous ses aspects festifs et joyeux, sympathiques et drôles, est une dangereuse propagande qui casse, image après image, le sens de la vie. »

« La publicité est une machine à casser la personne humaine. Elle ne veut plus d’humains, de citoyens, elle veut des consommateurs. La publicité réduit chacun de nous à un moyen : la consommation. La publicité nous impose la fausse idée que l’unique sens de la vie est la consommation. »

« [Le] phénomène publicitaire ne consiste pas en une simple somme d’annonces disparates : elle est un système. Et ce système, si on l’observe bien, non seulement tend à occuper la totalité du champ des activités humaines – y compris ses aspects les plus immatériels – dans la seule consommation. À deux niveaux, celui de l’invasion quantitative et celui de la pénétration idéologique, la publicité est bien une entreprise totalitaire.

« La publicité participe activement à la fabrication d’un modèle de société en imaginant un bonheur formaté fondé sur la consommation. La publicité célèbre l’ordre des « décideurs » et le bonheur des consommations inutiles. Au-delà de la manipulation et du mépris, la publicité dévoile une philosophie cynique qui entend transformer le monde en marchandise. La voix de la publicité est insidieuse car invisible et douce, nous sommes éduqués avec ou alors elle nous fait rêver et, elle contribue à imposer un « totalitarisme tranquille » c’est-à-dire un mode de vie imposé où la norme est la règle et ne pas la respecter signifie l’exclusion et où les victimes sont les bourreaux sans que nous puissions nous condamner. Articulation essentielle de la société capitaliste, la publicité fait plus que soutenir, elle guide la société.’

« Nous aurions pu penser que le chômage, l’exclusion, la pauvreté freineraient l’exhibition du discours publicitaire et feraient taire les sirènes de la surconsommation. Il n’en est rien. Qu’importe la « fracture » sociale, puisqu’on s’adresse à la majorité nantie ! Qu’importe si des centaines de milliers d’individus sont forcées de contempler chaque jour des modèles d’existence qui leur sont rendues inaccessibles par leur exclusion ! On ne s’émeut pas de cette violence quotidienne. Après tout, pourquoi refuserait-on aux pauvres de rêver à ce que possèdent les riches : n’est-ce pas ce qui se fait dans le tiers-monde ? A l’ordre économique, qui a pour effet d’exclure les pauvres, s’adjoint désormais l’ordre publicitaire, qui a pour fonction de nous les faire oublier. »

Avilir l’être humain, le réduire à un simple rouage

« La « culture publicité » n’existe pas, la publicité c’est l’anti-culture. Si la culture nous humanise et ré-enchante le monde, la publicité réduit l’homme à un tube digestif dont l’unique fonction est de consommer. Avec la culture, l’homme devient autonome tandis qu’avec la publicité, plus on y est soumis, plus on devient « accro» et conditionné. Loin d’essayer de tendre à la réflexion des individus, la publicité infantilise nos actes et ce dès l’enfance, en fidélisant les enfants. Il est tellement simple d’exploiter commercialement les rêves des jeunes que cela s’apparente à du dressage tant ce qui est inculqué précocement reste comme une valeur intangible pour l’individu ainsi formaté. Les publicitaires ont l’ambition de nous conditionner et d’occuper l’espace psychique. Souvenons-nous de cet ancien patron de TF1 (chaîne de télévision le plus regardée en Europe) qui expliquait que son travail consistait à élaborer des programmes pour préparer les esprits au message publicitaire. »

« La publicité est (…) une monstrueuse opération de formatage qui vise à faire régresser l’individu afin d’en faire un être docile dépourvue de sens critique et facilement manipulable. Au-delà de sa fonction commerciale immédiate, la publicité est donc bien un enjeu véritable car elle participe à faire régresser l’humain, que ce soit dans son action ou sa réflexion. Elle rabaisse les personnes au rang de simples consommateurs qui commencent par consommer des produits puis consomment d’autres humains (management, violence, exploitations diverses …) et finissent par se consommer eux-mêmes (dopages, sectes, opérations de chirurgie esthétique …). »

Uniformiser les modes de vie et détruire les cultures

« La publicité, loin d’une culture en soi, détruit les cultures existantes pour uniformiser les besoins et les comportements. Elle façonne des identités communes à tous en simulant des différences qui sont davantage des moyens pour nous faire croire que nous avons le choix.

D’ailleurs, la diversité des cultures du monde dérange la publicité puisqu’elle peut être considérée comme un frein à la soif de profits des annonceurs. La publicité veut détruire les cultures en imposant des produits et des modes de vie standardisés sur toute la surface de la Terre. Chacun sur la planète devra consommer de façon identique et beaucoup. La publicité ne supporte pas les peuples qui veulent faire de la diversité de leur culture une richesse. La publicité veut créer un monde non pas universel, mais uniforme, tout en glorifiant, de façon trompeuse, la différence, quand elle ne rêve que d’indifférenciation. »

Une pollution et un gaspillage immenses

« L’omniprésence de la publicité nous oppresse, tout comme elle nous conditionne. Elle normalise nos comportements et représentent autant une occupation illicite de notre espace qu’un gaspillage intolérable d’autant plus qu’il n’est souvent ni voulu, ni attendu.

La publicité, par son essence même, contribue au pillage perpétré par le capitalisme du désastre, notamment des ressources naturelles. En outre, en produisant son verbiage malsain, la publicité pollue de multiples façons notamment par une pollution visuelle et énergétique. »

« De façon intrinsèque, la publicité participe au pillage planétaire organisée par le capitalisme. En effet, le système publicitaire monopolise toujours plus l’espace public. Il parasite les activités culturelles et pervertit les manifestations sportives. Par ailleurs, la publicité sacrifie la santé et l’écosystème au commerce, occulte les conséquences sanitaires, et se moque du principe de précaution (en vendant tout produit, peu importe le risque). La publicité incite à la surconsommation, au gaspillage, à la pollution et fait souvent l’apologie de comportements irresponsables et individualistes. Elle est source de surendettement, de délinquance et de violence pour les plus démunis et les plus réactifs à son discours intrusifs.

« La publicité a toujours privilégié le support de l’affichage à tel point que, désormais, les affiches publicitaires sont incrustées dans nos villes, nos campagnes et nos transports. Elles sont omniprésentes, géantes, souvent illuminées et sont donc dévoreuses d’espace public et d’énergie.

Cette débauche graphique gêne la vue, salit notre cadre de vie, réduit notre liberté de penser et limite notre faculté de rêver. La confiscation de l’espace public et son exploitation mercantile sont d’autant plus inadmissibles que la loi qualifie les paysages de « bien commun de la nation » et que les dispositions régissant l’affichage publicitaire sont intégrées au livre V du Code de l’environnement, intitulé « Prévention des pollutions, des risques et des nuisances ». Ainsi, même le législateur considère l’affichage publicitaire comme une pollution ! Par l’affichage, le système publicitaire s’immisce dans notre quotidien de la façon la plus évidente et la plus violente également. »

Sortir de la publicité pour sortir de la société de croissance

« Pour sortir de la société de croissance, sortir de la publicité est un préalable obligatoire. Lutter contre la publicité est donc, avant tout, un combat idéologique. »

Extraits de l’article « Sortir de la publicité » de Christophe Ondet.

(L’article en intégralité : http://www.projet-decroissance.net/?p=342 )

They thought loved ones were calling for help. It was an AI scam.

Scammers are using artificial intelligence to sound more like family members in distress. People are falling for it and losing thousands of dollars.

The man calling Ruth Card sounded just like her grandson Brandon. So when he said he was in jail, with no wallet or cellphone, and needed cash for bail, Card scrambled to do whatever she could to help.

“It was definitely this feeling of … fear,” she said. “That we’ve got to help him right now.”

Card, 73, and her husband, Greg Grace, 75, dashed to their bank in Regina, Saskatchewan, and withdrew 3,000 Canadian dollars ($2,207 in U.S. currency), the daily maximum. They hurried to a second branch for more money. But a bank manager pulled them into his office: Another patron had gotten a similar call and learned the eerily accurate voice had been faked, Card recalled the banker saying. The man on the phone probably wasn’t their grandson.

That’s when they realized they’d been duped.

“We were sucked in,” Card said in an interview with The Washington Post. “We were convinced that we were talking to Brandon.”

As impersonation scams in the United States rise, Card’s ordeal is indicative of a troubling trend. Technology is making it easier and cheaper for bad actors to mimic voices, convincing people, often the elderly, that their loved ones are in distress. In 2022, impostor scams were the second most popular racket in America, with over 36,000 reports of people being swindled by those pretending to be friends and family, according to data from the Federal Trade Commission. Over 5,100 of those incidents happened over the phone, accounting for over $11 million in losses, FTC officials said.

Advancements in artificial intelligence have added a terrifying new layer, allowing bad actors to replicate a voice with an audio sample of just a few sentences. Powered by AI, a slew of cheap online tools can translate an audio file into a replica of a voice, allowing a swindler to make it “speak” whatever they type.

Experts say federal regulators, law enforcement and the courts are ill-equipped to rein in the burgeoning scam. Most victims have few leads to identify the perpetrator and it’s difficult for the police to trace calls and funds from scammers operating across the world. And there’s little legal precedent for courts to hold the companies that make the tools accountable for their use.

“It’s terrifying,” said Hany Farid, a professor of digital forensics at the University of California at Berkeley. “It’s sort of the perfect storm … [with] all the ingredients you need to create chaos.”

Although impostor scams come in many forms, they essentially work the same way: a scammer impersonates someone trustworthy — a child, lover or friend — and convinces the victim to send them money because they’re in distress.

But artificially generated voice technology is making the ruse more convincing. Victims report reacting with visceral horror when hearing loved ones in danger.

It’s a dark impact of the recent rise in generative artificial intelligence, which backs software that creates texts, images or sounds based on data it is fed. Advances in math and computing power have improved the training mechanisms for such software, spurring a fleet of companies to release chatbots, image-creators and voice-makers that are strangely lifelike.

AI voice-generating software analyzes what makes a person’s voice unique — including age, gender and accent — and searches a vast database of voices to find similar ones and predict patterns, Farid said.

It can then re-create the pitch, timbre and individual sounds of a person’s voice to create an overall effect that is similar, he added. It requires a short sample of audio, taken from places such as YouTube, podcasts, commercials, TikTok, Instagram or Facebook videos, Farid said.

“Two years ago, even a year ago, you needed a lot of audio to clone a person’s voice,” Farid said. “Now … if you have a Facebook page … or if you’ve recorded a TikTok and your voice is in there for 30 seconds, people can clone your voice.”

Companies such as ElevenLabs, an AI voice synthesizing start-up founded in 2022, transform a short vocal sample into a synthetically generated voice through a text-to-speech tool. ElevenLabs software can be free or cost between $5 and $330 per month to use, according to the site, with higher prices allowing users to generate more audio.

ElevenLabs burst into the news following criticism of its tool, which has been used to replicate voices of celebrities saying things they never did, such as Emma Watson falsely reciting passages from Adolf Hitler’s “Mein Kampf.” ElevenLabs did not return a request for comment, but in a Twitter thread the company said it’s incorporating safeguards to stem misuse, including banning free users from creating custom voices and launching a tool to detect AI-generated audio.

But such safeguards are too late for victims like Benjamin Perkin, whose elderly parents lost thousands of dollars to a voice scam.

His voice-cloning nightmare started when his parents received a phone call from an alleged lawyer, saying their son had killed a U.S. diplomat in a car accident. Perkin was in jail and needed money for legal fees.

The lawyer put Perkin, 39, on the phone, who said he loved them, appreciated them and needed the money. A few hours later, the lawyer called Perkin’s parents again, saying their son needed $21,000 in Canadian dollars (U.S. $15,449) before a court date later that day.

Perkin’s parents later told him the call seemed unusual, but they couldn’t shake the feeling they’d really talked to their son.

The voice sounded “close enough for my parents to truly believe they did speak with me,” he said. In their state of panic, they rushed to several banks to get cash and sent the lawyer the money through a bitcoin terminal.

When the real Perkin called his parents that night for a casual check-in, they were confused.

It’s unclear where the scammers got his voice, although Perkin has posted YouTube videos talking about his snowmobiling hobby. The family has filed a police report with Canada’s federal authorities, Perkin said, but that hasn’t brought the cash back.

“The money’s gone,” he said. “There’s no insurance. There’s no getting it back. It’s gone.”

Will Maxson, an assistant director at the FTC’s division of marketing practices, said tracking down voice scammers can be “particularly difficult” because they could be using a phone based anywhere in the world, making it hard to even identify which agency has jurisdiction over a particular case.

Maxson urged constant vigilance. If a loved one tells you they need money, put that call on hold and try calling your family member separately, he said. If a suspicious call comes from a family member’s number, understand that, too, can be spoofed. Never pay people in gift cards, because those are hard to trace, he added, and be wary of any requests for cash.

Eva Velasquez, the chief executive of the Identity Theft Resource Center, said it’s difficult for law enforcement to track down voice-cloning thieves. Velasquez, who spent 21 years at the San Diego district attorney’s office investigating consumer fraud, said police departments might not have enough money and staff to fund a unit dedicated to tracking fraud.

Larger departments have to triage resources to cases that can be solved, she said. Victims of voice scams might not have much information to give police for investigations, making it tough for officials to dedicate much time or staff power, particularly for smaller losses.

“If you don’t have any information about it,” she said, “where do they start?”

Farid said the courts should hold AI companies liable if the products they make result in harms. Jurists, such as Supreme Court Justice Neil M. Gorsuch, said in February that legal protections that shield social networks from lawsuits might not apply to work created by AI.

For Card, the experience has made her more vigilant. Last year, she talked with her local newspaper, the Regina Leader-Post, to warn people about these scams. Because she didn’t lose any money, she didn’t report it to the police.

Above all, she said, she feels embarrassed.

“It wasn’t a very convincing story,” she said. “But it didn’t have to be any better than what it was to convince us.”

The contagious visual blandness of Netflix

Last week I saw M3GAN, the new horror-comedy starring Allison Williams and a robot-doll in a blond wig. I liked it enough. The doll character is genuinely well-done—a seemingly hard-to-nail mix of creepy and campy—but I walked out of the theater with a vaguely empty feeling. I couldn’t quite place it until I started talking with my friends about where the movie was set, and I realized I had no idea. One answer is somewhere in Silicon Valley, given its bald critique of big tech. It didn’t actually feel like Silicon Valley, though. It didn’t feel like anywhere at all. (Update: I’ve been informed it’s set in Seattle, although it didn’t feel like there either.) Every backdrop was generic and crisp: the scrubbed tech-compound where Gemma (Allison Williams) works; the bland, Wayfair-decorated house she lives in; the clean, non-specific streets she drives on. I thought little of this while watching. The movie looked expensive and professional, or at least had the hallmarks of those things: glossy, filtered, smooth. Only after it ended did it occur to me that it seemed, like so many other contemporary movies and shows, to exist in a phony parallel universe we’ve come to accept as relevant to our own.

To be clear, this isn’t about whether the movie was “realistic.” Movies with absurd, surreal, or fantastical plots can still communicate something honest and true. It’s actually, specifically, about how movies these days look. That is, more flat, more fake, over-saturated, or else over-filtered, like an Instagram photo in 2012, but rendered in commercial-like high-def. This applies to prestige television, too. There are more green screens and sound stages, more CGI, more fixing-it-in-post. As these production tools have gotten slicker and cheaper and thus more widely abused, it’s not that everything looks obviously shitty or too good to feel true, it’s actually that most things look mid in the exact same way. The ubiquity of the look is making it harder to spot, and the overall result is weightless and uncanny. An endless stream of glossy vehicles that are easy to watch and easier to forget. I call it the “Netflix shine,” inspired by one of the worst offenders, although some reading on the topic revealed others call it (more boringly) the “Netflix look.”

In a 2022 Vice piece called “Why Does Everything on Netflix Look Like That,” writer Gita Jackson describes the Netflix look as unusually bright and colorful, or too dark, the characters lit inexplicably by neon lights, everything shot at a medium close-up. Jackson discovered this aesthetic monotony is in part due to the fact that Netflix requires the same “technical specifications from all its productions.” This is of course an economic choice: more consistency = less risk. They’ve also structured their budgets to favor pre-production costs like securing top talent. So despite the fact that their budgets are high, they’re spending it all on what is essentially marketing, pulling resources away from things like design and location. This style-over-substance approach is felt in most things Netflix makes, and it’s being replicated across the industry. (For more proof of concept, Rachel Syme’s recent New Yorker profile of Netflix Global Head of Television Bela Bajaria is perfectly tuned and genuinely chilling. I’m still thinking about her “Art is Truth” blazer and lack of jet lag despite constant world travel. She’s a walking metaphor.)

I’m not a film buff, so I write this from a layman’s perspective. But every time I watch something made before 2000, it looks so beautiful to me—not otherworldly or majestic, but beautiful in the way the world around me is beautiful. And I don’t think I’m just being nostalgic. Consider these two popular rom-com movies stills: The first from When Harry Met Sally, shot on film in 1989, the second from Moonshot, shot digitally in 2022.

The latter is more polished and “perfect,” but to what effect? It looks strange, surreal, both dim and bright at the same time. Everything is inexplicably blue or yellow, and glows like it’s been FaceTuned. Meg Ryan and Billy Crystal, meanwhile, are sitting in a downtown New York deli that actually exists. The image is a little grainy, the lighting falling somewhere in the normal daytime range, and they look like regular human beings. The table’s lopsided, the kitchen’s bent out of shape—the charm is earned. Today the restaurant might be built on a sound stage, or shot in front of a green screen, the appearance of daylight added in post-production. They could make it look convincing and moody, but it would lack character. It would feel somehow outside the world we inhabit every day, because it would be.

At the risk of using an anonymous Redditor as an expert, lol, I found a comment under a thread called “Why do movies look so weird now?” that captures a lot of these same complaints:

“Everyone is lit perfectly and filmed digitally on raw and tweaked to perfection. It makes everything have a fake feeling to it. Commercials use the same cameras and color correction so everything looks the same. Every shot looks like it could be used in a stock photo and it looks completely soulless. No film grain, no shadows on faces, and no wide shots. I have a theory that going from tungsten to LED lighting added to this as well. Tungsten allows for more accurate color in camera but LEDs are cheaper, cooler, and more convenient. So the solution is to film on a nice digital camera and fix the color in post. However, this makes for less creativity on set and less use of shadows. Green screens make it worse as they also require flatter lighting to work. Marvel films are very obviously mostly made in post and they all look very flat and not real. Even shitty low-budget 90's comedies look better and I think this can be attributed to the lighting.”

Another user mentioned that shooting on film required a level of forethought, planning, and patience that digital simply doesn’t. Similar to the predicament brought on by smartphone cameras and our now-endless photo rolls, the result is more, sure, and at higher fidelity, but not necessarily better. A photo today has never been worth less. I’ve long believed that constraints can improve creative work. But today’s shrinking production budgets, paired with the limitlessness of computer technology, aren’t inspiring scrappiness. They’re inspiring laziness. It’s too easy to fix things in post. Why wait around all day for the light to be just right when you can make it look half as good in Final Cut Pro for half the price? There’s an expansive possibility to digitization that defies the logic of constraint.

That the film and TV industry is obsessed with making as much money as possible isn’t a surprise. But as with any cost-cutting strategy, the approach is necessarily an expression of priorities. What’s worth the trouble? What isn’t? Looking at what studios are and aren’t willing to spend on today paints a pretty unflattering (if predictable) picture of modern values. And what’s interesting is how recognizable those values are across other pillars of culture. To name a few: the idea that imperfection is inhibitive to beauty; an over-emphasis on growth, speed, ease, and innovation; a cynical over-reliance on marketing; a lack of interest in locality and place; the funneling of resources to the top; the focus on content over form, entertainment over art. I could be talking about anything here—the beauty and cosmetics industry, tech, corporate America, manufacturing, social media, politics, labor disputes.

I’m not saying the proliferation of shitty-looking shows and movies will bring about our cultural downfall, only that they express, in a satisfyingly literal way, a specific wrong-think that’s pervading our off-screen lives, too. Most usefully, their hollowness offers, by way of counter-example, a key to what does feel meaningful: texture, substance, imperfection, slowing down, taking the scenic route, natural light, places you can touch, making more considered creative choices, making less. There’s a certain momentum to the mid right now, but there are other ways forward, if we’re willing to indulge them.

EDF ou l’histoire d’une débâcle française

Par Isabelle Chaperon Publié hier à 20h10, mis à jour à 10h52 Temps de Lecture 8 min.

Incertitudes politiques et difficultés technologiques ont contribué à la débâcle industrielle que connaît l’énergéticien français. Luc Rémont, qui succédera prochainement à Jean-Bernard Lévy à la tête de l’opérateur historique, est prévenu.

Le réveil est brutal. Les ménages français vivaient dans la douce illusion que l’électricité bon marché produite par les centrales nucléaires d’EDF les protégerait des turbulences provoquées par la guerre en Ukraine sur l’approvisionnement en énergie. C’était même l’occasion de montrer la supériorité du modèle français, fondé sur la souveraineté nationale, par opposition à nos voisins allemands, qui avaient tout misé sur le gaz russe. Mais rien ne s’est passé comme prévu.

L’arrêt de 26 réacteurs nucléaires sur 56 dans le parc d’EDF rend la France vulnérable aux pénuries de courant et place l’opérateur au cœur des critiques. L’une des premières missions du futur patron de l’opérateur, Luc Rémont, choisi par l’Elysée jeudi 29 septembre, sera de relancer la production. En 2005, année de son entrée en Bourse, EDF produisait environ 430 térawattheures d’électricité (TWh) d’origine nucléaire ; en 2022, il table sur 280 à 300 TWh. Ce camouflet industriel s’ajoute aux déboires essuyés par la filière nucléaire française pour construire de nouvelles centrales de troisième génération (EPR).

Qui blâmer ? Les dirigeants d’EDF ou ceux d’Areva – le frère ennemi défaillant –, l’exécutif, les écologistes, ou Bruxelles et son libéralisme échevelé ? Communistes et Républicains réclament l’ouverture d’une commission d’enquête parlementaire sur le nucléaire pour faire la lumière sur ce désastre. Alors qu’il suffit d’avoir lu Agatha Christie : « EDF, c’est Le Crime de l’Orient-Express. Tout le monde est coupable », tranche un ancien de Bercy qui a souhaité rester anonyme, comme la plupart des grands témoins sollicités.

Les monnayages des écologistes

Pour Olivier Marleix, président du groupe Les Républicains à l’Assemblée nationale, le grand coupable, c’est François Hollande, qui a promis, en vue de son élection à la présidence de la République, en 2012, de réduire la part du nucléaire dans la production d’électricité de 75 % à 50 % à l’horizon 2025. « Nous avons une technologie en or, qui nous assurait une énergie propre et bon marché, nous l’avons sacrifiée au nom d’un accord électoral Parti socialiste [PS]-Les Verts en 2011 : l’échange de quinze circonscriptions législatives contre la fermeture de vingt-quatre réacteurs nucléaires », a attaqué M. Marleix, dans un entretien au quotidien Le Figaro, parue le 5 septembre.

Partout en Europe, depuis la fin du XXe siècle, les écologistes ont monnayé leur participation à des coalitions en échange d’une sortie du nucléaire : ce fut le cas en Allemagne en 1998, ou en Belgique en 2003. En 1997, déjà, le premier ministre (PS), Lionel Jospin, avait sacrifié le surgénérateur Superphénix sur l’autel d’un accord PS-Les Verts. En France, les Verts ont freiné le développement du « nouveau nucléaire » avec d’autant plus d’efficacité que la politique énergétique fut longtemps confiée au ministère de l’environnement.

Conséquence, en 2006, lorsque le premier béton est coulé à l’EPR de Flamanville (Manche), il s’agissait du premier réacteur mis en chantier en France depuis seize ans. « Le nucléaire est probablement la seule activité économique dont l’avenir est largement déterminé par l’opinion publique », professait François Roussely, l’ancien patron d’EDF. En mars 2011, un an avant l’élection présidentielle de 2012, l’accident nucléaire de Fukushima, au Japon, fait basculer la perception de l’atome dans le monde.

La construction d’un second EPR à Penly (Seine-Maritime), annoncée par le président Nicolas Sarkozy en 2009, est alors repoussée sine die. Et M. Hollande s’attaque au parc installé (et vieillissant). En 2018, le président de la République, Emmanuel Macron, confirme la mise à l’arrêt de la centrale de Fessenheim (Haut-Rhin), promise par son prédécesseur, s’engageant à mettre sous cloche quatorze réacteurs dans l’Hexagone, avant son revirement à l’issue de son premier mandat. Lors du discours de Belfort, en février 2022, il promet au contraire la construction de six nouveaux réacteurs.

Une « équipe de France » qui vit mal

Autant dire que l’actuel locataire de l’Elysée a pu se sentir visé par la pique de Jean-Bernard Lévy, désormais ex-patron d’EDF, qui a lâché lors d’une table ronde à l’université du Medef, le 29 août, à Paris : « On a fermé deux [réacteurs]. (…) On nous a dit “préparez-vous à fermer les douze suivants”. (…) On n’a pas embauché des gens pour en construire d’autres, on a embauché des gens pour en fermer. » Un discours « inacceptable » et « faux », a tancé Emmanuel Macron, le 5 septembre, car, selon le président, EDF devait, dans tous les cas de figure, assurer la maintenance de ses installations…

Le salut, faute de programmes en France, aurait dû passer par l’export. Las, ce fut un désastre. Symbole de cet échec collectif, l’appel d’offres d’Abou Dhabi. Quand l’émirat décide, en 2008, de bâtir quatre réacteurs, la France part favorite. Un consortium regroupant Areva, Total et Engie (alors GDF Suez) se lance à l’assaut du « contrat du siècle ». EDF rejoint in fine « l’équipe de France du nucléaire » à la demande pressante de l’Elysée, qui pilote l’affaire, tant elle est jugée stratégique. Mais le groupe vit mal. Anne Lauvergeon, dirigeante d’Areva, et Gérard Mestrallet, PDG de GDF Suez, ne sont-ils pas les ennemis jurés du nouveau PDG d’EDF, Henri Proglio ?

Abou Dhabi choisira finalement, fin 2009, un consortium coréen. L’EPR français, nettement plus cher, pâtit des déboires rencontrés par Areva en Finlande. En décembre 2003, le groupe dirigé par « Atomic Anne », associé à l’allemand Siemens, a été retenu pour construire une centrale nucléaire « clé en main » de type EPR à Olkiluoto, dans l’ouest de la Finlande. Une folie. Areva n’a ni les plans ni les compétences. EDF ricane et réplique en lançant, en 2006, le projet de Flamanville 3 : nouvelle folie, l’électricien n’est guère plus prêt…

« Cette course entre les deux entreprises françaises a conduit au lancement précipité des chantiers de construction de ces deux premiers EPR, sur la base de références techniques erronées et d’études détaillées insuffisantes », assène la Cour des comptes, dans un rapport au vitriol, publié en juin 2020. L’institution accuse « les administrations concernées » de ne pas avoir joué leur rôle de vigie. En particulier, l’Etat actionnaire, qui détenait plus de 87 % d’EDF et d’Areva, a laissé prospérer entre les deux maisons une relation qualifiée de « pathologique » par les observateurs.

L’EPR, un enfant mal né

Cette bride laissée trop lâche a coûté cher. Le réacteur d’Olkiluoto 3 a produit ses premiers mégawattheures (MWh) en mars 2022, avec douze ans de retard par rapport aux objectifs initiaux. Son coût est estimé à près de 9 milliards d’euros, soit trois fois le montant prévu. L’Etat a dû restructurer Areva avant d’y injecter 4,5 milliards d’euros en 2017. Comme si le contribuable français payait pour l’électricité des Finlandais. Va-t-il également financer celle des Britanniques ? C’est la crainte qui a poussé Thomas Piquemal, alors directeur financier d’EDF, à démissionner en mars 2016.

Le dirigeant estimait déraisonnable que l’électricien prenne à sa charge autant de risques liés à la construction de deux EPR pour la centrale d’Hinkley Point, dans le sud-ouest de l’Angleterre. « Qui investirait 70 % de son patrimoine sur une technologie dont nous ne savons toujours pas si elle fonctionne ? », a-t-il expliqué par la suite aux députés. Trois EPR tournent actuellement dans le monde, un en Finlande et deux en Chine. Le chargement du combustible à Flamanville 3 est planifié pour juin 2023 (contre une mise en service prévue au départ en 2012).

Selon le rapport de juin 2020 de la Cour des comptes, la facture globale du chantier (y compris les frais financiers) devrait atteindre 19 milliards d’euros (contre 3,2 milliards attendus). L’EPR est un enfant mal né. Ce fruit de la collaboration technologique entre Areva et Siemens, bénie par les politiques désireux de forger l’« Airbus du nucléaire », est passé sous les fourches Caudines des autorités de sûreté française et allemande, dont les exigences « ne convergeaient pas toujours », glisse une Cour des comptes amatrice de litote.

Cet « empilement d’ingénieries d’inspirations différentes », d’une effroyable complexité, n’a pas été remis en cause lorsque l’Allemagne s’est retirée du projet, en 1998. A ces difficultés initiales s’ajoute la défaillance des opérateurs, Areva – et sa filiale Framatome, reprise depuis par EDF – mais également l’électricien lui-même : le grand architecte ensemblier de la filière a perdu la main. Pour Jean-Martin Folz, l’ancien patron de PSA, chargé d’auditer la situation de Flamanville en octobre 2019, « les outils et les méthodes de management indispensables à la gestion d’un projet de cette envergure n’ont pas été mis en place au lancement de celui-ci ».

De l’absence d’un vrai chef de projet aux loupés des soudeurs, c’est la bérézina. Les concurrents, eux, critiquent « l’arrogance » du fleuron tricolore. « C’est la maladie du monopole, EDF n’accepte pas ce qui vient de l’extérieur, il est dans sa bulle », lâche l’un d’entre eux. De quoi expliquer en partie le climat délétère qui s’est installé avec l’Autorité de sûreté nucléaire (ASN). « EDF n’a informé l’ASN de l’existence d’un écart au référentiel d’exclusion de rupture pour les soudures de traversées qu’en 2017, alors que ces éléments étaient connus depuis octobre 2013 », dénonce la Cour des comptes.

Bruxelles contre les monopoles

Du côté du parc existant, enfin, la mauvaise surprise est venue d’un problème de « corrosion sous contrainte » détecté en décembre 2021 dans les circuits secondaires de la centrale de Civaux (Vienne). Cette rouille, « totalement inattendue pour tous les experts », a insisté M. Lévy lors d’une audition le 14 septembre à l’Assemblée nationale, a entraîné l’arrêt de quinze réacteurs, s’ajoutant aux dix en pause pour une maintenance classique. Plus un connaissant un « arrêt fortuit ».

« Nous faisons face à un cumul inattendu d’activités, qui mobilise des compétences pointues et rares, de tuyauteurs, soudeurs, robinetiers, chaudronniers…, a expliqué le PDG. Ce déficit de compétences affecte notre capacité à réparer au rythme que nous souhaiterions. » Sébastien Menesplier, secrétaire général de la puissante fédération CGT Mines-Energie, déplore que « 80 % de la maintenance [soit] sous-traitée. C’est beaucoup trop ». M. Menesplier reconnaît que l’électricien « s’est reposé sur ses lauriers », renvoie dos à dos les politiques « de gauche, de droite et du milieu », mais, surtout, il en veut à Bruxelles.

« La libéralisation est un échec. Elle a créé de la précarité et fait flamber les tarifs de l’électricité », martèle le syndicaliste, qui appelle à « enterrer les directives européennes encore plus profondément que des déchets nucléaires ». La Commission européenne, dont le dogme fondateur repose sur la protection des consommateurs, n’a eu de cesse de casser les monopoles, EDF en tête. A partir de 1996, elle a imposé aux Etats membres une ouverture progressive à la concurrence de la production, du transport et de la distribution d’électricité.

Ce cheminement a culminé dans la loi sur la nouvelle organisation du marché de l’électricité (NOME), votée en 2010, qui oblige l’électricien à vendre chaque année environ un quart de sa production électrique à des fournisseurs alternatifs au prix d’environ 42 euros du MWh. Ce mécanisme, appelé Accès régulé à l’électricité nucléaire historique (Arenh), devrait coûter 10 milliards d’euros au groupe en 2022. « Il est faux de dire que l’Arenh a été mis en place à la demande de Bruxelles. Il y avait d’autres solutions pour ouvrir le marché français à la concurrence », plaide Stéphane Sorin, fondateur du groupement d’achat Collectif Energie.

« Ce dispositif correspond à un choix politique des pouvoirs publics français, qui se sont toujours servis d’EDF pour protéger le consommateur et qui ne souhaitaient pas toucher au parc du groupe », poursuit-il. Le fournisseur historique, en effet, a refusé de vendre des capacités de production, comme Enel l’a fait en Italie par exemple, afin de faciliter l’entrée de concurrents sur le marché français. Bruxelles, en particulier, presse la France depuis des décennies de mettre en concurrence ses concessions de barrages hydroélectriques gérés par EDF : un bras de fer qui dure toujours…

Article publié dans la revue Le Monde par Isabelle Chaperon

L'Europe et la France neutralisés par les Américains sur les microprocesseurs ?

POLITISCOPE. Malgré la communication positive autour de l'investissement porté par le groupe franco-italien ST et l'Américain GlobalFoundries à Crolles près de Grenoble pour étendre l'usine de puces électroniques de STMicroelectronics, la réalité est bien celle d'une grande faiblesse industrielle de l'Europe dans la bataille pour la souveraineté dans les microprocesseurs. Dans les faits, les États-Unis ont gardé la haute main sur les logiciels de conception, la technologie substrat, et surtout sur les machines de fabrication. Et la bataille se joue en Asie où les Etats-Unis organisent début septembre un « Chip 4 » avec le Japon, Taïwan et la Corée du Sud, pour faire face à la montée des tensions avec la Chine.

Dans le jargon des communicants, c'est ce qu'on appelle un « effet d'annonce ». Début juillet, Emmanuel Macron se rendait à Crolles dans l'Isère, peu de temps après le sommet « Choose France », réunissant des investisseurs internationaux à Versailles. L'occasion pour le président français d'annoncer au grand public une nouvelle extension de l'usine de puces électroniques de STMicroelectronics présente dans l'agglomération grenobloise. Ce nouveau projet (qui correspond à un investissement total de 5,7 milliards d'euros, constitué en partie par des fonds publics) est en fait porté par le groupe franco-italien ST et l'Américain GlobalFoundries et vise à fournir à l'industrie automobile européenne les puces qui lui sont désormais nécessaires sur le marché des voitures « intelligentes » et électriques.

Des puces atteignant jusqu'à 18 nanomètres

Dans les faits, la future unité de Crolles pourra graver des puces jusqu'à 18 nanomètres. Pour les néophytes, c'est un prouesse technique. Mais dans l'univers secret de l'industrie des semi-conducteurs, cette finesse de gravure est déjà largement dépassée par de nombreuses usines à Taïwan ou aux États-Unis. « L'Europe doit être le leader de la prochaine génération de puces », avait pourtant claironné Thierry Breton, le commissaire au Marché Unique et au Numérique à Bruxelles, allant jusqu'à évoquer une « reconquête stratégique ». Cet investissement à Crolles s'inscrit ainsi dans le cadre du « Chips Act » européen, un vaste plan de la Commission européenne, estimé à 42 milliards d'euros, pour doubler (à 20 %) la part de puces produites en Europe d'ici 2030. Quelques jours plus tard, Emmanuel Macron avait insisté sur le fait que ce projet allait assurer une certaine « souveraineté ».

Ces grandes déclarations cachent mal pourtant les multiples faiblesses industrielles de l'Europe sur le front des semi-conducteurs et autres microprocesseurs. Dans son rapport publié au printemps, la Commission européenne peine à définir une réelle stratégie pour ce secteur hautement stratégique. Ni les États-Unis ni la Chine n'apparaissent clairement comme rivaux systémiques dans ses analyses. « Les montants financiers mis en avant, malgré des chiffres apparemment importants, non seulement ne sont pas à la hauteur des enjeux et des besoins nominaux, singulièrement en regard de ce que devraient être les objectifs industriels européens, mais sont aussi construits largement grâce à la mobilisation ou le recyclage de budgets préexistants », regrette un industriel du secteur, qui reste largement sur sa faim. Et pour cause : « l'Europe ne produit pas de smartphones et autres produits telcos - souvent à double usage- d'avant-garde numériques. C'est consubstantiel ! » L'Europe devait ainsi avoir comme priorité de revenir sur des segments où elle est aujourd'hui absente, ayant été évincée dans le passé. C'est en réalité l'ensemble de l'écosystème électronique qui est à prendre en compte, tant en amont qu'en aval.

UE et Elysée aux abonnés absents

Car le temps presse. Face à la montée en puissance de la Chine, les Américains tentent de maintenir leur prédominance mondiale. Cela passe, bien évidemment, par leurs pratiques ITAR, qui leur permettent de contrôler sur un plan normatif l'ensemble de ces filières hautement stratégiques. Face à cette stratégie intrusive, l'Union européenne comme l'Elysée se retrouvent aux abonnés absents. Pas question pour eux de contester les États-Unis. Résultat, comme sur le front sanitaire avec l'épidémie de Covid-19, l'Europe apparaît comme totalement ballotée, incapable de maîtriser et développer industriellement le moindre brevet. Elle n'est là que pour faire de la sous-traitance aux fleurons américains.

C'est d'ailleurs dans cette optique, que le géant Intel a décidé d'augmenter ses investissements en Allemagne ou que GlobalFoundries (l'ancien fondeur appartenant historiquement à IBM et contrôlé aujourd'hui par un fonds d'investissement emirati) s'associe avec STMicroelectronics. Au final, l'UE finance des capacités de production sur son territoire qu'elle ne maitrise en aucune manière. Dans les faits, les États-Unis ont gardé la haute main sur les logiciels de conception, la technologie substrat, et surtout sur les machines de fabrication.

L'Europe a pourtant des compétences et des centres de R&D de premier plan : IMEC, LETI... L'Europe dispose également de technologies enviées : la société néerlandaise ASML (première capitalisation boursière européenne) pour la lithographie grâce à ses machines ultra modernes de gravure, qui lui permettent de maîtriser 100% du marché mondial de l'extrême ultraviolet, la société française SOITEC sur les wafers SOI, enfin, STMicroelectronics sur le FDSOI. Mais, pendant ce temps-là, les Etats-Unis, financent, constituent des situation monopolistiques, normalisent et protègent, sans aucun état d'âme.

Réunion préliminaire du « Chip 4 »

Ainsi, et il est révélateur que cela n'a suscité aucun commentaire cet été du côté européen, mais les Américains sont en train de réunir les grands pays producteurs de semi-conducteurs en Asie dans un front contre la Chine. Début septembre, doit ainsi se réunir une réunion préliminaire de ce « Chip 4 », cette future alliance majeure dans les semi-conducteurs, constituée par les Etats-Unis, leaders des écosystèmes et des équipements, le Japon, en pointe dans l'approvisionnement en matériaux-clés, Taïwan, champion de la fabrication des puces électroniques de dernière génération avec TSMC, et la Corée du Sud, experte des puces mémoires, avec ses géants Samsung Electronics et SK Hynix : quelques jours à peine après que Joe Biden ait signé le « Chips and Science Act », ce texte qui vise à relancer la production des semi-conducteurs aux Etats-Unis à partir d'une première enveloppe de 52,7 milliards de dollars (51,7 milliards d'euros) de subventions.

Début août, lors de sa visite si polémique à Taïwan, Nancy Pelosi, la présidente démocrate de la Chambre des représentants, avait d'ailleurs déjeuné avec le patron de TSMC, Mark Liu, selon le Washington Post. Sous Donald Trump, TSMC avait déjà promis d'investi 12 milliards de dollars aux États Unis dans la construction d'une usine en Arizona. On le voit, dans cette guerre mondiale des puces électroniques, tous les coups sont permis. Et les Européens semblent avoir encore plusieurs trains de retards, malgré les derniers « effets d'annonce ».

Marc Endeweld

Lire les commentaires sur le Fil reddit

22 Août 2022, 15:43

Influence. Pourquoi Elon Musk inquiète le pouvoir à Washington

Brillant, fantasque et arrogant : le patron de Tesla, SpaceX et désormais Twitter est un peu trop incontrôlable aux yeux de nombreux responsables politiques américains. Mais ils n’osent critiquer son ingérence dans les questions géopolitiques que sous couvert d’anonymat, constate le “Washington Post”.

En octobre, entre la prise de contrôle de Twitter, le lancement de quatre astronautes et d’une nouvelle salve de 54 satellites dans l’espace et la présentation d’un semi-remorque électrique, Elon Musk a encore trouvé le temps de proposer des plans de paix pour Taïwan et l’Ukraine, se mettant à dos les dirigeants de ces pays tout en déclenchant l’ire de Washington.

L’homme le plus riche du monde a aussi agacé le Pentagone en annonçant qu’il ne souhaitait pas continuer à payer de sa poche son service d’accès à Internet par satellite [Starlink] en Ukraine, avant de faire volte-face. En coulisses, de nombreux responsables de Washington s’inquiètent de voir le milliardaire de 51 ans se mêler de questions géopolitiques explosives sans les consulter.

Lire aussi À la une de l’hebdo. Ces milliardaires tout-puissants

Depuis vingt ans, un partenariat entre Elon Musk et le gouvernement fédéral a certes permis aux États-Unis de retrouver leur position dominante dans l’espace et d’électrifier la flotte automobile américaine, scellant du même coup sa réputation internationale de génie de la technologie. Mais aujourd’hui, beaucoup à Washington trouvent le grand patron trop puissant et inconséquent.

Parmi la vingtaine de hauts responsables gouvernementaux interrogés pour cet article, beaucoup, évoquant la facilité avec laquelle Elon Musk raille publiquement ses détracteurs – il a traité le président Biden de “chiffe molle” et déclaré que la sénatrice démocrate du Massachusetts Elizabeth Warren lui rappelait “la mère en colère d’un ami” –, n’ont accepté d’en parler que sous couvert de l’anonymat. Presque tous s’accordent à dire qu’il est aussi fantasque et arrogant que brillant.

Convaincu d’être un bienfaiteur de l’humanité

“Elon, l’omniprésent”, selon un haut fonctionnaire de la Maison-Blanche, “est tellement convaincu d’être un bienfaiteur de l’humanité qu’il estime n’avoir besoin d’aucun garde-fou et tout savoir mieux que tout le monde.”

“Il considère qu’il est au-dessus de la présidence”, renchérit Jill Lepore, historienne à Harvard et autrice d’une série de podcasts sur Elon Musk.

Elon Musk n’a pas souhaité nous répondre pour cet article, mais il assure avoir un avis éclairé sur les grands problèmes de notre temps et qu’il est de son devoir d’“améliorer l’avenir de l’humanité”. Il est persuadé que son plan de paix pour l’Ukraine pourrait empêcher une éventuelle guerre nucléaire et que sa proposition pour Taïwan serait à même d’apaiser de dangereuses tensions régionales.

Lire aussi Vu d'Ukraine. Avec son “plan de paix”, Elon Musk tombe le masque

Cette diplomatie parallèle exaspère certains alliés, au moment même où Elon Musk met 44 milliards de dollars [45 milliards d’euros] sur la table pour racheter une plateforme médiatique forte de centaines de millions d’utilisateurs.

Pour Richard J. Durbin, sénateur démocrate de l’Illinois, “le fait est que les gens suivent de près la moindre de ses déclarations, parce qu’il a si souvent réalisé ce qu’il annonçait”. Son collègue républicain de Caroline du Sud Lindsey O. Graham qualifie son plan pour l’Ukraine d’“affront” à ce peuple.

Détenteur de plus de satellites que n’importe quel pays

Les relations d’Elon Musk avec Washington avaient pourtant commencé sous les meilleurs auspices. “Je vous aime !” avait-il lâché quand, en 2008, alors qu’il croulait sous les dettes, un responsable de la Nasa [l’agence spatiale américaine] l’avait appelé pour lui annoncer qu’il venait de décrocher un contrat de 1,6 milliard de dollars. Washington a par la suite injecté d’autres milliards dans son entreprise de fusées et capsules spatiales. SpaceX a été à la hauteur des attentes, en reconstruisant un programme spatial américain qui battait de l’aile.

Ses initiatives bipartisanes l’ont, un temps, aidé à conquérir Washington. Il a dîné avec le président Barack Obama et intégré l’équipe des conseillers économiques du président Donald Trump. Il a financé des candidats des deux partis. Aujourd’hui, il n’a pas de mots assez durs pour Joe Biden et clame qu’il votera pour un républicain en 2024.

L’entrepreneur excentrique qui ne se rend plus désormais que rarement à Washington se montre de plus en plus critique à l’égard du gouvernement fédéral. Il parle à des chefs d’État et de gouvernement étrangers, vend ses fusées et sa technologie spatiale de pointe à la Corée du Sud, à la Turquie et à un nombre croissant de pays. Il a installé des usines Tesla en Allemagne et en Chine. Il possède et contrôle plus de 3 000 satellites orbitant autour de la Terre – bien plus que n’importe quel État.

Une puissance mondiale à lui tout seul

S’il a moins besoin de Washington maintenant qu’il est à lui seul une puissance mondiale, Washington reste largement tributaire du milliardaire. L’armée américaine utilise ses fusées et ses services de communication par satellite pour ses drones, ses navires et ses avions. La Nasa n’a aucun autre moyen d’envoyer des astronautes américains vers la Station spatiale internationale (ISS) sans sa capsule spatiale. Et à l’heure où la Maison-Blanche a fait du changement climatique l’une de ses priorités, il a mis plus de voitures électriques sur les routes américaines que tout autre constructeur.

Plusieurs hauts fonctionnaires assurent prendre des dispositions pour s’affranchir de l’emprise d’Elon Musk. “Il n’y a pas que SpaceX sur le marché. Il existe d’autres entités auxquelles nous pouvons certainement nous associer pour fournir à l’Ukraine ce dont elle a besoin sur le champ de bataille”, a ainsi déclaré lors d’une conférence de presse à la mi-octobre Sabrina Singh, porte-parole adjointe du ministère de la Défense.

“Un danger pour la démocratie”

L’une des grandes inquiétudes porte sur son réseau de participations hors des États-Unis et d’investisseurs étrangers, à commencer par son immense usine Tesla en Chine, et sur les influences auxquelles Elon Musk pourrait céder dès lors qu’il contrôle une plateforme numérique où certains utilisateurs propagent de la désinformation et attisent la polarisation politique. En tant que fournisseur de la défense américaine, Musk a fait l’objet d’une enquête, mais plusieurs hauts fonctionnaires réclament des vérifications plus poussées, notamment au regard de tout éventuel projet de développement en Russie et en Chine. Elizabeth Warren et d’autres ont vu dans son rachat de Twitter “un danger pour la démocratie”.

Washington a déjà eu à gérer de puissants hommes d’affaires qui dominaient les chemins de fer, le pétrole ou un secteur économique clé, souligne Richard Haass, directeur du [cercle de réflexion] Council on Foreign Relations. “Mais ce qui est un peu différent ici, c’est la capacité d’Elon Musk à diffuser ses idées politiques et le fait que nous disposons désormais d’une technologie et d’un média qui, au bout du compte, permettent à tout un chacun de devenir son propre réseau ou sa propre chaîne.”

Lire aussi Réseaux sociaux. Elon Musk, cet “absolutiste” de la liberté d’expression

La tourmente économique qui sévit depuis le début de la guerre en Ukraine a écorné de nombreuses fortunes, dont celles d’Elon Musk, qui, selon l’indice Bloomberg des milliardaires, a vu son patrimoine fondre de plusieurs dizaines de milliards de dollars, passant à 210 milliards de dollars [195 milliards au 4 novembre, soit 200 milliards d’euros].

Deux personnes qui le connaissent bien le disent impulsif – un trait de caractère qui le rend peu fiable aux yeux des responsables gouvernementaux. Elon Musk a lui-même révélé être atteint du syndrome d’Asperger, une forme d’autisme, prévenant qu’il ne fallait pas s’attendre à ce qu’il soit “un type cool et normal”.

Des visées sur Washington

“Il n’arrête pas de se tirer des balles dans le pied. Il ferait mieux de ne pas se mêler de politique”, juge une personne qui a travaillé à ses côtés pendant des années.

“Comme tout le monde, j’ai été choquée de le voir s’empêtrer dans certaines affaires ces derniers mois”, commente Lori Garver, ancienne administratrice adjointe de la Nasa, qui s’inquiète des répercussions. SpaceX a certes rétabli l’hégémonie des États-Unis dans l’espace, mais les déclarations politiquement sensibles de son patron lui valent des critiques.

Lire aussi Portrait. Elon Musk, l’homme qui décide plus vite que son ombre

Musk a des visées sur Washington depuis vingt ans. Citoyen sud-africain venu s’installer dans la Silicon Valley, il a obtenu la nationalité américaine en 2002 – l’année même où il a réinjecté l’argent de la vente de PayPal, la société de paiement en ligne qu’il a cofondée, dans la création de SpaceX. Il misait gros et avait besoin de lucratifs marchés publics. Début 2003, il disait vouloir “renforcer significativement sa présence” dans la capitale, afin d’établir “une relation de travail étroite avec le gouvernement fédéral”.

À la même époque, il investit dans Tesla, dont il a rapidement pris le contrôle [en 2004], grâce aux aides et aux dispositifs fiscaux de Washington. À elle seule, la Californie a subventionné l’entreprise à hauteur de 3,2 milliards de dollars.

À lire aussi : Le chiffre du jour. La Big Tech, premier lobby auprès de l’Union européenne

Un examen des formulaires de déclarations publiques révèle qu’Elon Musk a embauché des dizaines de lobbyistes, dont beaucoup avaient travaillé pour de puissants membres du Congrès. Selon OpenSecrets, un groupe de recherche sur les financements politiques, SpaceX a dépensé en quelques années plus de 22 millions de dollars pour faire pression sur Washington. Musk a lui-même révélé un excellent sens politique. De 2008 à 2013, il s’est envolé quarante fois pour Washington. Il a frappé aux portes et invité des hauts responsables à des déjeuners de travail. Et il a vite compris que lorsque les tractations en coulisses ne marchaient pas, la publicité pouvait être efficace.

Adepte de coups d’éclat publics

Par un mercredi ensoleillé de juin 2014, il a garé son nouveau “taxi de l’espace” à quelques rues du Capitole. Il avait traversé le pays depuis son usine californienne à bord de la capsule conçue pour lancer sept astronautes en orbite et invité les caméras et quelques responsables au spectacle. “Beau boulot, Elon !” s’est écrié Dana Rohrabacher, élu républicain à la Chambre, à sa descente de l’élégant vaisseau spatial. Ce jour-là, les démocrates aussi ont applaudi. Musk était aux anges.

Les États-Unis comptaient alors sur la Russie pour emmener leurs astronautes vers l’ISS, et déboursaient des dizaines de millions de dollars pour chaque place. Elon Musk promit de mettre fin à cette pratique et de relancer le programme spatial américain. Le locataire de la Maison-Blanche était alors Barack Obama, qui voulait laisser leur chance à des opérateurs privés comme SpaceX. Quelques semaines après l’arrivée en fanfare de son taxi de l’espace à Washington, Elon Musk décrochait un contrat de 2,6 milliards de dollars avec la Nasa.

Lire aussi Mission accomplie. Une capsule SpaceX avec quatre astronautes de l’ISS de retour sur Terre

Elon Musk lorgnait également des marchés du Pentagone, et s’est rendu compte que les coups d’éclat publics pouvaient aider. En 2014, il a fait les gros titres pour avoir descendu en flammes, devant le public clairsemé d’une audition parlementaire, la coentreprise entre Lockheed Martin et Boeing, les deux géants de l’aérospatiale qui fournissaient des fusées à l’armée de l’air, dénonçant un “monopole” qui, selon lui, pesait bien trop lourd sur les contribuables.

“Elon demandait qu’on lui donne une chance”, explique Scott Pace, ancien responsable de la Nasa qui était intervenu lors de cette audition. Ce qu’a fait le Pentagone, et Elon Musk a tenu parole. Ses fusées Falcon, révolutionnaires et partiellement réutilisables, coûtaient beaucoup moins cher. Huit ans plus tard, Elon Musk est le Goliath de l’industrie spatiale.

L’État limite sa dépendance à l’égard de Musk

Kevin McCarthy, député de Californie et chef de file des républicains à la Chambre des représentants, lui donne du “cher ami”. En juin, Elon Musk, qui a récemment quitté la Californie pour s’installer au Texas, a annoncé qu’il donnait sa voix à Mayra Flores lors d’une primaire pour les législatives – ajoutant que c’était la première fois qu’il votait républicain. Il a également reproché aux démocrates d’être trop extrêmes et à la botte des syndicats.

Certains législateurs républicains doutent cependant que son engouement pour le Great Old Party dure très longtemps. “C’est encore un de ces artistes à la con”, lâchait à son sujet Donald Trump en juillet dans un meeting en Alaska.

L’un des rares points sur lesquels les deux partis s’entendent est que, sur certaines questions vitales, notamment pour ce qui est de la sécurité nationale, les États-Unis ne devraient pas s’en remettre à un seul individu ou une seule entreprise. Et le gouvernement prend des mesures pour limiter sa dépendance à l’égard de Musk.

Lire aussi Conquête spatiale. Jeff Bezos porte plainte contre la Nasa

La Nasa a financé la navette Starliner de Boeing pour concurrencer SpaceX dans le transport des astronautes. (La fusée Blue Origin de Jeff Bezos, propriétaire du Washington Post, est également en lice pour les contrats de la Nasa). Selon des responsables de la Nasa, les retards à répétition et l’augmentation du coût de Starliner expliquent que SpaceX se soit imposé.

En août, la Commission fédérale des communications (FCC) a refusé une subvention de 900 millions de dollars [910 millions d’euros] à Starlink, le fournisseur d’accès Internet par satellite de SpaceX, pour apporter le haut débit dans des zones rurales.

Le Congrès encourage aussi Ford et d’autres constructeurs à produire des voitures électriques. Depuis peu, seules les voitures neuves de moins de 55 000 dollars bénéficient de la subvention gouvernementale de 7 500 dollars. La plupart des modèles Tesla sont plus chers. Mais Elon Musk pourra encore profiter de nombreuses mesures d’incitation, y compris pour ses stations de recharge électrique. Ses superchargeurs sont déployés dans 46 pays.

Contre la bureaucratie et “ces salopards” de régulateurs

Elon Musk déteste être dépeint “comme un escroc qui ne devrait sa survie qu’à la manne de l’État”, souligne Eric Berger, auteur de Liftoff [“Décollage”, non traduit en français], une histoire de SpaceX. “Il considère l’État comme une épée à double tranchant” qui peut lui être utile, mais dont la bureaucratie le ralentit. “Il est vraiment frustré par le nombre étourdissant d’agences fédérales avec lesquelles il doit traiter.”

“Ces salopards”, c’est ainsi que Elon Musk désigne les responsables de la Securities and Exchange Commission (SEC) [le régulateur américain des marchés financiers]. Elon Musk et Tesla se sont vu infliger chacun une amende de 20 millions de dollars après que le milliardaire a prétendu sur Twitter disposer d’un “financement assuré” pour retirer son entreprise de la Bourse pour 420 dollars par action, alors que ce n’était pas vrai. La SEC enquête aussi sur son offre de rachat de Twitter. L’avocat de l’homme d’affaires a déclaré devant un juge que la SEC essayait “de bâillonner et de harceler” son client parce qu’il “critique ouvertement le gouvernement”.

Lire aussi Réseaux sociaux. Elon Musk nargue le gendarme américain de la Bourse sur Twitter

Rares sont ceux qui ont envie de se retrouver dans le collimateur du milliardaire. C’est ce qui est arrivé à Joe Biden, qui ne pas l’a pas convié à une conférence de la Maison-Blanche sur les véhicules électriques en août 2021. Dans un tweet, Musk a jugé que ce camouflet était “un nouveau palier d’absurdité”, accusant Biden d’être sous la coupe des syndicats.

Au-delà du fait qu’ils ne souhaitent pas se le mettre à dos, beaucoup à Washington admirent ses réussites et souhaitent travailler avec lui. Au Pentagone, nombreux sont ceux qui voient en lui une arme secrète. Grâce à son système de satellites Starlink, les soldats ukrainiens sont informés en temps réel des cibles militaires ; d’autres pays étudient comment il pourrait renforcer leur défense.

Lire aussi Internet. Les moqueries dont il est la cible sur Twitter ne font pas rire Elon Musk

Parallèlement, le milliardaire travaille sur tout un éventail de nouveaux projets, allant de robots capables de préparer les repas à des plans de colonisation de Mars.

Pour l’historienne Jill Lepore, la puissance d’Elon Musk ne ressemble à rien de ce que les États-Unis ont pu connaître jusqu’à présent. “Nous devrions nous inquiéter, non parce qu’il est inévitable que son pouvoir d’influence devienne néfaste, mais parce qu’il est inévitable qu’il devienne énorme.”

Article long format publié sur Le Courrier International

Wanted, les milliardaires de la tech

Parmi les 40 premières fortunes mondiales de l’indice des milliardaires de Bloomberg, 11 sont issues de la technologie et 9 font leurs affaires depuis les États-Unis. Mais la culture libertarienne progressiste de la Silicon Valley n’est plus guère de mise.

Les agités

Elon Musk, 51 ans, américain (né en Afrique du Sud)

1re fortune mondiale (195 milliards de dollars, dont l’immense majorité en actions Tesla et SpaceX)

Cofondateur et PDG de la société astronautique SpaceX, PDG de la société automobile Tesla, cofondateur de la société d’implants cérébraux Neuralink, propriétaire de Twitter (depuis le 27 octobre 2022).

Jeff Bezos, 58 ans, américain

3e fortune mondiale (115 milliards de dollars)

Fondateur et président du conseil d’administration du géant de l’e-commerce Amazon, fondateur de l’entreprise spatiale Blue Origin

Mark Zuckerberg, 38 ans, américain

29e fortune mondiale (35,1 milliards de dollars)

Cofondateur et directeur général de Meta (ex-Facebook), plus grand réseau social du monde (3,6 milliards d’utilisateurs mensuels).

Les philantrocapitalistes

Bill Gates, 67 ans, américain

5e fortune mondiale (107 milliards de dollars)

Cofondateur du géant de l’informatique Microsoft et de la Fondation Bill et Melinda Gates (qui revendique 65,6 milliards de dollars d’investissements caritatifs depuis sa création).

Sergey Brin, 49 ans, américain (né en Russie)

11e fortune mondiale (78,4 milliards de dollars)

Cofondateur et président d’Alphabet (maison mère de Google), cofondateur de la Fondation Brin Wojcicki et “l’un des plus généreux des milliardaires de la tech”, selon le magazine indien Sugermint (en 2015, il a donné 355 millions de dollars à l’université de Cambridge pour l’intelligence artificielle et le machine learning).

Les soutiens des républicains

Larry Ellison, 78 ans, américain

7e fortune mondiale (90,5 milliards de dollars)

Cofondateur, directeur de la technologie et président du conseil d’administration du géant du logiciel Oracle, administrateur de Tesla

L’un des principaux donateurs du Parti républicain (21 millions de dollars cette année, selon Bloomberg).

Michael Dell, 57 ans, américain

24e fortune mondiale (45,6 milliards de dollars)

Fondateur et PDG de l’entreprise informatique Dell, entré dans le classement de Fortune dès l’âge de 27 ans comme “plus jeune patron d’entreprise”, selon La Libre Belgique. Il a soutenu Elon Musk, “l’homme dans l’arène” – référence au célèbre discours de Roosevelt. Donateur régulier du Parti républicain.

Les postlibertariens

Larry Page, 49 ans, américain

9e fortune mondiale (81,8 milliards de dollars)

Cofondateur de Google

Fan du festival Burning Man, il investit des millions de dollars dans les start-up de voitures et taxis volants Zee Aero et Kittyhawk.

Steve Ballmer, 66 ans, américain

10e fortune mondiale (79,3 milliards de dollars)

PDG de Microsoft de 2000 à 2014, propriétaire (pour 2 milliards de dollars) de l’équipe de basket de NBA des Los Angeles Clippers, il investit dans des fonds pour la diversité.

Les forcément discrets

Zhang Yiming, 39 ans, chinois

22e fortune mondiale

Fondateur de ByteDance, maison mère du réseau social TikTok.

Jack Ma (Ma Yun de son nom chinois), 58 ans, chinois

36e fortune mondiale (29 milliards de dollars)

Fondateur et PDG jusqu’en 2019 du site de e-commerce chinois Alibaba, le plus célèbre “disparu” de la tech chinoise (réapparu cet été).

A Roomba recorded a woman on the toilet. How did screenshots end up on Facebook?

In the fall of 2020, gig workers in Venezuela posted a series of images to online forums where they gathered to talk shop. The photos were mundane, if sometimes intimate, household scenes captured from low angles—including some you really wouldn’t want shared on the Internet.

In one particularly revealing shot, a young woman in a lavender T-shirt sits on the toilet, her shorts pulled down to mid-thigh.

The images were not taken by a person, but by development versions of iRobot’s Roomba J7 series robot vacuum. They were then sent to Scale AI, a startup that contracts workers around the world to label audio, photo, and video data used to train artificial intelligence.

They were the sorts of scenes that internet-connected devices regularly capture and send back to the cloud—though usually with stricter storage and access controls. Yet earlier this year, MIT Technology Review obtained 15 screenshots of these private photos, which had been posted to closed social media groups.

The photos vary in type and in sensitivity. The most intimate image we saw was the series of video stills featuring the young woman on the toilet, her face blocked in the lead image but unobscured in the grainy scroll of shots below. In another image, a boy who appears to be eight or nine years old, and whose face is clearly visible, is sprawled on his stomach across a hallway floor. A triangular flop of hair spills across his forehead as he stares, with apparent amusement, at the object recording him from just below eye level.

The other shots show rooms from homes around the world, some occupied by humans, one by a dog. Furniture, décor, and objects located high on the walls and ceilings are outlined by rectangular boxes and accompanied by labels like “tv,” “plant_or_flower,” and “ceiling light.”

iRobot—the world’s largest vendor of robotic vacuums, which Amazon recently acquired for $1.7 billion in a pending deal—confirmed that these images were captured by its Roombas in 2020. All of them came from “special development robots with hardware and software modifications that are not and never were present on iRobot consumer products for purchase,” the company said in a statement. They were given to “paid collectors and employees” who signed written agreements acknowledging that they were sending data streams, including video, back to the company for training purposes. According to iRobot, the devices were labeled with a bright green sticker that read “video recording in progress,” and it was up to those paid data collectors to “remove anything they deem sensitive from any space the robot operates in, including children.”

In other words, by iRobot’s estimation, anyone whose photos or video appeared in the streams had agreed to let their Roombas monitor them. iRobot declined to let MIT Technology Review view the consent agreements and did not make any of its paid collectors or employees available to discuss their understanding of the terms.

While the images shared with us did not come from iRobot customers, consumers regularly consent to having our data monitored to varying degrees on devices ranging from iPhones to washing machines. It’s a practice that has only grown more common over the past decade, as data-hungry artificial intelligence has been increasingly integrated into a whole new array of products and services. Much of this technology is based on machine learning, a technique that uses large troves of data—including our voices, faces, homes, and other personal information—to train algorithms to recognize patterns. The most useful data sets are the most realistic, making data sourced from real environments, like homes, especially valuable. Often, we opt in simply by using the product, as noted in privacy policies with vague language that gives companies broad discretion in how they disseminate and analyze consumer information.

The data collected by robot vacuums can be particularly invasive. They have “powerful hardware, powerful sensors,” says Dennis Giese, a PhD candidate at Northeastern University who studies the security vulnerabilities of Internet of Things devices, including robot vacuums. “And they can drive around in your home—and you have no way to control that.” This is especially true, he adds, of devices with advanced cameras and artificial intelligence—like iRobot’s Roomba J7 series.
Related Story Roomba testers feel misled after intimate images ended up on Facebook

An MIT Technology Review investigation recently revealed how images of a minor and a tester on the toilet ended up on social media. iRobot said it had consent to collect this kind of data from inside homes—but participants say otherwise.

This data is then used to build smarter robots whose purpose may one day go far beyond vacuuming. But to make these data sets useful for machine learning, individual humans must first view, categorize, label, and otherwise add context to each bit of data. This process is called data annotation.

“There’s always a group of humans sitting somewhere—usually in a windowless room, just doing a bunch of point-and-click: ‘Yes, that is an object or not an object,’” explains Matt Beane, an assistant professor in the technology management program at the University of California, Santa Barbara, who studies the human work behind robotics.

The 15 images shared with MIT Technology Review are just a tiny slice of a sweeping data ecosystem. iRobot has said that it has shared over 2 million images with Scale AI and an unknown quantity more with other data annotation platforms; the company has confirmed that Scale is just one of the data annotators it has used.

James Baussmann, iRobot’s spokesperson, said in an email the company had “taken every precaution to ensure that personal data is processed securely and in accordance with applicable law,” and that the images shared with MIT Technology Review were “shared in violation of a written non-disclosure agreement between iRobot and an image annotation service provider.” In an emailed statement a few weeks after we shared the images with the company, iRobot CEO Colin Angle said that “iRobot is terminating its relationship with the service provider who leaked the images, is actively investigating the matter, and [is] taking measures to help prevent a similar leak by any service provider in the future.” The company did not respond to additional questions about what those measures were.

Ultimately, though, this set of images represents something bigger than any one individual company’s actions. They speak to the widespread, and growing, practice of sharing potentially sensitive data to train algorithms, as well as the surprising, globe-spanning journey that a single image can take—in this case, from homes in North America, Europe, and Asia to the servers of Massachusetts-based iRobot, from there to San Francisco–based Scale AI, and finally to Scale’s contracted data workers around the world (including, in this instance, Venezuelan gig workers who posted the images to private groups on Facebook, Discord, and elsewhere).

Together, the images reveal a whole data supply chain—and new points where personal information could leak out—that few consumers are even aware of.

“It’s not expected that human beings are going to be reviewing the raw footage,” emphasizes Justin Brookman, director of tech policy at Consumer Reports and former policy director of the Federal Trade Commission’s Office of Technology Research and Investigation. iRobot would not say whether data collectors were aware that humans, in particular, would be viewing these images, though the company said the consent form made clear that “service providers” would be.

"It’s not expected that human beings are going to be reviewing the raw footage.”

“We literally treat machines differently than we treat humans,” adds Jessica Vitak, an information scientist and professor at the University of Maryland’s communication department and its College of Information Studies. “It’s much easier for me to accept a cute little vacuum, you know, moving around my space [than] somebody walking around my house with a camera.”

And yet, that’s essentially what is happening. It’s not just a robot vacuum watching you on the toilet—a person may be looking too.

The robot vacuum revolution

Robot vacuums weren’t always so smart.

The earliest model, the Swedish-made Electrolux Trilobite, came to market in 2001. It used ultrasonic sensors to locate walls and plot cleaning patterns; additional bump sensors on its sides and cliff sensors at the bottom helped it avoid running into objects or falling off stairs. But these sensors were glitchy, leading the robot to miss certain areas or repeat others. The result was unfinished and unsatisfactory cleaning jobs.

The next year, iRobot released the first-generation Roomba, which relied on similar basic bump sensors and turn sensors. Much cheaper than its competitor, it became the first commercially successful robot vacuum.

The most basic models today still operate similarly, while midrange cleaners incorporate better sensors and other navigational techniques like simultaneous localization and mapping to find their place in a room and chart out better cleaning paths.

Higher-end devices have moved on to computer vision, a subset of artificial intelligence that approximates human sight by training algorithms to extract information from images and videos, and/or lidar, a laser-based sensing technique used by NASA and widely considered the most accurate—but most expensive—navigational technology on the market today.

Computer vision depends on high-definition cameras, and by our count, around a dozen companies have incorporated front-facing cameras into their robot vacuums for navigation and object recognition—as well as, increasingly, home monitoring. This includes the top three robot vacuum makers by market share: iRobot, which has 30% of the market and has sold over 40 million devices since 2002; Ecovacs, with about 15%; and Roborock, which has about another 15%, according to the market intelligence firm Strategy Analytics. It also includes familiar household appliance makers like Samsung, LG, and Dyson, among others. In all, some 23.4 million robot vacuums were sold in Europe and the Americas in 2021 alone, according to Strategy Analytics.

From the start, iRobot went all in on computer vision, and its first device with such capabilities, the Roomba 980, debuted in 2015. It was also the first of iRobot’s Wi-Fi-enabled devices, as well as its first that could map a home, adjust its cleaning strategy on the basis of room size, and identify basic obstacles to avoid.

Computer vision “allows the robot to … see the full richness of the world around it,” says Chris Jones, iRobot’s chief technology officer. It allows iRobot’s devices to “avoid cords on the floor or understand that that’s a couch.”

But for computer vision in robot vacuums to truly work as intended, manufacturers need to train it on high-quality, diverse data sets that reflect the huge range of what they might see. “The variety of the home environment is a very difficult task,” says Wu Erqi, the senior R&D director of Beijing-based Roborock. Road systems “are quite standard,” he says, so for makers of self-driving cars, “you’ll know how the lane looks … [and] how the traffic sign looks.” But each home interior is vastly different.

“The furniture is not standardized,” he adds. “You cannot expect what will be on your ground. Sometimes there’s a sock there, maybe some cables”—and the cables may look different in the US and China.
family bent over a vacuum. light emitting from the vaccuum shines on their obscured faces.
MATTHIEU BOUREL

MIT Technology Review spoke with or sent questions to 12 companies selling robot vacuums and found that they respond to the challenge of gathering training data differently.

In iRobot’s case, over 95% of its image data set comes from real homes, whose residents are either iRobot employees or volunteers recruited by third-party data vendors (which iRobot declined to identify). People using development devices agree to allow iRobot to collect data, including video streams, as the devices are running, often in exchange for “incentives for participation,” according to a statement from iRobot. The company declined to specify what these incentives were, saying only that they varied “based on the length and complexity of the data collection.”

The remaining training data comes from what iRobot calls “staged data collection,” in which the company builds models that it then records.

iRobot has also begun offering regular consumers the opportunity to opt in to contributing training data through its app, where people can choose to send specific images of obstacles to company servers to improve its algorithms. iRobot says that if a customer participates in this “user-in-the-loop” training, as it is known, the company receives only these specific images, and no others. Baussmann, the company representative, said in an email that such images have not yet been used to train any algorithms.

In contrast to iRobot, Roborock said that it either “produce[s] [its] own images in [its] labs” or “work[s] with third-party vendors in China who are specifically asked to capture & provide images of objects on floors for our training purposes.” Meanwhile, Dyson, which sells two high-end robot vacuum models, said that it gathers data from two main sources: “home trialists within Dyson’s research & development department with a security clearance” and, increasingly, synthetic, or AI-generated, training data.

Most robot vacuum companies MIT Technology Review spoke with explicitly said they don’t use customer data to train their machine-learning algorithms. Samsung did not respond to questions about how it sources its data (though it wrote that it does not use Scale AI for data annotation), while Ecovacs calls the source of its training data “confidential.” LG and Bosch did not respond to requests for comment.

“You have to assume that people … ask each other for help. The policy always says that you’re not supposed to, but it’s very hard to control.”

Some clues about other methods of data collection come from Giese, the IoT hacker, whose office at Northeastern is piled high with robot vacuums that he has reverse-engineered, giving him access to their machine-learning models. Some are produced by Dreame, a relatively new Chinese company based in Shenzhen that sells affordable, feature-rich devices.

Giese found that Dreame vacuums have a folder labeled “AI server,” as well as image upload functions. Companies often say that “camera data is never sent to the cloud and whatever,” Giese says, but “when I had access to the device, I was basically able to prove that it's not true.” Even if they didn’t actually upload any photos, he adds, “[the function] is always there.”
Related Story
labor exploitation concept
How the AI industry profits from catastrophe

As the demand for data labeling exploded, an economic catastrophe turned Venezuela into ground zero for a new model of labor exploitation.

Dreame manufactures robot vacuums that are also rebranded and sold by other companies—an indication that this practice could be employed by other brands as well, says Giese.

But without either an explanation from companies themselves or a way, besides hacking, to test their assertions, it’s hard to know for sure what they’re collecting from customers for training purposes.
How and why our data ends up halfway around the world

With the raw data required for machine-learning algorithms comes the need for labor, and lots of it. That’s where data annotation comes in. A young but growing industry, data annotation is projected to reach $13.3 billion in market value by 2030.

The field took off largely to meet the huge need for labeled data to train the algorithms used in self-driving vehicles. Today, data labelers, who are often low-paid contract workers in the developing world, help power much of what we take for granted as “automated” online. They keep the worst of the Internet out of our social media feeds by manually categorizing and flagging posts, improve voice recognition software by transcribing low-quality audio, and help robot vacuums recognize objects in their environments by tagging photos and videos.

Among the myriad companies that have popped up over the past decade, Scale AI has become the market leader. Founded in 2016, it built a business model around contracting with remote workers in less-wealthy nations at cheap project- or task-based rates on Remotasks, its proprietary crowdsourcing platform.

In 2020, Scale posted a new assignment there: Project IO. It featured images captured from the ground and angled upwards at roughly 45 degrees, and showed the walls, ceilings, and floors of homes around the world, as well as whatever happened to be in or on them—including people, whose faces were clearly visible to the labelers.

Labelers discussed Project IO in Facebook, Discord, and other groups that they had set up to share advice on handling delayed payments, talk about the best-paying assignments, or request assistance in labeling tricky objects.

iRobot confirmed that the 15 images posted in these groups and subsequently sent to MIT Technology Review came from its devices, sharing a spreadsheet listing the specific dates they were made (between June and November 2020), the countries they came from (the United States, Japan, France, Germany, and Spain), and the serial numbers of the devices that produced the images, as well as a column indicating that a consent form had been signed by each device’s user. (Scale AI confirmed that 13 of the 15 images came from “an R&D project [it] worked on with iRobot over two years ago,” though it declined to clarify the origins of or offer additional information on the other two images.)

iRobot says that sharing images in social media groups violates Scale’s agreements with it, and Scale says that contract workers sharing these images breached their own agreements.

“The underlying problem is that your face is like a password you can’t change. Once somebody has recorded the ‘signature’ of your face, they can use it forever to find you in photos or video.”

But such actions are nearly impossible to police on crowdsourcing platforms.

When I ask Kevin Guo, the CEO of Hive, a Scale competitor that also depends on contract workers, if he is aware of data labelers sharing content on social media, he is blunt. “These are distributed workers,” he says. “You have to assume that people … ask each other for help. The policy always says that you’re not supposed to, but it’s very hard to control.”

That means that it’s up to the service provider to decide whether or not to take on certain work. For Hive, Guo says, “we don’t think we have the right controls in place given our workforce” to effectively protect sensitive data. Hive does not work with any robot vacuum companies, he adds.

“It’s sort of surprising to me that [the images] got shared on a crowdsourcing platform,” says Olga Russakovsky, the principal investigator at Princeton University’s Visual AI Lab and a cofounder of the group AI4All. Keeping the labeling in house, where “folks are under strict NDAs” and “on company computers,” would keep the data far more secure, she points out.

In other words, relying on far-flung data annotators is simply not a secure way to protect data. “When you have data that you’ve gotten from customers, it would normally reside in a database with access protection,” says Pete Warden, a leading computer vision researcher and a PhD student at Stanford University. But with machine-learning training, customer data is all combined “in a big batch,” widening the “circle of people” who get access to it.
Screenshots shared with MIT Technology Review of data annotation in progress

For its part, iRobot says that it shares only a subset of training images with data annotation partners, flags any image with sensitive information, and notifies the company’s chief privacy officer if sensitive information is detected. Baussmann calls this situation “rare,” and adds that when it does happen, “the entire video log, including the image, is deleted from iRobot servers.”

The company specified, “When an image is discovered where a user is in a compromising position, including nudity, partial nudity, or sexual interaction, it is deleted—in addition to ALL other images from that log.” It did not clarify whether this flagging would be done automatically by algorithm or manually by a person, or why that did not happen in the case of the woman on the toilet.

iRobot policy, however, does not deem faces sensitive, even if the people are minors.

“In order to teach the robots to avoid humans and images of humans”—a feature that it has promoted to privacy-wary customers—the company “first needs to teach the robot what a human is,” Baussmann explained. “In this sense, it is necessary to first collect data of humans to train a model.” The implication is that faces must be part of that data.

But facial images may not actually be necessary for algorithms to detect humans, according to William Beksi, a computer science professor who runs the Robotic Vision Laboratory at the University of Texas at Arlington: human detector models can recognize people based “just [on] the outline (silhouette) of a human.”

“If you were a big company, and you were concerned about privacy, you could preprocess these images,” Beksi says. For example, you could blur human faces before they even leave the device and “before giving them to someone to annotate.”

“It does seem to be a bit sloppy,” he concludes, “especially to have minors recorded in the videos.”

In the case of the woman on the toilet, a data labeler made an effort to preserve her privacy, by placing a black circle over her face. But in no other images featuring people were identities obscured, either by the data labelers themselves, by Scale AI, or by iRobot. That includes the image of the young boy sprawled on the floor.

Baussmann explained that iRobot protected “the identity of these humans” by “decoupling all identifying information from the images … so if an image is acquired by a bad actor, they cannot map backwards to identify the person in the image.”

But capturing faces is inherently privacy-violating, argues Warden. “The underlying problem is that your face is like a password you can’t change,” he says. “Once somebody has recorded the ‘signature’ of your face, they can use it forever to find you in photos or video.”
AI labels over the illustrated faces of a family
MATTHIEU BOUREL

Additionally, “lawmakers and enforcers in privacy would view biometrics, including faces, as sensitive information,” says Jessica Rich, a privacy lawyer who served as director of the FTC’s Bureau of Consumer Protection between 2013 and 2017. This is especially the case if any minors are captured on camera, she adds: “Getting consent from the employee [or testers] isn’t the same as getting consent from the child. The employee doesn’t have the capacity to consent to data collection about other individuals—let alone the children that appear to be implicated.” Rich says she wasn’t referring to any specific company in these comments.

In the end, the real problem is arguably not that the data labelers shared the images on social media. Rather, it’s that this type of AI training set—specifically, one depicting faces—is far more common than most people understand, notes Milagros Miceli, a sociologist and computer scientist who has been interviewing distributed workers contracted by data annotation companies for years. Miceli was part of a research team that has spoken to multiple labelers who have seen similar images, taken from the same low vantage points and sometimes showing people in various stages of undress.

The data labelers found this work “really uncomfortable,” she adds.

Surprise: you may have agreed to this
Robot vacuum manufacturers themselves recognize the heightened privacy risks presented by on-device cameras. “When you’ve made the decision to invest in computer vision, you do have to be very careful with privacy and security,” says Jones, iRobot’s CTO. “You’re giving this benefit to the product and the consumer, but you also have to be treating privacy and security as a top-order priority.”

In fact, iRobot tells MIT Technology Review it has implemented many privacy- and security-protecting measures in its customer devices, including using encryption, regularly patching security vulnerabilities, limiting and monitoring internal employee access to information, and providing customers with detailed information on the data that it collects.

But there is a wide gap between the way companies talk about privacy and the way consumers understand it.

It’s easy, for instance, to conflate privacy with security, says Jen Caltrider, the lead researcher behind Mozilla’s “*Privacy Not Included” project, which reviews consumer devices for both privacy and security. Data security refers to a product’s physical and cyber security, or how vulnerable it is to a hack or intrusion, while data privacy is about transparency—knowing and being able to control the data that companies have, how it is used, why it is shared, whether and for how long it’s retained, and how much a company is collecting to start with.

Conflating the two is convenient, Caltrider adds, because “security has gotten better, while privacy has gotten way worse” since she began tracking products in 2017. “The devices and apps now collect so much more personal information,” she says.

Company representatives also sometimes use subtle differences, like the distinction between “sharing” data and selling it, that make how they handle privacy particularly hard for non-experts to parse. When a company says it will never sell your data, that doesn’t mean it won’t use it or share it with others for analysis.

These expansive definitions of data collection are often acceptable under companies’ vaguely worded privacy policies, virtually all of which contain some language permitting the use of data for the purposes of “improving products and services”—language that Rich calls so broad as to “permit basically anything.”

“Developers are not traditionally very good [at] security stuff.” Their attitude becomes “Try to get the functionality, and if the functionality is working, ship the product. And then the scandals come out.”

Indeed, MIT Technology Review reviewed 12 robot vacuum privacy policies, and all of them, including iRobot’s, contained similar language on “improving products and services.” Most of the companies to which MIT Technology Review reached out for comment did not respond to questions on whether “product improvement” would include machine-learning algorithms. But Roborock and iRobot say it would.

And because the United States lacks a comprehensive data privacy law—instead relying on a mishmash of state laws, most notably the California Consumer Privacy Act—these privacy policies are what shape companies’ legal responsibilities, says Brookman. “A lot of privacy policies will say, you know, we reserve the right to share your data with select partners or service providers,” he notes. That means consumers are likely agreeing to have their data shared with additional companies, whether they are familiar with them or not.

Brookman explains that the legal barriers companies must clear to collect data directly from consumers are fairly low. The FTC, or state attorneys general, may step in if there are either “unfair” or “deceptive” practices, he notes, but these are narrowly defined: unless a privacy policy specifically says “Hey, we’re not going to let contractors look at your data” and they share it anyway, Brookman says, companies are “probably okay on deception, which is the main way” for the FTC to “enforce privacy historically.” Proving that a practice is unfair, meanwhile, carries additional burdens—including proving harm. “The courts have never really ruled on it,” he adds.

Most companies’ privacy policies do not even mention the audiovisual data being captured, with a few exceptions. iRobot’s privacy policy notes that it collects audiovisual data only if an individual shares images via its mobile app. LG’s privacy policy for the camera- and AI-enabled Hom-Bot Turbo+ explains that its app collects audiovisual data, including “audio, electronic, visual, or similar information, such as profile photos, voice recordings, and video recordings.” And the privacy policy for Samsung’s Jet Bot AI+ Robot Vacuum with lidar and Powerbot R7070, both of which have cameras, will collect “information you store on your device, such as photos, contacts, text logs, touch interactions, settings, and calendar information” and “recordings of your voice when you use voice commands to control a Service or contact our Customer Service team.” Meanwhile, Roborock’s privacy policy makes no mention of audiovisual data, though company representatives tell MIT Technology Review that consumers in China have the option to share it.

iRobot cofounder Helen Greiner, who now runs a startup called Tertill that sells a garden-weeding robot, emphasizes that in collecting all this data, companies are not trying to violate their customers’ privacy. They’re just trying to build better products—or, in iRobot’s case, “make a better clean,” she says.

Still, even the best efforts of companies like iRobot clearly leave gaps in privacy protection. “It’s less like a maliciousness thing, but just incompetence,” says Giese, the IoT hacker. “Developers are not traditionally very good [at] security stuff.” Their attitude becomes “Try to get the functionality, and if the functionality is working, ship the product.”

“And then the scandals come out,” he adds.

Robot vacuums are just the beginning

The appetite for data will only increase in the years ahead. Vacuums are just a tiny subset of the connected devices that are proliferating across our lives, and the biggest names in robot vacuums—including iRobot, Samsung, Roborock, and Dyson—are vocal about ambitions much grander than automated floor cleaning. Robotics, including home robotics, has long been the real prize.

Consider how Mario Munich, then the senior vice president of technology at iRobot, explained the company’s goals back in 2018. In a presentation on the Roomba 980, the company’s first computer-vision vacuum, he showed images from the device’s vantage point—including one of a kitchen with a table, chairs, and stools—next to how they would be labeled and perceived by the robot’s algorithms. “The challenge is not with the vacuuming. The challenge is with the robot,” Munich explained. “We would like to know the environment so we can change the operation of the robot.”

This bigger mission is evident in what Scale’s data annotators were asked to label—not items on the floor that should be avoided (a feature that iRobot promotes), but items like “cabinet,” “kitchen countertop,” and “shelf,” which together help the Roomba J series device recognize the entire space in which it operates.

The companies making robot vacuums are already investing in other features and devices that will bring us closer to a robotics-enabled future. The latest Roombas can be voice controlled through Nest and Alexa, and they recognize over 80 different objects around the home. Meanwhile, Ecovacs’s Deebot X1 robot vacuum has integrated the company’s proprietary voice assistance, while Samsung is one of several companies developing “companion robots” to keep humans company. Miele, which sells the RX2 Scout Home Vision, has turned its focus toward other smart appliances, like its camera-enabled smart oven.

And if iRobot’s $1.7 billion acquisition by Amazon moves forward—pending approval by the FTC, which is considering the merger’s effect on competition in the smart-home marketplace—Roombas are likely to become even more integrated into Amazon’s vision for the always-on smart home of the future.

Perhaps unsurprisingly, public policy is starting to reflect the growing public concern with data privacy. From 2018 to 2022, there has been a marked increase in states considering and passing privacy protections, such as the California Consumer Privacy Act and the Illinois Biometric Information Privacy Act. At the federal level, the FTC is considering new rules to crack down on harmful commercial surveillance and lax data security practices—including those used in training data. In two cases, the FTC has taken action against the undisclosed use of customer data to train artificial intelligence, ultimately forcing the companies, Weight Watchers International and the photo app developer Everalbum, to delete both the data collected and the algorithms built from it.

Still, none of these piecemeal efforts address the growing data annotation market and its proliferation of companies based around the world or contracting with global gig workers, who operate with little oversight, often in countries with even fewer data protection laws.

When I spoke this summer to Greiner, she said that she personally was not worried about iRobot’s implications for privacy—though she understood why some people might feel differently. Ultimately, she framed privacy in terms of consumer choice: anyone with real concerns could simply not buy that device.

“Everybody needs to make their own privacy decisions,” she told me. “And I can tell you, overwhelmingly, people make the decision to have the features as long as they are delivered at a cost-effective price point.”

But not everyone agrees with this framework, in part because it is so challenging for consumers to make fully informed choices. Consent should be more than just “a piece of paper” to sign or a privacy policy to glance through, says Vitak, the University of Maryland information scientist.

True informed consent means “that the person fully understands the procedure, they fully understand the risks … how those risks will be mitigated, and … what their rights are,” she explains. But this rarely happens in a comprehensive way—especially when companies market adorable robot helpers promising clean floors at the click of a button.

Do you have more information about how companies collect data to train AI? Did you participate in data collection efforts by iRobot or other robot vacuum companies? We'd love to hear from you and will respect requests for anonymity. Please reach out at tips@technologyreview.com.

Additional research by Tammy Xu.

Correction: Electrolux is a Swedish company, not a Swiss company as originally written. Milagros Miceli was part of a research team that spoke to data labelers that had seen similar images from robot vacuums.

by Eileen Guo