Social Media Messed Up Our Kids. Now It Is Making Us Ungovernable.

Jonathan Haidt talks to Noema about “The Anxious Generation” and how technology is upending democracy.

InterviewDigital Society June 13, 2024

In a conversation with Noema editor-in-chief Nathan Gardels, the social psychologist Jonathan Haidt discusses the impact of social media on truth in politics, the mental health crisis of today’s youth, and what to do about it.

Nathan Gardels: For those who haven’t read your book, “The Anxious Generation,” can you summarize the main thesis?

Jonathan Haidt: It all begins with a mystery: Why is it that mental health statistics for American teenagers were pretty flat, with no sign of any problem, from the late ’90s through 2010 to 2011? That is true whether we look at depression, anxiety or self-harm. And then, all of a sudden, in 2012, it’s as though someone flipped a switch, and the girls began getting much more anxious, depressed and self-harming. It was true of boys too, but it’s not been so sudden. It was more gradual in the early 2010s.

We first discovered this on college campuses because the students who entered universities from 2014 to 2015 were very different from our stereotype of college students who want to have fun, who want to drink and party.

The students arriving in 2014 to 15 were much more anxious. And they were especially triggered by words or jokes, speakers or books. It was that observation that led Greg Lukianoff to propose the hypothesis that college is doing something to kids to make them think in this distorted way. That was the basis of our book “The Coddling of the American Mind.”

But now it’s becoming clearer that what we saw and wrote about in that book wasn’t just happening to college students, but actually to all teenagers born after 1995. And it was not only observable in the U.S., Britain and Canada but a lot of other countries as well. What happened? Why was it so sudden? So that’s the mystery.

Was it some chemical dropped in the water supply all over North America and Northern Europe, along with the South Pacific? Or was it the massive change in the technological environment of childhood in all these countries simultaneously? This seemed the obvious hypothesis.

So, the first chapter of “The Anxious Generation” discusses what actually happened to teen mental health. And then the rest of the book seeks to unravel the mystery. It’s not just about “social media is destroying everybody.” It’s a more subtle and interesting story about the transformation of childhood — a tragedy that occurred in three acts.

Act I, which I only hinted at in the book, was the loss of community. So, if you look at America, especially in the years just after World War II, social capital was very high. The best way to make people trust each other is to have someone attack them from the outside — come together, fight a war and win. Social capital was very high in the U.S. in the 1940s and 1950s, and then it begins to drop over succeeding decades for many reasons.

Robert Putnam talked about this in “Bowling Alone.” You have smaller family sizes; people retreat inside because now they have air conditioning and TV and they’re not out in the front yard socializing as much. So, for a lot of reasons, we begin to lose trust in each other. We begin to lose social capital. That’s Act I of the tragedy.

Because of that, Act II happens, which is when we take away play-based childhood. Children used to always play together. It didn’t matter if it was raining or snowing, if there was a crime wave or drunk drivers, kids went out to play. Like all mammals, we evolved to play, in order to wire up our relatively large brains.

But in the ’90s, we decided it was too dangerous for kids to be out and about. They’ll get kidnapped or sexually abused, we thought, because we no longer trusted our neighbors. So, we locked our kids up out of fear of each other. In other words, over protection. This is the coddling part.

Then, after losing strong communities and play-based childhoods, we’re ready for the third act in the tragedy: the massive, sudden transformation of childhood between 2010 and 2015 into a phone-based childhood.

In 2010, the vast majority of teens across the developed world had cell phones. But they were flip phones or basic phones, with no internet browser. All you could do with them is text and call. That was pretty much it aside from some games. It wasn’t for constant communication. And that’s good. Kids could text their friends and say, “Let’s meet up at 3 p.m.” It was a simple tool. There was very little high-speed internet then and no front-facing camera. There was Facebook, but no Instagram. That’s the way things were in 2010.

“All of a sudden, in 2012, it’s as though someone flipped a switch, and the girls began getting much more anxious, depressed and self-harming.”

In 2010, kids in the U.S. and other Anglo countries still had a recognizably human childhood. They would meet up in person, even if they now had less freedom to roam. By 2015, that all changed when about 80% of those kids had a smartphone with a front-facing camera and a bunch of social media apps. So now we have the selfie culture. Almost everyone now has high-speed internet and now everyone can display video.

In short, by 2015 we have what I call “the great rewiring of childhood.” And that’s why in 2012, which is the year, incidentally, that Facebook bought Instagram, when online life changed, especially for girls, who flocked onto Instagram. And it was right after that when we first noticed the widespread upsurge in anxiety, depression and self-harm.

Gardels: The main criticism of your thesis is that you are mistaking correlation for cause and being too technologically determinist. How do you respond to that?

Haidt: First of all, my story is not just about technology, it is sociological. It’s a cultural psychology story. It’s about the change of childhood and human development.

To those who argue these changes could have been caused by any number of factors, I say a couple of things. First, whatever other factor you might think was more determinative, did that happen in New Zealand and Iceland and Australia all at the same time? No one can identify such a factor. Nobody has proposed an alternative theory that works internationally.

Second, it is true that the data is mostly correlational. If you have 300 correlational studies and 25 experimental studies, I would say the data is mostly correlational. The scientific debate has been focused on a very, very narrow question: Do the hours spent on social media tell you anything about the level of mental illness, especially depression and anxiety? There’s a clear correlation in these studies.

But we also have experimental studies, which I cite in the book. I go into great detail about the difference between correlation and causation. Every week, every month, we have more experiments indicating the causality of anxiety-inducing technology.

There are so many causal pathways by which a phone-based childhood harms different kids in different ways. Let me just take the example of sextortion, a very common crime online. There are international sextortion gangs that display avatars of beautiful, sexy young women. An avatar flirts with a boy that she finds, usually on Instagram. And then she convinces him to swap nude images. Boom. Then the sextortionist reveals himself, not as a sexy girl but as a man who now has all the content he needs to ruin you: “I’m going to show this picture of you and your penis to everyone, because I have all your contacts, unless you pay me $500 in two hours.”

The boys panic, and some of them have killed themselves because of the shame. The FBI has identified 20 suicides that were direct results of sextortion, which means there are probably hundreds of cases they didn’t catch, and far more kids who were traumatized by the experience and the shame. Now, is that just a correlation? Would these boys have killed themselves anyway, even if they had not been sextorted? I don’t think so.

Gardels: What are the specific remedies you propose for parents to protect their kids?

Haidt: The key to the whole book is understanding collective action problems, which are sometimes referred to as “the tragedy of the commons,” where each person acting in their own interest ends up bringing about an outcome that’s bad for everyone. If you’re the only one who doesn’t put your sheep out to graze, if you’re the only one who doesn’t fish in the pond, you suffer while everyone else continues to do what they’re doing.

One of the main reasons that we all are giving our kids phones now at age nine or 10 — it gets younger all the time — is because the kid comes home from school and says, “Mom, everyone else has an iPhone, I have to have an iPhone, or I’ll be left out.”

This is a collective action problem because any parent who does the right thing and says, “No, you’re not going to get one until you’re mostly done with puberty,” is imposing a cost on their child. All over the developed world now, family life has devolved into a struggle over screen time and phones. This is terrible. So, the trick is to realize we’re in this problem because everybody else is in this problem.

“All over the developed world now, family life has devolved into a struggle over screen time and phones.”

We’re so deep into this that it is very hard for any family to get out of it by themselves. Some parents are tough and just say “no,” but the status environment doesn’t change for the kids.

What I’m trying to do with the book is to say, if we team up with a few other families, if a small group of parents can get the whole school or school district to say “no,” then they escape and we can change the situation very, very quickly.

What we need is the adoption of four norms that can break the back of the collective action problem.

One: No smartphone before high school. Just keep it out of middle school. Let the kids at least get through early puberty, which is the most sensitive period. You can give them a flip phone if you absolutely need to text. I understand the need to coordinate.

Two: No social media before the age of 16. Social media is entirely inappropriate for children, it cannot be made appropriate because what you’re basically doing is saying, “How about we let the entire world get in touch with you? Let’s let all the companies try to sell things to you, let men all over the world who want to have sex with you contact you, and try to trick you into sending photos.” There’s no way to make this safe. So just recognize that social media is a tool for adults. Eleven-year-olds don’t need to network with strangers.

Third: Schools need to be phone-free. Imagine that when I was a kid growing up in the ’70s, if we had been allowed to bring in our television sets and our radios along with all sorts of toys and games and put them on our desk and use them during class. That’s what teachers are facing today. Disgusted and frustrated that they can’t get through to students, teachers are quitting.

Also, global test scores have been dropping, since 2012. This did not begin with Covid. It began around 2012. The result is a massive destruction of human capital. So, it’s just kind of obvious. You can’t have kids have the greatest distraction device ever invented in their pockets while they’re in class. All kids must check their phones during the day. If others are texting, they have to be texting back. So, just lock up the phone in the morning to give it back at the end of the day.

Four: We need to restore a play-based childhood. Kids need more independence, free play and responsibility in the real world. If you’re going to roll back the phone and don’t restore play, a child can have no childhood. So, roll it back and instead, give them adventure and fun with other kids.

Us parents need to overcome our own fears and let our children learn how to play with each other. Kids playing in groups are very safe. That’s how they learn to get along. That’s how they’re going to resolve disputes in life.

If we do these four things I’m pretty confident that rates of mental illness will come down within two years. Experience so far shows that phone-free schools get great results within a month. In various childhood independence projects, you get results within a month. If any community does all four of these, I believe they’re going to see pretty big drops in depression, anxiety, self-harm and other problems in short order.

Gardels: Do you worry that more prosperous parents with the means and time to be attentive to their kids will follow your advice, while the less well-off, busy working two jobs with less time for their kids, won’t? That this will just create a greater gap in society?

Haidt: Yes, I do expect that it will begin this way, with the most educated and wealthy families. But I think it will spread quickly as parents begin to see and hear about the benefits. Also, I should note that the most educated families apply the most limits, whereas children in low socioeconomic status, single-parent, or Black or Hispanic families have one- to two- hours more screen time per day, so going phone-free will disproportionately help them.

Gardels: Implicit in your remarks is you don’t have any faith in the Instagrams or TikToks of the world to be able to regulate themselves so they do less harm?

“What we need is the adoption of four norms that can break the back of the collective action problem.”

Haidt: Right now, as long as you’re old enough to lie about your age, you can go to Pornhub. You can open 20 Instagram accounts, you can open TikTok accounts. The law says you have to be 13 to sign a contract with a company to give away your data without your parents’ knowledge. But the law is written in such a way that there’s no responsibility for the companies if they don’t know your real age. As long as they don’t know your real age, they can’t be held liable for serving you eating disorder content or sex and violence.

We’re talking about five to 10 companies here that own our children’s childhood. They have a lot more influence over our kids than we do in some ways. And they have no responsibility. They are literally protected from lawsuits by Section 230 of the Communications Decency Act, which shields them from liability for the content on their platforms.

This is a completely insane situation. And they’re making huge amounts of money. So no, I don’t expect them to do anything until they’re forced by legislation, or by enormous losses in court.

Gardels: Your book has obviously hit a chord with parents and with school authorities. Do you have any sense of how the TikTok crowd or kids themselves see it?

Haidt: When you survey kids who’ve been through this, it’s really hard to find members of Gen Z who are opposed to what I’m saying. In fact, I actually haven’t found any. They almost always say, “Yeah, you know, you’re right. This really messed us up. But, you know, what are you going to do? This is just the way things are, and I can’t quit because everyone else is on.” There’s just an extraordinary sense of fatalism. We don’t find any young people organizing to protect their rights to have these things. The older kids generally say, if we could get everyone off, we should do that.

Gardels: The Chinese cyberspace authorities have no qualms about imposing limits on social media. Here are the rules:

• Children under 8: Can only use smart devices for 40 minutes per day and can only consume content about “elementary education, hobbies and interests, and liberal arts education”
• Children aged 8 to 15: Can use their phone for no more than one hour per day
• Children aged 16 to 17: Can use a handset for a maximum of two hours per day
• Minor mode: Requires mobile devices, apps and app stores to have a built-in mode that would bar users under 18 from accessing the internet on mobile devices from 10 p.m. to 6 a.m.

Perhaps they will produce more mentally healthy kids?

Haidt: China is engaged in a battle with the United States for cultural and economic supremacy. Since our young people are giving away all of their available attention, there’s a good chance that they will be less creative and less productive. They don’t have any spare attention to actually do anything. I imagine that makes the Chinese government happy.

The worst single product for American children is TikTok. It sucks up more of their time, energy and attention than any other product. And it harms them. It doesn’t do anything good for them. TikTok has more influence over our kids than any other organization on the planet. So, there are many reasons to think that that is a danger not only to our kids, but to our country.

It seems the Chinese are doing the right thing by using their authoritarian system to reduce the damage to their own children.

Of course, authoritarian solutions are not right for us, but we can do similar things through democratic solutions, through community and civil society. One thing Tocqueville praised Americans about is that when something needs doing, say the townspeople need to build a bridge, they just do it. They don’t wait for the state like in France. They don’t wait for the King like in Britain. Americans come together as citizens, elect a leader, raise money and then they do it.

So, I’m hopeful that my book presents norms that we adopt ourselves, even if we never get any help from Congress or lawmakers. Doing it ourselves — in groups of parents organized around schools — is a very American solution to what I think is one of the largest problems facing America today.

“TikTok has more influence over our kids than any other organization on the planet.”

Gardels: To go back to the coddled generation argument. What do you make of all these kids in college today putting up barricades, occupying administration buildings protesting the war in Gaza?

Haidt: Most of the activism of the college kids has moved online. That tends to be very ineffective and creates a culture that is bad for activists. I put some research in the book showing that before 2010, being politically active was actually associated with better mental health. You were engaged, you were part of a group, you were energized. After 2010, activists, especially progressive activists, are the least happy people in the country. They are marinating in beliefs about oppressor versus victim and embracing the untruths of the coddled. That was certainly true until very recently.

Now it’s true these protests are in person. That’s at least better psychologically for them. They are physically present and interacting with others on campus.

Even so, I think there are signs that it’s different from previous generations. One is that the present protestors are expecting accommodation, often seeking not to be punished for missing classes and for delayed exams. In other words, they are expecting a low cost to themselves. In previous periods of activism, civil disobedience meant if you break the law, then you pay the consequences to show how committed you are to the cause.

To be sure, today’s actions are communal, which is always very exciting. It’s not as though Gen Z is incapable of acting in person; though, I would point out, it’s overwhelmingly at the elite schools that this is happening.

Gardels: One of the reasons that we have such a paralyzed and polarized society is that the public square has virtually disappeared. Until social media turbocharged fragmentation, there was a common space where competing ideas could be contested in the full gaze of the body politic.

As the philosopher Byung-Chul Han has observed, the peer-to-peer connectivity of social media redirects the flow of communication. Information is spread without forming a public sphere. It is produced in private spaces and distributed to private spaces. The web does not create a public.

The possibility of arriving at a governing consensus through negotiation and compromise is being shattered by a cacophony of niche propagandists egging on their own siloed tribe of the faithful to engage in an endless partisan battle. Indeed, Rene DiResta at Stanford calls the niche ideologues “the new media goliaths” who have supplanted mainstream platforms in terms of influence.

In short, the digital media ecosystem is disempowering the public sphere.

In this sense, social media is not only messing up our kids but undermining the basis of democratic discourse.

Do you agree with that?

Haidt: Absolutely. In an article for the Atlantic in 2019, I made the case, basically along the lines of Han, that massive changes in information flows and the way we connect people change the fundamental ground within which our democratic institutions are operating. And it’s quite possible that we are now so far outside the operating range of these institutions that they will fail.

I’m extremely alarmed about the future of this country. If you read Federalist #10, the Founding Fathers, who were excellent social psychologists, were very afraid of the passions of the people. They didn’t want us to have a direct democracy. They wanted cooling mechanisms of deliberation through reason. The system of governance they devised, with its checks and balances, is really like a complicated clock that they thought could last a very long time precisely because it was realistic about human frailties. And they were right.

Then all of a sudden in the later post-war era — first with television, then the internet and, especially, now peer-to-peer media, it is all going awry. With television, at least there were editors. Jonathan Rauch wrote an amazing book called “The Constitution of Knowledge,” both about the Constitution and how knowledge is constituted.

He discussed how we make knowledge in universities and science and medicine. But he also discussed the U.S. Constitution and how the community of knowledge makers are governed by certain rules and checks and balances. We developed editors, filters and other mechanisms to vet truth.

All that’s going away now. Or at least the institutions are so weakened as to be feeble. I’m very alarmed. And, at the same time, what’s replacing them are the sorts of peer-to-peer networks that you’re talking about.

“Until social media turbocharged fragmentation, there was a common space where competing ideas could be contested in the full gaze of the body politic.”

In the history of humanity, when you connect people, there could be disruptions. But in the long run, that’s good. It increases the flow of knowledge and increases creativity. You get more value when you connect people. So, the telephone was great, the postal system was great.

Social media is not like those earlier innovations. I think the best metaphor here is to imagine a public square in which people talk to each other. They debate ideas or put forth ideas that may not always be brilliant. They may not always be civil, but people can speak while others listen. Sometimes people are moved by persuasion or dissuasion.

I think the Founding Fathers assumed that’s about the best we can hope for. Imagine one day, and I’ll call it 2009, that all changes. There’s no more public square. Everything takes place in the center of the Roman Colosseum. The stands are full of people who are there to see blood. That’s what they came for. They don’t want to see the lion and the Christian making nice; they want the one to kill the other. That’s what Twitter is often like.

It all becomes performative and comes at a superfast pace. Just as television changed the way we are and made us into passive consumers, the central act in social media is posting, judging, criticizing and joining mobs. Donald Trump is the quintessential person who thrives in that environment. If not for Twitter, Trump never could have been president. So, when our politics moved into the Roman Colosseum, I think the Founding Fathers would have said, “Let’s just give up. There’s no way we can build a democracy in this environment.”

Gardels: Just as republics have historically created institutional checks and balances when too much power is concentrated in one place, so too don’t we need to foster checks and balances for an age when power is so distributed that the public sphere is disempowered?

What I have in mind are the citizens’ assemblies indicative of the public as a whole, which deliberate issues in a non-partisan environment and, outside the electoral sphere where partisans vie for power by any means necessary, are able to come to a consensus through pragmatic, common sense solutions?

Haidt: It’s possible to create these small artificial communities where you lock citizens away together for a week and have them discuss something. They work pretty well from what I know, and they come up with solutions. But it’s not clear to me how you could use that to run a country. The way people feel about let’s say, Donald Trump, has very little to do with some ascertainment of fact.

If you use the word power, then I’m a little bit confused. But I think I see what you’re getting at. If we change the word to authority, it is clearer to me. When I wrote “The Righteous Mind,” I was on the left then and really tried to understand conservatives. Reading conservative writings, especially Edmund Burke and Thomas Sowell, was really clarifying on the idea that we need institutions. We need religion, we need gods, even if it is not true. We need moral order and constraint.

The progressive impulse is to tear things down and make things new. The conservative impulse is to protect authority structures because we need them. Without them, we have chaos. Of course, there are times to tear things down. But I think during the 2010s everything has been torn down, to some extent. This is a time we need to build.

I am very concerned that there is no longer any source of authority. There is no trusted authority, there is no way to find consensus on truth. It seems that the truth-seeking mechanisms, including the courts, came up with the answer that the last presidential election in the U.S. was not stolen. But there’s no real way to spread that around to the large portion of society that believes that it was.

With AI coming in, the problem of the loss of authority is going to be magnified tenfold or even a hundredfold when anyone can create a video of anyone saying anything in that person’s voice. It’s going to be almost impossible to know what’s true. We’re in for a wild ride if we’re going to try to run a democratic republic with no real authority. My fear is that we will simply become ungovernable. I hope not, I hope we find a way to adapt to living in our world after the fall of the tower of Babel, the fall of common understandings and common language.

This interview was edited for brevity and clarity.

What is Corporate Memphis and Why is it Everywhere?

Sriya Choppara·April 5, 2021

If you’ve ever stepped foot in an Apple store, you’ve probably noticed the large, softly glowing graphic panels spanning every wall. You may recall Yukai Du’s vibrant and flat illustration from your last visit. Its candy-like color palette and the sharp silhouettes drawn with unusually rosy skin might have caught your eye. The art style used by Du, commonly seen while scrolling through Facebook or viewing the Google Doodle of the day, is not unfamiliar to you. This illustration style has been dubbed the corporate art style, or more pejoratively, ‘Corporate Memphis’.

Characterized by solid coloring, geometric shapes and cartoonish figures with disproportionately lanky limbs, Corporate Memphis has become increasingly ubiquitous since it was first popularized in 2017. While it debuted as a space-filler in social media, websites and SaaS (software as a service) products, the style can now be found as images accompanying website articles and on magazine covers. The style is well received by the majority of consumers and has become the go-to choice of illustration style in marketing and user interfaces. However, its omnipresence has spurred criticism for its apparent shift away from more intricate, detailed illustrations to what critics deem to be generic and uninspired.

The exact origins of Corporate Memphis are unclear. Some credit its creation to Alice Lee, an independent illustrator who partnered with Slack to design 40 illustrations for their website and platform. She has remarked that she was influenced by Mary Blair’s Disney concept art in the process of creating these warm and whimsical figures. Others credit BUCK, the design firm that created the style guide, illustration, and animation system called Alegria for Facebook’s ecosystem. Corporate Memphis is also said to be the illustrative analogy to the 80’s post-modernist design movement Memphis. Corporate Memphis’ geometric forms, along with its highly contrasted and bold color style are similar to that of Memphis furniture designs. Additionally, the way figures are warped in Corporate Memphis is reminiscent of how Memphis designers depict everyday objects in unusual ways.

Considering past trends in graphic design, the art style’s current ubiquity was inevitable. Take your phone’s interface, for instance. With every update, app icons have taken one step forward to a minimalistic, simplified, and flat look. The days of skeuomorphism are long gone. Big Tech companies have increased their demand for Corporate Memphis illustrations. Additionally, the progression to a minimalistic finish is evident in how several corporations have revamped and decluttered their previous busy and detailed logos.

There are several reasons why there is such mass appeal for simplified design, and why the Corporate Memphis style has flourished in particular. For one, the illustrations of people are often inclusive to the extent that some resemble anthropomorphic aliens. But no matter their appearance, people can see themselves in illustrated figures with skin as purple as a plum. The cheery color palettes and the characters reminiscent of childhood cartoons only add to their charm. The simple vector art has just the right amount of detail to please the eye while one swiftly skims through social media or lengthy policy updates.

Corporate Memphis is flamboyant. It’s spirited. It’s joyful. It’s most certainly prepossessing to the general public. But it’s exactly these elements that warrant greater scrutiny. Illustrations in the style, with its aggressively friendly expressions, portray a world that is uncannily utopian. The deliberate oversimplification in Corporate Memphis can give a false sense of security in situations where the opposite behavior should be observed. While it may not be obvious, the bubbly style can make consumers subconsciously lower their guard and lure them in. For instance, Corporate Memphis is often strategically placed in predatory subscription terms or privacy agreements. This smart marketing ploy for firms may have negative repercussions for users.

Other benefits that corporations receive from using Corporate Memphis are far less sinister. It is convenient for graphic designers to work in the style using vector art which makes illustrations easily scalable, animated, and replicated. Graphic designers are able to quickly alter designs according to the whims of their clients. The generic appearance also makes it simple for startups on a budget to use premade assets to accompany a wide variety of texts. Its homogeneous appearance lends to a sleek and professional look at a small price point. Not to mention, graphic designers don’t need a particularly high level of skill to create rudimentary assets in the style.

That isn’t to say that it’s impossible for illustrations in the Corporate Memphis style to be unique. While Corporate Memphis has very distinctive features that make art of its genre appear similar, it is wrong to say that it lacks creativity. Take Slack versus Facebook’s illustrations, for instance. The fluidity of lines, color palettes, proportions, textures, digital brush choice and methods of shading make a world of difference.

Editorial illustrations with elements of the style are evidence of how artists have put their own spin on it. Illustrator Jing Wei’s characters have consistently thick limbs, a rich color palette, and distinctive eye shape. Her experience in printmaking is clearly an influence on her commercial art. Illustrator Alex Eben Meyer uses colors so bright they seem to pop out of the screen and overlays shapes to mimic paper collages. While it is more likely that these illustrators drew with the intention of echoing Art Deco or Minimalism, the solid coloring and jointless limbs parallel Corporate Memphis’ key attributes.

So what is the future of Corporate Memphis? Despite criticism that it is generic, or even lazy, the decision of several companies to invest in and use it in their visual branding is a sign of its appreciation by the majority of its audience. While its appeal may come with questionable implications, it is also hard to argue against its radical inclusivity and how it allows many to easily project onto the cartoon-like figures. It is important to consider it a warning sign when it accompanies consequential texts like terms and conditions, but I appreciate its style and love to see how different artists put their own spin on it. In the light of its pervasiveness, I am keen to believe many are fond of it too. Whether its influence is seen in accompaniments to editorials or fillers to bedeck empty space, Corporate Memphis’ sweeping popularity will not disappear anytime soon.

California man's business is frustrating telemarketing scammers with chatbots

Will you choose Salty Sally or Whitey Whitebeard? It doesn't matter; they're both intolerable

Richard Currie Mon 3 Jul 2023 16:23 UTC

Every week there seems to be another cynical implementation of AI that devalues the human experience so it is with a breath of fresh air that we report on a bedroom venture that uses GPT-4 technology to frustrate telemarketers.

"Fight back against annoying telemarketers and evil scammers!" the Jolly Roger Telephone Company rails on its website. "Our robots talk to telemarketers so humans don't have to!"

While no one can put a price on slamming the phone down on a call center worker, some among us might get a perverse joy out of listening to them squirm under the non sequiturs of AI. And it seems to be working for Jolly Roger, which has thousands of customers subscribed for $23.80 a year.

The company has a number of bots at its disposal all with unique voices and quirks that makes them utterly infuriating to speak to from the original Jolly Roger, based on the voice of Californian founder Roger Anderson, to distracted mother Salty Sally, who keeps wanting to talk about a talent show she won, to feisty senior citizen Whitey Whitebeard and more. Samples of toe-curling conversations are all over Jolly Roger's website.

"Oh jeez, hang on, there's a bee on me, hang on," Jolly Roger tells one scammer. "There's a bee on my arm. OK, you know what? You keep talking, I'm not gonna talk, though. You keep talking, say that part again, and I'm just gonna stay quiet because of the bee."

Sprinkle in gratuitous salvos of "Suuuure" and "Mhm" and "Sorry, I was having trouble concentrating because you're EXACTLY like somebody I went to high school with so, sorry, say that part again." Five minutes later you have a cold caller pulling their hair out and hanging up.

Customers provide the phone numbers they want to protect and the subscription activates immediately. Users login to the website where they can set up whichever bot or bots they want to employ. Then, when a telemarketer calls, the user is able to merge the call with a specified or random bot. The customer can then listen to the fruits of their labor in Jolly Roger's "Pirate Porthole."

YouTubers like Kitboga have made a name for themselves by infuriating and hacking computer-based scammers in real time while they try to swindle him over the telephone, but now regular folk can do similar without having to lift a finger.

At a time when AI grifters are trying to convince the gullible to flood the ebook market with ChatGPT-generated joke books, it is heartening to see something related that is both funny and actually effective.

Thousands chatted with this AI ‘virtual girlfriend.’ Then things got even weirder

By Brian Contreras Staff Writer June 27, 2023 5:30 AM PT

Last month, Caryn Marjorie went from a successful but niche social media star to a person of national interest: the subject of attention-grabbing headlines and, for many commentators, a template upon which to project their anxieties about rapidly advancing artificial intelligence.

The cause of the furor was a partnership Marjorie, 23, had launched with a technology startup promising to make a personalized AI “clone” of the Scottsdale, Ariz.-based lifestyle influencer. For a dollar a minute, fans she might never have otherwise had the time to meet could instead chat with Marjorie’s digital double.

CarynAI, as the audio chatbot has been dubbed, is explicitly framed as a romantic companion — one that aims to “cure loneliness” with software that supposedly incorporates aspects of cognitive behavioral therapy into its conversations. Marjorie said her fans have used the program to ask for life advice and roleplay a sunset date to the beach.

Marjorie was at one point tracking her subscriber growth in tweets about how many new “boyfriends” she had. “They feel like they’re finally getting to know me, even though they’re fully aware that it’s an AI,” she told The Times.

i have over 20,000 boyfriends now 💗

— Caryn Marjorie (@cutiecaryn) May 20, 2023

This HAL 9000 version of pillow talk has, predictably, triggered a backlash. Critics branded CarynAI as alternately demeaning women, enabling antisocial straight-male behavior or signaling impending societal collapse. Coming amid a period of uncertainty about what AI means for jobs, relationships and cultural institutions, Marjorie’s move toward self-automation seemed to perfectly encapsulate an increasingly bizarre present.

“We’re talking about an AI system [where] theoretically the goal is to keep people on as long as possible so that you continue earning money,” said Amy Webb, chief executive of the consulting firm Future Today Institute. “Which means that it’s likely going to start incentivizing behavior that we probably would not want in the real world.”

Webb suggested as an example a bot that’s too obedient — listening passively, for instance, as a user describes disturbing fantasies. Marjorie has addressed similar dynamics before (“If you are rude to CarynAI, it will dump you,” she tweeted at one point), but when asked about Webb’s perspective she instead emphasized her own concerns about addiction.

“I have seen my fans spend thousands of dollars in a matter of days chatting with CarynAI,” Marjorie said; one fan, at the bot’s encouragement, built a shrine-like photo wall of her. “This is why we have limited CarynAI to only accepting 500 new users in per day.”

As AI comes to play a growing role in the economy, and especially creative industries, the questions prompted by CarynAI will only become more widespread.

But Marjorie isn’t placing all her chips on the technology just yet. Within weeks of announcing her AI clone, she launched a second partnership with a different tech company. This one too would let fans talk with her, but instead it would be Marjorie herself on the other side of the screen.

She struck a deal with Fanfix, a Beverly Hills-based platform that helps social media creators put their premium content behind a paywall, and started using its messaging tools to chat directly with customers.

The result is essentially a two-tier business model where lonely guys looking for a 3 a.m. chat session can talk with Marjorie’s machine mimic, while die-hard fans willing to shell out a bit more can pay for the genuine article.

That within the span of a few weeks Marjorie launched two different, seemingly contradictory business ventures — both aimed at turning fan conversations into money — speaks to a central question of an AI-obsessed moment: With robots increasingly entangled in creative industries, what work should be asked of them and what should be left to us?

Marjorie’s hybrid model offers a preview of one possible path forward.

Users pay a minimum of $5 to send her a message on Fanfix, said co-founder Harry Gestetner. That pricing difference — $5 for one human-to-human text versus $1 for a minute of the AI voice-chatting — signals an approach to automation in which workers use machine learning not as a wholesale replacement but as a lower-end alternative for more frugal customers. (Think of an artisanal farmers market cheese versus a machine-made Kraft Single.)

“Messaging directly with a fan on Fanfix will always be a premium experience,” Gestetner said. “It’s important to view AI as the co-pilot, not the pilot.”

(According to Fanfix, Marjorie is making $10,000 a day after soft-launching on the platform and is projected to hit $5 to $10 million in total earnings by the end of the year.)

John Meyer, founder of Forever Voices, the Austin software company that developed Marjorie’s AI simulacrum, is naturally a bit more bullish on the benefits of punting fan interactions to the computer. In some cases, Meyer said, the bots can be more eloquent than the influencers they’re meant to replicate.

“One of the first feelings it brings up is the idea of, like, ‘Wow, should I be threatened by my own AI copy?’” Meyer said.

He lost his father when he was in his early 20s, and started working on the Forever Voices technology late last year as a means of reconnecting. After developing a voice replica of his dad — which he describes as “very realistic and healing” — Meyer expanded into voice clones of various celebrities and, more recently, web personalities. (One of the biggest names in online livestreaming, Kaitlyn “Amouranth” Siragusa, just signed up.)

The company has been inundated with requests from thousands of other influencers asking for their own AI clones, according to Meyer. “We really see this as a way to allow fans of influencers to connect with their favorite person in a really deep way: learn about them, grow with them and have memorable experiences with them,” he said.

The high demand is in part because maintaining a substantial online following can involve a lot of work — not all of it particularly interesting.

“On a daily basis, I see anywhere from 100,000 to half a million messages on Snapchat,” Marjorie said, explaining the workload that led her to embrace CarynAI. (She has 2 million followers on the messaging app; according to a recent Washington Post article, 98% of them are men.)

She added: “I see AI as a tool, and it’s a tool that helps creators create better content.”

Some of her industry peers are skeptical, however, including Valeria Fridegotto, a TikToker with 20,000 followers.

Fridegotto hasn’t written off the technology completely, though. Software that could lessen the workload of fan interaction would be great, she said, but the examples she’s seen released so far don’t seem lifelike enough to run without supervision. There still are too many errors and non sequiturs — what AI experts call “hallucinations.”

“It has to be developed to the point where we are very confident that this technology is going to act as good as us, or better,” Fridegotto said.

As the market floods with imitators, some influencers may even discover renewed demand for “old-school” human-made content.

“People will start leaning more heavily into authentic, personality-driven content,” said Jesse Shemen, the chief executive of Papercup, a startup that uses AI to automatically dub videos. “In the same way how there’s this fascination and big following behind organic food … I think we’ll see the same thing when it comes to content.”

There is a place for automation on social media, Shemen added, especially for people churning out loads of content on a short timeline — news reaction videos, for instance. But, he predicted, there will be a limited market for digital clones such as Marjorie’s.

Still, a space as frothy as AI is hard to ignore. Even Fanfix, the company helping (the real) Marjorie talk to her super fans, is interested. The company’s founders say they’re actively looking at how AI could help influencers.

Although the influencer economy still needs actual humans, the limits of what AI can do are receding, and many web personalities are getting more and more interested in using the technology to automate at least some of their workload.

Such questions are not confined to social media. Artificial intelligence is being rolled out across creative industries, with media outlets such as Buzzfeed incorporating it into their publications and film studios leveraging it for postproduction work. AI-based screenwriting has emerged as a key concern in the ongoing Writers Guild of America strike.

But social media is uniquely personality-driven, making the sector’s relationship with AI particularly fraught. The value of web personalities depends on their ability to win trust and affinity from their followers. That connection can be so powerful that some experts refer to it as a “parasocial relationship” — a strong but ultimately one-sided devotion to a public figure.

It’s a tricky dynamic to navigate, and one Marjorie finds herself in the midst of.

“In the world of AI, authenticity is more important than ever,” the influencer tweeted last month. “My tweets, [direct messages], direct replies, Snaps, stories and posts will always be me.”

CarynAI, she added, will be an “extension” of her consciousness; it “will never replace me.”

Par-delà le like et la colère.

Olivier Ertzscheid 21 mars 2022

Industries de l'aliénation.

Il ne fait aujourd'hui aucun doute que l'industrie du tabac fut toujours consciente de la dangerosité des produits qu'elle écoulait. Comme il ne fait aucun doute que cette même industrie, de la campagne publicitaire des "flambeaux de la liberté" dans les années 1930 jusqu'à celles du Cowboy Marlboro dans les années 1980, fit toujours passer pour un vecteur d'émancipation ce qui était à la fois un poison et un vecteur d'aliénation.

Il ne fait aujourd'hui aucun doute que l'industrie pétrolière fut toujours parfaitement consciente des effets délétères de son extractivisme forcené sur le climat et qu'elle chercha là aussi constamment à en nier les effets en jouant à la fois de lobbying politique, de désinformation médiatique et de corruption financière.

Dans une dizaine d'années, et peut-être même avant cela au rythme actuel des scandales qui se succèdent, il ne fera absolument aucun doute que les grandes firmes technologiques de "médias sociaux" étaient également parfaitement conscientes des effets délétères de leurs "services" sur la démocratie, et qu'elles ont toujours rivalisé d'un cynisme aveugle et mortifère pour présenter comme des outils d'émancipation ce qu'elles organisaient pour répondre uniquement à logiques d'aliénation servant un modèle économique lui-même tout à fait insoutenable sans sa part maudite ; part maudite qui repose sur des captations de valeurs et de données aussi indues que disproportionnées à l'échelle de l'efficience du déploiement des services proposés.

Depuis son annus horribilis de 2018 (scandale Cambridge Analytica, piratage et fuite massive de données personnelles, recours à une agence de RP aux pratiques mafieuses, etc.) les polémiques et scandales ne cessent de s'enchaîner et la vie du PDG de Facebook est rythmée de sommations à comparaître et à s'expliquer devant les assemblées élues de tout un ensemble de pays, à commencer par le sien.

Les dernières révélations en date sont celles de la lanceuse d'alerte Frances Haugen qui démontre et documente plusieurs faits. D'une part le régime à la fois arbitraire et discrétionnaire qui, selon que vous serez puissants (grand compte à forte notoriété) ou misérable, vous dispensera de certaines règles s'appliquant dans le cadre des CGU de la firme en termes de modération. Ensuite, que la polarisation tellement reprochée à la firme est consciente et instrumentale, et non le résultat d'un algorithme souvent commodément présenté comme une sorte causalité autonome. En effet si les discours polarisant l'opinion, si les avis clivants, si les discours capables de déclencher un sentiment de colère, d'indignation et parfois de haine sont tellement présents sur la plateforme, c'est parce qu'elle a choisi, choisi, d'affecter aux 6 émoticônes (inspirées des 6 émotions fondamentales de Paul Ekman) des valeurs différentes : la colère vaut ainsi 5 "points" alors que le like n'en vaut qu'un seul.

Frances Haugen montre également que la firme concentre ses efforts de modération (algorithmique et humaine) principalement sur les USA, dans une bien moindre mesure sur l'Europe, et qu'elle néglige en quantité (de modérateurs) comme en qualité (linguistique) tout un tas de pays où le réseau social est pourtant très fortement implanté et qui sont pour beaucoup dans des situations de quasi guerre civile ou bien aux mains de gouvernements a minima très autoritaires. Dans ce cadre là, l'explosion des discours de haine contre des minorités (religieuses, ethniques, sexuelles) occasionne bien plus que de simples troubles à l'ordre public. Il est également question de l'impact d'Instagram sur la santé mentale de jeunes gens fragiles et présentant des troubles de l'alimentation.

Par-delà le like et la colère.

Ce que montre Frances Haugen ce ne sont pas "juste" ces faits mais c'est le fait que la plateforme savait. C'est que Facebook, par exemple sur les questions de modération, non seulement avait délibérément mis en place ces régimes arbitraires et discrétionnaires mais mentait à chaque fois qu'on l'interrogeait sur ce sujet. C'est que démontre Frances Haugen c'est le fait que tout cela, toutes ces incidences délétères et parfois mortifères ou criminogènes sur les discours publics et les expressions privées, ne sont pas le fait d'un algorithme devenu fou ou d'une intelligence artificielle hors de contrôle, mais le résultat des choix consciemment effectués par la plateforme et ses ingénieurs pour maximiser sa rentabilité économique au détriment de tout le reste. Ce que démontre enfin Frances Haugen c'est que même lorsque des employés de la firme faisaient remonter l'évidence de ces problèmes et les solutions pour les traiter ou les corriger, Zuckerberg refusait de les mettre en place.

Mensonge, cynisme et dissimulation, voilà l'envers de la devise de la firme dans les années de sa pleine expansion : "Move fast and break things." Le mouvement fut en effet rapide. Et beaucoup de choses se brisèrent.

Touché … coulé ?

On ignore si Facebook se relèvera de tous ces scandales accumulés mais on peut le supposer. D'autres firmes monopolistiques ou oligopolistiques ont déjà fait face à de semblables crises réputationnelles et s'en sont à chaque fois remises, de Microsoft à Google en passant par Amazon ou même Apple pour ne citer que les autres GAFAM. Les résultats financiers continuent d'être présentés à la hausse, y compris ceux qui ont suivi les révélations de Frances Haugen, et l'on n'observe pas de fuite ou d'exode massif ou même significatif des utilisateurs de la plateforme. Dès lors pourquoi changer quand il suffit de faire le dos rond, de laisser passer l'orage, et d'accepter de se présenter avec la mine contrite lors d'auditions devant les élus des nations tout en jurant que l'on va s'efforcer de corriger tout cela en ajoutant encore plus "d'intelligence artificielle et d'algorithmes" alors que le problème ne vient ni de l'intelligence artificielle ni des algorithmes qui ne commettent que les erreurs ou les fautes permises par leur programmation initiale ; programmation initiale que l'on établit pour qu'elle remplisse les objectifs de rentabilité attentionnelle et interactionnelle qui permettent à la firme de faire tourner sa machine à cash, avec le plus parfait mépris pour l'équilibre du débat public.

Comme pour les révélations de Frances Haugen, à chaque fois que la démonstration est faite des problèmes posés par l'automatisation sur la plateforme au travers de ses algorithmes ou de ses technologies "d'intelligence artificielle", Zuckerberg se borne à répondre qu'il a compris, parfois qu'il est désolé, et qu'il va donc … rajouter des algorithmes et de l'intelligence artificielle.

Pourtant, beaucoup de solutions qui paraissaient hier encore totalement farfelues sont aujourd'hui installées dans le champ du débat public et politique pour régler ces problèmes : une nationalisation (qui est l'occasion de rappeler que toutes ces sociétés reposent sur un essentiel de technologies et d'infrastructures publiques), un démantèlement au nom des lois antitrust, et des régulations coordonnées (en Europe notamment) bien plus coercitives – Mark Zuckerberg réclamant lui-même aux états davantage de régulation … d'internet.

Mais rien ne sera possible ou résolu tant que trois points, encore plus essentiels, ne seront pas définitivement réglés. Ces trois points, les voici.

Ouvrir, ralentir, et vérifier.

D'abord il faut ouvrir, il faut mettre en délibéré public, la partie du code algorithmique qui relève de logiques d'éditorialisation classiques. Et cela peut être fait sans jamais porter atteinte au secret commercial ou industriel de la firme. On sait ainsi, quel est le principe clé de l'algorithme principal du moteur de recherche Google (le Pagerank dont la formule est exposée dans l'article "The Anatomy of a Large-Scale Hypertextual Web Search Engine" publié en 1998 par les deux fondateurs du moteur de recherche). Il est anormal et inquiétant qu'il soit à ce point difficile et souvent impossible de faire de la rétro-ingénierie sur la manière dont fonctionne le média social qui conditionne pour partie les sociabilités et l'accès à l'information de 2,8 milliards d'êtres humains. Pour prendre une image dans une autre industrie, si personne ne connaît la recette précise du Coca-Cola, chacun sait aujourd'hui quelle est la teneur en sucres de cette boisson grâce à des analyses indépendantes (personne n'imagine que seule la firme Coca-Cola pourrait nous fournir sa teneur en sucre et que nous soyons contraints de la croire … sur parole). La teneur en sucre du Coca-Cola c'est un peu la part donnée à la colère sur Facebook : il est tout à fait anormal et dangereux qu'il faille attendre la fuite de documents internes par une lanceuse d'alerte pour découvrir que la colère vaut 5 points et que les autres émotions valent moins. Et il ne s'agit là que d'un tout petit exemple des enjeux éditoriaux qui fondent l'architecture algorithmique de la firme.

Et il faut que cette mise en délibéré se fasse auprès de tiers de confiance (des instances de régulation indépendantes) dont aucun des membres ne peut ni ne doit dépendre de Facebook de quelque manière que ce soit, ni bien sûr être choisi par la firme elle-même comme c'est actuellement le cas du pseudo "conseil de surveillance" (Oversight Board) créé par Facebook en 2018.

Ensuite il faut casser les chaînes de contamination virales qui sont à l'origine de l'essentiel des problèmes de harcèlement, de désinformation, et des discours de haine dans leur globalité. Et là encore le cynisme des plateformes est aussi évident que documenté puisqu'elles ont elles-mêmes fait la démonstration, et à plusieurs reprises, que si par exemple elles diminuaient le nombre de personnes que l'on peut inviter par défaut dans les groupes Whatsapp ou le nombre de conversations et de groupes vers lesquels on peut automatiquement transférer des messages, elles diminuaient aussi considérablement la vitesse de circulation des fake news, notamment en période électorale ; que si elles supprimaient la visibilité de nombre de likes ou de réactions diverses sur un post (et que seul le créateur du post était en mesure de les voir), elles jouaient alors sur les effets souvent délétères de conformité (et de pression) sociale et qu'elles permettaient d'aller vers des logiques de partage bien plus vertueuses car essentiellement qualitatives et non plus uniquement quantitatives ; que si elles se contentaient de demander aux gens s'ils avaient bien lu l'article qu'ils s'apprêtaient à partager avant que de le faire sous le coup de l'émotion, elles diminuaient là encore la circulation de fausses informations de manière tout à fait significative. Il y a encore quelques jours, c'était Youtube qui annonçait supprimer l'affichage public du compteur des "dislikes" pour "protéger" les créateurs notamment de formes de harcèlement, un effet qu'il connaît et documente pourtant depuis déjà de longues années.

Enfin il faut que des chercheurs publics indépendants puissent avoir accès et travailler sans entrave sur les mécanismes de circulation des données et des informations au sein de la plateforme. En Août 2021, Facebook décidait, au nom de la protection de la vie privée (sic), de couper l'accès à ses données à une équipe de chercheurs de l'université de New-York qui travaillait sur le problème des publicités politiques sur la plateforme pour comprendre et documenter qui payait pour leur diffusion mais surtout (ce que Facebook a toujours refusé de rendre public) sur quels critères les personnes visées par ces publicités étaient choisies. Il n'existe absolument aucune étude scientifique indépendante (c'est à dire dont aucun des auteurs ne soit affilié ou directement salarié de Facebook), établie à partir des données anonymisées et/ou randomisées de la firme, sur le coeur du fonctionnement d'un média qui touche mensuellement près de 2,8 milliards d'êtres humains … Ce qui constitue à la fois une aberration démocratique évidente et peut-être le premier de tous les scandales qui touchent cette firme.

Reprenons et résumons.

Il faut ouvrir et mettre en délibéré public la partie du code algorithmique qui relève de logiques d'éditorialisation classiques pour permettre et surtout pour garantir une forme vitale d'intégrité civique.

Il faut casser les chaînes de contamination virales qui sont à l'origine de l'essentiel des problèmes de harcèlement, de désinformation, et des discours de haine dans leur globalité. C'est la seule manière de limiter l'impact des interactions et engagements artificiels, toxiques et non nécessaires.

Il faut permettre à des chercheurs publics indépendants de pouvoir travailler sans entrave sur les mécanismes de circulation des données et des informations au sein de la plateforme. C'est tout simplement une question d'éthique, notamment sur les enjeux des mécanismes et des technologies d'intelligence artificielle qui structurent cette firme.

Intégrité civique ? Tiens donc, c'est aussi le nom de l'équipe de Facebook dont était membre … Frances Haugen. "Civic integrity"

Engagements artificiels et toxiques ? Tiens donc, c'est aussi le nom de l'équipe de Facebook dont était membre Sophie Zhang avant de se faire licencier pour avoir découvert que des réseaux de manipulation politique abusive et de harcèlement de partis d'opposition utilisaient Facebook de manière coordonnée dans une trentaine de pays, et pour avoir voulu rendre cette information publique. "Fake Engagement".

Éthique et intelligence artificielle ? Tiens donc, c'est aussi le nom de l'équipe de Google dont était membre Timnit Gebru avant de se faire licencier suite à la publication d'un article de recherche où elle démontrait les biais sexistes et racistes présents au coeur des technologies du moteur de recherche. "Ethics in Artificial Intelligence".

Pour savoir ce qui dysfonctionne réellement dans les GAFAM et comment le régler, il suffit de regarder les noms des équipes de recherche d'où sont issues les lanceuses d'alerte récemment licenciées par ces firmes.

One More Thing.

Quelle est vraiment la nature de Facebook qui lui permet d'occuper la préoccupante place qui est la sienne aujourd'hui ? Dans Les Chants de Maldoror, Isidore Ducasse Comte de Lautréamont, parlait d'un jeune homme de 16 ans et 4 mois qui était "beau (…) comme la rencontre fortuite sur une table de dissection d'une machine à coudre et d'un parapluie." Alors que sa plateforme avait exactement le même âge, Zuckerberg déclarait en Février 2020 : "Treat us like something between a Telco and a Newspaper." (traitez-nous comme quelque chose entre un opérateur télécom et un titre de presse).

Facebook c'est aussi cette table de dissection de nos humeurs et de nos comportements, cette rencontre fortuite de la machine à coudre des interactions qui nous tiennent ensemble et nous retiennent isolément, et un parapluie qui nous abrite parfois et nous isole souvent, nous empêchant de voir. Et à force de n'être ni tout à fait un opérateur télécom ni pleinement un titre de presse, Facebook se voudrait finalement insaisissable et donc échappant à la régulation commerciale des premiers comme au respect de la déontologie professionnelle des seconds.

Bien sûr, à lui seul Facebook ne résume ni ne borne l'ensemble des problèmes (ou des solutions) auxquels doivent aujourd'hui faire face nos démocraties. Mais il est une expérience sociale tout à fait inédite portant actuellement sur plus de la moitié de l'humanité connectée. Inédite par le nombre mais inédite également et peut-être essentiellement par le statut de cette expérience menée à la fois in vivo – puisqu'il n'existe aucune forme d'étanchéité entre ce qui se passe et ce dit sur Facebook et en dehors – mais aussi in vitro, puisque chaque message, chaque interaction et chacune de nos données participent à des formes de contrôle structurel qu'elles alimentent en retour et qu'il est à tout moment possible, pour la firme et pour la firme seulement, de les isoler de leur environnement habituel comme autant de composants d'un organisme social ou particulier, à des fins d'analyse et de monétisation. Une expérience sociale à l'image du Cyberespace de Gibson : "une hallucination consensuelle vécue quotidiennement en toute légalité par des dizaines de millions d'opérateurs, dans tous les pays."

C'est cette expérience sociale autant que cette hallucination consensuelle qu'il importe de pouvoir toujours et en tous temps garder sous le contrôle d'une expertise et d'une supervision publique indépendante.

[Disclaimer : cet article "de commande" a été publié il y a un peu plus de 3 mois – 6 Décembre 2021 – dans le magazine AOC Media. Il a donné lieu à une rémunération de son auteur (moi) en échange du maintien d'un "embargo" de 3 mois tout en sachant qu'il était, dès sa publication sur AOC Media accessible gratuitement en échange du dépôt de son adresse mail (dépôt ouvrant droit à 3 articles gratuits par mois).

Gérard Berry : « L’ordinateur est complètement con »

« Fondamentalement, l’ordinateur et l’homme sont les deux opposés les plus intégraux qui existent. » Entretien avec Gérard Berry, informaticien et professeur au Collège de France, médaille d’or 2014 du CNRS.

Par Xavier de La Porte - Publié le 21 novembre 2016 à 12h28 & Mis à jour le Mis à jour le 26 août 2016 à 13h51

Nous avons puisé dans notre collection de grands entretiens pour vous concocter un week-end de réflexion sur les enjeux du numérique, histoire de bien attaquer cette nouvelle année scolaire. Pour encourager les travaux sur ces sujets, Rue89 lance d'ailleurs avec le Fabernovel Institute les Prix des Talents de la recherche. Ce concours, ouvert jusqu'au 27 septembre, s'adresse aux jeunes chercheurs. A la clé : 5 000 euros de prix. Mathieu Deslandes

Gérard Berry est un des plus grands informaticiens français. Ancien élève de Polytechnique, il est professeur au Collège de France, membre de l’Académie des sciences et de l’Académie des technologies.

Et Gérard Berry s’intéresse à des choses qui nous intéressent : le bug, la sécurité informatique, l’art de la programmation. Surtout, il a la grande qualité de parler simplement de problèmes compliqués.

Il a reçu la médaille d’or 2014 du CNRS, qui récompense chaque année un chercheur, toute discipline confondue. Il est très rare qu’un informaticien soit primé. L’occasion d’une conversation sur l’état de l’informatique, de nos relations à l’ordinateur, de ce qui a échoué et de ce qu’il faut espérer.

Rue89 : Vous avez commencé l’informatique à la fin des années 60. Qu’est-ce qui, dans ce qui se passe aujourd’hui, vous semble le plus étonnant par rapport à ce que vous imaginiez à l’époque ?

Gérard Berry : Je ne suis pas étonné. J’ai toujours pensé que ça se passerait comme ça. Peut-être parce que, déjà à l’époque, mon opinion sur ces questions n’était pas très classique. Alors que tout le monde en France s’intéressait à la matière et à l’énergie, je pensais que l’information était un truc complètement génial.

Par exemple, j’étais fasciné par le petit bouton rouge de la bombe atomique. Je me disais : « Quand quelqu’un appuie sur ce bouton, il y a un seul bit d’information qui passe et la Terre peut sauter, c’est pas mal comme levier. »

L’information, c’est extraordinairement puissant et complètement uniforme, c’est léger, ça se fout du support. Qu’elle soit sur un disque, une clé USB ou autre, l’information est la même. Par ailleurs, elle se reproduit instantanément.

Je trouvais ces pouvoirs extraordinaires. Je me disais que tout ça allait littéralement exploser quand on allait s’en rendre compte.

Mais vous pourriez être étonné par des choses plus concrètes : la miniaturisation, l’informatique qui se diffuse dans des secteurs où l’on ne l’attendait pas...

Ben non, la miniaturisation est une question qui a été connue très tôt. La loi de Moore date de 1965. Elle n’a jamais été démentie depuis. Ça fait juste 40 ans que ça dure...

Mais il y a quand même eu un vrai déclic. Petit, j’étais fasciné par les dessins animés où Mickey peignait d’un seul coup de pinceau un damier noir et blanc sur son mur. En physique, c’est le comble de l’impossible. Et tout à coup, en 1984, sort le premier Mac, avec MacPaint, qui permet de faire exactement ça sur son écran. Là, je me suis dit : « Ça y est, l’informatique est née et c’est “no limits”. »

Et si on inversait la question : vous n’avez pas de déception ?

Non, parce que j’étais certain qu’il allait se passer une très grande révolution mais je n’avais pas d’attente précise. Je pensais bien qu’il y aurait de l’imprévu. Et c’est ce qui est arrivé.

En 1995, j’ai habité un moment donné à Palo Alto chez un copain qui s’appelait Louis Monier. Son projet chez Digital Equipment avait été arrêté, et pendant les vacances, avec d’autres copains, il avait décidé de fabriquer AltaVista, qui est devenu le premier moteur de recherche. Je lui disais : « Ça sert à quoi ton truc ? C’est complètement inutile. » Bon...

Je peux dire que le moteur de recherche, après le damier, a été la plus grosse surprise.

Pourquoi est-si surprenant le moteur de recherche ?

Parce que ça fait des choses que les hommes sont incapables de faire. C’est ce qui m’a toujours plu dans l’informatique.

Rechercher dans des milliards de fichiers en un temps négligeable, l’homme ne peut pas le faire. Un moteur de recherche, c’était quelque chose d’impossible, c’était même impossible d’en avoir l’idée. En informatique, très souvent, ce n’est pas la réalisation qui est le plus dur, c’est l’idée.

Et du même coup, on a complètement oublié comment on faisait pour travailler avant les moteurs de recherche. C’est une autre question passionnante : la transition entre les générations. Ça me rappelle l’histoire de cette gamine de 10 ans qui demande à sa mère :

« Mais maman, je ne comprends pas. Tu m’as dit que quand tu étais petite, tu n’avais pas d’ordinateur, comment est-ce que tu faisais pour aller sur Internet ? »

La petite fille n’imagine pas un monde sans Internet. Internet, pour elle, c’est comme l’herbe ou l’arbre, ça fait partie du monde.

Je n’ai jamais été déçu par l’informatique. J’ai été déçu par les gens, par l’absence complète de compréhension de ce qui se passait dans notre pays. Mais ce qui se passe, c’est cool.

Vous dites : « Ça permet à l’homme de faire des choses qu’il est incapable de faire. » Sans doute. Mais en même temps, on a connu des déceptions sur la capacité de l’ordinateur à faire des choses que les hommes font assez facilement. C’est tous les errements de ce qu’on appelle l’intelligence artificielle.

Je n’ai jamais été déçu par l’intelligence artificielle parce que je n’ai pas cru une seule seconde en l’intelligence artificielle. Jamais.

Je n’ai jamais cru que les robots pourraient faire des actions intelligentes. On dit : « Mais l’ordinateur sait jouer aux échecs. » Oui, ça prouve que les échecs sont un jeu facile, c’est tout. C’est dur pour les hommes, mais ce n’est pas dur en soi. Un homme ne sait pas faire une addition. En revanche, il sait composer de la musique.

Et est-ce qu’aujourd’hui, vous changez d’avis en voyant les progrès de ces dernières années en intelligence artificielle ?

Non. Bien sûr, l’intelligence artificielle a énormément apporté à l’informatique. Des concepts fondamentaux comme les langages fonctionnels, les langages objets, le traitement de l’image, l’interface homme-machine sont nés de gens qui pensaient faire de l’intelligence artificielle, et qui souvent s’en sont écartés.

Fondamentalement, l’ordinateur et l’homme sont les deux opposés les plus intégraux qui existent. L’homme est lent, peu rigoureux et très intuitif. L’ordinateur est super rapide, très rigoureux et complètement con. On essaie de faire des programmes qui font une mitigation entre les deux. Le but est louable. Mais de là à y arriver...

Vous dites que les hommes vous ont déçu. En quoi ?

En France, on n’a pas cru en l’informatique. On a dit que c’était une mode et que ça allait passer. Ça, ça m’a beaucoup déçu. Dans les années 80, dans les grandes écoles, on se demandait si l’informatique était un sujet ou pas. En 1985, à l’X [surnom de Polytechnique, ndlr], on se demandait encore s’il fallait l’enseigner. Dans d’autres écoles, on se posait encore ces questions en 2000.

Comment vous l’expliquez ?

La France est un pays minier, orienté vers la matière et l’énergie. On a fait le TGV, l’Airbus, mais on n’a jamais fabriqué un ordinateur décent. Raisonner sur la matière et l’énergie, et raisonner sur l’information, c’est très différent.

Et quelles sont les conséquences de cet aveuglement ?

On le paie par des retards considérables. Sur la scène industrielle, on a beau expliquer qu’on est très forts et très innovants, les autres n’ont pas l’air au courant.

En logiciel, on n’a jamais trop existé, sauf dans des domaines très précis où on est très forts. Mais regardez l’imagerie médicale, on était leader mondial et on s’en est séparé, parce qu’on a considéré que c’était un domaine sans avenir.

Ça, c’est de l’ordre de l’erreur industrielle, mais en quoi est-ce aussi une erreur intellectuelle ?

Dans toute révolution, quand on est derrière, on a l’air con. Et on le voit très bien dans le système de décision français où les gens sont très ignorants de l’informatique ; on y parle des problèmes du passé.

Par exemple, on vient de se rendre compte qu’il y avait des problèmes de sécurité des données personnelles dans les réseaux. Il est temps. Sauf que que les vrais problèmes de sécurité, ils vont se poser maintenant dans les voitures et dans les systèmes intégrés.

Pourquoi les systèmes embarqués et les objets connectés vont-ils poser des problèmes de sécurité informatique ?

Déjà parce qu’il y a beaucoup plus d’objets que d’hommes. La plupart des ordinateurs sont embarqués, il faut s’y faire. 98% de l’informatique est dans les objets, sans contact direct avec l’homme.

C’est très bien de s’inquiéter de la sécurité de son téléphone, mais les freins de sa bagnole, c’est autrement plus critique. Or des gens ont montré qu’on pouvait prendre le contrôle des freins et les désarmer, à distance. Tout ça est ignoré. Il serait temps de s’occuper de ce problème avant qu’il ne devienne vraiment emmerdant.

Pour un informaticien, en quoi la sécurité informatique pose un problème théorique intéressant ?

C’est un des problèmes les plus durs à résoudre parce qu’on doit prouver qu’un système marche contre un ennemi omnipotent. Or l’omnipotence est, par essence, indéfinissable.

Prenons un algorithme de cryptage comme RSA. On peut montrer qu’en 4096 bits, la complexité des calculs nécessaires pour le casser est inaccessible aux machines actuelles. C’est donc un code sûr. Mais, en fait, pas vraiment. Adi Shamir, le S de RSA, a réussi à casser un code 4096 bits en écoutant le bruit que faisait son ordinateur sur un téléphone. C’est ce qu’on appelle un canal caché. On n’avait pas pensé à ça.

La sécurité informatique consiste à montrer qu’un truc marche contre un ennemi dont on ne connaît pas les armes. C’est donc un problème scientifiquement impossible, parce qu’on ne peut pas le poser correctement.

La sécurité informatique est donc une discipline vouée, soit à une paranoïa folle consistant à imaginer l’inimaginable, soit à l’échec ?

Au contraire, elle est vouée au compromis. Son postulat c’est : toute attaque est imaginable, mais il faut la rendre trop chère. Un système est sûr non pas quand il est inattaquable – ce qui est théoriquement impossible –, mais quand ça coûte trop cher de l’attaquer.

La sécurité informatique consiste d’abord à s’assurer que les algorithmes ne sont pas faux. Un algorithme faux est une faille.

Et vous avez beaucoup travaillé sur le bug. Une question bête : comment est-il encore possible qu’il y ait des bugs ?

La question serait plutôt : comment est-il possible qu’il n’y en ait pas ?

Au départ, on a toujours la même opposition : l’homme qui va penser le programme, l’écrire et le tester. Et l’ordinateur qui va l’exécuter. L’homme est incomplet, incapable d’examiner les conséquences de ce qu’il fait. L’ordinateur, au contraire, va implémenter toutes les conséquences de ce qui est écrit. Si jamais, dans la chaîne de conséquences, il y a quelque chose qui ne devrait pas y être, l’homme ne s’en rendra pas compte, et l’ordinateur va foncer dedans. C’est ça le bug.

Un homme n’est pas capable de tirer les conséquences de ses actes à l’échelle de milliards d’instructions. Or c’est ça que va faire le programme, il va exécuter des milliards d’instructions.

Mais il existe des méthodes mathématiques, et informatisées, qui permettent de faire des calculs dont le principe est proche de celui de raisonnements humains, avec en plus les caractéristiques de l’informatique, c’est-à-dire sans aucun humour, sans aucune fatigue, et sans aucune erreur.

Ces programmes ne consistent donc pas à tester dans toutes ses possibilités ?

C’est beaucoup plus malin de faire autrement. Avec un autre ordre de preuve. Comme en mathématiques.

Prenons le très vieux théorème grec : « Il existe une infinité de nombres premiers. » C’est impossible à prouver par l’énumération, puisqu’il faudrait un temps infini. On va donc utiliser les mathématiques. Les mathématiques consistent à avoir des arguments d’un autre ordre pour montrer qu’il existe une infinité de nombres premiers.

De plus en plus, on a recours à ce type de preuves – dites formelles – pour vérifier la solidité des programmes informatiques.

Comment expliquez-vous alors que quand on achète un smartphone, il y ait des bugs dans les applications, le système d’exploitation, etc. ?

Parce que tout ça est fabriqué par des hommes qui n’ont pas la préoccupation de faire juste.

Pourquoi ?

Parce que leur préoccupation est de faire des sous. Et que ça ne dérange pas trop les clients. Un smartphone qui a des bugs, on le reboote, et voilà.

Dans un smartphone, il y a approximativement 50 millions de lignes de code. C’est gigantesque. On ne peut pas imprimer 50 millions de lignes de code. Il faudrait 500 000 pages de chacune 100 lignes. Sur ces 50 millions, la moitié ont été écrites par des débutants. Et puis, quand les applis sont mises en service, elles ne sont pas cuites. C’est comme si quelqu’un ouvrait un resto et apprenait la cuisine en même temps.

Ça ne marche avec les smartphones que parce que les gens sont très tolérants. On est beaucoup moins tolérant dans un avion.

Et pourtant, même dans les avions où les systèmes embarqués sont très sûrs, il peut y avoir des accidents à cause de problèmes de sondes, comme dans le cas du Rio-Paris...

Les sondes Pitot, c’est un capteur majeur. Si on ne donne pas la bonne information à l’informatique, elle fait n’importe quoi. Mais ce n’est pas un problème informatique à proprement parler. Les accidents sont rarement le fait de problèmes strictement informatiques. Le plus souvent, c’est le fait de l’interaction homme-machine.

Dans l’avion classique, l’homme a des sensations. Avec un système embarqué, il n’a pas de sensation. Dans le cas de cet accident, on peut supposer que les hommes, ne comprenant pas la logique avec laquelle fonctionne l’ordinateur et n’acceptant pas cette logique, aient agi contre la machine.

L’interface homme-machine est souvent centrale. Il y a très peu de temps qu’on sait faire des systèmes intuitifs, comme les smartphones par exemple. Rappelez-vous les premières machines pour acheter des tickets à Orlyval, il fallait mettre des travailleurs d’utilité collective à côté pour aider les gens à acheter leur ticket. C’est très dur de rendre l’informatique intuitive.

Pourquoi c’est si dur ?

On revient toujours au même problème du gouffre entre l’intelligence humaine et la connerie de la machine. Programmer, ça consiste à combler un gouffre absolu entre l’intelligence et la connerie. Quand j’enseignais à des petits, je leur donnais comme consigne : « Essayer d’être aussi bêtes qu’un ordinateur. » Les enfants me répondaient : « C’est trop difficile. »

Des gens pensent – et écrivent – que le fait de côtoyer des machines en permanence nous rend plus bêtes. Vous en dites quoi ?

Je n’y crois pas une seule seconde. Côtoyer un moteur électrique n’a jamais abêti personne. Mais c’est une très vieille discussion, elle a commencé avec les textes expliquant que l’écriture abêtit les gens. Ça ne les abêtit pas. Ça les rend juste différents.

Différents en quoi ?

Des choses qui étaient difficiles deviennent triviales. Et des choses qui étaient très faciles deviennent difficiles. Avant, il était impossible de savoir quand allait arriver notre bus, maintenant c’est trivial : c’est affiché.

D’accord, mais en quoi ça nous change ?

Ça change vachement. On évite de perdre son temps à attendre le bus, on peut marcher. C’est peut-être mineur, mais à la fin de la journée, ça n’est pas rien.

Et qu’est-ce que l’informatique rend plus compliqué ?

Les relations humaines. Quand on voit des gens qui sont en permanence accrochés à leur smartphone, qui ne s’aperçoivent même pas qu’il y a des gens qui sont autour d’eux, on constate que la relation humaine est modifiée. Mais je ne suis pas sûr que ça durera longtemps.

On l’a vu avec les téléphones portables. Au début, c’était épuisant parce qu’ils sonnaient tout le temps. Aujourd’hui, les jeunes ne téléphonent plus. Les téléphones portables ne sonnent plus. Ils vibrent dans leur poche. Ceux qui crient dans les wagons de TGV, ce sont les vieux, pas les jeunes. Ce qui montre bien que les problèmes peuvent être transitoires.

Pourquoi, depuis le début de vos travaux, la question du temps vous a-t-elle autant intéressé ?

Le temps m’intéresse d’abord parce que c’est le plus grand mystère. Personne ne l’a jamais compris. L’espace, on le comprend parce qu’il est réversible : on se promène dedans et on revient. Le temps, non. Il n’a qu’une seule direction. On ne revient pas. On ne peut pas le remonter.

En physique, on ne sait pas ce qu’est le temps. D’ailleurs, à l’heure actuelle, on sait qu’on ne pourra pas savoir ce que c’est. On ne peut même plus faire des horloges, on ne peut même plus définir la seconde. Depuis Einstein, on savait en théorie qu’on ne peut plus définir de temps commun à tout le monde. Maintenant, on sait que c’est vrai en voyant que les horloges hyper précises ne sont pas synchrones. Et ça nous gêne, parce qu’énormément de processus dépendent du temps. Par exemple, le téléphone portable, c’est une gestion très complexe du temps.

Et pendant très longtemps, l’informatique a pris grand soin de ne pas parler du temps. Ou alors juste en termes de temps de calcul, mais le temps de calcul, ça ne parle pas du temps. Et d’ailleurs, dans des langages comme C, Pascal, Java, il n’y a rien qui parle du temps ou des événements.

Et quelle est la chose dont vous savez que vous ne la verrez pas parce que vous ne vivrez pas assez longtemps pour la voir, mais dont vous savez que ça va arriver parce que l’informatique la rend possible ?

La compréhension de ce que c’est qu’une langue. L’informatique nous permet de comprendre beaucoup mieux ce genre de choses. Mais ça va être très long parce que la langue est un phénomène très compliqué.

Qu’est-ce qu’il faudrait comprendre ?

Pourquoi les langues sont foutues comme ça. Pourquoi elles sont aussi ambiguës et aussi compréhensibles en même temps.

La langue m’intéresse aussi parce que, qu’est-ce que programmer un ordinateur ? C’est parler à quelqu’un de totalement obéissant, qui ne pose jamais de question, qui ne s’ennuie jamais. Quand on y pense, c’est une activité belle et absurde de parler à un abruti aussi absolu que l’ordinateur.

Article initialement publié le 1er février 2015.

4 questions aux algorithmes (et à ceux qui les font, et à ce que nous en faisons)

Olivier Ertzscheid13 avril 2022

1. Les moteurs de recherche nous rendent-ils idiots ?

En 2008, le moteur de recherche Google vient de fêter ses 10 ans et Nicholas Carr publie dans The Atlantic, un texte qui va faire le tour des internets en quelques heures et pour quelques années : "Is Google Making Us Stupid ?" (traduction française disponible grâce à Penguin, Olivier et Don Rico sur le Framablog) Il y défend la thèse selon laquelle une "pensée profonde" nécessite une capacité de lecture et d'attention également "profondes", que Google et le fonctionnement du web rendraient impossibles à force de fragmentation et de liens nous invitant à cliquer en permanence.

Depuis presque 15 ans, la thèse de Nicholas Carr continue périodiquement à revenir sur le devant de la scène médiatique. Je passe sur les écrits affirmant que les "écrans" seraient la source de tous nos maux, mais pour le grand public, je renvoie notamment aux derniers ouvrages de Bruno Patino ("La civilisation du poisson rouge") qui ne font que recycler en permanence les idées de Nicholas Carr en les 'affinant' à l'aune de ce que les réseaux sociaux font ou feraient à nos capacités attentionnelles ainsi qu'au débat public.

La littérature scientifique sur ces sujets est bien plus circonspecte et nuancée que la focale médiatique ne pourrait le laisser croire. Le seul consensus scientifique éclairé se fait autour des risques d'une exposition précoce et excessive. Pour le reste … les écrans ne sont "que" des écrans, les outils ne sont "que" des outils, et il n'est pas plus dangereux au 21ème siècle de laisser un enfant toute la journée devant Tik-Tok qu'il ne l'était de le laisser un enfant toute la journée devant la télé au 20ème siècle. Dans ce siècle comme dans le précédent, à de rares exceptions près, chacun s'accorde d'ailleurs sur le fait qu'il ne faut pas laisser un enfant toute la journée devant TikTok ou devant la télé. Encore faut-il qu'il ait la possibilité de faire autre chose, encore faut-il que la société laisse aux parents le temps de faire autre chose avec lui, encore faut-il qu'ils aient les moyens financiers et les infrastructures culturelles et éducatives à portée de transport (public) pour pouvoir et savoir faire autre chose, encore faut-il qu'une éducation aux écrans puisse être bâtie en cohérence de l'école primaire au lycée. A chaque fois que l'on tient un discours culpabilisant ou même parfois criminogène sur "le numérique" ou "les écrans", on oublie de s'interroger sur la faillite d'une politique éducative, sociale et familiale où chaque réflexion autour du "temps de travail" peine à masquer le refus d'imaginer et d'accompagner un temps de non-travail, un temps de loisirs capable de resserrer les liens familiaux plutôt que de les éclater ou de les mettre en nourrice technologique.

Cela ne veut pas dire qu'il n'existe aucun effet des technologies sur nos capacités mémorielles, attentionnelles, ni bien sûr que rien ne se jouerait au niveau neuronal et même biochimique, mais simplement que nos environnements médiatiques, culturels, informationnels, sont multiples, perméables et inter-reliés, et que pour encore probablement au moins quelques années, le web, la télé, la radio et la presse sont amenés à co-construire et à co-définir, nos capacités attentionnelles et nos appétences informationnelles. Bref.

L'intelligence de Nicholas Carr, sur la fin de son texte, est de relativiser un peu son angoisse et son scepticisme en rappelant la critique Platonicienne de "l'écriture" qui, déjà, signait la fin de la mémoire et annonçait mille maux :

"Et il en va de même pour les discours [logographies]. On pourrait croire qu'ils parlent pour exprimer quelque réflexion ; mais, si on les interroge, parce qu'on souhaite comprendre ce qu'ils disent, c'est une seule chose qu'ils se contentent de signifier, toujours la même. Autre chose : quand, une fois pour toutes, il a été écrit, chaque discours va rouler de droite et de gauche et passe indifféremment auprès de ceux qui s'y connaissent, comme auprès de ceux dont ce n'est point l'affaire ; de plus, il ne sait pas quels sont ceux à qui il doit ou non s'adresser. (…)

[L'écriture] ne produira que l’oubli dans l’esprit de ceux qui apprennent, en leur faisant négliger la mémoire. En effet, ils laisseront à ces caractères étrangers le soin de leur rappeler ce qu’ils auront confié à l’écriture, et n’en garderont eux-mêmes aucun souvenir. Tu [Thot] n’as donc point trouvé un moyen pour la mémoire, mais pour la simple réminiscence, et tu n’offres à tes disciples que le nom de la science sans la réalité ; car, lorsqu’ils auront lu beaucoup de choses sans maîtres, ils se croiront de nombreuses connaissances, tout ignorants qu’ils seront pour la plupart, et la fausse opinion qu’ils auront de leur science les rendra insupportables dans le commerce de la vie."

(Socrate dans Phèdre)

Idem pour l'invention de l'imprimerie et pour chaque grande révolution des technologies intellectuelles. Là où le texte de Carr est intéressant en termes de prospective c'est qu'il est, en 2008, l'un des premiers à acter que ce que l'on nommera ensuite le "solutionnisme technologique" est au coeur d'une logique attentionnelle entièrement dépendante d'un modèle d'affaire parfaitement cartésien, réfléchi, pensé, documenté et instrumenté (je souligne) :

"Pourtant, leur hypothèse simpliste voulant que nous nous “porterions mieux” si nos cerveaux étaient assistés ou même remplacés par une intelligence artificielle, est inquiétante. Cela suggère que d’après eux l’intelligence résulte d’un processus mécanique, d’une suite d’étapes discrètes qui peuvent être isolés, mesurés et optimisés. Dans le monde de Google, le monde dans lequel nous entrons lorsque nous allons en ligne, il y a peu de place pour le flou de la réflexion. L’ambiguïté n’est pas un préliminaire à la réflexion mais un bogue à corriger. Le cerveau humain n’est qu’un ordinateur dépassé qui a besoin d’un processeur plus rapide et d’un plus gros disque dur.

L’idée que nos esprits doivent fonctionner comme des machines traitant des données à haute vitesse n’est pas seulement inscrite dans les rouages d’Internet, c’est également le business-model qui domine le réseau. Plus vous surfez rapidement sur le Web, plus vous cliquez sur des liens et visitez de pages, plus Google et les autres compagnies ont d’occasions de recueillir des informations sur vous et de vous nourrir avec de la publicité. La plupart des propriétaires de sites commerciaux ont un enjeu financier à collecter les miettes de données que nous laissons derrière nous lorsque nous voletons de lien en lien : plus y a de miettes, mieux c’est. Une lecture tranquille ou une réflexion lente et concentrée sont bien les dernières choses que ces compagnies désirent. C’est dans leur intérêt commercial de nous distraire."

Les technologies intellectuelles sont autant de "pharmakon", elles sont à la fois remède et poison. Google ne nous rend pas stupides. Ni idiots. Ni incapables d'attention ou de lecture soutenue. Mais il est de l'intérêt de Google, cela participe de son modèle économique, que nous préférions cliquer sur des liens commerciaux plutôt qu'organiques, sur des liens qui ont quelque chose à nous vendre plutôt que quelque chose à nous apprendre. Les deux "OO" du moteur : le "O" d'une ouverture toujours possible, et le "O" d'une occlusion toujours présente. Et l'importance de ces affordances que l'éducation construit et qu'elle peut apprendre à déconstruire …

Le rêve de Vannevar Bush, en 1945, d'un dispositif capable de singer le fonctionnement associatif de l'esprit humain pour en stimuler les capacités mémorielles et en bâtir qui lui soient externes, ce rêve là dans lequel c'est "le chemin qui comptait plus que le lien" s'est en quelque sorte renversé et incarné presqu'uniquement dans la capacité de calcul des liens créés pour en contrôler la supervision globale et l'accès massif, formant alors des autorités n'ayant plus que le seul goût de la popularité. La curiosité du chemin laissant la place à la cupidité des liens. Et le capitalisme linguistique fit le reste. Google ne nous a pas rendu stupides mais … cupides.

En quelques années, l"interrogation de Carr a été remplacée par plusieurs autres. Il ne s'agit plus uniquement de répondre à la question "Google nous rend-il idiots ?" mais de s'interroger sur "les algorithmes sont-ils idiots ?" ou même "les algorithmes sont-ils justes ?" et enfin et peut-être surtout, "les algorithmes (idiots ou non) nous brutalisent-ils ?" Je commence par cette dernière question car elle est la plus facile à trancher aujourd'hui.

2. Les algorithmes nous brutalisent-ils ?

Oui. Trois fois oui. En tout cas l'utilisation des algorithmes par la puissance publique, au profit et au service d'une dématérialisation qui vaut démantèlement des services publics, est une brutalité et une violence. Une "maltraitance institutionnelle" comme le rappelle l'édito de Serge Halimi dans le Monde diplomatique du mois de Mars, et comme le documente surtout le rapport sur la "dématérialisation des services publics"de Claire Hédon, la défenseure des droits.

L'amie Louise Merzeau expliquait il y a déjà 10 ans que le numérique était un milieu beaucoup plus qu'un outil. Et les milieux sociaux les plus modestes, n'ont d'autre choix que de le vivre comme une double peine, comme un nouvel empêchement, une stigmatisation de plus, une discrimination de trop.

Rien ne s'automatise mieux que l'accroissement des inégalités. Et il n'est d'inégalités plus flagrantes que dans le système éducatif et le système de soins qui n'ont jamais été autant mis sous coupe algorithmique réglée à grands coups de métriques qui valent autant de coups de triques.

"Stiegler et Alla montrent que ce que nous avons vu disparaître en 2 ans, c’est une politique de santé publique démocratique, compensatrice et attentive aux gens. Nous avons vu apparaître un nouvel acteur du système de santé, et qui risque demain d’être convoqué partout. Le démantèlement des systèmes de soin reposent sur un “individu connecté directement aux systèmes d’informations des autorités sanitaires, dont elles attendent une compliance et un autocontrôle permanent dans le respect des mesures et dans la production des données”. C’est le même individu qui est désormais convoqué dans Parcoursup ou dans les services publics, comme Pole Emploi ou la CAF. C’est un individu qui produit lui-même les données que vont utiliser ces systèmes à son encontre. “Ici, la santé n’est jamais appréhendée comme un fait social, dépendant de ce que la santé publique nomme les “déterminants structurels” en santé. Elle devient un ensemble de données ou de data, coproduites par les autorités sanitaires et les individus érigés en patients acteurs, qui intériorisent sans résistance toutes les normes qu’elles leur prescrivent”. Dans cette chaîne de production de données, les soignants sont réduits à l’état de simples prestataires, privés de l’expérience clinique de la maladie, tout comme les agents des systèmes sociaux ou les professeurs sont privés de leur capacité de conseil pour devenir de simples contrôleurs. Quant aux réalités sociales qui fondent les inégalités structurelles, elles sont niées, comme sont niées les différences sociales des élèves devant l’orientation ou devant la compréhension des modalités de sélection. Les populations les plus vulnérables sont stigmatisées. Éloignés des services et des systèmes numériques, les plus vulnérables sont désignés comme responsables de la crise hospitalière, comme les chômeurs et les gens au RSA sont responsables de leur situation ou les moins bons élèves accusés de bloquer Parcoursup !" (Hubert Guillaud lisant "Santé publique : année zéro" de Barbara Stiegler et François Alla)

Bien. Donc Google (et les moteurs de recherche) nous rendent davantage cupides que stupides, ou pour le dire différemment, s'il nous arrive par leur entremise, d'être pris en flagrant délit de stupidité, c'est principalement la faute de leur cupidité. Et les algorithmes nous brutalisent. Parce qu'ils sont trop "intelligents" alors que notre "liberté" (de navigation, de choix) passe par le retour à un internet bête, à une infrastructure qui ne s'auto-promeut pas en système intelligent. Un internet bête c'est un réseau capable de mettre en relation des gens, sans nécessairement inférer quelque chose de cette mise en relation sur un autre plan que la mise en relation elle-même (c'est à dire ne pas tenter d'inférer que si j'accepte telle mise en relation c'est pour telle raison qui fait que par ailleurs je vais accepter de partager telle autre recommandation elle-même subordonnée à tel enjeu commercial ou attentionnel, etc.).

Google nous rend cupides. Et les algorithmes nous brutalisent car ils sont trop "intelligents" en ambitionnant de créer des liens dont ils sont responsables (ce qui est l'étymologie de l'intelligence) alors qu'ils ne devraient que contrôler des situations dont nous sommes responsables.

Prenons un exemple simple et fameux : celui de la désambiguisation. Par exemple lorsque je tape le mot "jaguar" dans un moteur de recherche, il ne sait pas s'il doit me proposer des informations en lien avec l'animal ou avec la marque de voiture. Et pourtant il ne se trompe que rarement car il s'appuie sur notre historique de recherche, de navigation, nos "données personnelles", nos intérêts déclarés sur les réseaux sociaux où nous sommes présents et qu'il indexe, etc. Et nous trouvons d'ailleurs très pratique que Google "sache" si nous cherchons des informations sur l'animal ou sur la voiture sans que nous ayons à le lui préciser. C'est cela, le web et un moteur de recherche "intelligent". Mais cette intelligence n'est pas tant celle qui crée des liens que celle qui crée des chaînes de déterminismes de plus en plus inextricables. Car si Google sait qu'en tapant "jaguar" c'est aux voitures que je m'intéresse et non aux animaux, et s'il le sait autrement que statistiquement, alors il est déjà trop tard.

Je veux maintenant poser une troisième question.

3. Les algorithmes sont-ils complètement cons ?

Je viens de vous expliquer que les algorithmes et internet étaient "trop intelligents" et voici que je vous propose maintenant d'envisager le fait qu'ils soient aussi totalement cons. Les deux ne sont en effet pas exclusifs. On connaît tous des gens très intelligents qui sont socialement, relationnellement ou matériellement totalement cons. Voici mon propos.

On savait déjà que l'ordinateur, que les ordinateurs étaient complètement cons. Et ce n'est pas moi mais Gérard Berry, professeur au collège de France, qui le dit et l'explique depuis longtemps :

"Fondamentalement, l’ordinateur et l’homme sont les deux opposés les plus intégraux qui existent. L’homme est lent, peu rigoureux et très intuitif. L’ordinateur est super rapide, très rigoureux et complètement con."

On avait donc de forts soupçons concernant "les algorithmes". Mais comme l'on sait également que "il n'y a pas d'algorithmes, seulement la décision de quelqu'un d'autre", nous voilà ramenés à la possibilité non nulle d'envisager l'autre comme un con, ou de postuler et c'est mon hypothèse de travail suivant le texte fondateur de Lessig, "Code Is Law", que les déterminismes sociaux, culturels, religieux, économiques, politiques de celles et ceux (mais surtout ceux) qui développent "les algorithmes" permettent d'éclairer la manière dont leurs décisions algorithmiques sont opaques et parfois dangereuses.

Pour le dire trivialement, les algorithmes sont donc toujours au moins aussi cons que celles et ceux qui les développent et les déploient (ou de celles et ceux qui leur ordonnent de le faire), dans un rapport qui tient bien davantage de la causalité que de la corrélation.

J'ajoute que l'autre question déterminante des données (Big Data), des jeux de données et des modèles de langage désormais "trop gros" vient encore rendre plus tangible l'hypothèse d'algorithmes produisant des effets sidérants tant ils finissent par être totalement cons ou dangereux.

Et miser sur l'intelligence artificielle pour corriger les biais algorithmiques est à peu près aussi pertinent que de miser sur la capacité d'empathie d'Eric Zemmour pour atténuer les dérives xénophobes de la société.

"l’IA n’est ni intelligente ni artificielle. Elle n’est qu’une industrie du calcul intensive et extractive qui sert les intérêts dominants. Une technologie de pouvoir qui « à la fois reflète et produit les relations sociales et la compréhension du monde. »" Kate Crawford in "Atlas de l'IA" (lu par l'indispensable Hubert Guillaud).

Résumons un peu. Google nous rend cupides. Les algorithmes nous brutalisent (en tout cas les plus faibles ou les plus exposés ou les plus jeunes d'entre nous). On rêverait qu'ils se contentent d'être essentiellement bêtes mais ils sont le plus souvent ontologiquement cons.

J'en viens maintenant à l'actualité qui a suscité l'envie de rédiger cet article (il est temps …) ainsi qu'à ma dernière question.

4. Facebook nous prend-il pour des cons ?

Prenons donc la plateforme technologique aujourd'hui centrale dans l'ensemble de nos usages connectés (au travers de tout son écosystème de services : Facebook, WhatsApp, Instagram, Messenger notamment). Plateforme à qui l'on adresse, souvent d'ailleurs de bon droit, le reproche que Nicholas Carr adressait jadis à Google, celui de nous rendre idiots. Plateforme qui n'est pas non plus étrangères à l'émergence de formes inédites de brutalité, aussi bien dans la dimension interpersonnelle (harcèlement, stalking …) qu'à l'échelle politique (élections) et géo-stratégique (dans l'invasion de l'Ukraine mais aussi dans le génocide des Rohingyas). Et plateforme qui assume comme projet de devenir une "infrastructure sociale" planétaire.

Pendant plus de 6 mois, depuis le mois d'Octobre 2021, "l'algorithme" de Facebook n'a pas "déclassé" (downranking) et diminué les vues et l'audience de publications contenant des fausses informations identifiées, y compris lorsque leurs auteurs étaient récidivistes, mais il a tout au contraire augmenté leur nombre de vues d'au moins 30%. Les ingénieurs qui ont repéré cela parlent d'une "défaillance massive du classement" qui aurait exposé "jusqu'à la moitié de toutes les vues du fil d'actualité à des "risques d'intégrité" potentiels au cours des six derniers mois". L'article de The Verge qui s'est procuré le rapport d'incident interne est accablant et alarmant.

"Les ingénieurs ont remarqué le problème pour la première fois en octobre dernier, lorsqu'une vague soudaine de fausses informations a commencé à affluer dans le fil d'actualité (…). Au lieu de supprimer les messages des auteurs de désinformation récidivistes qui avaient été examinés par le réseau de vérificateurs de faits externes de l'entreprise, le fil d'actualité distribuait plutôt les messages, augmentant les vues de 30 % au niveau mondial. Incapables de trouver la cause profonde de ce problème, les ingénieurs ont vu la hausse s'atténuer quelques semaines plus tard, puis se reproduire à plusieurs reprises jusqu'à ce que le problème de classement soit résolu le 11 mars."

L'élection présidentielle en France a eu lieu ce dimanche avec les scores que l'on connaît. Depuis plus d'un mois une guerre se déroule en Ukraine. Partout dans le monde des échéances politiques, climatiques et géo-stratégiques majeures s'annoncent. Et pendant les 6 derniers mois un "bug" de la plateforme aux presque 3 milliards d'utilisateurs a surexposé d'au moins 30% des contenus de désinformation pourtant identifiés comme tels au lieu de parvenir à les déclasser. C'est tout à fait vertigineux.

Une "défaillance massive du classement". Une défaillance pendant plus de 6 mois observée, constatée, documentée (à l'interne uniquement) mais une défaillance … incorrigible. Il semble que nous en soyons très exactement au point que décrivait Frederick Pohl lorsqu'il expliquait que "une bonne histoire de science-fiction doit pouvoir prédire l’embouteillage et non l’automobile." Mais il ne s'agit plus de science-fiction.

"Défaillance massive du classement". Il faut imaginer ce que cette "défaillance massive du classement" pourrait donner si elle advenait dans un moteur de recherche, dans un système de tri des patients à l'hôpital, dans un système d'admission post-baccalauréat régulant l'entrée dans les études supérieures de l'ensemble d'une classe d'âge. La question est vertigineuse convenez-en. Comme sont vertigineuses ces autres questions à ce jour sans réponses :

• qui (ou qu'est-ce qui) est à l'origine de cette "défaillance massive du classement" ?
• pourquoi cette "défaillance massive du classement" a-t-elle été observée sans être rendue publique pendant 6 mois ?
• comment (et par qui et par quels moyens) cette "défaillance massive du classement" a-t-elle été finalement corrigée (et comment être sûrs qu'elle l'a bien été) ?

Pour rappel Bostrom et Yudowsky (deux théoriciens de l'intelligence artificielle), expliquaient en 2011 dans leur article "The Ethics of Artificial Intelligence" :

"Les algorithmes de plus en plus complexes de prise de décision sont à la fois souhaitables et inévitables, tant qu'ils restent transparents à l'inspection, prévisibles pour ceux qu'ils gouvernent, et robustes contre toute manipulation." ("increasingly complex decision-making algorithms are both inevitable and desirable – so long as they remain transparent to inspection, predictable to those they govern, and robust against manipulation")

Concernant Facebook mais également d'autres champs sociaux à forte couverture algorithmique, j'ai l'impression que depuis que ces constats sont faits, on s'éloigne chaque fois davantage de ces trois objectifs de transparence, de prévisibilité, et de robustesse.

La question n'est pas celle, longtemps fantasmée et documentée dans divers récits de S-F d'une "intelligence artificielle" qui accèderait à la conscience ou prendrait le contrôle de nos destinées ; mais la question, plus triviale et plus banalement tragique aussi, d'un système technique totalement saturé de données et suffisamment massif dans l'ensemble de son architecture technique, de ses flux et de ses volumétries (nombres d'utilisateurs, de contenus, d'interactions) pour ne plus pouvoir répondre à aucune autre sollicitation ou supervision rationnelle que celle d'une stochastique de l'emballement intrinsèque.

Un système devenu totalement con. Banalement con. Tragiquement con. Un con système consistant.

A moins bien sûr, l'hypothèse n'est pas à exclure totalement, que Facebook ne nous prenne pour des cons. Elle n'est d'ailleurs ni à exclure, ni incompatible avec la précédente.

Too Big To Fail (Economically). Too Fat To Succeed (Ethically).

Quand la Chine nous réveillera ?

"Hahaha", "lol", "xptdr" me direz-vous. Car oui la Chine c'est "the great firewall", c'est aussi le crédit social, bref ce n'est pas vraiment un parangon d'émancipation algorithmique. Peu de chances donc que la lumière vienne de là. Et pourtant … et pourtant la nouvelle qui suit n'en est que plus … étonnante. D'abord quelques rappels.

A commencer par la dimension éminemment prévisible de nos comportements sociaux, qui rend d'autant plus forts et plus efficaces les déterminismes algorithmiques qui viennent l'instrumentaliser. Il y a déjà longtemps de cela, je vous avais proposé le néologisme de "dysalgorithmie" pour désigner un "trouble de résistance algorithmique où le sujet fait preuve d'un comportement ou d'opinions non-calculables".

Pour éviter que les moteurs de recherche ne nous rendent idiots, pour éviter que les algorithmes ne nous brutalisent, pour comprendre pourquoi les algorithmes sont complètement cons et pour éviter queFacebook (ou d'autres) ne continuent de nous prendre pour des cons, il n'est qu'un seul moyen : la transparence algorithmique (pour laquelle je plaide depuis … très longtemps) :

"Grâce à leurs CGU (et leurs algorithmes), Facebook, Twitter, Google ou Apple ont édicté un nouvel ordre documentaire du monde qu’ils sont seuls à maîtriser dans la plus complète opacité. Il est vain de réclamer la dissolution de Google ou d’un autre acteur majeur comme il est vain d’espérer un jour voir ces acteurs «ouvrir» complètement leurs algorithmes. Mais il devient essentiel d’inscrire enfin clairement, dans l’agenda politique, la question du rendu public de fonctionnements algorithmiques directement assimilables à des formes classiques d’éditorialisation. Or après que les algorithmes se sont rendus maîtres de l’essentiel du «rendu public» de nos productions documentaires, les plateformes sont en train de reléguer dans d’obscures alcôves l’autre processus de rendu public démocratique : celui de la délibération sur ce qui a légitimité – ou non – à s’inscrire dans l’espace public. Il ne sera pas éternellement possible de s’abriter derrière le fait que ces plateformes ne sont précisément ni des espaces réellement publics ni des espaces entièrement privés. A l’ordre documentaire qu’elles ont institué, elles ajoutent lentement mais sûrement un «ordre moral réglementaire» sur lequel il nous sera très difficile de revenir si nous n’en débattons pas dès maintenant."

La transparence donc, mais aussi (et peut-être surtout aujourd'hui) la redevabilité :

"Ce devoir [de rendre des comptes] inclut deux composantes : le respect de règles, notamment juridiques ou éthiques, d’une part ; la nécessité de rendre intelligible la logique sous-jacente au traitement, d’autre part. Il se décline de différentes manières selon les publics visés. Pour le citoyen sans compétence technique particulière, il peut s’agir de comprendre les critères déterminants qui ont conduit à un résultat qui le concerne (classement d’information, recommandation, envoi de publicité ciblée, etc.) ou la justification d’une décision particulière (affectation dans une université, refus de prêt, etc.). Un expert pourra être intéressé par des mesures plus globales, comme des explications sous forme d’arbres de décision ou d’autres représentations graphiques mettant en lumière les données prises en compte par l’algorithme et leur influence sur les résultats. Un organisme de certification peut se voir confier une mission de vérification qu’un algorithme satisfait certains critères de qualité (non-discrimination, correction, etc.), sans pour autant que celui-ci ne soit rendu public."

En France, cette "transparence" concerne seulement et hélas encore bien imparfaitement les algorithmes publics et a été intégrée dans la [loi pour une République numérique (loi Lemaire) de 2016 adoptée en 2017](https://www.zdnet.fr/actualites/algorithmes-les-administrations-forcees-a-plus-de-transparence-39906151.htm#:~:text=Ce principe de transparence des,doit comporter une « mention explicite »).

"Ce principe de transparence des algorithmes publics (…) selon laquelle « toute décision individuelle prise sur le fondement d'un traitement algorithmique » doit comporter une « mention explicite » pour en informer le public. La loi dit alors que les règles définissant ce traitement ainsi que les principales caractéristiques de sa mise en œuvre doivent également être communiquées par l'administration à l'intéressé s'il en fait la demande. Plus précisément, l'administration doit être en mesure de communiquer quatre informations : dans un premier temps, « le degré et le mode de contribution du traitement algorithmique à la prise de décision » ; ensuite les « données traitées et leurs sources » ainsi que « les paramètres de traitement et, le cas échéant, leur pondération, appliqués à la situation de l'intéressé », et enfin « les opérations effectuées par le traitement »."

De plus cette loi déjà très imparfaite (même si elle marque nonobstant une avancée majeure) comporte un certain nombre de limitations et des freins intrinsèques ("seules les décisions à 100 % automatisées seront en mesure d'être contestées et considérées le cas échéant comme nulles, si l'administration est en incapacité de documenter l'algorithme utilisé" via ZDnet) mais également … structurels :

"les obligations de transparence issues de la loi Numérique demeurent largement ignorées des acteurs publics, et témoigne au passage d'une insuffisance parfois notoire des moyens humains et financiers pour mener à bien cette charge supplémentaire pour les administrations. D'autant plus que les interlocuteurs interrogés dans le cadre du rapport ont « mis en avant des définitions très variées de ce qui constituait un algorithme » qui mériteraient d'être harmonisées." (toujours via ZDnet)

La problème de la transparence comme de la redevabilité, même en se limitant aux algorithmes publics, c'est qu'un "algorithme" est un fait calculatoire et décisionnel qui ne peut être isolé de faits sociaux qui en déterminent les causes et les effets. Un algorithme est développé par des gens, qui obéissent à d'autres gens, et qui sont tous pris dans des déterminismes et des contraintes économiques, professionnelles, politiques, sociales, etc. Penser que l'ouverture et et la redevabilité des algorithmes suffira à régler l'ensemble des problèmes qu'ils posent n'a pas davantage de sens que penser que l'étiquetage des denrées alimentaires résoudra les problèmes de malbouffe, d'obésité et de surproduction agricole.

Mais il faut bien commencer par quelque chose. Et comme nous sommes encore très très loin (même pour les algorithmes publics) de la transparence et de la redevabilité, alors continuons de militer et d'agir pour que ces notions soient mises en place et surtout pour qu'elles le soient avec les moyens nécessaires.

Et maintenant la Chine. Oui. La Chine. La Chine dispose d'une sorte de grand ministère de l'administration du cyberespace, le CAC (Cyberspace Administration of China), qui jouit à la fois de pouvoirs de régulation et de censure. Le 27 Août 2021, ce CAC a publié sous forme d'appel à commentaires (sic) une série de trente "Dispositions relatives à l'administration des recommandations d'algorithmes pour les services d'information sur Internet."

Ces dispositions s'adressent à l'ensemble des acteurs, publics comme privés, mais surtout privés (on est en Chine, donc les acteurs publics sont … déjà suffisamment "régulés" …). Comme cela fut souligné à l'époque par un certain nombre d'analystes :

"Ces lignes directrices s'inscrivent dans le cadre d'une répression plus large à l'encontre des grandes entreprises technologiques chinoises et devraient toucher particulièrement des sociétés telles qu'Alibaba Group, Didi Global et ByteDance, propriétaire de TikTok, qui utilisent de tels algorithmes pour prédire les préférences des utilisateurs et faire des recommandations, et qui faisaient déjà l'objet d'un examen minutieux de la part des autorités de l'État chinois sur diverses questions."

Définitivement publiées et entrées en vigueur depuis le mois de Janvier 2022 et disponible en ligne sur le site de la CAC :

"Ces règles devraient permettre de préserver la sécurité nationale et les intérêts publics sociaux, de protéger les droits et intérêts légitimes des citoyens et de promouvoir le développement sain des services d'information sur Internet.

Le règlement exige des fournisseurs de services de recommandation d'algorithmes qu'ils respectent les droits des utilisateurs, y compris le droit de connaître l'algorithme, qui exige des fournisseurs qu'ils rendent publics les principes de base, les objectifs et les mécanismes de fonctionnement des algorithmes. Le règlement recommande également que les utilisateurs aient le droit de choisir des options qui ne sont pas spécifiques à leurs caractéristiques personnelles et de désactiver le service de recommandation de l'algorithme."

On pourra également trouver une traduction anglaise appropriée de ces 35 règles prenant effet au 1er Mars 2022. Dont voici quelques extraits (traduits de l'anglais via DeepL) :

Article 4 : La fourniture de services de recommandation algorithmique doit se conformer aux lois et règlements, observer la morale et l'éthique sociales, respecter l'éthique commerciale et l'éthique professionnelle, et respecter les principes d'équité et de justice, d'ouverture et de transparence, de science et de raison, de sincérité et de fiabilité.

Article 5 : Les organisations sectorielles concernées sont encouragées à renforcer l'autodiscipline sectorielle, à établir et à compléter les normes sectorielles, les normes sectorielles et les structures de gestion de l'autodiscipline, à superviser et à guider les fournisseurs de services de recommandation algorithmique dans la formulation et le perfectionnement des normes de service, la fourniture de services conformément à la loi et l'acceptation de la supervision sociale.

Article 6 (mon préféré 😉 : Les fournisseurs de services de recommandation algorithmique doivent respecter les orientations de valeur générales, optimiser les mécanismes de services de recommandation algorithmique, diffuser vigoureusement une énergie positive et faire progresser l'utilisation des algorithmes vers le haut et dans le sens du bien (sic).

Article 8 : Les fournisseurs de services de recommandation algorithmique doivent régulièrement examiner, vérifier, évaluer et contrôler les mécanismes algorithmiques, les modèles, les données et les résultats des applications, etc., et ne peuvent pas mettre en place des modèles algorithmiques qui violent les lois et règlements ou l'éthique et la morale, par exemple en conduisant les utilisateurs à la dépendance ou à la consommation excessive.

Article 10 : Les fournisseurs de services de recommandation algorithmique doivent renforcer la gestion des modèles d'utilisateur et des balises d'utilisateur et perfectionner les normes d'enregistrement des intérêts dans les modèles d'utilisateur et les normes de gestion des balises d'utilisateur. Ils ne peuvent pas saisir d'informations illégales ou nuisibles en tant que mots-clés dans les intérêts des utilisateurs ou les transformer en balises d'utilisateur afin de les utiliser comme base pour recommander des contenus d'information.

Article 12 : Les fournisseurs de services de recommandation algorithmique sont encouragés à utiliser de manière exhaustive des tactiques telles que la dé-pondération du contenu, les interventions sur la diffusion ("scattering interventions"), etc., et à optimiser la transparence et la compréhensibilité de la recherche, du classement, de la sélection, des notifications push, de l'affichage et d'autres normes de ce type, afin d'éviter de créer une influence néfaste sur les utilisateurs, et de prévenir ou de réduire les controverses ou les litiges.

Article 13 : Lorsque les prestataires de services de recommandation algorithmique fournissent des services d'information sur Internet, ils doivent obtenir un permis de service d'information sur Internet conformément à la loi et normaliser leur déploiement de services de collecte, d'édition et de diffusion d'informations sur Internet, de services de partage et de services de plateforme de diffusion. Ils ne peuvent pas générer ou synthétiser de fausses informations, et ne peuvent pas diffuser des informations non publiées par des unités de travail dans le cadre déterminé par l'État. (ah bah oui on est en Chine hein, donc une "fake news" en Chine c'est une information dont la source n'est pas le parti communiste chinois 😉

Mais la partie la plus intéressante c'est probablement le "Chapitre 3" qui concerne la "protection des droits des utilisateurs".

Article 16 : Les fournisseurs de services de recommandation algorithmique doivent informer les utilisateurs de manière claire sur la situation des services de recommandation algorithmique qu'ils fournissent, et publier de manière appropriée les principes de base, les objectifs et les motifs, les principaux mécanismes opérationnels, etc. des services de recommandation algorithmique.

On est ici sur une sorte de RGPD étendu au-delà des données elles-mêmes.

Article 17 : Les fournisseurs de services de recommandation algorithmique doivent offrir aux utilisateurs le choix de ne pas cibler leurs caractéristiques individuelles, ou offrir aux utilisateurs une option pratique pour désactiver les services de recommandation algorithmique. Lorsque les utilisateurs choisissent de désactiver les services de recommandation algorithmique, le fournisseur de services de recommandation algorithmique doit immédiatement cesser de fournir les services correspondants. Les fournisseurs de services de recommandation algorithmique offrent aux utilisateurs des fonctions leur permettant de choisir ou de supprimer les balises d'utilisateur utilisées pour les services de recommandation algorithmique visant leurs caractéristiques personnelles. Lorsque les fournisseurs de services de recommandation algorithmique utilisent des algorithmes d'une manière qui crée une influence majeure sur les droits et les intérêts des utilisateurs, ils doivent fournir une explication et assumer la responsabilité correspondante conformément à la loi.

J'arrête ici la reprise de cet inventaire et vous renvoie à la traduction anglaise exhaustive originale effectuée par le groupe DigiChina de l'université de Stanford.

Alors certes, cette loi est "sans précédent". Mais l'idée d'une régulation forte, "à la Chinoise", portant sur le contrôle des acteurs privés d'un internet pourtant déjà plus que nulle part ailleurs sous contrôle ou sous surveillance de l'état et du parti communiste chinois, et qui cible spécifiquement les questions dites des algorithmes "de recommandation", doit nous amener à réfléchir.

Réfléchir autour de ces questions "d'algorithmes de recommandation" qui pour nous, occidentaux, constituent factuellement une opportunité marchande non seulement acceptée mais également présentée comme non-régulable ou non-négociable (sauf cas particuliers d'incitation à la haine), et qui, pour le gouvernement chinois, sont identifiés comme un risque majeur sur deux plans : celui d'une ingérence toujours possible d'acteurs privés dans l'accès et le contrôle de l'information, et celui d'une "rééducation" de la population qu'il s'agit de maintenir à distance d'une certaine forme de technologie présentée comme "addictive" et dangereuse par le régime en place.

Le paradoxe en résumé est le suivant : c'est l'état le plus autoritaire et le moins démocratique qui propose une feuille de route "intéressante" et en tout cas fortement contraignante pour parvenir à réglementer, à rendre publics et à désactiver les algorithmes de recommandation que les états les plus démocratiques et les plus libéraux sont incapables (ou refusent) de mettre en oeuvre. La Chine le fait dans une logique de contrôle total sur l'accès à l'information et sur l'environnement cognitif de son peuple ; les états démocratiques et libéraux occidentaux refusent ou sont incapables de le faire au prétexte de ne pas s'immiscer dans la gestion de l'accès (dérégulé) à l'information et de ne pas se voir accusés d'ingérence ou d'influence dans l'environnement cognitif de leurs populations.

Ce paradoxe, à vrai dire n'est en pas un. Les états autoritaires ou totalitaires ont toujours été de bien meilleurs "régulateurs" que les états libéraux. "Et alors ?" me direz-vous. Et alors l'enseignement de tout cela, c'est qu'en Chine comme en France, aux Etats-Unis comme en Russie, bien plus qu'une décision, bien plus qu'une itération, un algorithme (de recommandation ou d'autre chose) est au moins autant un fait social qu'un artefact technique calculatoire. Et qu'il ne peut être compris, régulé, rendu "transparent à l'inspection, prévisible pour ceux qu'ils gouvernent, et robuste contre toute manipulation" qu'au regard du régime politique dans lequel et pour lequel il est déployé et dans lequel il peut aussi être dévoyé.

Quand j'écris qu'un algorithme est un fait social, j'entends l'expression au sens ou Durkheim la définit :

"toute manière de faire, fixée ou non, susceptible d'exercer sur l'individu une contrainte extérieure; ou bien encore, qui est générale dans l'étendue d'une société donnée tout en ayant une existence propre, indépendante de ses diverses manifestations au niveau individuel." (Les règles de la méthode sociologique)

Et je pourrais même ajouter que les plateformes qui à la fois "portent" mais aussi "se résument" aux algorithmes qui les traversent sont, chacune, un fait social total au sens où Marcel Mauss le définit :

"c’est-à-dire qu’ils mettent en branle dans certains cas la totalité de la société et de ses institutions (potlatch, clans affrontés, tribus se visitant, etc.) et dans d’autres cas seulement un très grand nombre d’institutions, en particulier lorsque ces échanges et ces contrats concernent plutôt des individus."

Kate Crawford écrivait de l'IA qu'elle était fondamentalement "une industrie du calcul intensive et extractive qui sert les intérêts dominants." Les algorithmes ne sont pas autre chose. Si la Chine décide de réguler fortement et drastiquement les algorithmes (privés) de recommandation c'est parce qu'elle y voit une concurrence dans ses intérêts dominants qui sont ceux d'être en capacité de discipliner les corps dans l'espace social (numérique ou non). A l'inverse, si les états occidentaux avancent si peu et si mal dans la régulation de ces mêmes algorithmes de recommandation c'est parce que laisser les plateformes qui les portent et les déploient intervenir en concurrence des états est, du point de vue de ces mêmes états, un projet politique parfaitement cohérent et qui sert les desseins du libéralisme, c'est à dire d'une diminution de la part de l'état dans la puissance publique et le fait de faire de l'individu isolé, le seul standard et le seul idéal.

Faire défiler. Le zéro (click) et l’infinite scroll.

Olivier Ertzscheid 1 mai 2022

Dans la suite d'une interview que je viens de donner (et qui paraîtra un jour dans l'excellent Epsiloon), quelques réflexions au sujet du "scrolling" ou plus exactement de "l'infinite scroll".

Depuis ma thèse en 2002 sur les liens hypertextes, je n'ai jamais cessé de m'interroger sur ce plus petit dénominateur commun de nos pratiques numériques et des outils et environnement qui peuplent et meublent nos vies connectées. Le passage du lien au like fut une révolution mortifère. Et avec l'économie de l'attention (et celle de l'occupation) se sont inventées des nouvelles formes de suggestions qui sont pour l'essentiel devenues autant de causes de (nos) sujétions.

Cela va peut-être vous paraître assez fou mais j'ai un souvenir précis, très précis même, de la première fois où je me suis trouvé face à l'invention d'Aza Raskin, le "scrolling infini". Plus besoin de cliquer sur "page suivante", on ne cessait plus jamais de … défiler. C'était en 2006. Et je me revois en train de "tester" cet infini. Je me revois dans ce paradoxe et dans l'épreuve fascinante de cet oxymore : on m'explique que ce défilement peut être infini mais je sais qu'il est en réalité "borné", qu'il aura une "fin" ; mais je perçois également que je serai ou épuisé ou lassé ou frustré ou contraint avant que d'atteindre cette finitude lointaine que l'on me présente à tort comme un infini. Alors je teste. J'essaie l'infini. Et je me souviens avoir été au moins autant infiniment perplexe qu'infiniment fasciné. Une mythologie. C'est l'image des Danaïdes et de leur tonneau percé qui m'est immédiatement apparue. Je regardais des Danaïdes remplir un tonneau percé et j'étais autant fasciné par la perversité du châtiment que par l'infini de cet écoulement et par la vanité de celles qui le rendaient possible.

Moi qui n'avais vécu toute ma vie que dans l'espace de la page, moi qui avais interrogé à de multiple reprises ce que le web avait fait de cet espace de la page, moi qui avais donc analysé ce que les liens hypertextes permettaient de faire aux relations entre ces pages et qui n'avais eu de cesse que de m'enthousiasmer pour cet espace de possibles, je voyais donc, et ce n'était pas neutre, désormais l'espace physique de la page céder et s'effondrer sous le poids d'un pseudo-infini qui allait tout changer. A commencer par la capacité de lire (comment lit-on un livre infini autrement que chez Borges ?) et la capacité de lier, de relier, et donc de relire (comment fait-on un lien vers l'infini et comment envisager de relire l'infini puisqu'il n'est jamais possible simplement de le lire en entier).

Je voyais la lecture céder devant la consultation, je percevais le double sens de ce dernier terme qui convoquait déjà sémantiquement la question d'une pathologisation : lorsque l'on va consulter c'est bien que l'on se sent malade. Je voyais aussi la capacité de lier s'effacer derrière l'injonction de liker. Je m'arrangeais avec ma propre Cassandre. Je me questionnais aussi : lorsque l'on inventa le "codex", c'est à dire le livre sous sa forme actuelle, on cessa d'utiliser des "volumen" (livre en rouleau) précisément car la forme du rouleau ne permettait pas de repérage facile dans un texte, parce qu'elle rendait complexe tout retour en arrière, mais aussi pour tout un tas d'autres raisons anthropologiques et cognitives. Or le défilement infini d'aujourd'hui est par bien des égards semblable aux inconvénients du "volumen" mais il se présente pourtant comme un aboutissement, comme une évolution critiquée mais "positiviste" de notre rapport à l'information et à sa manipulation. C'est ce "positivisme" qui interroge. Une technologie intellectuelle ne s'invente jamais seule. Elle est le fruit d'une époque, d'un rapport à l'information et au savoir, d'une organisation des pouvoirs qu'il s'agit d'éprouver en la contestant ou en la renforçant ainsi que d'un jeu complexe d'affordances cognitives et corporelles.

Il y a donc, c'est à peu près certain, quelque chose de politique à questionner dans l'invention du défilement infini. Nous y reviendrons plus tard.

Linéarité(s).

Tous les médias arrivent avec leurs linéarités, leurs repères orthonormés attentionnels. Presse, radio, télé, chacun a ses espaces de déploiement, de repli, ses abscisses de programmes et ses ordonnées d'audiences, ses contraintes de format et la nécessité d'y trouver des issues de défilement. Toujours et tout le temps pour chaque média il faut offrir et garantir la possibilité de ce défilement. Faire défiler les articles, les émissions, les stations, les chaînes.

Sur mes vieux postes de radio analogiques déjà je faisais défiler. Je scrollais. Souvent, déjà à l'aide de mon pouce et de mon index.

Sur nos télés, quand plusieurs chaînes vinrent et que les télécommandes les accompagnèrent, alors là aussi nous défilâmes jusqu'à parfois ne faire plus que cela. Déjà. Et déjà notre pouce posé dessus.

Aujourd'hui le champ de ces linéarités médiatiques est exponentiel. A la délinéarisation des médias audiovisuels, qui date en France d'un peu plus de 10 ans, répond une linéarisation croissante et constante des médias sociaux numériques qui agrègent nos capacités attentionnelles dans un défilement qui doit nous être proposé comme une forme de non-choix, comme s'il n'y avait pas d'autre alternative que celle de cette consultation infinie, rectiligne, assignée.

Une linéarisation à marche forcée qui intègre d'ailleurs les médias "délinéarisés" sous forme de courtes séquences ou extraits, et qui sont ainsi relinéarisés, réagencés et réassignés attentionnellement. Du "mur" de Facebook au "fil" de Twitter, d'Instagram à TikTok, il y a cette forme de boulimie attentionnelle qui constamment fait défiler, les contenus à la verticale, et les Stories à l'horizontale. Le plus souvent en tout cas. Comme si l'horizontalité était la marque de l'éphémère, de ce qui s'efface, et que la verticalité était tout au contraire cet enfouissement légitime et nécessaire vers lequel on nous traîne et auquel on nous entraîne.

Deleuze et Guattari parlaient de [déterritorialisation](https://fr.wikipedia.org/wiki/Déterritorialisation#:~:text=La déterritorialisation est un concept,actualisation dans d'autres contextes.) (et de reterritorialisation). Ces délinéarisations (et leurs relinéarisations) en sont les états de stase paradoxaux : le défilement infini est ce qui permet de figer, de ralentir ou d'arrêter la capacité d'actualiser un certain nombre de relations dans d'autres contextes et donc d'assurer et de garantir la mouvance d'un corps social qui sans cela, se fige, s'assigne, et ne se perçoit plus que comme un "regardant" qui accepte dès lors, sur plein de sujets, d'être finalement "assez peu regardant".

Mais quels sont ces fils que l'on fait dé-filer à l'infini ?

Filaire. Nos communications sont filaires. Ou sans fil. Nos réseaux sociaux sont pourvus de "fils" que l'on suit et qui donc défilent. Souvent d'ailleurs on "perd le fil" de ces conversations. Alors revenons aux fondamentaux de l'économie filaire. Celle du métier à tisser. Métier à tisser dont la mécanisation fut, dans l'Angleterre du 18ème siècle, la première grande révolution industrielle. Et si la révolution numérique, en tout cas celle que l'on nous vend dans les atours d'une start-up nation piétinant l'éthique, n'était que la continuation de cette révolution du tissage et de sa mécanisation ? La révolution de la mécanisation de nos conversations, de nos "fils" Twitter égarés dans la toile mondiale ?

Je veux un temps garder cette analogie du métier à tisser pour expliquer quelque chose. Dans un métier à tisser, quand on "file" c'est à dire que l'on fait "dé / filer", alors quelque chose se construit, quelque chose se tisse. Une toile, une tenture, un parement, un vêtement, des images ou des mots.

Quand on fait défiler les pages d'un livre (étymologiquement comme Barthes le rappelle, texte = tissu) on fabrique quelque chose d'un imaginaire qui nous est propre. Pour citer exactement Barthes :

"« (…) Texte veut dire tissu. Mais alors que jusqu’ici on a toujours pris ce tissu pour un produit, derrière lequel se tient, plus ou moins caché, le sens (la vérité), nous accentuons maintenant, dans le tissu, l’idée que le texte se fait, se travaille, à travers un entrelacs perpétuel ; perdu dans ce tissu – cette texture- le sujet s’y défait, telle une araignée qui se dissoudrait elle-même dans les sécrétions constructives de sa toile. Si nous aimions les néologismes, nous pourrions définir la théorie du texte comme une hyphologie (hyphos, c’est le tissu et la toile d’araignée) ». Barthes, Roland, Le plaisir du texte, -1973- Paris, Edition du Seuil, 2000, p. 126.

Son "hyphologie" de 1973 était déjà la toile du web de 1989.

La question est de savoir ce qui se construit dans le défilement infini, dans "l'infinite scroll". Et la place que ces défilements infinis laissent à la fois au vagabondage de l'imaginaire et à la volonté d'aller. Or il semble que là, dans ces défilements incessants et hypnotiques, non seulement on ne fabrique rien (ou si peu) et il n'y a que peu de places pour notre imaginaire. Et que la volonté est celle de Danaïdes ignorantes de leur châtiment et se satisfaisant de la vanité de leur tâche.

Le zéro (click) et l'infini(te scroll)

Il y a un point frappant pour les boomers du web dans mon genre qui ont vécu et en quelque sorte métabolisé l'évolution du web depuis son invention en 1989. Longtemps le scrolling fut du côté des moteurs de recherche et de l'activité de navigation elle-même, activité qui ne pouvait être autre chose qu'une dynamique de défilement. On faisait défiler les pages et les pages de résultats sur les moteurs de recherche de l'époque (on faisait même défiler les pages de résultats des annuaires de recherche …). Plus tard on faisait défiler les pages et les comptes des premiers sites communautaires, Geocities et tant d'autres. Puis on fit défiler les blogs et leurs billets. A chaque fois ce défilement agissait à la manière d'une focale : on cherchait à préciser quelque chose, à finaliser une recherche, une tâche même vague. Mais à chaque fois il fallait cliquer sur un lien. La dimension de la flânerie était aussi bien sûr présente, mais c'était une flânerie souvent entièrement aléatoire, stochastique, et c'était une flânerie qui nécessitait périodiquement d'être relancée, à chaque fois que l'on tombait sur un cul de sac du web, et il y en avait encore, des culs de sac du web. Et puis c'était une flânerie qui acceptait d'être déceptive. La flânerie parfois ne donnait et ne débouchait sur rien. Et l'on éprouvait ou en tout cas on avait une forme de conscience de l'existence d'une limite, d'un achevé, d'une fin. Non pas que même à l'époque l'on imaginât être en capacité d'épuiser toutes les navigations possibles mais on voyait, oui, on voyait, qu'il y avait une fin. Alors on faisait autre chose. Et puis …

Et puis progressivement, les moteurs de recherche se firent plus précis, plus pertinents, et l'ensemble des écosystèmes numériques vers lesquels ils pointaient et qu'ils organisaient se mit à répondre plus précisément, plus directement à des requêtes que nous nous mîmes donc à formuler plus explicitement. L'arrivée de Google y joua un rôle primordial bien sûr. Ce que l'on y gagnait en précision on l'y perdait en capacité d'indécision. Cette même capacité d'indécision qui conditionnait les logiques premières de nos flâneries numériques, de nos navigations qui viraient parfois en divagations. L'indéterminé céda devant tous les déterminismes. Ce que l'on pouvait trouver ou retrouver devînt ce que l'on devait trouver ou retrouver. Et puis …

Et puis la massification du web aidant, et puis la dynamique des réseaux sociaux et de leurs tunnels attentionnels jouant à plein, progressivement l'objectif de chaque biotope numérique se modifia. Les moteurs de recherche n'avaient plus pour enjeu de nous présenter autant de pages pertinentes que possible mais de nous inciter à cliquer sur la première page la plus pertinente estimée (si possible en lien sponsorisé). Les réseaux sociaux n'avaient plus pour enjeu de nous présenter autant de profils et de contenus dissemblables que possible mais de nous "rassurer" et de nous conforter dans des routines d'usages à la fois plus homogènes, plus linéaires et plus cognitivement alignées avec nos propres préférences et croyances, préférences et croyances qu'ils maîtrisaient chaque jour davantage un peu mieux.

Une mue radicale s'opéra. Du côté des moteurs de recherche et des écosystèmes marchands, c'est l'objectif zero click qui devînt la norme.

"Objectif zéro clic. Savoir à l'avance ce que vous voulez, ce que vous allez faire, ce que vous allez commander, avec qui vous allez vouloir parler, quel parcours pour votre jogging vous allez emprunter. Objectif zéro clic. Plus jamais. Des like si vous voulez, des +1 à la rigueur. Mais des liens et des clics, attention danger. Ou alors seulement ceux que nous aurons choisi pour vous. Un web balisé. Des régimes attentionnels parqués. Une navigation carcérale. Choisir le web que nous voulons."

Il fallait qu'il n'y ait même plus l'intermédiaire d'un click entre l'expression de notre désir ou de notre envie et sa réalisation, son opérationnalisation marchande et commerciale. Pour Google par exemple l'idée était d'encapsuler autant que possible les réponses à nos questions sur la page même de résultats de son moteur de recherche, pour que nous n'ayons plus à cliquer et à "sortir" de l'environnement Google. Les réseaux sociaux, eux, évacuèrent le clic pour le remplacer par le like : puisque nous n'avions plus à cliquer sur rien et puisque que toutes les informations support de nos navigations nous étaient "proposées" et suggérées sans même l'intermédiaire de la formalisation d'une requête, il fallait trouver à la fois un autre moyen de caractériser ce qui retenait notre attention et conditionnait le temps passé à naviguer, et il fallait aussi que ce moyen nous "implique" autrement que dans une simple activité de scrutation, que nous ne soyons pas simplement spectateurs. Ce moyen ce fut le "like" et l'ensemble des autres métriques affectives déployées. Et à côté, en parallèle, en symétrie et en miroir de ce zéro click se développèrent donc des logiques de défilement infini où ne comptait plus que la dynamique hypnotique du défilement qui nous attirait sans que jamais nous ne l'ayons réellement choisi.

Le zéro click et l'infinite scroll. Trente ans d'histoire du web.

Bonus track : la libido et les lipides.

Dans le défilement infini il y a un horizon d'attente qui n'est jamais comblé par un aboutissement. C'est donc une accumulation de frustrations qui débouchent sur un renoncement à avoir "fait" ou "trouvé" ou même "appris" quelque chose. Pour autant que le souvenir, pour autant que "se" souvenir puisse être un étalon de mesure. Car nous nous souvenons des livres que nous avons lu, des émissions que nous avons regardées, des chansons que nous avons écoutées. Nous nous en souvenons, parfois parfaitement, d'autre fois très imparfaitement, mais ce souvenir est toujours mobilisable. De quoi nous souvenons-nous après avoir passé 2 heures ou 10 minutes à faire défiler … à faire défiler quoi d'ailleurs ? C'est une question que je me pose souvent.

La clé, l'une des clés avec la capacité de se souvenir et donc de faire mémoire mobilisable, c'est la clé du désir. Du désir de défiler. Du désir de faire défiler. Du désir de se défiler. Du désir de s'y filer. Et de s'interroger sur la dimension contrainte qui fait que faire défiler inclut l'impossibilité de "se défiler", au propre comme au figuré.

Parler d'économie (de l'attention) et de désir, c'est revenir aux [travaux fondamentaux de l'association Ars Industrialis, autour notamment de ce qu'est l'économie libidinale](https://arsindustrialis.org/economie-libidinale#:~:text=L'économie libidinale est un,en réserve (comme investissement).) (je souligne) :

"L’économie libidinale est un concept freudien fondamental qui nomme l’énergie produite par une économie des investissements sexuels constituée par leur désexualisation. L’économie de cette énergie (la libido) transforme les pulsions (dont la pulsion sexuelle) en les mettant en réserve (comme investissement). Toute société repose sur une économie libidinale qui transforme la satisfaction des pulsions, par essence asociales, en un acte social. (…)

Capitalisme et libido. Le capitalisme du XXe siècle a fait de la libido sa principale énergie. Il ne suffit pas de disposer de pétrole pour « faire marcher » le capitalisme consumériste : il faut pouvoir exploiter aussi et surtout la libido. L’énergie libidinale doit être canalisée sur les objets de la consommation afin d’absorber les excédents de la production industrielle. Il s’agit de façonner des désirs selon les besoins de la rentabilité des investissements – c’est à dire aussi bien de rabattre les désirs sur les besoins. L’exploitation managériale illimitée de la libido est ce qui détruit notre désir. De même que l’exploitation du charbon et du pétrole nous force aujourd’hui à trouver des énergies renouvelables, de même, il faut trouver une énergie renouvelable de la libido – ce pourquoi nous disons que c’est un problème écologique.

Seule l’analyse en termes d’économie libidinale permet de comprendre pourquoi et comment la tendance pulsionnelle du système psychique et la tendance spéculative du système économique font précisément système. Une économie de marché saine est une économie où les tendances à l’investissement se combinent avec des tendances sublimatoires – ce qui n’est précisément plus le cas."

D'une économie de la libido ([économie libidinale](https://arsindustrialis.org/economie-libidinale#:~:text=L'économie libidinale est un,en réserve (comme investissement).)) dont l'objet est le désir (et la capacité de le créer), on passe avec le "scroll infini" à une économie des lipides, une économie lipidinale (pardon pour le néologisme), une économie attentionnelle du gras (du pouce), de l'immobilité, et peut-être aussi d'une absence de désir ou d'appétence pour autre chose que la contemplation de ce que l'on fait défiler devant nous en nous laissant l'impression de garder l'initiative du défilement.

Facebook et l’algorithme du temps perdu

Olivier Ertzscheid26 juillet 2022

Facebook (désormais Meta) va – encore – changer d'algorithme. Ou plus exactement Facebook va (encore) changer la présentation et l'affectation que ce que nous y voyons. De ce qu'il nous laisse voir et entrevoir.

Il y a de cela quelques courtes années (2018), il opérait un changement présenté comme radical en annonçant vouloir davantage mettre en avant les contenus issus des publications de nos amis ainsi que de la dimension "locale" (ce qui se passe près de là où nous sommes géo-localisés). En France nous étions alors en plein mouvement des Gilets Jaunes et j'avais surnommé ce changement "l'algorithme des pauvres gens". Il fait aujourd'hui exactement … l'inverse.

Le 21 Juillet 2022 exactement, "Mark Méta Facebook Zuckerberg" annonce officiellement le déploiement d'une nouvelle version dans laquelle les publication de nos amis seront rassemblées dans un onglet qui ne sera plus celui de la consultation principale, laquelle sera toute entière trustée par les recommandations algorithmiques de contenus (notamment vidéos) n'ayant plus rien à voir avec nos cercles de socialisation hors le fait qu'ils y soient également exposés. C'est la "TikTokisation" de Facebook.

De l'algorithme des pauvres gens à celui … de la perte de temps.

Dans les mots choisis par Zuckerberg cela donne ceci :

"L'une des fonctionnalités les plus demandées pour Facebook est de faire en sorte que les gens ne manquent pas les publications de leurs amis. C'est pourquoi nous lançons aujourd'hui un onglet Flux dans lequel vous pouvez voir les publications de vos amis, groupes, pages et autres séparément, par ordre chronologique. L'application s'ouvrira toujours sur un flux personnalisé dans l'onglet Accueil, où notre moteur de découverte vous recommandera le contenu qui, selon nous, vous intéressera le plus. Mais l'onglet Flux vous permettra de personnaliser et de contrôler davantage votre expérience."

A la recherche de l'algorithme du temps perdu. Proust était à la recherche d'une vérité sentimentale, personnelles, mémorielle, qui n'était activable que dans les souvenirs d'un temps "perdu" ; Zuckerberg est à la recherche d'une vérité de l'assignation scopique et cognitive qui n'est activable que dans la prolifération instrumentale de contenus fabriqués pour nous faire oublier qu'il est un temps en dehors de celui du défilement infini.

Les raisons de ce changement sont assez simples. Il s'agit de toujours davantage valoriser des contenus "recommandés" par une "intelligence artificielle" (en fait un algorithme statistique entraîné et nourri par des méthodes d'apprentissage "profond"), contenus suffisamment thématisés pour avoir l'air personnalisés et suffisamment généralistes pour s'affilier au maximum de profils possibles. La normalisation alors produite opère une maximisation des rendements publicitaires : tout le monde voit peu ou prou la même chose tout en étant convaincu de ne voir que des recommandations personnalisées.

L'algorithmie selon Facebook (mais aussi selon Instagram, TikTok, Snapchat, et l'ensemble des réseaux et médias sociaux de masse), c'est la conjugaison parfaite de l'effet Barnum (biais cognitif induisant toute personne à accepter une vague description de la personnalité comme s'appliquant spécifiquement à elle-même) et de la kakonomie ("l'étrange mais très largement partagée préférence pour des échanges médiocres tant que personne ne trouve à s'en plaindre").

Effet Barnum et kakonomie auxquels il faut ajouter ce que l'on pourrait appeler, en s'inspirant de la théorie de Mark Granovetter, la force des recommandations faibles.

La force des recommandations faibles.

Facebook et les autres réseaux sociaux nous bassinent en affirmant que leurs "recommandations" sont toujours plus fines, plus précises, et plus personnalisées. La réalité est qu'elles sont toujours plus massives, toujours plus consensuelles, et toujours plus stéréotypiques. Pour Mark Granovetter, dans son article, "la force des liens faibles", paru en 1973 :

"(…) un réseau se compose de liens forts et de liens faibles. La force des liens est caractérisée par la combinaison du temps passé ensemble, de l'intensité émotionnelle, de l'intimité et de la réciprocité du lien entre l'agent A et l'agent B. Les liens forts sont ceux que l'on a avec des amis proches (il s'agit de relations soutenues et fréquentes). Les liens faibles sont faits de simples connaissances. Les liens faibles sont dits "forts" dans la mesure où, s'ils sont diversifiés, ils permettent de pénétrer d'autres réseaux sociaux que ceux constitués par les liens forts."

La force des recommandations faibles permet, de la même manière, de diversifier nos pratiques de consultation et d'échange en ligne en jouant principalement sur les deux paramètres fondamentaux que sont le "temps passé" et "l'intensité émotionnelle". Mais cette diversification est instrumentale et biaisée car elle n'a pas vocation à nous permettre d'agir dans d'autres cercles sociaux par des jeux d'opportunité, mais au contraire de massifier et de densifier un seul cercle social d'audience qui regroupe l'ensemble de nos consultations périphériques pour en faire une norme garantissant le modèle économique des grandes plateformes numériques.

Ils ont (encore) changé l'algorithme !

Pourquoi tous ces changements ? Un algorithme dans un réseau social c'est un peu comme un produit ou un rayon dans un supermarché. De temps en temps il faut le changer de place pour que les gens perdent leurs habitudes, traînent davantage et perdent du temps à la recherche de leurs produits et rayons habituels, et tombent si possible sur des produits et rayons … plus chers. Mais également pour que dans cette errance artificielle ils soient tentés d'acheter davantage. Tout le temps de l'errance est capitalisable pour de nouvelles fenêtres de sollicitations marchandes.

Or la question de l'urgence du changement est particulièrement d'actualité pour la firme qui risque pour la première fois de son histoire de perdre des parts de marché publicitaire, et qui, au cours des trois derniers mois de l'année dernière, avait annoncé qu'elle avait perdu des utilisateurs quotidiens pour la première fois en 18 ans d'histoire.

Dans une perspective historique plus large, il semble que la dimension conversationnelle tant vantée qui fut celle du web, puis des blogs, puis des marchés eux-mêmes (souvenez-vous du Cluetrain Manifesto), et enfin réseaux sociaux, soit arrivée à épuisement. Dans le meilleur des cas, elle a été remplacée par différents types de monologues autour desquels l'essentiel du dialogue se résume à des clics valant autant de claques tantôt approbatoires tantôt d'opprobre. Dans le pire des cas il s'agit de séquences formatées dont la potentialité virale est le seul attribut et dont se repaissent les promoteurs des "intelligences artificielles" dans leurs courses folles au nombre de vues et d'interactions pensées comme autant d'assignations.

Naturellement les conversations ne disparaissent jamais vraiment. Elles sont reléguées dans d'autres espaces numériques (quelques sites dédiés comme 4Chan et l'ensemble des application comme Messenger, WhatsApp, et tout ce que l'on nomme le Dark Social). Mais s'il fut un temps dans lequel l'enjeu des plateformes était de susciter des formes conversationnelles inédites et parfois complexes (des liens hypertextes aux trackbacks en passant pas les forums), l'enjeu n'est plus aujourd'hui que de susciter de stériles appétences pour le contenu suivant.

La part paradoxale de ces changements d'algorithmes ou d'interfaces (ou des deux à la fois) est qu'ils nous renvoient toujours à nos propres pondérations, à nos propres immobilismes, à nos propres routines, à nos propres habitus. Ce n'est pas l'algorithme qui change, c'est l'algorithme qui veut que nous changions. L'autre face sombre de ces changements réside, c'est désormais acquis, davantage dans ce qu'ils tendent à masquer à obscurcir et à ne plus faire voir, qu'à la loi de puissance qui veut qu'une part toujours plus congrue de contenus récolte une part toujours plus massive de visibilité et d'interactions.

La publicité, ou comment transformer l’être humain en rouage docile de la machine capitaliste

« La publicité est partout, à tel point qu’elle est devenue invisible pour l’homo economicus que nous sommes. Nous croyons la dominer alors que nous la subissons. Mais c’est bien elle qui joue avec nous, qui s’impose pour modeler nos comportements et notre environnement. »

« Nous ne mettons pas en cause les activités publicitaires en tant que mise à disposition du public d’informations commerciales, mais nous refusons la violence et la manipulation dont usent les procédés publicitaires, auquel nul ne peut échapper et qui diffusent en permanence l’idéologie dominante. »

La publicité, un matraquage auquel personne ne doit échapper

« La publicité se conjugue avec matraquage (et c’est un point commun avec les techniques des régimes dictatoriaux). Elle est totalitaire car elle cherche à envahir la totalité de l’espace avec des panneaux (souvent surdimensionnés) qui accaparent notre environnement, des affiches recouvrant tout un immeuble, dix publicités identiques à la suite dans le métro, des « tunnels » publicitaires de 20 minutes à la télévision ou à la radio etc. Il devient difficile de poser son regard sur un paysage libre de publicité. Elle s’immisce dans les films à la télévision ou au cinéma en les coupant ou en les pénétrant, plus discrètement, puisque les entreprises payent les cinéastes pour y montrer leurs produits.

La publicité envahit le temps également. Elle rythme toute la vie collective sur le mode de la consommation avec les commémorations, les fêtes, les événements réels ou factices. Tout est bon pour faire consommer. De la même façon, la publicité se saisit de tous les âges de l’existence individuelle pour en faire des moments de consommation, avec les enfants avides de jouets, les adolescents couverts de marques, les hommes motorisant leur vie et devenant fan de gadgets en tout genre, les femmes avec la mode et la beauté mais aussi la ménagère, la mère de famille ou encore les personnes âgées invitées à préparer leur avenir. Si notre espace est accaparé par la publicité, notre temporalité est rythmé par les slogans publicitaires, signe que notre civilisation glisse doucement mais sûrement vers un totalitarisme publicitaire puisqu’il est difficile d’y échapper (frontalement ou indirectement (…)). »

Un maillon essentiel du système capitaliste

« La publicité n’est pas neutre car elle existe pour promouvoir le système capitaliste et un modèle de société fondé sur la consommation. Elle contribue à déconstruire notre réflexion pour mieux nous aliéner. L’omniprésence de la publicité vise à réduire la totalité de l’être humain à la seule dimension de la consommation.

Loin d’être synonyme de liberté, la publicité participe à façonner l’idéologie dominante, à la soutenir afin que chacun prenne part à l’effort de Croissance. Elle est un maillon essentiel de l’activité économique. La publicité suscite le besoin, matraque pour ne pas dire impose un mode de vie. Elle est un rouage essentiel pour créer davantage de besoins, rendre obsolètes les produits, renouveler notre imaginaire afin de nous nourrir de nouveautés et abreuver le système en croissance par la mise en avant de biens et de services marchands. La publicité nous manipule plus qu’elle n’informe.

Modeler nos pensées et nos comportements pour nous conformer à l’impératif de Croissance

« La mainmise de la publicité sur la société est insidieuse puisqu’elle fait de la consommation un fondement de notre société, en nous incitant à penser en terme de consommation. Surtout, en plus de vouloir nous faire dépenser, la publicité vise à nous faire dé-penser en divulguant à feu doux l’idéologie capitaliste, de façon discrète et sournoise à tel point que nous n’avons toujours pas conscience d’être embrigadé. Elle est complice d’une vaste manipulation afin de tout marchandiser et asseoir la société de Croissance, l’alimenter sans cesse en nouveautés, créer de nouveaux besoins et acter l’obsolescence. Elle développe une idéologie et un mode de vie qui n’est pas neutre car directement au service du capitalisme. »

« [La publicité] a recours sans cesse aux sophismes de l’image, falsifie le sens des mots, déstructure l’ordre logique. Ce langage, dès le plus jeune âge, façonne ainsi des modes de pensée qui sont à l’opposé de la raison cartésienne. La règle publicitaire, qui oblige à faire du produit un spectacle, conduit ainsi l’enfant à confondre l’image et la chose, le visible et le réel. Règne ensuite la culture de l’amalgame : la publicité pratique cette rhétorique de l’association selon laquelle n’importe quelle valeur peut être associée à n’importe quel produit (la beauté du sport par exemple à la célébration de boissons alcoolisées). La rythmique publicitaire (jingles, chocs et frissons), les montages chaotiques et “déments”, en tentant de happer au lieu de convaincre, en nous saisissant viscéralement pour contourner nos résistances conscientes, font prédominer les conduites-réflexes sur toute démarche réfléchie. En liaison avec la trépidation médiatique et les oripeaux de la société du spectacle, c’est toute une relation au monde fondée sur l’adhésion sensorielle et le refus de penser que tisse la publicité dans la “conscience collective“. Ce mode de pensée instaure le règne de l’impensé. »

« L’omniprésence quantitative du phénomène publicitaire entraîne (…) un changement qualitatif dans sa façon d’imposer ses modèles : sa norme paraît “ normale ”. Pour mieux faire passer son message, la publicité a su évoluer en abandonnant le ton impératif pour introduire le mode indicatif. Celui-ci est, finalement, plus contraignant que le mode impératif dans la mesure où l’on ne peut pas se distancier de ses ordres. Qui plus est, cette normalité est commune à tous : la collectivité semble s’y être déjà pliée. Les modèles de consommation deviennent alors d’autant plus coercitifs qu’ils sont supposés massivement répandus. »

Une entreprise totalitaire

« La publicité, sous ses aspects festifs et joyeux, sympathiques et drôles, est une dangereuse propagande qui casse, image après image, le sens de la vie. »

« La publicité est une machine à casser la personne humaine. Elle ne veut plus d’humains, de citoyens, elle veut des consommateurs. La publicité réduit chacun de nous à un moyen : la consommation. La publicité nous impose la fausse idée que l’unique sens de la vie est la consommation. »

« [Le] phénomène publicitaire ne consiste pas en une simple somme d’annonces disparates : elle est un système. Et ce système, si on l’observe bien, non seulement tend à occuper la totalité du champ des activités humaines – y compris ses aspects les plus immatériels – dans la seule consommation. À deux niveaux, celui de l’invasion quantitative et celui de la pénétration idéologique, la publicité est bien une entreprise totalitaire.

« La publicité participe activement à la fabrication d’un modèle de société en imaginant un bonheur formaté fondé sur la consommation. La publicité célèbre l’ordre des « décideurs » et le bonheur des consommations inutiles. Au-delà de la manipulation et du mépris, la publicité dévoile une philosophie cynique qui entend transformer le monde en marchandise. La voix de la publicité est insidieuse car invisible et douce, nous sommes éduqués avec ou alors elle nous fait rêver et, elle contribue à imposer un « totalitarisme tranquille » c’est-à-dire un mode de vie imposé où la norme est la règle et ne pas la respecter signifie l’exclusion et où les victimes sont les bourreaux sans que nous puissions nous condamner. Articulation essentielle de la société capitaliste, la publicité fait plus que soutenir, elle guide la société.’

« Nous aurions pu penser que le chômage, l’exclusion, la pauvreté freineraient l’exhibition du discours publicitaire et feraient taire les sirènes de la surconsommation. Il n’en est rien. Qu’importe la « fracture » sociale, puisqu’on s’adresse à la majorité nantie ! Qu’importe si des centaines de milliers d’individus sont forcées de contempler chaque jour des modèles d’existence qui leur sont rendues inaccessibles par leur exclusion ! On ne s’émeut pas de cette violence quotidienne. Après tout, pourquoi refuserait-on aux pauvres de rêver à ce que possèdent les riches : n’est-ce pas ce qui se fait dans le tiers-monde ? A l’ordre économique, qui a pour effet d’exclure les pauvres, s’adjoint désormais l’ordre publicitaire, qui a pour fonction de nous les faire oublier. »

Avilir l’être humain, le réduire à un simple rouage

« La « culture publicité » n’existe pas, la publicité c’est l’anti-culture. Si la culture nous humanise et ré-enchante le monde, la publicité réduit l’homme à un tube digestif dont l’unique fonction est de consommer. Avec la culture, l’homme devient autonome tandis qu’avec la publicité, plus on y est soumis, plus on devient « accro» et conditionné. Loin d’essayer de tendre à la réflexion des individus, la publicité infantilise nos actes et ce dès l’enfance, en fidélisant les enfants. Il est tellement simple d’exploiter commercialement les rêves des jeunes que cela s’apparente à du dressage tant ce qui est inculqué précocement reste comme une valeur intangible pour l’individu ainsi formaté. Les publicitaires ont l’ambition de nous conditionner et d’occuper l’espace psychique. Souvenons-nous de cet ancien patron de TF1 (chaîne de télévision le plus regardée en Europe) qui expliquait que son travail consistait à élaborer des programmes pour préparer les esprits au message publicitaire. »

« La publicité est (…) une monstrueuse opération de formatage qui vise à faire régresser l’individu afin d’en faire un être docile dépourvue de sens critique et facilement manipulable. Au-delà de sa fonction commerciale immédiate, la publicité est donc bien un enjeu véritable car elle participe à faire régresser l’humain, que ce soit dans son action ou sa réflexion. Elle rabaisse les personnes au rang de simples consommateurs qui commencent par consommer des produits puis consomment d’autres humains (management, violence, exploitations diverses …) et finissent par se consommer eux-mêmes (dopages, sectes, opérations de chirurgie esthétique …). »

Uniformiser les modes de vie et détruire les cultures

« La publicité, loin d’une culture en soi, détruit les cultures existantes pour uniformiser les besoins et les comportements. Elle façonne des identités communes à tous en simulant des différences qui sont davantage des moyens pour nous faire croire que nous avons le choix.

D’ailleurs, la diversité des cultures du monde dérange la publicité puisqu’elle peut être considérée comme un frein à la soif de profits des annonceurs. La publicité veut détruire les cultures en imposant des produits et des modes de vie standardisés sur toute la surface de la Terre. Chacun sur la planète devra consommer de façon identique et beaucoup. La publicité ne supporte pas les peuples qui veulent faire de la diversité de leur culture une richesse. La publicité veut créer un monde non pas universel, mais uniforme, tout en glorifiant, de façon trompeuse, la différence, quand elle ne rêve que d’indifférenciation. »

Une pollution et un gaspillage immenses

« L’omniprésence de la publicité nous oppresse, tout comme elle nous conditionne. Elle normalise nos comportements et représentent autant une occupation illicite de notre espace qu’un gaspillage intolérable d’autant plus qu’il n’est souvent ni voulu, ni attendu.

La publicité, par son essence même, contribue au pillage perpétré par le capitalisme du désastre, notamment des ressources naturelles. En outre, en produisant son verbiage malsain, la publicité pollue de multiples façons notamment par une pollution visuelle et énergétique. »

« De façon intrinsèque, la publicité participe au pillage planétaire organisée par le capitalisme. En effet, le système publicitaire monopolise toujours plus l’espace public. Il parasite les activités culturelles et pervertit les manifestations sportives. Par ailleurs, la publicité sacrifie la santé et l’écosystème au commerce, occulte les conséquences sanitaires, et se moque du principe de précaution (en vendant tout produit, peu importe le risque). La publicité incite à la surconsommation, au gaspillage, à la pollution et fait souvent l’apologie de comportements irresponsables et individualistes. Elle est source de surendettement, de délinquance et de violence pour les plus démunis et les plus réactifs à son discours intrusifs.

« La publicité a toujours privilégié le support de l’affichage à tel point que, désormais, les affiches publicitaires sont incrustées dans nos villes, nos campagnes et nos transports. Elles sont omniprésentes, géantes, souvent illuminées et sont donc dévoreuses d’espace public et d’énergie.

Cette débauche graphique gêne la vue, salit notre cadre de vie, réduit notre liberté de penser et limite notre faculté de rêver. La confiscation de l’espace public et son exploitation mercantile sont d’autant plus inadmissibles que la loi qualifie les paysages de « bien commun de la nation » et que les dispositions régissant l’affichage publicitaire sont intégrées au livre V du Code de l’environnement, intitulé « Prévention des pollutions, des risques et des nuisances ». Ainsi, même le législateur considère l’affichage publicitaire comme une pollution ! Par l’affichage, le système publicitaire s’immisce dans notre quotidien de la façon la plus évidente et la plus violente également. »

Sortir de la publicité pour sortir de la société de croissance

« Pour sortir de la société de croissance, sortir de la publicité est un préalable obligatoire. Lutter contre la publicité est donc, avant tout, un combat idéologique. »

Extraits de l’article « Sortir de la publicité » de Christophe Ondet.

(L’article en intégralité : http://www.projet-decroissance.net/?p=342 )