The dirty little secret that could bring down Big Tech

Adam Rogers Jul 18, 2023, 11:53 AM UTC+2

In 2016, Matt Wansley was trying to get work as a lawyer for a tech company — specifically, working on self-driving cars. He was making the rounds, interviewing at all the companies whose names you know, and eventually found himself talking to an executive at Lyft. So Wansley asked her, straight-out: How committed was Lyft, really, to autonomous driving?

"Of course we're committed to automated driving," the exec told him. "The numbers don't pencil out any other way."

Wait a minute, Wansley thought. Unless someone invents a robot that can drive as well as humans, one of America's biggest ride-hailing companies doesn't expect to turn a profit? Like, ever? Something was clearly very, very screwy about the business model of Big Tech.

"So what was the investment thesis behind Uber and Lyft?" says Wansley, now a professor at the Cardozo School of Law. "Putting billions of dollars of capital into a money-losing business where the path to profitability wasn't clear?"

Wansley and a Cardozo colleague, Sam Weinstein, set out to understand the money behind the madness. Progressive economists had long understood that tech companies, backed by gobs of venture capital, were effectively subsidizing the price of their products until users couldn't live without them. Think Amazon: Offer stuff cheaper than anyone else, even though you lose money for years, until you scale to unimaginable proportions. Then, once you've crushed the competition and become the only game in town, you can raise prices and make your money back. It's called predatory pricing, and it's supposed to be illegal. It's one of the arguments that progressives in the Justice Department used to bust up monopolies like Standard Oil in the early 20th century. Under the rules of capitalism, you aren't allowed to use your size to bully competitors out of the market.

The problem is, conservative economists at the University of Chicago have spent the past 50 years insisting that under capitalism, predatory pricing is not a thing. Their head-spinning argument goes like this: Predators have a larger market share to begin with, so if they cut prices, they stand to lose much more money than their competitors. Meanwhile their prey can simply flee the market and return later, like protomammals sneaking back to the jungle after the velociraptors leave. Predatory companies could never recoup their losses, which meant predatory behaviors are irrational. And since Chicago School economists are the kind of economists who believe that markets are always rational, that means predatory pricing cannot, by definition, exist.

The Supreme Court bought the argument. In the 1986 case Matsushita Electric Industry Co. v. Zenith Radio Corp., the court famously ruled that "predatory pricing schemes are rarely tried, and even more rarely successful." And in 1993, in Brooke Group v. Brown & Williamson Tobacco Corp., the court said that to convict a company of predatory pricing, prosecutors had to show not only that the accused predators had cut prices below market rates but also that they had a "dangerous probability" of recouping their losses. That effectively shut down the government's ability to prosecute companies for predatory pricing.

"The last time I checked, no one — including the United States government — has won a predatory pricing case since Brooke Group," says Spencer Waller, an antitrust expert at Loyola's School of Law. "Either they can't prove below-cost pricing, or they can't prove recoupment, because a nonexpert generalist judge who buys the basic theory when they read Matsushita and Brooke Group is super-skeptical this stuff is ever rational, absent really compelling evidence."

Lots of economists have come up with solid counter-counterarguments to the Chicago School's skepticism about predatory pricing. But none of them have translated to winnable antitrust cases. Wansley and Weinstein — who, not coincidentally, used to work in antitrust enforcement at the Justice Department — set out to change that. In a new paper titled "Venture Predation," the two lawyers make a compelling case that the classic model of venture capital — disrupt incumbents, build a scalable platform, move fast, break things — isn't the peak of modern capitalism that Silicon Valley says it is. According to this new thinking, it's anticapitalist. It's illegal. And it should be aggressively prosecuted, to promote free and fair competition in the marketplace.

"We think real world examples are not hard to find — if you look in the right place," Wansley and Weinstein write. "A new breed of predator is emerging in Silicon Valley." And the mechanism those predators are using to illegally dominate the market is venture capital itself.

enture investing is the answer to the question of what would happen if you staffed a bank's loan department with adrenaline junkies. The limited partners in venture funds demand high returns, and those funds are transient things, lasting maybe a decade, which means the clock is ticking. Venture capitalists and the investors who put money into their funds aren't necessarily looking for a successful product (though they wouldn't turn one down). For VCs and their limited partners, the most profitable endgame is a quick exit — either selling off the company or taking it public in an IPO.

Those pressures, Wansley and Weinstein argue, encourage risky strategies — including predatory pricing. "If you buy what the Chicago School of economists think about self-funded predators, you might think it's irrational for a company to engage in predatory pricing for a bunch of reasons," Weinstein says. "But it might not be irrational for a VC." The idea that it's so irrational as to be nonexistent is "a bullshit line that has somehow become common wisdom."

Take Uber, one of their key examples. It'd be one thing if the company had simply outcompeted taxicabs on the merits. Cabs, after all, were themselves a fat and complacent monopoly. "Matt and I don't have any problem with that," Weinstein says. "You have a new product, scale quickly, and use some subsidies to get people on board." Disrupt an old business and make a new one.

But that's not what happened. As in a soap opera or a comic-book multiverse, the ending never arrived. Uber kept subsidizing riders and drivers, losing billions trying to spend its competitors into oblivion. The same goes for a lot of other VC-backed companies. "WeWork was setting up offices right next to other coworking spaces and saying, 'We'll give you 12 months free.' Bird was scattering its scooters all over cities," Wansley says. "The pattern to us just seems very familiar."

Uber is one of the best investments in history, and it was a predatory pricing.

On its face, it also seems to prove the point of the Chicago School: that companies can never recoup the losses they incur through predatory pricing. Matsushita and Brooke Group require that prosecutors show harm. But if the only outcome of the scaling strategy used by Uber and other VC startups is to create an endless "millennial lifestyle subsidy," that just means wealth is being transferred from investors to consumers. The only victims of predatory pricing are the predators themselves.

Where Wansley and Weinstein break important new ground is on the other legal standard set by the Supreme Court: recoupment of losses. If Uber and WeWork and the rest of the unicorns are perpetual money losers, it sounds like the standard isn't met. But Wansley and Weinstein point out that it can be — even if the companies never earn a dime and even if everyone who invests in the companies, post-IPO, loses their bets. That's because the venture capitalists who seeded the company do profit from the predatory pricing. They get in, get a hefty return on their investment, and get out before the whole scheme collapses.

"Will Uber ever recoup the losses from its sustained predation?" Wansley and Weinstein write. "We do not know. Our point is that, from the perspective of the VCs who funded the predation, it does not matter. All that matters is that investors were willing to buy the VCs' shares at a high price."

Let's be clear here: This isn't the traditional capitalist story of "you win some, you lose some." The point isn't that venture capitalists sometimes invest in companies that don't make their money back. The point is that the entire model deployed by VCs is to profit by disrupting the marketplace with predatory pricing, and leave the losses to the suckers who buy into the IPO. A company that engages in predatory pricing and its late-stage investors might not recoup, but the venture investors do.

"The single most important fact in this paper is that Benchmark put $12 million into Uber and got $5.8 billion back," Wansley says. "That's one of the best investments in history, and it was a predatory pricing."

This new insight — that venture capital is predatory pricing in a new wrapper — could prove transformative. By translating the Silicon Valley jargon of exits and scaling into the legalese of antitrust law, Wansley and Weinstein have opened a door for the prosecution of tech investors and their anticompetitive behavior. "Courts will have to adjust the way they're thinking about recoupment," Weinstein says. "What did the investors who bought from the VCs think was going to happen? Did they think they were going to recoup?" That, he says, would be a "pretty good pathway" for courts to follow in determining whether a company's practices are anticompetitive.

Capitalism is supposed to allow competition to foster innovation and choice; monopolies quash all that so a few people can get rich.

What makes this argument particularly powerful, from a legal perspective, is that it doesn't reject the basics of the Chicago School's thinking on antitrust. It accepts that consumer welfare and the efficiency of markets are paramount. It just points out that something uncanny — and illegal — is taking place in Silicon Valley. "I'm pro-enforcement and anti-Chicago School, so I'm always looking for areas where I think they're wrong," Weinstein says. "And here's one."

That kind of "serious legal scholarship" can be particularly successful with the courts, according to Waller, the antitrust expert at Loyola. "It's a good, modest strategy to say, 'We think your model's wrong, but even if your model's right in general, it's not right here.' That's both how you win cases and how you chip away at an edifice you want to challenge."

With so many industries imploding into oligopolies — tech, healthcare, pharma, entertainment, journalism, retail — it's a hopeful sign to see the trustbusting mindset stirring to life once more. Capitalism is supposed to allow competition to foster innovation and choice; monopolies quash all that so a few people can get rich. But the new scholarship on predatory pricing could ripple well beyond the courts. Wansley and Weinstein's paper put me in mind of "The Big Con," David Maurer's linguistic study of con artists first published in 1940. Maurer said the most delicate part of a con was the end — the blow-off. After the sucker has been bled dry, the grifter has to ditch the victim, ideally in such a way that they won't go to the cops. In the perfect crime, the mark doesn't even know they've been had. The transfer of lousy tech equity to late-stage investors who have been led to believe it's valuable sure looks like a good blow-off to me.

So now that we know precisely how Silicon Valley's big con works, maybe the marks won't be so quick to fall for it. Once you know what a phishing email looks like, you tend to stop replying to them. The same goes for recognizing the outlines of this particular grift. "It's not a Ponzi scheme, but it favors certain investors," Weinstein says. "If people in Silicon Valley start thinking about this as a predatory pricing scam, then I think the late-stage investors will start asking questions."

And not just about ride hailing or office sharing. Maybe grocery delivery? Or streaming-service subscriptions? The same kind of aha! light that went off for Wansley during his interview with the Lyft executive could start to go off for other people as well. Some of them will be investors who decide not to park their money in predatory tech companies. And some of them, perhaps, will be government regulators who are looking for ways to bust our modern-day trusts.

Adam Rogers is a senior correspondent at Insider.

L’Assemblée adopte l’activation à distance des appareils électroniques

Posted on25 juillet 2023

La semaine dernière, l’Assemblée nationale a adopté le projet de loi d’orientation et de programmation du ministère de la justice pour les années 2023-2027. Parmi de multiples dispositions, ce texte prévoit l’introduction dans le droit français la possibilité pour la police d’activer des appareils et objets électroniques à distance, que ce soit les fonctionnalités de géolocalisation, des micros ou des caméras.

Nous vous en parlions il y a quelques semaines, après avoir fait un tour au Sénat, le voila désormais voté par l’Assemblée. Ce projet de surveillance, défendu par le gouvernement comme une simple « évolution technologique » des mesures d’enquête, modifie en réalité profondément la nature même d’objets du quotidien pour accéder à l’intimité des personnes. Il transforme des appareils supposées passifs et contrôlés par leurs propriétaires en des auxiliaires de justice pour s’immiscer dans tous les recoins de nos espaces privés. Alors que la police était jusqu’à présent tenue d’une démarche active et matériellement contraignante pour surveiller quelqu’un, ces dispositions du projet de loi sur la justice permettront de transformer un objet tel qu’un smartphone en dispositif de surveillance, en le compromettant.

Sans trop de surprise, les discussions à l’Assemblée n’ont apporté que peu de changement. Pour l’activation à distance des appareils électroniques à des fins de géolocalisation, permettant d’obtenir l’emplacement de leurs propriétaires, les députés de la majorité – réunis avec la droite et l’extrême droite – ont ramené le texte à sa version initiale. Ainsi, cette mesure pourra être mise en œuvre sur des personnes poursuivies pour des délits et crimes punis de 5 ans d’emprisonnement seulement, alors que les sénateurs avaient rehaussé ce seuil à 10 ans. Pour l’activation du micro et de la caméra des objets connectés permettant de filmer ou d’écouter tout ce qui se passe à leurs alentours, aucune modification substantielle n’est à noter. Prévue pour la criminalité et la délinquance organisées, l’application future de cette technique extrêmement intrusive nous fait craindre le pire. Actuellement déjà, un grand nombre d’actions peuvent tomber dans le champ de la délinquance et la « criminalité organisée », comme par exemple la « dégradation en bande organisée » pour laquelle sont poursuivies les militant·es écologistes arrêtées pour avoir participé à l’action contre l’usine Lafarge.

Mais surtout, il est très probable que cette technique de compromission des appareils s’étende ou se banalise d’ici à quelques années. La dernière décennie, qui a bouleversé en profondeur la réglementation pénale et antiterroriste, démontre par l’exemple quel pourrait être le chemin d’une telle généralisation. En effet, les techniques spéciales d’enquête, particulièrement intrusives, étaient historiquement réservées aux enquêtes et affaires les plus graves, données au seul juge d’instruction. Ce n’est que depuis la réforme pénale de 2016 que ces possibilités ont été élargies aux officiers de police judiciaire et aux procureurs dans le cadre d’enquête de flagrance et préliminaire. Avec cette loi, le procureur pouvait alors ordonner des écoutes téléphoniques, des sonorisations de lieux, des poses de balise GPS, de la vidéosurveillance, des captations de données informatiques ou des perquisitions de nuit.

Cette extension était fortement critiquée au regard des pouvoirs inédits donnés au parquet, hiérarchiquement dépendant de l’exécutif. Le journal « Le Monde » parlait à l’époque de « la loi antiterroriste la plus sévère d’Europe » et s’inquiétait, comme nous aujourd’hui, du « glissement régulier des méthodes du renseignement vers l’antiterrorisme, celles de l’antiterrorisme vers le crime organisé, celles du crime organisé vers la délinquance ordinaire » et de conclure « les procédures d’exception finissent par dissoudre le principe même d’un droit commun ».

Ces prédictions se sont révélées exactes puisque dès 2018, le gouvernement a voulu élargir ces possibilités fraîchement données au procureur à l’ensemble des crimes dans le cadre d’une enquête en flagrance ou d’une enquête préliminaire, et non plus à la seule délinquance et à la criminalité en bande organisée. On ne pourrait donner meilleur exemple de fuite en avant sécuritaire, révélant la volonté de s’arroger toujours plus de pouvoirs dont on pouvait pourtant se passer auparavant. Néanmoins, les gardes fous institutionnels ont plutôt fonctionné à ce moment là : le Conseil constitutionnel a censuré cet appétit grandissant de prérogatives de surveillance. Celui-ci a ainsi estimé que la mesure était excessive et que le juge des libertés et de la détention (JLD), désigné pour autoriser et contrôler ces techniques, ne constituait pas une garantie suffisante. Pour le Conseil, puisque le JLD n’a pas accès à l’ensemble des procès-verbaux de l’enquête ni au déroulé des investigations, cela l’empêche d’assurer un contrôle satisfaisant de la nécessité et la proportionnalité des mesures de surveillance. Pourtant, alors que ces limites sont connues, c’est ce même JLD qui a été choisi dans le PJL Justice 2023-2027 pour contrôler les nouvelles techniques d’activation à distance des objets connectés (hors information judiciaire).

Toutefois, rien ne permet de croire à un coup d’arrêt similaire contre ces nouvelles mesures. À l’heure où l’antiterrorisme est mobilisé pour réprimer des militant·es politiques, ce renforcement des pouvoirs policiers ne fait que souligner les dérives autoritaires du gouvernement. Cette volonté de faire tomber les barrières qui empêchent l’État d’accéder à l’intimité des citoyens rejoint aussi l’offensive actuelle contre le chiffrement des conversations, que nous avons documentée à travers l’instruction de l’affaire dite du « 8 décembre ».

Le projet de loi sera prochainement transmis à une commission mixte paritaire qui tranchera les derniers arbitrages. Les équilibres politiques actuels font qu’il n’y a quasiment aucune chance que les parlementaires reculent et fassent retirer ces mesures de surveillance. Pourtant, si ces dernières sont votées, elles offriront une possibilité de contrôle de masse à faible coût et feront basculer le rapport que peuvent avoir les citoyens à la technologie en transformant radicalement la nature des objets qui nous entourent.

Révoltes et réseaux sociaux : le retour du coupable idéal

Posted on 28 juillet 2023

Les révoltes qu’ont connues de nombreuses villes de France en réaction à la mort de Nahel ont entraîné une réponse sécuritaire et autoritaire de l’État. Ces évènements ont également réactivé une vieille antienne : tout cela serait dû au numérique et aux réseaux sociaux. On aimerait railler cette rhétorique ridicule si seulement elle n’avait pas pour origine une manœuvre politique de diversion et pour conséquence l’extension toujours plus dangereuse de la censure et du contrôle de l’information.

« C’est la faute aux réseaux sociaux »

Aux premiers jours des révoltes, Emmanuel Macron a donné le ton en annonçant, à la sortie d’une réunion de crise, que « les plateformes et les réseaux sociaux jouent un rôle considérable dans les mouvements des derniers jours ». Aucune mention des maux sociaux et structurels dans les quartiers populaires depuis plusieurs décennies, rien sur l’écœurement d’une population vis-à-vis des violences policières. Non, pour le président, c’est Snapchat, TikTok et les autres réseaux sociaux qui participeraient à « l’organisation de rassemblements violents » et à une « forme de mimétisme de la violence » qui conduirait alors à « une forme de sortie du réel ». Selon lui, certains jeunes « vivent dans la rue les jeux vidéo qui les ont intoxiqués ». Il est vrai que nous n’avions pas vu venir cette sortie d’un autre temps sur les jeux vidéos, tant elle a déjà largement été analysée et démentie par de nombreuses études.

Mais si le jeu vidéo a vite été laissé de côté, les critiques ont toutefois continué de se cristalliser autour des réseaux sociaux, à droite comme à gauche. Benoît Payan, maire de Marseille, a ainsi expliqué que les réseaux sociaux « sont hors contrôle et ils permettent à des bandes organisées qui font n’importe quoi d’être extrêmement mobiles, de se donner des rendez-vous ». Éric Dupond-Moretti, ministre de la Justice, s’est quant à lui taillé un rôle paternaliste et moralisateur, dépolitisant les évènements et essentialisant une jeunesse qui aurait l’outrecuidance d’utiliser des moyens de communication. Selon lui, « les jeunes » utilisent les réseaux sociaux et se « réfugient derrière leurs téléphone portable », se pensant « comme ça en toute liberté dans la possibilité d’écrire ce qu’ils veulent ». Car pour Dupond-Moretti, le jeune doit « rester chez lui » et les parents doivent « tenir leurs gosses ». Et si le jeune veut quand même « balancer des trucs sur Snapchat », alors attention, « on va péter les comptes ».

En substance, il menace d’identifier les personnes qui auraient publié des vidéos de violences pour les retrouver, quand bien même ces contenus seraient totalement licites. À l’image d’un surveillant courant avec un bâton après des enfants, dépassé par la situation, le ministre de la Justice se raccroche à la seule branche qui lui est accessible pour affirmer son autorité. Les récits de comparution immédiate ont d’ailleurs démontré par la suite la violence de la réponse judiciaire, volontairement ferme et expéditive, confirmant la détermination à prouver son ascendant sur la situation.

Le clou du spectacle a été prononcé par Emmanuel Macron lui-même le 4 juillet, devant plus de 200 maires, lorsqu’il a évoqué l’idée de « réguler ou couper » les réseaux sociaux puisque « quand ça devient un instrument de rassemblement ou pour essayer de tuer, c’est un vrai sujet ». Même avis chez Fabien Roussel « quand c’est chaud dans le pays », car celui-ci préfère « l’état d’urgence sur les réseaux sociaux que sur les populations ». Pour rappel, couper Internet à sa population est plutôt apprécié par les régimes autoritaires. En 2023, l’ONG Access Now a recensé que ce type de mesure avait été utilisé en Inde, Birmanie, Iran, Pakistan, Éthiopie, Russie, Jordanie, Brésil, Chine, Cuba, Irak, Guinée et Mauritanie.

Quelques semaines plus tard, le président annonçait le projet : restaurer un « ordre public numérique », ranimant la vieille idée sarkoziste qu’Internet serait une « zone de non-droit ».

La censure au service de l’ordre

L’ensemble de ces réactions révèle plusieurs des objectifs du gouvernement. D’abord, il attaque les moyens de communication, c’est-à-dire les vecteurs, les diffuseurs, les tremplins d’une expression populaire. Ce réflexe autoritaire est fondé sur une erreur d’appréciation majeure de la situation. Comme avec Internet à sa création, l’État semble agacé que des moyens techniques en perpétuelle évolution et lui échappant permettent aux citoyens de s’exprimer et s’organiser.

Depuis sa création, La Quadrature l’observe et le documente : le réflexe du blocage, de la censure, de la surveillance traduit en creux une incapacité à comprendre les mécanismes technologiques de communication mais surtout révèle la volonté de limiter la liberté d’expression. En démocratie, seul un juge a l’autorité et la légitimité pour décider si un propos ou une image enfreint la loi. Seule l’autorité judiciaire peut décider de retirer un discours de la sphère publique par la censure.

Or, sur Internet, cette censure est déléguée à des entités privées dans un cadre extra-judiciaire, à rebours de cette protection historique. L’expression et l’information des utilisateur·rices se heurtent depuis des années aux choix de plateformes privées auto-désignées comme entités régulatrices du discours public. Ce mécanisme de contrôle des moyens d’expression tend en effet à faire disparaître les contenus militants, radicaux ou alternatifs et à invisibiliser l’expression de communautés minoritaires. Alors que ce modèle pose de sérieuses questions quant à la liberté d’expression dans l’espace démocratique, c’est pourtant bien sur celui-ci que le gouvernement compte pour faire tomber les vidéos de violences et de révoltes.

Ensuite, cette séquence démontre l’absence de volonté ou l’incompétence de l’État à se confronter aux problématiques complexes et anciennes des quartiers populaires et à apporter une réponse politique et sociale à un problème qui est uniquement… politique et social. L’analyse des évènements dans les banlieues est complexe, difficile et mérite qu’on se penche sur de multiples facteurs tels que le précédent de 2005, l’histoire coloniale française, le rapport des habitant·es avec la police ou encore le racisme et les enjeux de politique de la ville. Mais ici, le gouvernement convoque les réseaux sociaux pour contourner la situation. Comme à chaque crise, la technologie devient alors le *usual suspect* préféré des dirigeants : elle est facile à blâmer mais aussi à maîtriser. Elle apparaît ainsi comme une solution magique à tout type de problème.

Rappelons-nous par exemple de l’application TousAntiCovid, promue comme l’incarnation du progrès ultime et salvateur face à la crise sanitaire alors qu’il s’agissait uniquement d’un outil de surveillance inefficace. La suite a montré que seules des mesures sanitaires étaient de toute évidence à même de résorber une épidémie. Plus récemment, cette manœuvre a été utilisée pour les Jeux Olympiques, moment exceptionnel par ses aspects logistiques, économiques et sociaux mais où la réponse politique apportée a été de légaliser un degré supplémentaire de surveillance grâce à la technologie, la vidéosurveillance algorithmique.

Ici, le gouvernement se sert de ces deux phénomènes pour arriver à ses fins. Désigner les réseaux sociaux comme le coupable idéal lui permet non seulement de détourner l’opinion publique des problématiques de racisme, de pauvreté ou de politique des quartiers mais également de profiter de cette séquence « d’exception » pour asseoir sa volonté de contrôle d’Internet et des réseaux sociaux. Ainsi, les ministres de l’Intérieur et du Numérique ont convoqué le 30 juin les représentants de TikTok, Snapchat, Twitter et Meta pour leur mettre une « pression maximale », selon les mots du ministre du Numérique Jean-Noël Barrot, et renforcer ainsi la main mise et l’influence politique sur ces infrastructures de communication.

Une collaboration État-plateformes à son paroxysme

Comment le gouvernement peut-il alors faire pour réellement mettre les réseaux sociaux, des entreprises privées puissantes, sous sa coupe ? Juridiquement, il dispose de leviers pour demander lui-même le retrait de contenus aux plateformes. Certes cette censure administrative est en théorie aujourd’hui réservée à la pédopornographie et à l’apologie du terrorisme, mais cette dernière, notion vague et indéfinie juridiquement, a notamment permis d’exiger le blocage du site collaboratif et militant Indymedia ou de faire retirer une caricature de Macron grimé en Pinochet. Ces pouvoirs ont d’ailleurs été récemment augmentés par l’entrée en vigueur du règlement « TERREG », qui permet à la police d’exiger le retrait en une heure d’un contenu qualifié par elle de « terroriste ». Cependant, il ne semble pas que le gouvernement ait utilisé ces dispositions pour exiger le retrait des vidéos de révoltes. D’ailleurs, et peut-être plus grave, il n’en a probablement pas eu besoin.

Conscient des limites juridiques de son pouvoir, l’État peut en effet miser sur la coopération des plateformes. Comme nous l’avons évoqué, celles-ci ont le contrôle sur l’expression de leurs utilisateur·ices et sont en mesure de retirer des vidéos de révoltes et d’émeutes quand bien même ces dernières n’auraient absolument rien d’illégal, simplement en invoquant leurs larges pouvoirs issus des conditions générales d’utilisation.

D’un côté, les autorités peuvent compter sur le zèle de ces réseaux sociaux qui, après avoir longtemps été accusés de mauvais élèves et promoteurs de la haine en ligne, sont enclins à se racheter une image et apparaître comme de bons soldats républicains, n’hésitant pas à en faire plus que ce que demande la loi. Twitter par exemple, qui a pendant longtemps résisté et ignoré les demandes des autorités, a drastiquement changé sa discipline depuis l’arrivée d’Elon Musk. Selon le media Rest of World qui a analysé les données du réseau, Twitter ne refuse quasiment plus aucune injonction de blocage ou réquisition de données d’identification provenant des différents États dans le monde.

Concernant les récents évènements en France, le ministre Barrot a ainsi confirmé que les « demandes » du gouvernement avaient été « entendues ». Le Commandement de la Gendarmerie dans le cyberespace exposait fièrement que 512 demandes de retrait avaient été adressées aux modérateurs de réseaux sociaux, quand Olivier Veran annonçait quant à lui que « ce sont plusieurs milliers de contenus illicites qui ont été retirés, plusieurs centaines de comptes qui ont été supprimés, plusieurs dizaines de réquisitions auxquelles les plateformes ont répondu ».

Et en effet, Snapchat ne se cachait pas d’avoir fait plus que le nécessaire. Un porte-parole affirmait à l’AFP faire de la « détection proactive » notamment sur la carte interactive qui permet de retrouver des contenus en fonction des lieux et « et plus particulièrement le contenu lié aux émeutes » qui serait supprimé s’il « enfreint [leurs] directives ». La responsable des affaires publiques de l’entreprise assumait quant à elle devant l’Assemblée nationale avoir travaillé avec le ministère de l’Intérieur pour filtrer les contenus et ne laisser en ligne que ceux mettant en scène des personnes se plaignant des violences. Les représentants de Tiktok ont pour leur part [annoncé](https://www.latribune.fr/technos-medias/internet/les-reseaux-sociaux-retirent-des-milliers-de-contenus-illicites-lies-aux-emeutes-968771.html#:~:text=Mis en cause par de,des données personnels de policiers) : « Nous menons une modération automatique des contenus illicites, renforcée par des modérateurs humains. En raison de la nécessité urgente en France, nous avons renforcé nos efforts de modération ».

De l’autre côté, si les réseaux sociaux refusent de se plier à ce jeu diplomatique, alors le gouvernement peut menacer de durcir leurs obligations légales. Aujourd’hui, les réseaux sociaux et hébergeurs bénéficient d’un principe européen d’irresponsabilité, créé dans les années 2000 et reposant en France sur l’article 6 de la loi pour la confiance dans l’économie numérique (LCEN). Ils ne sont responsables de contenus que s’ils ont connaissance de leur caractère illicite et ne les ont pas retiré « promptement ». Mais alors que les soirées d’émeutes étaient toujours en cours dans les villes de France, le sénateur Patrick Chaize profitait de l’examen du projet de loi Espace Numérique pour proposer un amendement qui voulait modifier ce régime général et imposer aux plateformes le retrait en deux heures des contenus « incitant manifestement à la violence ».

Si cet amendement a finalement été retiré, ce n’était pas en raison de désaccords de fond. En effet, Jean-Noël Barrot a, dans la foulé de ce retrait, annoncé le lancement d’un « groupe de travail » interparlementaire pour réfléchir à une « évolution législative » de l’encadrement des réseaux sociaux. Sont envisagées pour l’instant des restrictions temporaires de fonctionnalités telles que la géolocalisation, des mesures de modération renforcées ou encore la levée de l’anonymat, éternelle marotte des parlementaires. Demande constante de la droite française depuis de nombreuses années, cette volonté de lier identité virtuelle et identité civile est cette fois-ci défendue par le député Renaissance Paul Midy. De quoi agiter le chiffon rouge de futures sanctions auprès de plateformes qui rechigneraient à en faire suffisamment.

L’impasse de la censure

Déjà voté au Sénat, le projet de loi « Espace Numérique » devrait être discuté à la rentrée à l’Assemblée. Outre plusieurs dispositions problématiques sur lesquelles nous reviendrons très prochainement, ce texte a comme objet initial de faire entrer dans le droit français le Digital Services Act (ou DSA). Ce règlement européen adopté en 2022 est censé renouveler le cadre juridique des acteurs de l’expression en ligne.

Contrairement à ce qu’affirmait avec aplomb Thierry Breton, commissaire européen en charge notamment du numérique, ce texte ne permettra en aucun cas d’« effacer dans l’instant » les vidéos de révoltes ni d’interdire d’exploitation les plateformes qui n’exécuteraient pas ces injonctions. Non, ce texte donne principalement des obligations ex ante aux très grosses plateformes, c’est-à-dire leur imposent des efforts sur leur fonctionnement général (transparence des algorithmes, coopération dans la modération avec des tiers certifiés, audits…) pour prévenir les risques systémiques liés à leur taille et leur influence sur la démocratie. M. Breton est ainsi prêt à tout pour faire le SAV du règlement qu’il a fait adopter l’année dernière, quitte à dire des choses fausses, faisant ainsi réagir plus de soixante associations sur ces propos, puis à rétropédaler en catastrophe en voyant le tollé que cette sortie a déclenché.

Cependant, si ce texte ne permet pas la censure immédiate rêvée par le commissaire européen français, il poursuit bien la dynamique existante de confier les clés de la liberté d’expression aux plateformes privées, quitte à les encadrer mollement. Le DSA légitime les logiques de censure extra-judiciaire, renforçant ainsi l’hégémonie des grandes plateformes qui ont développé des outils de reconnaissance et de censure automatisés de contenus.

Des contenus terroristes aux vidéos protégées par le droit d’auteur en passant par les opinions radicales, c’est tout un arsenal juridique européen qui existe aujourd’hui pour fonder la censure sur internet. En pratique, elle permet surtout de donner aux États qui façonnent ces législations des outils de contrôle de l’expression en ligne. On le voit en ce moment avec les vidéos d’émeutes, ces règles sont mobilisées pour contenir et maîtriser les contestations politiques ou problématiques. Le contrôle des moyens d’expression finit toujours aux mains de projets sécuritaires et anti-démocratiques. Face à ce triste constat, de la même manière que l’on se protège en manifestation ou dans nos échanges militants, il est nécessaire de repenser les pratiques numériques, afin de se protéger soi-même et les autres face au risque de détournement de nos publications à des fins répressives (suppression d’images, de vidéos ou de messages, flouter les visages…).

Enfin, cette obsession de la censure empêche surtout de se confronter aux véritables enjeux de liberté d’expression, qui se logent dans les modèles économiques et techniques de ces plateformes. À travers leurs algorithmes pensés pour des logiques financières, ces mécanismes favorisent la diffusion de publications violentes, discriminatoires ou complotistes, créant un tremplin rêvé pour l’extrême droite. Avec la régulation des plateformes à l’européenne qui ne passe pas par le questionnement de leur place prépondérante, celles-ci voient leur rôle et leur influence renforcé·es dans la société. Le modèle économique des réseaux sociaux commerciaux, qui repose sur la violation de la vie privée et la monétisation de contenus problématiques, n’est en effet jamais empêché, tout juste encadré.

Nous espérons que les débats autour du projet de loi Espace Numérique seront enfin l’occasion de discuter de modèles alternatifs et de penser la décentralisation comme véritable solution de la régulation de l’expression en ligne. Cet idéal n’est pas utopique mais existe bel et bien et grandit de jour en jour dans un écosystème fondé sur l’interopérabilité d’acteurs décentralisés, refusant les logiques de concentration des pouvoirs de censure et souhaitant remettre les utilisateurs au cœur des moyens de communications qu’ils utilisent.

En France ou ailleurs, couper l’accès aux réseaux sociaux pour couper court aux émeutes ?

Publié: 26 juillet 2023, 20:17 CEST

La mort de Nahel, tué par un policier à Nanterre lors d’un contrôle routier le 27 juin 2023, a déclenché en France une série de manifestations violentes qui se sont rapidement étendues à tout le pays et ont même franchi les frontières nationales.

Les réseaux sociaux ont joué un rôle déterminant dans cette affaire. Il n’est donc pas surprenant que ces plates-formes soient devenues l’une des cibles des autorités françaises, Emmanuel Macron ayant évoqué la possibilité de couper l’accès aux réseaux sociaux durant des périodes de violences urbaines.

Les réactions à ces propos ont vite provoqué un rétropédalage du gouvernement, par l’intermédiaire de son porte-parole Olivier Véran, qui a déclaré que les restrictions pourraient se limiter à des suspensions de certaines fonctionnalités comme la géolocalisation.

Un débat qui agite aussi les instances internationales, comme l'ONU, qui s'interrogent sur le rôle des réseaux sociaux et sur la modération de contenus.

Le rôle des réseaux sociaux

Que les réseaux sociaux constituent, comme le soulignait déjà le Rapporteur spécial sur la liberté d’opinion et expression de l’ONU en 2011, « un instrument de communication essentiel au moyen duquel les individus peuvent exercer leur droit à la liberté d’expression, ou […] de recevoir et de répandre des informations » est un fait indéniable. C’est d’ailleurs une vidéo largement diffusée en ligne qui a permis de remettre en cause la version des faits sur la mort de Nahel initialement avancée par les policiers impliqués.

Mais les réseaux sociaux ont ensuite beaucoup servi à partager des vidéos, y compris d’épisodes violents, ainsi qu’à organiser et à géolocaliser les mobilisations et les endroits visés par les dégradations ou affrontements. D’où la réaction du gouvernement français, qui a tenu une réunion avec les représentants de Meta, Snapchat, Twitter et TikTok afin de les appeler à la responsabilité concernant la diffusion de tels contenus.

[Plus de 85 000 lecteurs font confiance aux newsletters de The Conversation pour mieux comprendre les grands enjeux du monde. Abonnez-vous aujourd’hui]

Les plates-formes étant devenues les « nouveaux gouverneurs » de la liberté d’expression, leurs politiques de modération ainsi que l’application de celles-ci se retrouvent scrutées de près. Or les règles en vigueur sont vagues et ne permettent pas une identification claire des contenus interdits ; en outre, l’usage de l’IA peut favoriser la discrimination, alimenter des inégalités sociales et conduire soit à une suppression excessive de contenus soit, à l’inverse, à la non-suppression de contenus qui vont à l’encontre du droit international des droits humains.

Parmi les exemples récents de l’incidence d’une modération de contenus opaque, citons le rôle de Facebook au Myanmar dans la propagation de discours haineux contre les Rohingya, mais aussi aux États-Unis lors de l’assaut du Capitole par les supporters de Donald Trump le 6 janvier 2021, suite à l’élection de Joe Biden.

Les réseaux sociaux ont, en vertu des Principes directeurs relatifs aux entreprises et droits de l’homme de l’ONU, la responsabilité de veiller au respect des droits humains dans le cadre de leurs activités. L’appel à la responsabilité de la part du gouvernement français en matière de modération des contenus n’est donc pas, en soi, problématique.

Le rôle des États

Les États ont la possibilité, dans certaines circonstances, de mettre en place des mesures susceptibles de restreindre l’exercice des droits fondamentaux tels que la liberté d’expression, par exemple en imposant des règles strictes aux réseaux sociaux ; mais ces restrictions doivent être conformes à leurs obligations internationales.

La France ayant ratifié le Pacte international sur les droits civils et politiques, toute restriction aux droits y énumérés doit correspondre aux dispositions établies dans ce traité.

Le Pacte précise que pour qu’une restriction à la liberté d’expression soit légitime, elle doit satisfaire trois conditions cumulatives : la restriction doit être « fixée par la loi » ; elle doit protéger exclusivement les intérêts énumérés à l’article 19 du Pacte (les droits ou la réputation d’autrui, la sécurité nationale ou l’ordre public, la santé ou la moralité publiques) ; et elle doit être nécessaire pour protéger effectivement l’intérêt légitime identifié, et proportionnée à l’objectif visé, ce qui signifie qu’elle doit compromettre le moins possible l’exercice du droit. Les mêmes conditions s’appliquent aussi aux restrictions aux droits à la liberté de réunion pacifique et libre association.

Or la proposition d’Emmanuel Macron peut précisément s’inscrire dans le cadre d’une restriction de la liberté d’expression, de la libre association et du droit à la réunion pacifique. Bien que cette idée soit présentée comme visant à protéger l’intérêt légitime du maintien de l’ordre public ou même de la sécurité nationale, de telles mesures ont été à plusieurs reprises jugées par les organisations internationales comme étant non conformes avec le droit international.

Le Rapporteur spécial sur la liberté d’opinion et d’expression de l’ONU a largement traité ce sujet. En 2017, il a souligné que les coupures d’Internet – qui peuvent être complètes ou partielles, c’est-à-dire n’affectant que l’accès à certains services de communication comme les réseaux sociaux ou les services de messagerie – « peuvent être expressément destinées à empêcher ou à perturber la consultation ou la diffusion de l’information en ligne, en violation […] des droits de l’homme » et que, « dans bien des cas, elles sont contre-productives ».

Le Rapporteur spécial sur la liberté de réunion pacifique et à la liberté d’association a pour sa part précisé en 2019 que « les coupures de réseau constituent une violation flagrante du droit international et ne peuvent en aucun cas être justifiées » et que « bien que ces mesures soient généralement justifiées par des raisons d’ordre public et de sécurité nationale, ce sont des moyens disproportionnés, et la plupart du temps inefficaces, d’atteindre ces objectifs légitimes ».

En 2021, une résolution du Conseil des droits de l’homme de l’ONU, dont le projet a notamment été porté par la France, condamne « fermement le recours aux coupures de l’accès à Internet pour empêcher ou perturber délibérément et arbitrairement l’accès à l’information en ligne ou sa diffusion ». La résolution demandait aussi au Haut-Commissariat des Nations unies aux droits de l’homme (OHCHR) de présenter une étude sur la tendance, observée dans plusieurs pays du monde, consistant à couper l’accès à Internet.

Le rapport de l’OHCHR, présenté au Conseil l’année suivante, souligne que « la grande majorité des coupures sont justifiées officiellement par le souci de préserver la sûreté publique et la sécurité nationale ou par la nécessité de restreindre la circulation d’informations jugées illégales ou susceptibles de causer des préjudices ». Cela a pu être constaté, entre autres exemples, au Burkina Faso lors des manifestations de l’opposition en novembre 2021, qui ont mené à une coupure d’Internet d’abord, puis à une restriction d’accès à Facebook, au nom de la sécurité nationale, ou au Sri Lanka en avril 2022, quand le gouvernement à coupé l’accès à toutes les plates-formes suite à des protestations contre la mise en place d’un état d’urgence.

Si ces restrictions ont généralement lieu dans des pays non démocratiques, les justifications avancées par leurs gouvernements correspondent à celles avancées par le gouvernement français à présent.

Le rapport note aussi qu’un nombre important de coupures d’Internet ont été suivies par des pics de violences, « ce qui semble démontrer que ces interventions ne permettent bien souvent pas d’atteindre les objectifs officiellement invoqués de sûreté et de sécurité » mais aussi qu’« on ne saurait invoquer la sécurité nationale pour justifier une action lorsque ce sont précisément des atteintes aux droits de l’homme qui sont à l’origine de la détérioration de la sécurité nationale ».

Par ailleurs, les manifestations trouvant leur origine dans les violences policières et le profilage racial, des mesures visant à restreindre l’accès aux réseaux sociaux en les accusant d’être responsables des violences constituent « une manière de dépolitiser et délégitimer la révolte [et] de dénier aux émeutiers le droit de se révolter contre les violences policières », comme le souligne le chercheur en sciences de l’information Romain Badouard.

Une question d’équilibre ?

Les États et les réseaux sociaux ont, les uns comme les autres, un devoir de protection et de respect des droits humains, mais comme nous l’avons vu, ils peuvent également porter atteinte à ces droits. Le cas présent montre que les deux centres de pouvoir, les États et les réseaux sociaux, peuvent, et idéalement devraient, se contrebalancer, afin d’assurer une meilleure protection des droits des individus.

C’est dans ce cadre qu’une approche de la modération des contenus en ligne fondée sur les droits humains se révèle nécessaire. Le Rapporteur spécial sur la liberté d’opinion et expression de l’ONU avait déjà remarqué en 2018 que « certains États […] recourent à la censure et à l’incrimination pour façonner le cadre réglementaire en ligne », mettant en place « des lois restrictives formulées en termes généraux sur l’"extrémisme", le blasphème, la diffamation, les discours “offensants”, les fausses informations et la “propagande” [qui] servent souvent de prétexte pour exiger des entreprises qu’elles suppriment des discours légitimes ». D’autre part, si les réseaux sociaux se présentent comme promoteurs de droits tels que la liberté d’expression, le Rapporteur spécial avait également relevé que la plupart d’entre eux ne se fondent pas sur les principes des droits humains dans leurs activités et politiques de modération de contenus.

Le cadre du droit international des droits humains offre non seulement aux individus la possibilité de contester les mesures prises par leurs gouvernements, mais il offre également aux réseaux sociaux un langage permettant de contester les demandes illicites émanant des États et d’« articuler leurs positions dans le monde entier de manière à respecter les normes démocratiques ». Reste aux États comme aux plates-formes à se saisir pleinement de ces instruments.

This AI Watches Millions Of Cars Daily And Tells Cops If You’re Driving Like A Criminal

Artificial intelligence is helping American cops look for “suspicious” patterns of movement, digging through license plate databases with billions of records. A drug trafficking case in New York has uncloaked — and challenged — one of the biggest rollouts of the controversial technology to date.

By Thomas Brewster, Forbes Staff

In March of 2022, David Zayas was driving down the Hutchinson River Parkway in Scarsdale. His car, a gray Chevrolet, was entirely unremarkable, as was its speed. But to the Westchester County Police Department, the car was cause for concern and Zayas a possible criminal; its powerful new AI tool had identified the vehicle’s behavior as suspicious.

Searching through a database of 1.6 billion license plate records collected over the last two years from locations across New York State, the AI determined that Zayas’ car was on a journey typical of a drug trafficker. According to a Department of Justice prosecutor filing, it made nine trips from Massachusetts to different parts of New York between October 2020 and August 2021 following routes known to be used by narcotics pushers and for conspicuously short stays. So on March 10 last year, Westchester PD pulled him over and searched his car, finding 112 grams of crack cocaine, a semiautomatic pistol and $34,000 in cash inside, according to court documents. A year later, Zayas pleaded guilty to a drug trafficking charge.

“With no judicial oversight this type of system operates at the caprice of every officer with access to it.”

Ben Gold, lawyer

The previously unreported case is a window into the evolution of AI-powered policing, and a harbinger of the constitutional issues that will inevitably accompany it. Typically, Automatic License Plate Recognition (ALPR) technology is used to search for plates linked to specific crimes. But in this case it was used to examine the driving patterns of anyone passing one of Westchester County’s 480 cameras over a two-year period. Zayas’ lawyer Ben Gold contested the AI-gathered evidence against his client, decrying it as “dragnet surveillance.”

And he had the data to back it up. A FOIA he filed with the Westchester police revealed that the ALPR system was scanning over 16 million license plates a week, across 480 ALPR cameras. Of those systems, 434 were stationary, attached to poles and signs, while the remaining 46 were mobile, attached to police vehicles. The AI was not just looking at license plates either. It had also been taking notes on vehicles' make, model and color — useful when a plate number for a suspect vehicle isn’t visible or is unknown.

To Gold, the system’s analysis of every car caught by a camera amounted to an “unprecedented search.” “This is the specter of modern surveillance that the Fourth Amendment must guard against,” he wrote, in his motion to suppress the evidence. “This is the systematic development and deployment of a vast surveillance network that invades society’s reasonable expectation of privacy.

“With no judicial oversight this type of system operates at the caprice of every officer with access to it.”

Gold declined to comment further on the case. Westchester County Police Department did not respond to requests for comment.

Reckoning with Rekor

Westchester PD’s license plate surveillance system was built by Rekor, a $125 million market cap AI company trading on the NASDAQ. Local reporting and public government data reviewed by Forbes show Rekor has sold its ALPR tech to at least 23 police departments and local governments across America, from Lauderhill, Florida to San Diego, California. That’s not including more than 40 police departments across New York state who can avail themselves of Westchester County PD’s system, which runs out of its Real-Time Crime Center.

“You've seen the systems totally metastasize to the point that the capabilities of a local police department would really shock most people.”

Brett Max Kaufman, senior staff attorney at the ACLU

Rekor’s big sell is that its software doesn’t require new cameras; it can be installed in already deployed ones, whether owned by the government, a business or a consumer. It also runs the Rekor Public Safety Network, an opt-in project that has been aggregating vehicle location data from customers for the last three years, since it launched with information from 30 states that, at the time, were reading 150 million plates per month. That kind of centralized database with cross-state data sharing, has troubled civil rights activists, especially in light of recent revelations that Sacramento County Sheriff’s Office was sharing license plate reader data with states that have banned abortion.

“The scale of this kind of surveillance is just incredibly massive,” Brett Max Kaufman, senior staff attorney at the ACLU, told Forbes. Pointing to both Rekor and Flock, a rival that runs a similar pan-American surveillance network of license plate readers, he described warrantless monitoring of citizens en masse like this as “quite horrifying.”

Rekor declined an interview and did not respond to requests for comment. But Matt Hill, who sold his company OpenALPR to Rekor in 2019 and was its chief scientist before departing in September 2022, told Forbes the network was likely growing. “I’m fairly sure there would be more cameras in more states now… It would be fairly large,” he said, noting that non-government customers have also been providing video. Rekor’s private customers include parking lots, casinos and fast-food chain restaurants.

With so many agencies now collecting license plate records, and the dawn of more advanced, AI-powered surveillance, privacy advocates are raising the alarm about a technology expanding with little in the way of legal protections for the average American. “You've seen the systems totally metastasize to the point that the capabilities of a local police department would really shock most people,” added Kaufman. “This is just the beginning of the applications of this technology.”

‘Unavoidable surveillance’

The ALPR market is growing thanks to a glut of Rekor rivals, including Flock, Motorola, Genetec, Jenoptik and many others who have contracts across federal and state governments. They’re each trying to grab a slice of a market estimated to be worth at least $2.5 billion.

But it’s not easy. Reporting first quarter results for this year, Rekor saw $6.2 million in revenue with a $12.6 million net loss. It reported a similar loss in the same quarter last year. Its stock is currently trading at about $2.75 down from an April 2021 high of $23.45 per share

In pursuit of that elusive profit, the market is looking beyond law enforcement to retail and fast food. Corporate giants have toyed with the idea of tying license plates to customer identities. McDonalds and White Castle have already begun using ALPR to tailor drive-through experiences, detecting returning customers and using past orders to guide them through the ordering process or offer individualized promotion offers. The latter restaurant chain uses Rekor tech to do that via a partnership with Mastercard.

With the sheer breadth of expansion, it’s becoming increasingly difficult to avoid the watchful eyes of government and corporate surveillance — or even know where they are. As Gold found in trying to get data from the Westchester government, authorities are not legally obliged to provide information on the whereabouts of cameras.

“Given the vast nature of the ALPR network and the need to travel public highways to engage in modern life,” Gold wrote in his motion to suppress, “avoiding ALPR surveillance is both unfeasible, if impossible.”