HVoici un scénario hypothétique. Vous êtes parent d’un bambin, un petit garçon. Son pénis a enflé à cause d’une infection et ça lui fait mal. Vous téléphonez au cabinet du médecin généraliste et finissez par joindre l’infirmière du cabinet. L’infirmière vous suggère de prendre une photo de la zone touchée et de l’envoyer par courrier électronique afin qu’elle puisse consulter l’un des médecins.

Alors vous sortez votre téléphone Samsung, prenez quelques photos et envoyez-les. Peu de temps après, l’infirmière téléphone pour dire que le médecin généraliste a prescrit des antibiotiques que vous pouvez récupérer à la pharmacie du cabinet. Vous conduisez là-bas, ramassez-les et en quelques heures, le gonflement commence à diminuer et votre garçon se redresse. Fini la panique.

Deux jours plus tard, vous trouvez un message de Google sur votre téléphone. Votre compte a été désactivé en raison d’un « contenu préjudiciable » qui constituait « une violation grave des règles de Google et pourrait être illégal ». Vous cliquez sur le lien « en savoir plus » et vous trouvez une liste de raisons possibles, y compris « l’abus et l’exploitation sexuels des enfants ». Soudain, le sou tombe : Google pense que les photographies que vous avez envoyées constituent de la maltraitance d’enfants !

Qu’à cela ne tienne, vous pouvez remplir un formulaire expliquant les circonstances et demandant à Google d’annuler sa décision. À ce moment-là, vous découvrez que vous n’avez plus Gmail, mais heureusement, vous avez un ancien compte de messagerie qui fonctionne toujours, vous l’utilisez donc. Maintenant, cependant, vous n’avez plus accès à votre agenda, votre carnet d’adresses et tous ces documents de travail que vous avez conservés sur Google Docs. Vous ne pouvez pas non plus accéder à une photo ou à une vidéo que vous avez déjà prise avec votre téléphone, car elles résident toutes sur les serveurs cloud de Google, sur lesquels votre appareil les a téléchargées de manière réfléchie (et automatique).

Peu de temps après, vous recevez la réponse de Google : l’entreprise ne rétablira pas votre compte. Aucune explication n’est fournie. Deux jours plus tard, on frappe à la porte. Dehors, deux policiers, un homme et une femme. Ils sont ici parce que vous êtes soupçonné de détenir et de transmettre des images illégales.

Cauchemar, hein ? Mais au moins c’est hypothétique. Sauf que ce n’est pas le cas : c’est une adaptation au contexte britannique de ce qui est arrivé à « Mark », un père à San Francisco, comme relaté avec vivacité récemment dans le New York Times par le formidable journaliste technologique Kashmir Hill. Et, au moment de la rédaction de cet article, Mark n’a toujours pas récupéré son compte Google. Comme il s’agit des États-Unis, bien sûr, il a la possibilité de poursuivre Google, tout comme il a la possibilité de creuser son jardin avec une cuillère à café.

Le contexte est que les plates-formes technologiques sont, heureusement, devenues beaucoup plus assidues à scanner leurs serveurs à la recherche d’images d’abus d’enfants. Mais en raison du nombre inimaginable d’images détenues sur ces plateformes, la numérisation et la détection doivent être effectuées par des systèmes d’apprentissage automatique, aidés par d’autres outils (tels que l’étiquetage cryptographique des images illégales, qui les rend instantanément détectables dans le monde entier).

Tout cela est super. Le problème avec les systèmes de détection automatisés, cependant, est qu’ils génèrent invariablement une proportion de « faux positifs » – des images qui signalent un avertissement mais qui sont en fait inoffensives et légales. C’est souvent parce que les machines sont terribles pour comprendre le contexte, ce que, pour le moment, seuls les humains peuvent faire. En recherchant son rapport, Hill a vu les photos que Mark avait prises de son fils. « La décision de les signaler était compréhensible », écrit-elle. « Ce sont des photos explicites des organes génitaux d’un enfant. Mais le contexte compte : elles ont été prises par un parent inquiet pour un enfant malade.

En conséquence, la plupart des plateformes emploient des personnes pour examiner les images problématiques dans leur contexte et déterminer si elles justifient une action supplémentaire. Ce qui est intéressant dans le cas de San Francisco, c’est que les images étaient examinés par un humain, qui a décidé qu’ils étaient innocents, tout comme la police, à qui les images ont également été renvoyées. Et pourtant, malgré cela, Google a maintenu sa décision de suspendre son compte et a rejeté son appel. Il peut le faire car il est propriétaire de la plate-forme et toute personne qui l’utilise a cliqué sur un accord pour accepter ses termes et conditions. À cet égard, ce n’est pas différent de Facebook/Meta, Apple, Amazon, Microsoft, Twitter, LinkedIn, Pinterest et les autres.

Cet arrangement fonctionne bien tant que les utilisateurs sont satisfaits des services et de la manière dont ils sont fournis. Mais dès qu’un utilisateur décide qu’il a été maltraité ou abusé par la plateforme, il tombe dans un trou noir juridique. Si vous êtes un développeur d’applications et que vous avez l’impression d’être abusé par la taxe de 30 % d’Apple comme prix de vente sur ce marché, vous avez deux choix : payer ou vous taire. De même, si vous avez vendu de manière rentable sur la place de marché d’Amazon et que vous découvrez soudainement que la plate-forme vend maintenant un produit comparable moins cher sous sa propre marque, eh bien… difficile. Bien sûr, vous pouvez vous plaindre ou faire appel, mais en fin de compte, la plate-forme est juge, jury et bourreau. Les démocraties ne toléreraient cela dans aucun autre domaine de la vie. Pourquoi alors les plateformes technologiques sont-elles une exception ? N’est-il pas temps qu’ils ne le soient pas ?

Ce que j’ai lu

Image trop grande ?
Il y a une critique intéressante d’Ian Hesketh dans le magazine numérique Aeon sur la façon dont Yuval Noah Harari et ses compagnons pressent l’histoire humaine dans un conte pour tout le monde, intitulé What Big History Misses.

1-2-3, c’est parti…
The Passing of Passwords est une belle nécrologie pour le mot de passe par le gourou de l’identité numérique David GW Birch sur son Substack.

Un avertissement
Gary Marcus a écrit une critique élégante de ce qui ne va pas avec le nouveau projet de robot de Google sur son Substack.