Big Brother déjà en Chine
En Chine, le gouvernement a mis en place un système de crédit social attribuant une note aux individus et aux entreprises en fonction de leur comportement social et économique. Plus cette note est basse, moins la personne a de droits. Jouer trop longtemps aux jeux vidéo, publier certains contenus sur les réseaux sociaux, traverser au feu rouge ou accumuler des dettes expose ainsi les Chinois à une dégradation de leur score de citoyenneté. Expérimenté dans quelques villes depuis 2014, ce système de tri social a été élargi à l’ensemble du territoire en 2020. Avec des conséquences bien réelles pour ceux et celles qui ont le crédit le plus faible : impossibilité de prendre les transports, interdiction d’accéder au prêt bancaire ou encore d’inscrire ses enfants dans les meilleures écoles.
Pour distinguer « bons » et « mauvais » citoyens, l’administration chinoise s’appuie sur toutes les données – situation financière, carrière, consommation, publications sur les réseaux sociaux – dressant le portrait des individus. Elle peut également compter sur la reconnaissance faciale et quelque 600 millions de caméras de vidéosurveillance capables de détecter en direct les comportements jugés suspects.
L’ONG Human Right Watch a ainsi dénoncé en 2019 le recours à un système de surveillance de masse discriminatoire par la police dans la province du Xinjiang, où vivent majoritairement des Ouïghours, de confession musulmane. Via une application de smartphone, les policiers effectuant un contrôle d’identité ont accès à des données (nom, numéro de téléphone, consommation d’électricité, etc.) à partir desquelles le programme signale si une personne est menaçante ou non.
Des algorithmes de prédiction pour classer les individus
Si ce modèle de surveillance de masse mêlant big data et intelligence artificielle est propre à la Chine, des systèmes de classement d’individus reposant sur des algorithmes sont utilisés un peu partout sur le globe.
Aux États-Unis, certaines villes fournissent à leurs unités de police un algorithme censé prédire les crimes. Le logiciel, anciennement baptisé PredPol et renommé Geolitica en 2021, repose sur les rapports d’incidents criminels, produits par les policiers ou les victimes, pour prévoir quotidiennement les lieux et les heures où des crimes sont le plus susceptibles d’être commis. Le hic, c’est que ces rapports présentent des biais raciaux – les quartiers afro-américains ou latinos sont plus susceptibles d’être signalés comme des points sensibles – qui vont nourrir l’algorithme et orienter ses prédictions. En 2020, à Los Angeles, la police a mis fin à l’utilisation de cet algorithme estimant qu’il stigmatisait certains quartiers et certaines populations.
La même logique se déploie au cœur du système judiciaire américain. Dans les tribunaux, les juges utilisent le logiciel Compas pour évaluer la probabilité de récidive d’un prévenu. Mais, là encore, l’algorithme suscite la controverse. Selon une enquête de l’ONG ProPublica, « les prévenus noirs [sont] beaucoup plus susceptibles que les prévenus blancs d'être jugés à tort comme présentant un risque de récidive plus élevé, tandis que les prévenus blancs [sont] plus susceptibles que les prévenus noirs d'être marqués à tort comme présentant un faible risque. »
En France, la Caisse d’allocations familiales (CAF) utilise aussi un algorithme pour orienter le contrôle de ses agents vers les allocataires les plus susceptibles de percevoir des prestations qu’ils ne devraient pas recevoir. La CAF attribue une note à ses usagers à partir d’une quarantaine de critères – la situation familiale, l’âge, le handicap, l’emploi, etc. –, dont certains sont discriminatoires. Or, comme le révèle une récente enquête du Monde, cet algorithme pénalise les foyers vulnérables : les plus pauvres sont plus à même d’être considérés comme des fraudeurs potentiels et ont par conséquent plus de chance d’être contrôlés.
L’identité numérique, au cœur des modèles prédictifs
Plus largement, l’intelligence artificielle – qui n’est au final qu’une machine à prédire la probabilité qu’une action se réalise en fonction de l’analyse de situations passées – et les algorithmes prédictifs qui la sous-tendent jouent un rôle clef dans la gestion et l’analyse de l’identité numérique des individus.
L’identité numérique correspond aux attributs associés à un individu, ou à une entité, dans le monde digital. Cela regroupe toutes les données numériques que l’on peut relier à une personne physique. Ces données sont de différentes nature : informations liées à l’état civil (nom, prénom, date de naissance, renseignés par exemple lors de démarches administratives), identifiants utilisés pour se connecter à un service, adresse IP de l’ordinateur, traces laissées lors de la navigation (cookies, historique de navigation), publications sur les réseaux sociaux, ou encore géolocalisation.
Qu’ils soient utilisés par des entreprises, des gouvernements ou des institutions, les algorithmes prédictifs transforment la masse de traces numériques que laisse notre navigation sur le Web en critères à partir desquels les individus sont répartis en différents profils. Ce classement établi en analysant les données comportementales, sert à personnaliser les expériences en ligne, cibler la publicité, évaluer les risques financiers, identifier des comportements suspects, etc.
L’enjeu des prochaines décennies consiste donc à protéger au mieux les données personnelles des individus pour éviter que leur identité numérique ne leur échappe en étant façonnée, de manière quasi-invisible, par les intérêts économiques ou politiques d’entités extérieures.
Qu’est-ce qu’un cookie ?
Un cookie est un petit fichier stocké par un serveur dans notre ordinateur ou notre smartphone lors de notre visite sur une page web. Ces cookies permettent aux sites webs de conserver diverses informations (préférences, identifiants, langue d’affichage) entre deux connexions.
