En France, lorsqu'il s'agit de parler de censure ou de surveillance, tous les bords politiques se réclament de Georges Orwell et de 1984. Ce livre, souvent malmené par celles et ceux qui pensent s'en servir comme d'une solide base argumentative, n'est en réalité pas celle sur laquelle nous baserons cette introduction. Afin d'innover un peu, notre propos fera ici plutôt référence à une autre œuvre, littéraire à l'origine, mais également fameuse de par son adaptation cinématographique : Minority Report, ou Le Rapport Minoritaire.

"Pré-voir" les crimes

Dans Minority Report, le crime n'existe plus. Les services de police disposent d'une capacité à prévoir ces derniers plusieurs heures à l'avance, grâce à trois personnes disposant de dons de voyance : les précogs. Lorsque les précogs, réduits à l'état de machines utilisées en permanence pour leur don, rassemblent suffisamment d'informations, une information parvient à la police permettant de pré-voir (au sens de "voir avant même que cela se produise") qui va commettre quel crime, où, et quand.

Le sujet de Minority Report est alors évident : peut-on condamner quelqu'un pour un crime qu'il ou elle n'a pas commis ? Plus encore : peut-on être sûr que ce crime sera commis ?

Pas de précogs, mais des soi-disant intelligences parfaitement artificielles

En France, et même dans le monde, en 2021, les précogs ne voient pas le monde, mais exploitent les incommensurables flux de données circulant sur le réseau de réseaux global qu'est Internet. Les précogs ne sont pas trois personnes aux dons extraordinaires, mais des soi-disant intelligences parfaitement artificielles produites par des sociétés privées. Et ce qui fait fonctionner ces IA, comme on les appelle, c'est l'apprentissage par jeu de données.

Les IA ne naissent pas hors-sol, mais bien sur des jeux des données qu'on peut leur fournir pour qu'elles comprennent un schéma et puissent faire de la prédiction. Car en effet, une IA n'est jamais vraiment intelligente, c'est surtout un algorithme complexe et énergivore. D'ailleurs, c'est ainsi que Gérald Darmanin, Ministre de l'intérieur, nomme ce qu'il compte mettre en place avec ce projet de loi.

Des IA racistes

L'algorithme, saint Graal du solutionnisme technologique, est une moulinette très fine et prenant en compte de nombreux paramètres. Pour faire simple, quelque chose entre, est traité suivant de nombreux procédés déterminés à l'avance, et sort avec une nouvelle forme. Un algorithme n'est jamais autre chose qu'un pressoir à légumes complexe et intégralement numérique. Si les légumes sont sales, le contenu ne sortira pas propre : les légumes seront pressés avec la saleté qui est dessus.

Une IA va donc intégrer en elle-même des données qui sont une image du monde tel qu'il est, et intégrer des biais. Ainsi, il a été démontré que des IA apprenant pour la police sur base des données de criminalité vont appliquer des critères racistes. Non pas parce que la couleur de peau ou l'origine sont des facteurs pertinents, mais parce qu'ils ressortent dans les données. Ainsi, ce biais raciste, résultat de mécanismes sociologiques complexes, sera réduit à un facteur froidement logique pour l'IA : elle fera elle-même des prédictions en partie ou totalement racistes.

Des boites noires au cœur de nos réseaux

Et si une IA traite ces données par un algorithme, et si cet algorithme a une forme précise définie par ses concepteurs, alors il n'est pas né de rien non plus. Il est le fruit de techniciens, de développeurs, d'ingénieurs. Des personnes d'un certain milieu culturel, relativement aisées, souvent des hommes, souvent blancs, souvent hétérosexuels et cisgenres. Et il est donc, intrinsèquement, prêt à reproduire les biais qui sont dans son ADN.

Il est lui aussi le fruit d'une culture, et il se nourrit de données basées sur le passé d'une société qui a ses propres biais systémiques : sexisme, racisme, homophobie, et tout ce qui va avec.

Utiliser des IA pour identifier ce qui se fait, se dit, et par qui, sur tous les réseaux sociaux, voire même jusqu'au plus proche de la box ou du smartphone de chaque Internaute, c'est ce que nous promet donc ce projet de loi. À l'image de son prédécesseur, né des attentats de 2015, qui imaginait des boîtes noires, c'était le terme d'alors, installées sur les centres nevralgiques du réseau, qui scanneraient et interpréteraient de manière totalement opaque ce qui transite par leur biais. Qui contrôle ces boîtes noires ? Comment pensent-elles ? Qu'est-ce qui est considéré comme suspect ? On laisse aux concepteurs des algorithmes le droit de répondre à ces questions... entre eux, bien sûr.

Avec 0,1% de faux-positif, ça fait 53 000 personnes identifiées à tort

Il est aisé de démontrer l'absurdité d'une telle surveillance de masse - car c'est ce dont il s'agit ici. Un algorithme n'est pas infaillible, et il va donc identifier des faux-positifs. Il y avait en France 52,9 millions d'Internautes en février 2021. Ce chiffre va bien entendu croissant.

Imaginons un taux de faux-positif de 0,1%, ce qui semble relativement faible. Cela signifie que presque 53.000 internautes seraient identifiées comme terroristes potentiels, à tort. Et pourtant, ces personnes n'avaient peut-être rien à cacher.

Et si nous reprenons en compte les biais que les IA intègrent de par leur nature propre de produit d'une culture inscrite dans une société à une époque donnée, nous pouvons nous attendre à ce que ces 53.000 personnes appartiennent à des minorités, qu'elles soient de couleur, d'origine, de religion, de genre ou même d'opinion politique. Ce n'est pas que pure théorie. Des cas concrets d'algorithmes prédictifs de crime déjà testés dans d'autres pays ont montré des biais racistes et ont affecté, concrètement et en profondeur, la vie de personnes innocentes.

Qui fera la part des choses ?

Pour mettre en place ces précogs virtuels, notre gouvernement met en avant la radicalisation en ligne. C'est sans compter que la-dite radicalisation se fait en réalité généralement en privé, dans des groupes de conversation. Voire directement, après quelques échanges en ligne, entre quatre murs et physiquement. Les agents terroristes ne sont pas des imbéciles, et savent dissocier ce qui est risqué en ligne et ce qui ne l'est pas.

Les journalistes, blogueurs indépendants, militants et autres curieux cependant, qui, de bonne foi, consulteraient à titre de recherche des contenus critiquables, alerteront peut-être ces boîtes noires. Certains mots clés, certains prénoms, certaines langues, alerteront peut-être ces algorithmes. Certains usages, tels que TOR ou un VPN, des outils ayant pour but de protéger son droit à la vie privée lors de ses télécommunications, seront vus comme autant de mouvements suspects. Qui fera la part des choses ?

Capitalisme de surveillance

Tout ceci soulève bien d'autres questions, tels que les enjeux financiers. Des entreprises privées seront certainement sollicitées afin de développer de tels algorithmes et de les entraîner. Le fait de nourrir l'économie privée par la surveillance de la population est appelé "Capitalisme de surveillance". Il s'agit, ici, pire encore, d'utiliser de l'argent public pour produire des objets parfaitement opaques de surveillance massive pour appliquer un meilleur contrôle généralisé des droits individuels à librement s'exprimer ou consulter des contenus.

Nous parlons bien ici d'exprimer ou de consulter des contenus légaux (jusqu'à preuve du contraire). C'est cela qui justifie une IA détectant des comportements suspects. Pour les contenus jugés illégaux, l'appareil judiciaire existe déjà, et l'algorithme n'est alors d'aucune utilité.

Rien à cacher ?

Sur ces bases se rajoutent encore d'autres questions. La confidentialité des échanges est un droit, et de nombreuses messageries utilisent le chiffrement, équivalent virtuel d'une lettre dans enveloppe fermée, pour que seules les personnes échangeant entre elles aient le droit de lire ce qu'elles s'écrivent. Le gouvernement souhaite obtenir, auprès des outils de messagerie plus ou moins importants, des accès aux contenus. Ce type d'ouverture, en plus d'être une enfreinte à un droit inaliénable, est également un risque pour tout autre agent malintentionné qui réussirait à exploiter le même accès que celui qui se veut réservé aux gouvernements.

Alors que la radicalisation risque de passer sous les radars, même les internautes pensant n'avoir "rien à cacher" de particulier verront leurs droits mis en danger, leur comportement surveillé et analysé, le tout avec de nombreux angles morts dont nous ignorons tout, et ignorerons certainement tout jusqu'à leur mise en place. Alors, il sera trop tard, et tout sera compromis.

La seule solution sera alors la généralisation d'outils suffisamment perfectionnés pour passer également sous les radars. Cependant, ce comportement ne devrait pas être celui dont nous avons besoin pour échanger entre citoyennes et citoyens du monde entier. À nous de nous emparer de ce sujet, sans le laisser entre les mains de la police ou des seul-es technophiles. Toute personne connectée est concernée. Des actions se prépareront, par exemple du côté de La Quadrature du Net, et sans nul doute, d'autres organisations.

Prenez votre Internet en main, camarades !

Aquilenet est un fournisseur d'accès à internet alternatif et associatif en Gironde. Nous militons pour la protection d'un Internet citoyen, conscient des enjeux de société mais également pour la protection des droits numériques et des libertés en ligne ainsi que la réappropriation des outils de production (ou autrement dit, souveraineté numérique).

Pour plus d'informations, n'hésitez pas à vous rendre sur laquadrature.net ou à contacter l'association Aquilenet. Internet est à nous.

Image de une : Minority Report (2002, 20th Century FOX