Toute communauté politique naît, dans une certaine mesure, d’une promesse de protection. Mais cette promesse ne peut être comprise de manière réductrice ou simpliste. Protéger ne signifie pas seulement défendre face au danger, contenir la menace ou neutraliser le risque. Cela signifie également préserver les conditions qui rendent possible une vie véritablement humaine : l’appartenance, la reconnaissance, l’éducation, le travail, la santé, la participation, les liens et les droits. Une société ne protège pas seulement lorsqu’elle empêche qu’une personne soit agressée ; elle protège également lorsqu’elle évite qu’une personne soit abandonnée, invisible ou exclue de la communauté à laquelle elle appartient.

Cette distinction est décisive. La sécurité est un bien nécessaire, mais elle n’épuise pas le sens de la protection. Sans un minimum de sécurité, il n’y a ni liberté effective, ni coexistence stable, ni droits pouvant être exercés sans crainte. Mais lorsque la sécurité occupe tout l’espace du discours public, la protection risque de se réduire jusqu’à s’identifier à la surveillance, au contrôle et à la prévention permanente. La communauté cesse alors de se demander comment elle doit prendre soin de ses membres et commence à se demander, presque exclusivement, comment elle doit se défendre contre eux ou face à eux. Le problème ne réside donc pas dans le fait de reconnaître la valeur de la sécurité. Ce qui pose problème, c’est d’en faire le seul principe régissant la vie collective.

L’histoire montre que peu de notions ont servi aussi souvent à étendre le pouvoir au-delà de ses limites qu’une certaine conception de la sécurité. Là où tout peut être présenté comme un risque, presque tout peut être justifié comme une mesure nécessaire. Et là où la protection n’est formulée qu’en termes de menace, le citoyen peut cesser d’apparaître comme un sujet de droits pour être considéré comme une source potentielle de danger. Une vaste tradition de pensée politique et morale a mis en garde contre cette réduction. La communauté juste n’est pas seulement celle qui protège contre le préjudice, mais aussi celle qui permet de vivre sans être livré à soi-même. Dans cette perspective, le droit fondamental ne serait pas simplement le droit d’être en sécurité, si l’on entend par sécurité l’absence de menace, mais le droit de ne pas être abandonné par la communauté. Ce droit renvoie à un ensemble de biens et de garanties sans lesquels la dignité devient une affirmation abstraite : droits sociaux, services publics, conditions matérielles d’existence, reconnaissance institutionnelle et possibilité réelle de participation.

Cette précision initiale s’avère particulièrement nécessaire lorsqu’on analyse l’intelligence artificielle appliquée au contrôle social. Ces systèmes sont souvent présentés sous le prisme de la sécurité, de l’efficacité et de la prévention. Cependant, leur impact ne peut être évalué uniquement en se demandant s’ils permettent d’anticiper les risques ou d’améliorer la gestion publique. La question la plus profonde est autre : contribuent-ils à une protection véritablement humaine ou, au contraire, consolident-ils une forme de gouvernement fondée sur le soupçon, la classification et la surveillance ?

L’intelligence artificielle n’inaugure pas la surveillance, mais elle la transforme. La surveillance traditionnelle était plus visible, localisée et limitée : une frontière, une caméra, une enquête, un dossier administratif, une décision judiciaire. La surveillance algorithmique fonctionne de manière plus diffuse. Elle recueille des données éparses, croise des bases d’informations, identifie des schémas, attribue des probabilités et établit des profils. Elle ne se contente pas d’observer ce qu’une personne fait. Elle tente de déduire ce qu’elle pourrait faire. Cette mutation modifie le sens même du contrôle. La personne cesse d’être considérée uniquement à travers ses actes et passe à être évaluée en fonction de son appartenance à des catégories statistiques. Elle peut être classée comme fiable ou suspecte, solvable ou d’une fiabilité douteuse, prioritaire ou non indispensable. Le danger ne réside pas uniquement dans l’accumulation d’informations personnelles. Il réside dans le fait que ces informations, traitées par des systèmes opaques, puissent conditionner la manière dont une personne accède à des droits, à des services, à des espaces publics ou à des décisions administratives.

La question n’est donc pas de savoir si l’intelligence artificielle peut contribuer à des fins légitimes. Bien sûr qu’elle le peut. La question est de savoir dans quelles conditions elle peut être utilisée sans porter atteinte à la dignité humaine, sans éroder la liberté et sans transformer la prévention en un soupçon permanent. La récente encyclique*Magnifica Humanitas*offre une image utile pour aborder la réponse à cette question. En mettant en garde contre le « syndrome de Babel », elle dénonce la tentation de construire un monde techniquement puissant, mais humainement appauvri, dans lequel l’efficacité, la domination ou l’autosuffisance technologique finissent par sacrifier la dignité des personnes. La surveillance algorithmique peut devenir une forme contemporaine de cette Babel : une architecture invisible de classification et de contrôle qui promet l’ordre, mais risque de réduire la personne à une donnée, à un profil ou à des statistiques de performance.

1. De la surveillance visible à la surveillance algorithmique

La surveillance classique était généralement liée à un soupçon, à un lieu ou à un objectif précis. La surveillance algorithmique tend à intervenir avant même qu’un soupçon individuel ne se manifeste. Sa logique n’est pas tant la constatation que l’anticipation. Elle ne se limite pas à reconstituer des faits passés, mais vise à prévoir des risques futurs. Ce glissement a des conséquences juridiques et morales importantes. D’une part, parce qu’il permet d’anticiper l’intervention publique à des stades de plus en plus éloignés. D’autre part, parce que le fondement de cette intervention peut se diluer dans des corrélations statistiques. Et enfin, parce que la personne concernée peut ignorer les critères qui ont déterminé son classement.

L’intelligence artificielle appliquée au contrôle social ne se contente pas de voir davantage. Elle voit autrement. Là où le droit exige des motifs, le système peut proposer des scores. Là où la justice requiert une individualisation, le modèle peut produire des regroupements. Là où la dignité exige d’être traitée comme un sujet, la technique peut opérer sur la personne comme sur un objet de calcul.

La recommandation de l’UNESCO sur l’éthique de l’intelligence artificielle insiste donc sur le fait que ces systèmes doivent respecter la dignité humaine, les droits de l’homme, la vie privée, la transparence, l’explicabilité, la supervision humaine et la non-discrimination tout au long de leur cycle de vie (UNESCO, 2021). Ce sont là des conditions minimales pour empêcher que la technologie ne devienne un pouvoir sans responsabilité.

2. Le pouvoir de classer

L’aspect le plus délicat de la surveillance algorithmique réside dans sa capacité de classification. La personne surveillée n’est pas simplement observée, mais « est » classée dans une catégorie. Cette catégorie peut avoir des effets concrets, même si elle ne prend pas la forme d’une décision formelle. Elle peut intensifier les contrôles, retarder l’octroi de prestations, orienter les enquêtes, conditionner les évaluations ou priver de certaines opportunités. La classification algorithmique s’avère particulièrement problématique car elle se présente souvent comme neutre. Or, les données ne naissent pas dans le vide. Elles proviennent de sociétés marquées par les inégalités, les préjugés et les rapports de pouvoir. Si un système est entraîné à partir de données historiques reflétant des pratiques discriminatoires, il peut les reproduire, voire les amplifier. La discrimination cesse alors d’apparaître comme un préjugé visible et prend la forme d’un résultat technique. Ce phénomène a été largement mis en évidence dans les études sur la discrimination algorithmique. Les systèmes d’apprentissage automatique peuvent perpétuer les biais humains présents dans les données d’entraînement et les projeter dans des domaines tels que l’emploi, le crédit, la santé, la justice pénale, l’éducation ou la migration (Iturmendi Rubia, 2023). L’opacité de ces systèmes rend en outre difficile la responsabilisation et la contestation de décisions injustes.

L’enjeu n’est pas négligeable. Une décision humaine injuste peut affecter un cas particulier. Un système algorithmique biaisé peut affecter simultanément des milliers de personnes. De plus, il peut le faire sous le couvert d’une apparence d’objectivité qui entrave toute réaction juridique, sociale et politique. L’injustice devient plus difficile à dénoncer lorsqu’elle se pare d’un vernis de précision. C’est pourquoi il convient de rappeler une idée fondamentale : l’efficacité statistique n’équivaut pas à la légitimité juridique. Un système peut prédire avec une certaine précision tout en portant atteinte aux droits. Il peut mieux organiser l’information tout en renforçant les inégalités. Il peut être utile à l’administration et préjudiciable aux personnes concernées.

3. Biométrie : le corps comme donnée permanente

La biométrie introduit un degré supplémentaire d’intensité. Le visage, l’empreinte digitale, la voix, l’iris ou la démarche ne sont pas des données ordinaires. Ils font partie de l’identité corporelle de la personne. Lorsqu’il est intégré à des systèmes automatisés d’identification ou de vérification, le corps devient un titre d’identité. La différence avec d’autres données personnelles est évidente. Un mot de passe peut être modifié. Une adresse e-mail peut être supprimée. Un document peut être renouvelé. Mais personne ne peut changer d’iris, de visage ni d’empreinte digitale. C’est pourquoi les données biométriques sont particulièrement sensibles et exigent des garanties renforcées. Leur utilisation sans discernement peut porter atteinte à la vie privée, à la liberté de réunion, à la liberté d’expression, à la présomption d’innocence et au droit de ne pas faire l’objet d’une surveillance constante.

L’affaire Worldcoin en Espagne illustre bien ces risques. En mars 2024, l’Agence espagnole de protection des données a ordonné la suspension préventive de la collecte et du traitement des données à caractère personnel liées au projet Worldcoin, ainsi que le blocage des données déjà collectées. Par la suite, l’autorité bavaroise de protection des données a constaté des infractions au Règlement général sur la protection des données et a exigé des mesures correctives, notamment la suppression des codes d’iris stockés depuis le début du projet (Agence espagnole de protection des données, 2024).

Cet exemple permet de poser une question plus large. Peut-on parler d’un consentement véritablement libre lorsque des données biométriques irréversibles sont fournies en échange d’une compensation financière ou de l’accès à certains services ? La réponse ne peut être abstraite. Elle dépend des conditions sociales de la personne qui donne son consentement. Ce n’est pas la même chose de fournir une donnée en toute liberté que de le faire par nécessité. La surveillance biométrique touche particulièrement ceux qui ont le moins de moyens de s’y opposer. Pour certains citoyens, ces technologies constituent un confort. Pour d’autres, elles peuvent devenir une obligation, un contrôle ou une condition d’accès.

4. Police prédictive et soupçon anticipé

La police prédictive illustre clairement le passage de la surveillance des actes à la surveillance des risques. Ces systèmes visent à anticiper où un délit pourrait être commis ou quelles personnes présentent le plus grand risque de récidive. L’objectif déclaré peut sembler raisonnable : mieux affecter les ressources, prévenir les dommages ou protéger la population. Le principal problème réside dans le fait qu’une personne peut être traitée non pas en fonction de ce qu’elle a fait, mais en fonction de ce qu’un système estime qu’elle pourrait faire. Dans le domaine pénal, cette logique s’avère particulièrement délicate. Le droit pénal démocratique repose sur la responsabilité pour les actes commis, et non sur l’appartenance à des profils de dangerosité. La présomption d’innocence, la culpabilité individuelle et le droit à la défense ne peuvent être remplacés par des probabilités collectives.

Il existe également un risque territorial. Si certains quartiers ont été historiquement davantage surveillés, ils auront généré davantage de données policières. Si ces données alimentent des systèmes prédictifs, il en résultera probablement une nouvelle concentration de la surveillance dans ces mêmes quartiers. Le système aura transformé une histoire d’inégalité en une apparence de risque objectif. La prédiction devient alors une prophétie auto-réalisatrice.

L’affaire bien connue State v. Loomis permet de mettre en évidence ces difficultés. En 2016, la Cour suprême du Wisconsin a autorisé, avec certaines réserves, l’utilisation d’un outil d’évaluation des risques lors de la phase de détermination de la peine. Le condamné faisait valoir, entre autres, qu’il n’avait pas pu prendre connaissance ni discuter de manière adéquate de la méthodologie du système COMPAS, utilisé pour évaluer le risque de récidive (State v. Loomis, 2016). Au-delà de la solution concrète apportée à cette affaire, la question demeure. Une personne peut-elle se défendre contre un score dont elle ignore la logique interne ? Un juge peut-il s’appuyer sur une évaluation qu’il ne peut pas expliquer pleinement ? Quelle marge de manœuvre reste-t-il à l’appréciation personnelle face à des décisions fondées sur des profils de risque ?

La sécurité n’autorise pas à substituer la responsabilité personnelle à la probabilité statistique. Elle n’autorise pas non plus à traiter de manière anticipée certains groupes sociaux comme des menaces potentielles. Si l’intelligence artificielle réintroduit, par des moyens techniques, des catégories de suspicion que le constitutionnalisme avait tenté de surmonter, alors nous ne sommes pas face à une simple avancée instrumentale, mais face à un recul des garanties.

5. La normalisation de l'exception

Toute société admet des mesures exceptionnelles face à des situations exceptionnelles. Mais l’exception se dénature lorsqu’elle devient permanente. L’un des risques de la surveillance algorithmique est précisément celui-ci : transformer l’état d’alerte en infrastructure ordinaire. Les crises sanitaires, migratoires, terroristes ou sécuritaires justifient souvent le recours à des outils extraordinaires. Le problème survient lorsque ces outils perdurent après la crise. Les caméras ne disparaissent pas facilement. Les bases de données ont tendance à être conservées. Les modèles sont réutilisés. Les administrations renoncent rarement de leur propre chef à des moyens qui renforcent leur capacité d’observation.

L’état d’urgence permanent altère la relation entre les citoyens et le pouvoir. La liberté est tolérée tant qu’elle n’entrave pas la prévention. La vie privée est reconnue tant qu’elle ne fait pas obstacle à la sécurité. La contestation est admise tant qu’elle n’est pas classée comme un risque. Les formes démocratiques sont maintenues, mais la confiance concrète qui permet de vivre en tant que citoyen et non comme un dossier administratif peut s’affaiblir. La liberté de conscience exige davantage que l’absence de contrainte directe. Elle a besoin de conditions sociales pour s’exercer. Une personne qui sait, ou soupçonne raisonnablement, que ses mouvements, son visage, ses déplacements ou ses relations peuvent être enregistrés et évalués a tendance à modérer son comportement. La surveillance de masse engendre l’autocensure.

6. Les plus surveillés

La surveillance algorithmique n’est pas répartie de manière uniforme. L’expérience montre que le contrôle se concentre généralement sur ceux qui étaient déjà les plus exposés au pouvoir institutionnel : les pauvres, les migrants, les minorités, les habitants des banlieues, les personnes dépendantes des prestations publiques ou les groupes ayant une capacité de contestation moindre.

Le cas du Systeem Risico Indicatie (SyRI), aux Pays-Bas, est particulièrement révélateur. Ce système était utilisé pour détecter d’éventuelles fraudes en matière de prestations sociales, d’impôts et de cotisations en croisant des données publiques. En 2020, le tribunal de district de La Haye a déclaré que la réglementation qui le régissait violait l’article 8 de la Convention européenne des droits de l’homme, relatif au respect de la vie privée, en raison d’un manque de proportionnalité, de transparence et de garanties suffisantes (Rechtbank Den Haag, 2020). Le Rapporteur spécial des Nations unies sur l’extrême pauvreté a salué cette décision comme une avancée majeure face aux tentatives de l’État d’« espionner les pauvres », soulignant que le système avait ciblé des quartiers à faibles revenus et peuplés de minorités (HCDH, 2020).

Comme nous l’avons souligné au début, pour les classes aisées, l’intelligence artificielle est souvent perçue comme synonyme de personnalisation, de confort ou d’efficacité. En revanche, pour les personnes vulnérables, elle peut être perçue comme une surveillance, une suspicion, une contrainte ou un filtre. Les uns bénéficient de services adaptés. Les autres sont soumis à des contrôles automatisés. Les uns sont traités comme des consommateurs. Les autres, comme des risques. La dignité humaine exige de résister à ce deux poids deux mesures technologique. Aucune innovation ne mérite d’être qualifiée de progrès si elle renforce la capacité à surveiller ceux qui ont le moins de possibilités de se défendre. Une société juste ne peut pas fonder sa sécurité sur l’exposition permanente des personnes vulnérables.

Image IA avec ChatGPT pour le document - Quand la protection devient surveillance - Intelligence artificielle et dignité humaine

7. La dignité et le bien commun comme limites

Il ne s’agit pas de rejeter toute l’intelligence artificielle appliquée à la sécurité. Une telle conclusion serait aussi simpliste qu’inutile. Il existe des utilisations légitimes de la technologie pour protéger les droits, améliorer la gestion publique, prévenir les dommages et détecter les abus. Mais c’est précisément parce que ces utilisations peuvent être légitimes qu’elles ont besoin de limites claires :

• La dignité humaine. Aucune personne ne doit être traitée comme une simple donnée, comme un corps identifiable ou comme une probabilité de menace. La dignité empêche de réduire une vie à un profil et la liberté à un calcul de risque.

• La légalité stricte. Toute surveillance intrusive doit être prévue par une règle claire, répondre à une finalité légitime et être soumise à un contrôle indépendant.

• La proportionnalité. Tout ce qui est utile n’est pas nécessairement indispensable. Tout ce qui est efficace n’est pas forcément admissible. Toute amélioration administrative ne justifie pas une ingérence profonde dans la vie des personnes.

• La transparence. Les personnes doivent savoir quand sont utilisés des systèmes automatisés susceptibles d’affecter leurs droits. Et elles doivent pouvoir comprendre, au moins dans une mesure suffisante, les raisons d’une décision qui leur porte préjudice.

• La possibilité de contestation. Une décision qui ne peut être comprise peut difficilement être contestée. Sans possibilité réelle de contestation, la garantie devient pure apparence.

À ces limites s’ajoute une exigence de justice matérielle : il faut examiner qui supporte le coût de la technologie. La question éthique n’est pas seulement de savoir si le système fonctionne, mais pour qui il fonctionne. Protège-t-il les personnes vulnérables ou en fait-il la cible privilégiée du contrôle ? Élargit-il les droits ou perfectionne-t-il les mécanismes d’exclusion ? Sert-il le bien commun ou consolide-t-il de nouvelles asymétries entre ceux qui surveillent et ceux qui sont surveillés ?

Le règlement européen sur l’intelligence artificielle a opté pour une approche préventive fondée sur les niveaux de risque, avec des obligations renforcées pour les systèmes susceptibles d’affecter les droits fondamentaux. Mais la réglementation, bien qu’indispensable, ne suffit pas. Il faut également une culture publique capable de comprendre que l’efficacité n’est pas le critère ultime d’une société décente (Iturmendi Rubia, 2024).

L’alternative, comme le suggèreMagnifica Humanitas, ne consiste pas à accepter la technologie sans discernement ou à la rejeter par peur. Le véritable dilemme est tout autre : ériger une nouvelle Tour de Babel faite de données, de soupçons et de classification sociale, ou construire une cité commune où la technique reste au service de la personne (León XIV, 2026).

La sécurité est un bien commun lorsqu’elle protège la vie et la liberté de tous. Elle cesse de l’être lorsqu’elle exige que certains vivent sous le soupçon pour que d’autres puissent vivre en paix. Elle se mesure également à sa capacité à ne pas sacrifier la dignité de ceux qui sont plus faciles à surveiller.

L’intelligence artificielle pourra servir le bien commun si elle reste soumise à des limites juridiques, au contrôle démocratique et au discernement éthique. Lorsque ces limites disparaissent, elle cesse d’être un outil et devient un régime. Et aucun régime de suspicion, aussi sophistiqué soit-il, ne peut se concilier avec la dignité de la personne humaine.

Références

• Agence espagnole de protection des données. (19 décembre 2024). Worldcoin devra supprimer tous les codes d'iris stockés depuis le lancement du projet. https://www.aepd.es/prensa-y-comunicacion/notas-de-prensa/worldcoin-tendra-que-eliminar-todos-los-codigos-de-iris
• Iturmendi Rubia, J. M. (2023). La discrimination algorithmique et son impact sur la dignité de la personne et les droits de l’homme. Référence particulière aux immigrés. Deusto Journal of Human Rights, 12, 257-284. https://doi.org/10.18543/djhr.2910
• Iturmendi Rubia, J. M. (2024). Intelligence artificielle et droits de l’homme : défis et opportunités à l’ère numérique. Introduction au numéro spécial. Deusto Journal of Human Rights, 14, 11-31. https://doi.org/10.18543/djhr.3202
• Léon XIV. (2026). Magnifica Humanitas. Saint-Siège. https://www.vatican.va/content/leo-xiv/es/encyclicals/documents/20260515-magnifica-humanitas.html
• Haut-Commissariat des Nations unies aux droits de l’homme. (5 février 2020). Une décision historique d’un tribunal néerlandais met fin aux tentatives du gouvernement d’espionner les plus démunis – Expert de l’ONU. https://www.ohchr.org/en/press-releases/2020/02/landmark-ruling-dutch-court-stops-government-attempts-spy-poor-un-expert
• Tribunal de La Haye. (5 février 2020). La législation SyRI est contraire à la Convention européenne des droits de l’homme. https://www.rechtspraak.nl/organisatie-en-contact/organisatie/rechtbanken/rechtbank-den-haag/nieuws/syri-legislation-in-breach-of-european-convention-on-human-rights
• État c. Loomis, 881 N.W.2d 749 (Wis. 2016). https://law.justia.com/cases/wisconsin/supreme-court/2016/2015ap000157-cr.html
• UNESCO. (2021). Recommandation sur l'éthique de l'intelligence artificielle. https://unesdoc.unesco.org/ark:/48223/pf0000381137_spa

Auteur

Crédits de l’image de couverture : Une personne observant le dispositif connu sous le nom d’« Orb », un outil technologique utilisé par Worldcoin pour scanner l’iris des personnes. Crédit : Copyright 2023 The Associated Press. All rights reserved. Source : Université du Chili. Publié le vendredi 12 avril 2024.