Dans le quartier aisé où je vis, je me promène dans la rue en portant un t-shirt de l’institution jésuite d’élite que j’ai fréquentée autrefois. C’est comme si je présumais, avec présomption, que ce t-shirt atténuerait le risque d’être observé par des regards inquisiteurs. Pourtant, je me rappelle instantanément, lorsque les portières des voitures se verrouillent à mon passage et que les sacs à main se resserrent autour de moi, que mon corps est perçu comme un objet de suspicion. Je me rappelle que ma négritude précède mon existence. Je me rappelle que mon corps foncé occulte la présomption d’innocence. Je me rappelle que ma peau foncée a vidé mon humanité de sa substance et m’a transformée en objet de peur. Les effets concrets d’une telle surveillance me laissent en proie à la peur, mon corps et ma dignité ayant été déformés. En tant qu’objet de suspicion, à travers le regard surveillant interprété à la lumière de significations raciales ancrées dans l’histoire, la peur me traverse, comme si j’étais différente, comme si je n’avais pas ma place ici.

Le passage précédent est un témoignage personnel sur la surveillance. La surveillance est, malheureusement, une réalité inéluctable de la vie des Noirs. Dès mon plus jeune âge, j’ai vécu en sachant que, malgré l’image que j’ai de moi-même, ce monde m’a déjà dicté qui je suis, qui je devrais être, et que je dois m’en accommoder. Le confinement, la confiscation et la capture de mon corps noir par la surveillance, une réalité vécue, n’en constituent pas moins l’héritage de siècles de stéréotypes. Au fil du temps, ces stéréotypes se sont renforcés au sein des institutions et des structures sociétales, créant des formes insidieuses de violence systémique. Avec l’émergence des algorithmes numériques et des systèmes d’apprentissage automatique, ces stéréotypes sont repris par la technologie et, par la suite, codifiés dans les « données et les systèmes automatisés qui régissent désormais nos vies » (Hoffmann, 2018, paragraphe 19). La surveillance ne doit donc pas être considérée uniquement comme un produit des technologies modernes d’intelligence artificielle (IA), telles que la reconnaissance faciale automatisée, les drones et les algorithmes prédictifs, mais comme faisant partie d’un système de longue date de hiérarchies racialisées de contrôle et de déshumanisation (Browne, 2015).

Sankofa : la généalogie historique de la surveillance raciale

L’IA est un miroir qui reflète notre passé, nos pires pulsions, nos défaillances morales et l’histoire des relations sociales, culturelles et institutionnelles oppressives. Il y a de la sagesse à tirer des leçons du passé si nous sommes assez sages pour en tenir compte. Au-delà des discours sur le progrès, les technologies innovantes, telles que l’IA, ne peuvent être dissociées de leur contexte historique (Hampton, 2021). Le concept de Sankofa, un mot de la langue akan du Ghana qui se traduit par « retourne le chercher », nous invite à regarder en arrière pour tracer notre chemin vers l’avenir. À titre d’invitation, Sankofa nous invite à réfléchir à la manière dont les technologies contemporaines d’IA héritent et reproduisent simultanément des traditions de longue date de racisme systémique et d’injustice raciale.

Dans Dark Matters: On the Surveillance of Blackness, Simone Browne (2015) démontre que les formes contemporaines de surveillance algorithmique s’appuient sur une longue histoire de contrôle racialisé et d’anti-noirisme. La chercheuse Akua Benjamin (2003) définit l’anti-noirisme comme une forme distincte de discrimination à l’encontre des personnes d’ascendance africaine noire, enracinée dans leurs expériences historiques d’esclavage et de colonisation. Parallèlement à cette définition, l’anti-noir peut également être compris comme une relation antagoniste entre la « noirceur » et la possibilité même de l’humanité (Dumas & Ross, 2016), entretenue dans ce que Saidiya Hartman (2007) appelle « l’au-delà de l’esclavage ». Dans cet « au-delà de l’esclavage », les préjudices potentiels de la surveillance alimentée par l’IA ne doivent pas être compris simplement comme des dysfonctionnements, des erreurs technologiques ou des défaillances accidentelles, mais comme les manifestations d’un « passé marqué par les inégalités raciales » (Mayson, 2019, p. 2297) profondément ancré, dans lequel émergent de nouveaux modes de pratiques de surveillance racialisées.

Capture technologique : l’au-delà technologique de la surveillance raciale

Selon le dictionnaire Merriam-Webster, les donnéessont définies comme des informations factuelles (telles que des mesures ou des statistiques) utilisées comme base de raisonnement, de discussion ou de calcul. Pourtant, les données ne sont pas toujours factuelles. Elles peuvent être erronées. Par exemple, les ensembles de données utilisés pour entraîner des modèles d’IA peuvent comporter des exclusions et des limites dans leurs pratiques de collecte et leur composition (Gebru et al., 2021). En particulier, des décennies de pratiques policières illégales, biaisées et corrompues, ayant des répercussions raciales inégales, ont généré ce que l’on appelle des « données sales » (Richardson et al., 2019). Par conséquent, les technologies basées sur l’IA développées au nom de la justice et modélisées à partir de données sales — telles que l’analyse prédictive et les systèmes de surveillance — héritent et reproduisent les biais qui régissent la manière dont certains groupes sont classés, évalués et perçus, créant ainsi une boucle de rétroaction d’injustice.

Les « données sales » ne constituent pas un phénomène nouveau. Mais avec l’avènement de l’IA, un nouveau jour est jeté sur un vieux problème (Mayson, 2019), dans lequel les schémas historiques de préjugés raciaux se voient conférer une nouvelle autorité et sont reproduits par le biais de processus décisionnels institutionnels automatisés. Compte tenu de ce cycle continu de préjudices, les technologies de surveillance basées sur l’IA risquent de produire de nouvelles formes d’anti-noirisme, aujourd’hui et à l’avenir, par le biais d’un phénomène que je définis comme la « captation technologique ».

La captation technologique décrit la manière dont l’anti-noir historique s’entremêle avec les nouvelles technologies, telles que l’IA, reconstituant ainsi les conditions de captation sous de nouvelles formes computationnelles. En d’autres termes, la « captation technologique » désigne non seulement la présence de préjugés raciaux au sein des systèmes algorithmiques, mais aussi le processus historique et institutionnel par lequel les relations sociales et institutionnelles racialisées se transforment en données, la manière dont ces données deviennent des systèmes computationnels de classification, et la façon dont ces classifications computationnelles acquièrent des conséquences concrètes lorsque les institutions agissent en fonction d’elles.

La captation technologique n’est pas le fait des seules données, des algorithmes ou du code. Dans ce que j’appelle « l’héritage technologique de la surveillance raciale », il ne s’agit pas simplement d’un problème technique. C’est un problème humain. La captation est une condition raciale vécue qui s’exerce sur la vie des Noirs : une forme de confinement, de contrainte et de jetabilité. Dans ce cadre, la surveillance alimentée par l’IA prend toute son importance, car les classifications raciales héritées sont mobilisées pour surveiller, prédire et réifier les frontières selon des critères raciaux. Il convient de noter que les conséquences concrètes de la capture technologique dépendent des institutions et des acteurs qui conçoivent, financent, déploient et autorisent ces systèmes, notamment les policiers, les juges, les administrateurs, les agences et les instances dirigeantes qui confèrent une force concrète aux classifications algorithmiques. C’est là qu’émergent de nouveaux modes de profilage racial sous des formes technologiques. Bien que la technologie modifie le mécanisme de la capture, elle n’a pas nécessairement mis fin à la condition de « capture » elle-même.

Les préjudices et conséquences potentiels de la capture technologique sont, malheureusement, mis en évidence par un nombre croissant d’exemples empiriques de technologies de surveillance basées sur l’IA déployées par le système de justice pénale. Par exemple, une étude de 2026 a révélé que les technologies de surveillance en réseau, telles que Flock, étaient concentrées de manière disproportionnée dans des communautés à majorité noire. Une enquête de ProPublica a révélé que COMPAS, un logiciel algorithmique utilisé pour évaluer le risque de récidive, produisait de manière disproportionnée des classifications faussement positives à haut risque pour les prévenus noirs. Des recherches empiriques ont également mis en évidence des disparités considérables dans les taux d’erreur et les erreurs de classification entre les personnes à la peau claire et celles à la peau foncée au sein des systèmes automatisés de reconnaissance faciale. Il est significatif que le caractère quotidien de la captation technologique et ses effets concrets soient illustrés par l’arrestation abusive de Robert Williams, un homme noir qui a été faussement identifié par une technologie de reconnaissance faciale. En tant qu’atteinte à sa dignité humaine, l’arrestation et la détention abusives de Robert Williams démontrent que la « captation technologique » est bien plus qu’une simple erreur technique lorsqu’elle est mise en œuvre par le pouvoir coercitif de l’État.

Une foi qui rend justice : guérison, accompagnement, responsabilité et réglementation

Les efforts visant à atténuer, voire à abolir, la « capture technologique » exigent davantage que de bonnes intentions. Les préoccupations éthiques et morales ont cherché à démanteler une longue histoire d’anti-noirisme émergeant dans et à travers les technologies contemporaines, telles que l’IA, mais n’ont pas éliminé les logiques sous-jacentes de la « capture ». Nommer la « capture technologique », par conséquent, ne se contente pas de mettre en lumière la persistance de l’anti-noirisme dans les technologies émergentes, mais exige également de s’attaquer aux injustices structurelles et de placer au centre les communautés qui continuent d’être affectées négativement par les systèmes de surveillance, de contrôle et de « capture ». Dans cette optique, la question ne doit plus porter sur la manière dont ces systèmes causent du tort, mais sur ce qu’exige la justice en réponse. Cette question, d’autant plus que les préjudices potentiels de l’IA menacent la dignité inviolable de la vie des Noirs, est intimement liée à la tradition jésuite d’un engagement de foi au service de la justice.

En 1973, le père Pedro Arrupe a prononcé un discours lors du 10e Congrès international des anciens élèves jésuites d’Europe, à Valence, en Espagne, dans lequel il a mené une réflexion critique sur la nécessité de réorienter l’éducation jésuite vers la promotion de la justice et la libération des opprimés. Au service de l’ e à une foi qui rend justice, l’appel fondateur d’Arrupe nous exhorte à développer une imagination morale afin de concevoir des politiques et des structures sociales au service du bien commun. Pour défendre la dignité humaine à l’ère de l’IA, l’accompagnement jésuite doit continuer à suivre la réorientation proposée par le père Arrupe avec une fidélité créative, non seulement en se montrant solidaire des marginalisés, mais aussi en menant des actions et un plaidoyer appropriés.

À ce titre, une réponse adéquate – dans la tradition jésuite – à la mainmise technologique devrait s’articuler autour de quatre engagements : la guérison, l’accompagnement, la responsabilité et la réglementation.

La guérison. Cette réponse commence tout d’abord par la mémoire historique, en reconnaissant les histoires raciales dont héritent les systèmes de surveillance basés sur l’IA (tout en affrontant également l’implication historique de la Compagnie de Jésus dans l’esclavage) et les exigences de réconciliation qui en découlent. Dans cet « au-delà » de l’esclavage, les héritages de ce passé violent perdurent. Par conséquent, les discussions sur la justice et le progrès technologique doivent commencer par le souvenir et la guérison de cette histoire.

Accompagnement. Le deuxième engagement est l’accompagnement, qui consiste à reconnaître et à mettre au centre les expériences vécues, les savoirs et l’autonomie des communautés les plus durement touchées par ces nouvelles technologies. L’accompagnement, en ce sens, ne traite pas les communautés noires comme de simples bénéficiaires de la justice, mais veille à ce qu’elles jouent un rôle significatif et aient leur place à la table des décisions concernant les questions de pouvoir, telles que qui en bénéficie, qui en subit les préjudices et qui détient l’autorité. En tant qu’acte d’autonomie, l’accompagnement consiste à marcher aux côtés de ces communautés pour déterminer comment, où et si les technologies de surveillance basées sur l’IA sont déployées. En plaçant au centre ceux qui sont les plus touchés par les conséquences de l’IA, tout en donnant la priorité à l’impact sur la communauté et à la réflexion participative sur l’utilisation des systèmes d’IA, une réponse jésuite se prémunit contre la menace d’une asymétrie de pouvoir dans le développement des technologies émergentes.

Responsabilité. Le troisième engagement exige une responsabilité institutionnelle. Dans un rapport de l’AI Now Institute intitulé *Algorithmic Impact Assessments Report: A Practical Framework for Public Agency Accountability* (Reisman et al., 2018), les auteurs affirment que « le recours à la prise de décision automatisée et aux systèmes prédictifs ne doit pas empêcher les organismes de remplir leur responsabilité de protéger les valeurs démocratiques fondamentales, telles que l’équité, la justice et le respect des procédures légales » (p. 5). Sans mécanismes de responsabilité efficaces, les systèmes de surveillance basés sur l’IA continueront à reproduire et à aggraver les injustices mises en évidence par la mainmise technologique. C’est pourquoi une réglementation efficace est essentielle pour atténuer les préjudices et les risques posés par les technologies de surveillance basées sur l’IA.

Réglementation. En tant que quatrième engagement, la réglementation inclut également la transparence quant à la manière dont les données utilisées pour entraîner l’IA sont collectées, traitées et déployées. À l’heure actuelle, la plupart des systèmes d’IA restent opaques (West et al., 2019). Afin d’atténuer les biais indésirables dans les données sur lesquelles les modèles d’IA sont entraînés, la réglementation devrait inclure « des restrictions ou des interdictions concernant l’utilisation des données historiques générées par des pratiques illégales et biaisées » (Richardson et al., 2019, p. 47).

Étant donné que la réglementation à elle seule pourrait encore s’avérer insuffisante pour atténuer les préjudices potentiels de l’IA, notre réponse – dans la tradition jésuite – exige non seulement de plaider en faveur d’une réglementation efficace et de limites claires aux technologies de surveillance qui portent atteinte à la dignité humaine, mais aussi de s’engager dans la voie de la réparation algorithmique. La réparation algorithmique met l’accent sur la réparation en examinant les injustices dont héritent les algorithmes et en dévoilant les préjudices de représentation infligés aux communautés touchées (Davis et al., 2021). La réparation algorithmique s’éloigne également des solutions techniques qui ne s’attaquent pas aux inégalités structurelles sous-jacentes que l’IA continue d’amplifier, et pose la question suivante : ce système devrait-il même exister ? La justice, en ce sens, peut exiger davantage que la responsabilité et la réglementation, et peut conduire à un refus structurel de la surveillance par l’IA dans son ensemble.

Dans la tradition jésuite d’une foi qui fait justice, toute réponse aux préjudices posés par la mainmise technologique doit faire preuve d’une fidélité créative et d’une imagination morale permettant d’accompagner les communautés touchées, de réparer et de corriger les injustices, et de refuser les technologies d’IA qui ne peuvent être conciliées avec la dignité inviolable de la vie humaine.

Références

• Benjamin, L. A. (2003).The Black/Jamaican criminal: The making of ideology(Publication n° 305258209) [Thèse de doctorat, Université de Toronto]. ProQuest Dissertations & Theses Global.
• Benjamin, R. (2019).Race after technology : Abolitionist tools for the new Jim code. John Wiley & Sons.
• Browne, S. (2015).Dark matters : On the surveillance of blackness. Duke University Press Books.
• Davis, J. L., Williams, A., & Yang, M. W. (2021). « Réparation algorithmique ».Big Data & Society, 8(2). https://doi.org/10.1177/20539517211044808
• Dumas, M. J., & Ross, K. M. (2016). « Be real Black for me ».*Urban Education*, 51(4), 415-442. https://doi.org/10.1177/0042085916628611
• Gebru, T., Morgenstern, J., Vecchione, B., Vaughan, J. W., Wallach, H., Daumé III, H., & Crawford, K. (2021). Fiches techniques pour les ensembles de données.Communications of the ACM, 64(12), 86–92. https://doi.org/10.1145/3458723
• Hampton, L. M. (2021). Réflexions féministes noires sur l’oppression algorithmique.Actes de la conférence ACM 2021 sur l’équité, la responsabilité et la transparence, 1-1. https://doi.org/10.1145/3442188.3445929
• Hartman, S. (2007).Lose your mother : A journey along the Atlantic slave route. Macmillan + ORM.
• Hoffmann, A. L. (30 avril 2018).La violence des données et comment de mauvais choix techniques peuvent nuire à la société. Medium. https://medium.com/@annaeveryday/data-violence-and-how-bad-engineering-choices-can-damage-society-39e44150e1d4
• Mayson, S. G. (2019). « Bias in, bias out ».Yale Law Journal, 128, 2218–2300.
• Reisman, D., Schultz, J., Crawford, K., & Whittaker, M. (2018).Rapport sur les évaluations d’impact algorithmique : un cadre pratique pour la responsabilité des organismes publics. AI Now Institute.
• Richardson, R., Schultz, J. M., & Crawford, K. (2019). Données erronées, mauvaises prédictions : comment les violations des droits civils affectent les données policières, les systèmes de police prédictive et la justice.New York University Law Review Online, 94, 15–55.
• West, S. M., Whittaker, M., & Crawford, K. (2019).Systèmes discriminatoires : genre, race et pouvoir dans l’IA. AI Now Institute.

Auteur

Crédits de l’image de couverture : Biais et discrimination dans l’intelligence artificielle. Conception : Composition visuelle réalisée par le Bureau de communication du SJES. Images d’arrière-plan : Photographies de personnes réelles utilisées sous licence Canva Pro.