Qui la reconnaissance faciale identifie-t-elle ? Qui est recommandé pour un poste par un algorithme de recrutement basé sur l’IA ? Comment les préjugés influencent-ils les résultats d’un modèle de génération d’images ? Quels choix se reflètent dans l’ensemble des processus décisionnels complexes qui font partie de la création et du déploiement des modèles d’IA ?

Dans un monde saturé d’IA, la question des préjugés dans l’intelligence artificielle pose un nouveau défi à la réflexion catholique. Nous pensons qu’un point de départ utile pour relever ce défi est la notion de « péché structurel multivalent » formulée par la théologienne catholique américaine Kristin Heyer dans son discours de 2024 intitulé « ‘Hearts of Flesh’ : Structural Sin and Social Salvation » (Cœurs de chair : péché structurel et salut social).

Le biais est une manifestation du péché : une manière de voir, de choisir et d’agir qui nie la dignité inaliénable et égale des individus et des groupes de personnes humaines. L’intelligence artificielle peut ancrer et amplifier les biais à travers de nombreux facteurs : la composition des vastes ensembles de données nécessaires à l’entraînement des outils d’IA ; les choix variés effectués au cours du processus d’entraînement et de déploiement de ces outils ; les prétentions d’objectivité qui accompagnent souvent l’utilisation de l’IA ; et la compréhension limitée du public quant au fonctionnement des modèles d’IA. Les travaux de Heyer reconnaissent le rôle du péché originel et du péché personnel dans la création du péché social, mais se concentrent sur la manière dont le péché social acquiert une sorte d’autonomie propre : les structures pécheresses elles-mêmes agissent sur les personnes. Et Heyer soutient que le péché social est « multivalent » — constitué de trois dimensions : la structure, la culture-idéologie et l’interaction entre la responsabilité et l’habitude.

Dans le cas des biais et de l’IA, la notion de « structure » chez Heyer met en lumière le pouvoir de ceux qui prennent des décisions, façonnant le développement et le déploiement des outils d’IA, en particulier compte tenu de l’absence de cadres réglementaires (et du déséquilibre des pouvoirs entre ceux dont les données sont utilisées et ceux soumis à la prise de décision automatisée). Par la catégorie « culture-idéologie », elle nous invite à évaluer les discours qui prétendent que l’IA est objective ou plus perspicace que les humains. Enfin, à travers la catégorie « responsabilité et habitude », Heyer nous aide à voir comment les biais dans les systèmes d’IA et les récits peuvent interagir et se répercuter sur les personnes, favorisant des habitudes de perception et d’action qui façonnent à la fois les développeurs et les utilisateurs de l’IA — ainsi que ceux qui n’appartiennent à aucun de ces groupes mais qui sont néanmoins affectés par les décisions algorithmiques.

Structure des biais de l’IA

Nous avons commencé cet essai par des questions sur la reconnaissance faciale, les algorithmes déployés pour prendre des décisions en matière d’embauche, et les façons dont les biais peuvent s’immiscer dans les conversations avec les chatbots (y compris, par exemple, dans les demandes d’images générées). Ces exemples illustrent les facteurs structurels du problème de l’IA et des biais.

La reconnaissance faciale n’est pas parfaite, et elle n’est pas déployée dans un monde exempt de biais. En avril 2026, au moins 14 personnes aux États-Unis avaient été arrêtées à tort sur la base de résultats de reconnaissance faciale erronés qui avaient été considérés comme exacts par la police ; l’une d’entre elles, une grand-mère, a été emprisonnée pendant six mois au total à la suite de cette erreur d’identification (et des défaillances du processus qui a suivi). Il a été démontré que les outils de reconnaissance faciale produisent des taux de correspondance inexacts plus élevés pour différents groupes de personnes, notamment les femmes, les jeunes et les personnes âgées.

Les algorithmes de recrutement ne sont pas parfaits non plus. En mai 2026, des chercheurs de l’université de Stanford, en Californie, ont publié une étude analysant les dossiers de 3,4 millions de personnes ayant soumis 4 millions de candidatures, toutes évaluées par le même logiciel de recrutement basé sur l’IA ; l’analyse a montré « que ces outils renforcent les préjugés raciaux et excluent ces mêmes personnes des emplois partout où elles postulent ».

Il y a quelques années, un projet intitulé « Models All the Way Down » a examiné l’ensemble de données LAION-Aesthetics — l’un des nombreux ensembles de données open source développés pour l’entraînement de modèles de génération d’images et rendus publics par une organisation à but non lucratif allemande. Les auteurs du projet ont démontré que « les concepts de ce qui est ou n’est pas visuellement attrayant peuvent être influencés de manière disproportionnée par les goûts d’un très petit groupe d’individus, ainsi que par les processus choisis par les créateurs d’ensembles de données pour les organiser ».

Les outils d’intelligence artificielle, comme toutes les créations humaines, intègrent et reflètent les choix humains. Et au-delà des choix immédiats de leurs créateurs, ils sont également façonnés en partie par des contraintes qui reflètent des choix antérieurs faits par des humains il y a longtemps. Par exemple, l’architecture d’Internet et la manière dont les sites web ont longtemps permis l’extraction de contenu mis en ligne par des utilisateurs individuels ont permis de rassembler un nombre considérable d’images dans les types de jeux de données nécessaires à l’entraînement de l’IA de génération d’images.

Mais certaines personnes ont plus de chances que d’autres d’avoir accès à Internet, de posséder un appareil photo et de mettre en ligne leurs images ; ce ne sont pas seulement leurs choix quant à ce qui est esthétiquement agréable, mais aussi leurs choix quant à qui ou quoi photographier, qui façonnent le résultat des outils de génération d’images. Face aux affirmations souvent entendues selon lesquelles l’IA est « entraînée sur l’ensemble des connaissances humaines », il est nécessaire de remettre cela en question et de se demander quelles connaissances, quelles images, quelles voix, quels choix pourraient manquer ou être à peine représentés dans ces modèles de pointe qui englobent tant de choses.

Et les données elles-mêmes ne sont pas synonymes d’objectivité. Comme l’ont fait valoir des chercheurs avisés, les données sont une construction, et « le processus de construction des données intègre des valeurs sociales et des schémas de privilèges dans les données. Lorsque ces valeurs et ces privilèges sont injustes, l’injustice devient alors une caractéristique des données elles-mêmes ». Prenons l’exemple des données sur les arrestations et des choix qui y sont intégrés : qui arrêter et pour quels crimes. Aux États-Unis, ces choix se reflètent ensuite dans les algorithmes utilisés par le système de justice pénale, qui tentent d’évaluer la probabilité qu’une personne récidive ou de déterminer la durée de sa peine.

Au-delà des données, la conception des modèles et les choix de formation influencent également les résultats des outils d’IA. Par exemple, des recherches ont montré que même la durée de la formation d’un modèle particulier peut « avoir un impact disproportionné sur les taux d’erreur ». Il s’avère que « les caractéristiques complexes et sous-représentées sont apprises plus tard dans le processus d’entraînement… Ainsi, l’arrêt prématuré et d’autres choix similaires… ont un impact disproportionné et systématique sur un sous-ensemble de la distribution des données ». Ce sous-ensemble reflète les catégories pour lesquelles il y a moins de données ; dans le cas des êtres humains, il s’agit de ceux dont l’identité, les expériences, les voix, etc., sont moins bien représentées.

De nombreux chercheurs travaillant sur des modèles d’IA sont tout à fait conscients de ce problème, s’y intéressent vivement et s’efforcent de lutter contre les biais dans leurs produits. Mais les grands modèles d’IA sont des systèmes extrêmement complexes dont le succès a été qualifié par certains informaticiens eux-mêmes d’« alchimie », et dont le fonctionnement et l’évolution peuvent surprendre même leurs développeurs. À mesure que de nouvelles versions des modèles sont publiées, les avancées dans certains domaines peuvent s’accompagner de reculs dans d’autres : des chercheurs étudiant la discrimination dialectale dans ChatGPT ont constaté, par exemple, que « GPT-4 surpasse GPT-3.5 en termes de compréhension, de chaleur et de convivialité, mais présente également une augmentation marquée des stéréotypes (+18 %). »

Le niveau de biais fluctue. Et en matière d’IA, le biais ne provient pas uniquement des données et des choix de conception.

Le choix même des problèmes à traiter par l’IA peut également refléter des biais. Prenons le concept de « police prédictive » — l’effort visant à prédire où un crime va se produire, afin de permettre aux forces de l’ordre d’intervenir plus rapidement le moment venu. À titre de critique, les développeurs d’un projet intitulé « White Collar Crime Risk Zones » ont utilisé l’apprentissage automatique pour prédire les lieux les plus susceptibles d’être le théâtre de crimes financiers aux États-Unis, en entraînant leur modèle sur des données relatives à des incidents de ce type depuis 1964. Le but, bien sûr, était de montrer que les gouvernements ne ciblent généralement pas la police prédictive des crimes en col blanc, et ce n’est pas par manque de données.

Au cours de la dernière décennie, les gouvernements de nombreux pays ont mis en œuvre des outils algorithmiques dans le but d’éradiquer la fraude aux prestations sociales (ce qui a souvent des conséquences néfastes considérables pour les personnes vulnérables qui dépendent de ces aides) ; on est cependant beaucoup moins susceptible de voir des outils algorithmiques déployés pour identifier la corruption politique ou les failles des systèmes fiscaux qui permettent aux plus riches de payer moins d’impôts.

Culture et idéologie de l'IA

Bien que l’on prenne de plus en plus conscience des limites de l’IA et des interactions complexes entre les outils d’IA et les divers contextes sociétaux dans lesquels ils sont déployés, l’utilisation de ces outils s’est accompagnée de certains discours et croyances qui continuent de prévaloir. Par exemple, le déploiement de ces produits s’accompagne trop souvent de l’hypothèse qu’ils fonctionnent comme prévu — hypothèse souvent réfutée seulement après que de nombreuses personnes ont subi un préjudice. Il s’accompagne également de l’affirmation (et de l’espoir) que l’IA est objective : la prise de décision « fondée sur les données » a longtemps été opposée à la prise de décision basée uniquement sur l’intuition ou les préjugés personnels, et l’apprentissage automatique traite les données à travers de multiples couches mathématiques, ce qui, là encore, évoque une objectivité. Comme indiqué ci-dessus, cependant, la subjectivité intervient à de nombreux stades du développement et du déploiement de l’IA, ce qui explique pourquoi certains critiques ont qualifié l’affirmation selon laquelle l’IA serait objective de « blanchiment de préjugés ».

Et de nouvelles affirmations continuent d’alimenter le débat : par exemple, que les données « synthétiques » (générées par l’IA) seront capables d’imiter avec précision les données humaines à diverses fins, notamment la recherche sur la façon dont les humains pensent, communiquent ou collaborent ; que le déploiement de l’IA est une force imparable ; que ce déploiement conduira en fin de compte à l’épanouissement de l’humanité ; ou que l’IA ressemble de plus en plus aux humains et pourrait donc elle-même mériter dignité et droits.

La question des préjugés liés à l'IA nous oblige toutefois à examiner toutes ces affirmations à la lumière de la justice et du bien commun.

Les habitudes dans un monde de plus en plus façonné par l’IA

L'IA façonne en effet nos habitudes, notre façon de voir et de choisir. Mais, dans le modèle de Heyer, cette influence n'exclut pas les possibilités de choix et de responsabilité. Et d'importants efforts sont en cours pour répondre au problème des biais de l'IA en tant que question d'habitude.

Alors que des outils d'IA biaisés façonnent aujourd'hui la vie de nombreuses personnes à travers le monde, la prise de conscience croissante du problème du biais de l'IA conduit également à des efforts accrus pour remodeler les systèmes d'IA eux-mêmes. De multiples initiatives parallèles visent à intégrer davantage de connaissances mondiales dans les ensembles de données nécessaires aux outils d’IA : par exemple, la Fondation Mozilla a constitué un ensemble de données « Common Voice » qui comprend désormais plus de 100 langues – des données collectées avec le soutien de plus de 400 000 bénévoles. Des efforts sont également déployés pour développer des modèles complets mieux adaptés aux différentes régions du monde : Latam-GPT en est un exemple, qui vise à être « un modèle spécifique à l’Amérique latine et aux Caraïbes, conscient des exigences culturelles et des défis que cela implique, tels que la compréhension des différents dialectes, de l’histoire de la région et de ses aspects culturels uniques. »

Bien sûr, de tels modèles et ensembles de données s’accompagneront de leurs propres biais – mais aussi d’une remise en question inhérente de la prétendue objectivité de l’IA.

Dans un ouvrage intitulé Fairness and Machine Learning, les chercheurs Solon Barocas, Moritz Hardt et Arvind Narayanan détaillent la nature et les subtilités du défi que représente la mise en place d’une IA plus équitable, mais ajoutent que « le passage à la prise de décision automatisée et à l’apprentissage automatique offre une occasion de renouer avec les fondements moraux de l’équité ». Ils soutiennent que l’apprentissage automatique « a le potentiel de nous aider à débattre plus efficacement de l’équité des différentes politiques et procédures décisionnelles ». Ils préviennent toutefois que les travaux sur l’équité en IA ne mèneront pas à des réponses faciles.

En effet. À l’heure actuelle, les biais restent un problème majeur, et ce n’est qu’une partie du problème de l’injustice. Si nous voulons plus d’équité dans l’IA, nous devons également nous opposer à l’idée que le travail des créateurs individuels et toutes nos communications personnelles constituent une proie légitime à « récolter » comme données d’entraînement pour les grands modèles. Nous devrions exiger une meilleure rémunération pour les étiqueteurs de données et les sous-traitants qui génèrent actuellement des extraits de code ou de texte destinés à servir de données d’entraînement de meilleure qualité. Nous devrions exiger que tout système d’IA ayant un impact quelconque sur le filet de sécurité sociale soit testé avec soin dans le cadre de programmes pilotes et soumis à un audit indépendant avant d’être déployé à grande échelle. Nous devrions rejeter l’utilisation ciblée d’outils algorithmiques qui rendent le système de justice pénale moins équitable. Nous devrions exiger que les coûts d'infrastructure générés par les centres de données hyperscale optimisés pour l'IA soient pris en charge par les entreprises qui profitent le plus de l'essor de l'IA. Nous devrions également exiger un emplacement soigneusement choisi pour tout nouveau centre de données, afin que les communautés vulnérables et politiquement moins influentes n'aient pas à supporter une charge injuste en termes de consommation d'énergie et d'eau, ainsi que des implications pour la santé publique qui accompagnent un tel développement.

Conclusion

Si la collecte de certains types d’ensembles de données risquait déjà de réduire les êtres humains à de simples points de données à moins d’être effectuée avec beaucoup de discernement, le traitement de ces données par de grands modèles linguistiques pourrait nous pousser encore plus loin vers la privation de l’autonomie, des droits et de la dignité humaines. Et le déploiement de la prise de décision automatisée dans certains aspects de la société pourrait nous propulser vers ce que le pape François a qualifié de plus grand péché de notre époque : la « mondialisation de l’indifférence ».

Outre l’indifférence, un sentiment d’impuissance face à des problèmes profondément enracinés tels que les biais dans l’IA (et pas seulement dans l’IA) peut conduire à la menace connexe de l’apathie. Dans « Hearts of Flesh », cependant, Heyer propose également une triple prescription opportune pour répondre à l’apathie : « Premièrement », écrit-elle, « déplacer l’accent méthodologique de l’analyse de la complicité vers la prise de responsabilité ; deuxièmement, laisser la ou les désorientations adoucir nos cœurs ; et troisièmement, mettre au centre le protagonisme des personnes marginalisées ».

Ce que l’on décrit comme « l’ère de l’IA » nous offre à tous une bonne dose de désorientation. Une telle désorientation peut être perçue par certains comme unecaused’apathie, mais Heyer choisit de la voir comme un moyen de nous faire sortir des structures et des habitudes existantes. Sa prescription est un appel à l’action.

Cela fait dix ans que les journalistes de ProPublicaont publié un article intitulé « Machine Bias » : « Il existe aux États-Unis un logiciel utilisé pour prédire les futurs criminels », écrivaient-ils en 2016, « et il est biaisé à l’encontre des Noirs ». Depuis lors, beaucoup de gens ont pris davantage conscience de la manière dont l’IA peut perpétuer et amplifier les inégalités, mais il reste encore beaucoup à faire.

Auteurs

Crédits de l'image de couverture : Le recours croissant à l'obligation faite aux salariés de porter des caméras afin d'enregistrer leurs activités. | Photo : R Satish Babu/AFP/Getty Images | Source : La Razón (Publié le 3 juillet 2026)