¿A quién reconoce el reconocimiento facial? ¿A quién recomienda para un trabajo un algoritmo de contratación de IA? ¿Cómo influye el sesgo en el resultado de un modelo de generación de imágenes? ¿Son decisiones de quién las que se reflejan en el proceso multifacético de “toma de decisiones” que forma parte de la generación y el despliegue de modelos de IA?

En un mundo saturado de IA, el sesgo en la inteligencia artificial plantea un nuevo desafío para el pensamiento católico. Creemos que un punto de partida útil para abordar este desafío es la idea del «pecado estructural multivalente», articulada por la teóloga católica estadounidense Kristin Heyer en su discurso de 2024 titulado «Corazones de carne»: «Pecado estructural y salvación social».

El sesgo es una manifestación del pecado: una forma de ver, elegir y actuar que niega la dignidad inalienable e igualitaria de las personas y los grupos humanos. La inteligencia artificial puede afianzar y amplificar el sesgo a través de muchos factores: la composición de los vastos conjuntos de datos necesarios para entrenar las herramientas de IA; las diversas decisiones tomadas en el proceso de entrenamiento e implementación de dichas herramientas; las pretensiones de objetividad que a menudo acompañan al uso de la IA; y la limitada comprensión pública de la forma en que operan los modelos de IA. El trabajo de Heyer reconoce el papel del pecado original y del pecado personal en la creación del pecado social, pero se centra en la forma en que el pecado social adquiere una especie de agencia propia: las estructuras pecaminosas mismas actúan sobre las personas. Y Heyer sostiene que el pecado social es «multivalente», constituido por tres dimensiones: estructura, cultura-ideología y la interacción entre responsabilidad y hábito.

En el caso del sesgo y la IA, la noción de «estructura» de Heyer nos señala el poder de quienes toman las decisiones que dan forma al desarrollo y la implementación de las herramientas de IA, especialmente dada la ausencia de regímenes regulatorios (y el poder desigual de quienes utilizan sus datos o están sujetos a la toma de decisiones automatizada). Mediante la categoría de «cultura-ideología», nos invita a evaluar las narrativas que afirman que la IA es objetiva o más perspicaz que los humanos. Por último, a través de «responsabilidad y hábito», Heyer nos ayuda a ver las formas en que los sesgos en los sistemas de IA y las historias pueden interactuar y repercutir en las personas, fomentando hábitos de ver y actuar que moldean tanto a los desarrolladores como a los usuarios de la IA, así como a aquellos que no pertenecen a ninguno de esos grupos pero que, sin embargo, se ven afectados por las decisiones algorítmicas.

Estructura del sesgo en la IA

Comenzamos este ensayo con preguntas sobre el reconocimiento facial, los algoritmos utilizados para tomar decisiones de contratación y las formas en que el sesgo podría introducirse en las conversaciones con chatbots (incluidas, por ejemplo, las solicitudes de imágenes generadas). Estos ejemplos ilustran factores estructurales en el problema de la IA y el sesgo.

El reconocimiento facial no es perfecto ni se implementa en un mundo libre de sesgos. Hasta abril de 2026, al menos 14 personas en los EE. UU. habían sido arrestadas injustamente basándose en resultados erróneos de reconocimiento facial que la policía había considerado precisos; una de ellas, una abuela, fue encarcelada durante un total de seis meses como resultado de la identificación errónea (y de fallas en el proceso que siguió). Se ha demostrado que las herramientas de reconocimiento facial producen tasas de coincidencia inexactas más altas para diferentes grupos de personas, incluidos las mujeres, los jóvenes y los adultos mayores.

Los algoritmos de contratación tampoco son perfectos. En mayo de 2026, investigadores de la Universidad de Stanford en California publicaron un estudio en el que analizaban los registros de 3,4 millones de personas que habían presentado 4 millones de solicitudes de empleo, todas las cuales habían sido evaluadas por el mismo software de contratación basado en IA; el análisis mostró «que estas herramientas aumentan el sesgo racial y excluyen a las mismas personas de los puestos de trabajo dondequiera que soliciten empleo».

Hace unos años, un proyecto titulado «Models All the Way Down» investigó el conjunto de datos LAION-Aesthetics —uno de varios conjuntos de datos de código abierto desarrollados para el entrenamiento de modelos de generación de imágenes, publicado por una organización sin fines de lucro alemana—. Los autores del proyecto demostraron que «los conceptos de lo que es y lo que no es visualmente atractivo pueden verse influidos de manera desmesurada por los gustos de un grupo muy reducido de personas y por los procesos que eligen los creadores de los conjuntos de datos para curarlos».

Las herramientas de inteligencia artificial, como todas las creaciones humanas, incorporan y reflejan las decisiones humanas. Y más allá de las decisiones inmediatas de sus creadores, también están moldeadas en parte por restricciones que reflejan decisiones previas tomadas por humanos hace mucho tiempo. Por ejemplo, la arquitectura de Internet y la forma en que los sitios web han permitido durante mucho tiempo la extracción de contenido subido por usuarios individuales, hicieron posible la recopilación de un gran número de imágenes en los tipos de conjuntos de datos necesarios para entrenar la IA de generación de imágenes.

Pero algunas personas tienen más probabilidades que otras de tener acceso a Internet, de tener cámaras y de subir sus imágenes; no solo sus elecciones sobre lo que es estéticamente agradable, sino sus elecciones sobre a quién o qué fotografiar, dan forma al resultado de las herramientas de generación de imágenes. En medio de las afirmaciones que se escuchan a menudo de que la IA está «entrenada con todo el conocimiento humano», es necesario rebatirlas y preguntarse de quién es ese conocimiento, de quién son esas imágenes, de quién son esas voces y de quién son esas elecciones que podrían estar ausentes o apenas representadas en modelos de vanguardia que abarcan tanto.

Y los datos en sí mismos no son sinónimos de objetividad. Como han argumentado investigadores reflexivos, los datos son una construcción, y el «proceso de construir datos incorpora valores sociales y patrones de privilegio en los datos. Cuando esos valores y privilegios son injustos, la injusticia se convierte entonces en una característica de los datos mismos». Pensemos, por ejemplo, en los datos sobre arrestos y en las decisiones que estos implican: a quién arrestar y por qué delitos. En los Estados Unidos, esas decisiones se reflejan luego en los algoritmos utilizados en el sistema de justicia penal, que intentan evaluar la probabilidad de que una persona reincida o determinar la duración de su condena.

Más allá de los datos, el diseño de los modelos y las decisiones de entrenamiento también determinan los resultados de las herramientas de IA. Por ejemplo, las investigaciones han demostrado que incluso la duración del entrenamiento de un modelo concreto puede afectar de manera desproporcionada las tasas de error». Resulta que «las características complejas y subrepresentadas se aprenden más adelante en el proceso de entrenamiento. Por lo tanto, la interrupción temprana y decisiones similares... afectan de manera desproporcionada y sistemática a un subconjunto de la distribución de datos». Ese subconjunto refleja categorías para las que hay menos datos; en el caso de los seres humanos, aquellas personas cuyas identidades, experiencias, voces, etc., están menos bien representadas.

Muchos investigadores que trabajan en modelos de IA son conscientes de este problema, les apasiona y trabajan para combatir el sesgo en sus productos. Pero los grandes modelos de IA son sistemas enormemente complejos cuyo éxito ha sido descrito por algunos informáticos como «alquimia» y cuyo funcionamiento y cambios pueden sorprender incluso a sus propios desarrolladores. A medida que se lanzan nuevas versiones de los modelos, las ventajas en algunas áreas pueden ir acompañadas de retrocesos en otras: los investigadores que analizaron la discriminación dialectal en ChatGPT, por ejemplo, descubrieron que «GPT-4 mejora a GPT-3.5 en términos de comprensión, calidez y amabilidad, pero también muestra un marcado aumento en los estereotipos (+18 %)».

El nivel de sesgo fluctúa. Y cuando se trata de la IA, el sesgo no proviene únicamente de los datos y las decisiones de diseño.

La propia elección de qué abordar como problema a resolver con IA también puede reflejar sesgos. Consideremos el concepto de «policía predictiva»: el esfuerzo por predecir dónde ocurrirá un delito para que las fuerzas del orden puedan responder más rápidamente cuando ocurra. Como crítica, los desarrolladores de un proyecto llamado «While Collar Crime Risk Zones» utilizaron el aprendizaje automático para predecir la ubicación más probable de los delitos financieros en los EE. UU., entrenando su modelo con datos sobre incidentes de dichos delitos desde 1964. El punto, por supuesto, era que los gobiernos no suelen enfocar la policía predictiva en los delitos de cuello blanco, y no por falta de datos.

En la última década, los gobiernos de varios países han implementado herramientas algorítmicas en un esfuerzo por erradicar el fraude en las prestaciones sociales (a menudo con consecuencias perjudiciales masivas para las personas vulnerables que dependen de ellas); sin embargo, es mucho menos probable que veamos herramientas algorítmicas implementadas para identificar la corrupción política o las lagunas en los sistemas fiscales que permiten a los más ricos pagar menos.

Cultura e ideología de la IA

Aunque existe una creciente conciencia sobre las limitaciones de la IA y las complejas interacciones entre las herramientas de IA y los diversos contextos sociales en los que se implementan, el uso de dichas herramientas ha estado acompañado de ciertas narrativas y creencias que siguen prevaleciendo. Por ejemplo, con demasiada frecuencia el despliegue de dichos productos ha ido acompañado de la suposición de que funcionan según lo previsto —a menudo refutada solo después de que muchas personas resultaran perjudicadas—. También ha ido acompañado de la afirmación (y la esperanza) de que la IA es objetiva: la toma de decisiones «basada en datos» se ha contrastado durante mucho tiempo con la toma de decisiones basada puramente en la intuición o el sesgo personal, y el aprendizaje automático procesa los datos a través de múltiples capas de matemáticas, lo que, de nuevo, connota una objetividad. Sin embargo, como se señaló anteriormente, la subjetividad se introduce en el desarrollo y la implementación de la IA en muchos puntos, lo que explica por qué algunos críticos se han referido a la afirmación de la objetividad de la IA como: un «blanqueo de sesgos».

Y siguen surgiendo nuevas afirmaciones en el discurso: por ejemplo, que los datos «sintéticos» (generados por la IA) podrán imitar con precisión los datos humanos para diversos fines, incluida la investigación sobre cómo piensan, se comunican o colaboran los seres humanos; que la implementación de la IA es una fuerza imparable; que dicha implementación conducirá en última instancia al florecimiento humano; o que la IA se está volviendo más parecida a los seres humanos y, por lo tanto, podría merecer dignidad y derechos.

Sin embargo, la cuestión del sesgo en la IA nos obliga a analizar todas esas afirmaciones desde la perspectiva de la justicia y el bien común.

Los hábitos en un mundo cada vez más moldeado por la IA

Es cierto que la IA moldea nuestros hábitos y nuestras formas de ver y elegir. Pero, en el modelo de Heyer, ese moldeado no excluye las posibilidades de elección y responsabilidad. Y hay importantes esfuerzos en marcha para abordar el problema del sesgo de la IA como cuestión de hábitos.

Si bien las herramientas de IA sesgadas moldean actualmente las vidas de muchas personas en todo el mundo, la creciente conciencia sobre el sesgo de la IA también está impulsando un aumento de los esfuerzos para remodelar los propios sistemas de IA. Existen múltiples iniciativas paralelas para incorporar más conocimiento del mundo a los conjuntos de datos necesarios para las herramientas de IA: por ejemplo, la Fundación Mozilla ha estado creando un conjunto de datos llamado «Common Voice» que ahora incluye más de 100 idiomas, datos recopilados con el apoyo de más de 400 000 voluntarios. También hay iniciativas para desarrollar modelos completos que se adapten mejor a distintas partes del mundo: un ejemplo es Latam-GPT, que pretende ser «un modelo específico para América Latina y el Caribe, consciente de los requisitos culturales y los desafíos que ello implica, como la comprensión de diferentes dialectos, la historia de la región y aspectos culturales únicos».

Por supuesto, cualquier modelo y conjunto de datos de este tipo vendrán con sus propios sesgos, pero también con una crítica implícita a la afirmación de la objetividad de la IA.

En un libro titulado Fairness and Machine Learning, los investigadores Solon Barocas, Moritz Hardt y Arvind Narayanan detallan la naturaleza y las complejidades del desafío de hacer que la IA sea más justa, pero añaden que «el giro hacia la toma de decisiones automatizada y el aprendizaje automático ofrece una oportunidad para reconectarnos con los fundamentos morales de la equidad». Sostienen que el aprendizaje automático «tiene el potencial de ayudarnos a debatir de manera más efectiva la equidad de distintas políticas y procedimientos de toma de decisiones». Aun así, advierten que el trabajo sobre la equidad en la IA no conducirá a respuestas fáciles.

Efectivamente, al día de hoy, el sesgo sigue siendo un tema clave, y es solo una parte del conjunto de injusticias. Si queremos más equidad en la IA, también deberíamos oponernos a la idea de que el trabajo de los creadores individuales y todas nuestras comunicaciones personales sean un blanco legítimo para ser «recolectados» como datos de entrenamiento para grandes modelos. Debemos exigir una mejor remuneración para los etiquetadores de datos y los contratistas que ahora generan fragmentos de código o texto para usarlos como mejores datos de entrenamiento. Debemos exigir que cualquier sistema de IA que afecte de alguna manera la red de seguridad social sea probado cuidadosamente en programas piloto y auditado de forma independiente antes de su implementación a gran escala. Debemos rechazar el uso de herramientas algorítmicas que vuelvan el sistema de justicia penal menos justo. Debemos pedir que los costos de infraestructura generados por los centros de datos a hiperescala optimizados para la IA sean asumidos por las empresas que más se benefician del auge de la IA. También debemos exigir una ubicación cuidadosa de cualquier nuevo centro de datos, para que las comunidades vulnerables y con menos poder político no tengan que soportar una carga injusta en términos de consumo de energía y agua, y las implicaciones para la salud pública que conlleva dicho desarrollo.

Conclusión

Si la recopilación de ciertos tipos de conjuntos de datos ya corría el riesgo de reducir a los seres humanos a puntos de datos a menos que se hiciera con gran discernimiento, el procesamiento de dichos datos mediante grandes modelos de lenguaje podría empujarnos aun más hacia la privación de la agencia, los derechos y la dignidad humanos. Y el despliegue de la toma de decisiones automatizada en ciertos ámbitos de la sociedad podría impulsarnos hacia lo que el papa Francisco llamó el mayor pecado de nuestro tiempo: la «globalización de la indiferencia».

Aparte de la indiferencia, una sensación de impotencia ante problemas arraigados, como el sesgo en la IA (y no solo en la IA), puede derivar en una amenaza relacionada con la apatía. En «Hearts of Flesh», sin embargo, Heyer también ofrece una oportuna receta de tres puntos para responder a la apatía: «En primer lugar», escribe, «cambiar el enfoque metodológico de analizar la complicidad por asumir la responsabilidad; en segundo lugar, permitir que la(s) desorientación(es) ablande(n) nuestros corazones; y en tercer lugar, centrar el protagonismo de los marginados».

Lo que se denomina la «era de la IA» nos genera a todos mucha desorientación. Esa desorientación podría percibirse por algunos como una causa de apatía, pero Heyer opta por verla como un medio para sacarnos de las estructuras y los hábitos existentes. Su receta es un llamado a la acción.

Han pasado diez años desde que los periodistas de Pro Publica publicaron un artículo titulado «Machine Bias»: «Hay un software que se usa en todo [Estados Unidos] para predecir futuros delincuentes», escribieron en 2016,«y tiene un sesgo contra los negros». Desde entonces, muchas personas se han vuelto más conscientes de las formas en que la IA puede perpetuar y amplificar las desigualdades, pero aún queda mucho por hacer.

Autores

Créditos de imagen de portada: Se extiende la práctica de obligar a los empleados a portar cámaras para registrar su actividad. Foto: - R Satish Babu/AFP/Getty Images | Publicado por: www.larazon.es el 03/07/2026