En la comunidad acomodada donde vivo, camino por la calle con una camiseta de la prestigiosa institución jesuita a la que asistí en su momento. Es como si, con presunción, supusiera que la camiseta mitigaría la posibilidad de ser observado por miradas vigilantes. Sin embargo, me doy cuenta al instante —cuando las puertas de los autos se cierran al pasar junto a ellas y cuando aprietan sus carteras al cruzarme— de que mi cuerpo se convierte en un motivo de sospecha. Me recuerda que mi negrura precede a mi existencia. Me recuerda que mi cuerpo oscuro obstaculiza la presunción de inocencia. Me recuerda que mi piel oscura ha despojado de mi humanidad y me ha convertido en un objeto de miedo. Los efectos que siento en mi cuerpo al ser vigilada de esta manera me llenan de miedo, ya que mi cuerpo y mi dignidad han sido distorsionados. Como objeto de sospecha, a través de la mirada vigilante interpretada a partir de significados raciales arraigados históricamente, el miedo me atraviesa, como si fuera diferente, como si no perteneciera a este lugar.

El pasaje anterior es una historia personal sobre la vigilancia. La vigilancia es, lamentablemente, una realidad ineludible en la vida de las personas negras. Desde muy joven he vivido con la certeza de que, a pesar de cómo me veo a mí mismo, este mundo ya me ha dicho quién soy, quién debería ser y que debo vivir con ello. La contención, la confiscación y la captura de mi cuerpo negro mediante la vigilancia —una realidad evidente— son mi herencia de siglos de estereotipos. Con el tiempo, estos estereotipos se han reforzado en las instituciones y estructuras sociales, creando formas insidiosas de violencia sistémica. Con la aparición de los algoritmos digitales y los sistemas de aprendizaje automático, estos estereotipos son heredados por la tecnología y, posteriormente, codificados en los «datos y sistemas automatizados que ahora median en nuestras vidas» (Hoffmann, 2018, párr. 19). La vigilancia, entonces, no solo debe verse como un producto de las tecnologías modernas de inteligencia artificial (IA), como el reconocimiento facial automatizado, los drones y los algoritmos predictivos, sino también como parte de un viejo sistema de jerarquías racializadas de control y deshumanización de larga data (Browne, 2015).

Sankofa: La genealogía histórica de la vigilancia racial

La IA es un espejo negro que refleja nuestro pasado, nuestros peores impulsos, nuestras fallas morales y la historia de las relaciones sociales, culturales e institucionales opresivas. Hay sabiduría en aprender del pasado si somos lo suficientemente lúcidos como para prestarle atención. Más allá de las narrativas de progreso, las tecnologías innovadoras como la IA, no pueden separarse de su contexto histórico (Hampton, 2021). El concepto de Sankofa, una palabra del idioma akan de Ghana que se traduce como «regresa y recógelo», nos recuerda que debemos mirar hacia atrás para ver nuestro camino hacia adelante. A modo de invitación, Sankofa nos pide que consideremos cómo las tecnologías contemporáneas de IA heredan y, al mismo tiempo, reproducen tradiciones arraigadas de racismo sistémico e injusticia racial.

En su escrito Dark Matters: On the Surveillance of Blackness, Simone Browne (2015) demuestra que las formas contemporáneas de vigilancia algorítmica se sustentan en una larga historia de control racializado y de anti negritud. La académica Akua Benjamin (2003) define la anti negritud como una forma distintiva de discriminación contra las personas de ascendencia africana negra, arraigada en sus experiencias históricas de esclavitud y colonización. Además de esta definición, la anti negritud también puede entenderse como una relación antagónica entre la negritud y la posibilidad de la humanidad (Dumas y Ross, 2016), sostenida en lo que Saidiya Hartman (2007) denomina el «más allá de la esclavitud». En esta «vida posterior a la esclavitud» los posibles daños de la vigilancia impulsada por la IA no deben entenderse meramente como fallas, errores tecnológicos o malfuncionamientos accidentales, sino como expresiones de un «pasado de desigualdad racial» arraigado (Mayson, 2019, p. 2297) en el que surgen nuevas formas de prácticas de vigilancia racializada.

Captura tecnológica: la vida posterior tecnológica de la vigilancia racial

Según el diccionario Merriam-Webster, los datos se definen como información factual (como mediciones o estadísticas) que se utiliza como base para el razonamiento, la discusión o el cálculo. Sin embargo, los datos no siempre son apodícticos; pueden ser defectuosos. Por ejemplo, los conjuntos de datos utilizados para entrenar modelos de IA pueden incluir exclusiones y limitaciones en sus prácticas de recopilación y composición (Gebru et al., 2021). En particular, décadas de prácticas policiales ilegales, sesgadas y corruptas, con impactos raciales desiguales, han generado lo que se conoce comodatos sucios (Richardson et al., 2019). En consecuencia, las tecnologías impulsadas por IA, desarrolladas en nombre de la justicia y basadas en datos sucios —como los análisis predictivos y los sistemas de vigilancia— heredan y reproducen los sesgos que rigen la forma en que se clasifican, evalúan y perciben a ciertos grupos, creando un ciclo vicioso de injusticia.

Los datos sucios no son un fenómeno nuevo. Pero con la llegada de la IA, se está arrojando nueva luz sobre un viejo problema (Mayson, 2019), en el que a los patrones históricos de sesgo racial se les otorga nueva autoridad y se reproducen mediante la toma de decisiones institucional automatizada. En vista de este ciclo continuo de daño, la tecnología de vigilancia basada en IA corre el riesgo de producir nuevas formas de anti negrismo en el presente y en el futuro, a través de un fenómeno que defino como «captura tecnológica».

La «captura tecnológica» describe cómo la anti negritud histórica se encarna en nuevas tecnologías, como la IA, y reconstituye las condiciones de captura en nuevas formas computacionales. En otras palabras, la «captura tecnológica» denota no solo la presencia de sesgos raciales en los sistemas algorítmicos, sino también el proceso histórico e institucional mediante el cual las relaciones sociales e institucionales racializadas se convierten en datos, cómo esos datos se transforman en sistemas computacionales de clasificación, y cómo esas clasificaciones computacionales adquieren consecuencias materiales cuando las instituciones actúan en función de ellas.

La captura tecnológica no es llevada a cabo únicamente por los datos, los algoritmos o el código. En lo que denomino el «legado tecnológico de la vigilancia racial», no se trata meramente de un problema técnico. Es un problema humano. La captura es una condición racial vivida que se ejerce sobre la vida negra: una forma de contención, restricción y desechabilidad. En ese legado, la vigilancia impulsada por la inteligencia artificial cobra importancia a medida que las clasificaciones raciales heredadas se ponen en práctica para monitorear, predecir y reificar las fronteras a lo largo de líneas raciales. Cabe destacar que las consecuencias materiales de la captura tecnológica dependen de las instituciones y los actores que diseñan, financian, implementan y autorizan estos sistemas, incluidos los agentes de policía, los jueces, los administradores, las agencias y los órganos de gobierno que otorgan fuerza material a las clasificaciones algorítmicas. Aquí surgen nuevos modos de perfil racial en el ámbito tecnológico. Aunque la tecnología cambia el mecanismo de la captura, no ha puesto necesariamente fin a la condición de la captura en sí misma.

El daño potencial y las consecuencias de la captura tecnológica son, lamentablemente, evidentes en un número cada vez mayor de ejemplos empíricos de tecnologías de vigilancia impulsadas por IA implementadas por el sistema de justicia penal. Por ejemplo, un estudio de 2026 reveló que las tecnologías de vigilancia en red, como Flock, se concentraban de manera desproporcionada en comunidades predominantemente negras. Una investigación de ProPublica reveló que COMPAS, un software algorítmico utilizado para evaluar el riesgo de reincidencia, generaba de manera desproporcionada clasificaciones de alto riesgo con falsos positivos para los acusados negros. La investigación empírica también ha demostrado disparidades drásticas en las tasas de error y en las clasificaciones erróneas entre personas de piel más clara y de piel más oscura en los sistemas automatizados de reconocimiento facial. Es significativo que la naturaleza cotidiana de la captura tecnológica y sus efectos concretos queden demostrados por el arresto indebido de Robert Williams, un hombre negro que fue identificado erróneamente por la tecnología de reconocimiento facial. Al constituir una violación de su dignidad humana, el arresto y la detención indebidos de Robert Williams demuestran que la captura tecnológica es más que un error técnico cuando es activada por el poder coercitivo del Estado.

Una fe que hace justicia: sanación, acompañamiento, rendición de cuentas y regulación

Los esfuerzos por mitigar o abolir la captura tecnológica requieren más que buenas intenciones. La preocupación ética y moral ha buscado desmantelar una larga historia de racismo contra los negros que surge en y a través de las tecnologías contemporáneas, como la IA, pero no ha eliminado las lógicas subyacentes de la captura. Por lo tanto, nombrar la captura tecnológica no solo expone la persistencia del racismo contra los negros en las tecnologías emergentes, sino que también exige la necesidad de enfrentar las injusticias estructurales y de centrar la atención en las comunidades que siguen viéndose afectadas negativamente por los sistemas de vigilancia, control y captura. Con esto en mente, la pregunta debería pasar de cómo estos sistemas causan daño a qué exige la justicia como respuesta. Esta pregunta, especialmente dado que los daños potenciales de la IA amenazan la dignidad inviolable de la vida negra, está íntimamente entrelazada con la tradición jesuita de un compromiso de fe que hace justicia.

En 1973, el P. Pedro Arrupe pronunció un discurso en el X Congreso Internacional de Antiguos Alumnos Jesuitas de Europa, celebrado en Valencia, España, en el que reflexionó críticamente sobre la necesidad de reorientar la educación jesuita hacia la promoción de la justicia y la liberación de los oprimidos. Al servicio de una fe que hace justicia, el llamado seminal de Arrupe nos insta a desarrollar una imaginación moral para concebir políticas y estructuras sociales al servicio del bien común. Para defender la dignidad humana en la era de la IA, el acompañamiento jesuita debe seguir atendiendo a la reorientación del P. Arrupe con fidelidad creativa, no solo mostrándose solidario con los marginados, sino también tomando medidas adecuadas y realizando actividades de defensa.

Como tal, una respuesta adecuada —en la tradición jesuita— a la captura tecnológica debe centrarse en cuatro compromisos: sanación, acompañamiento, rendición de cuentas y regulación.

Sanación. Esta respuesta comienza, en primer lugar, con la memoria histórica, al reconocer las historias raciales heredadas por los sistemas de vigilancia impulsados por la IA (al tiempo que se enfrenta al propio enredo histórico de la Compañía de Jesús con la esclavitud) y las exigencias de reconciliación que se derivan de ello. En este legado de la esclavitud, los vestigios de este pasado violento perduran. Por lo tanto, las conversaciones sobre justicia y avance tecnológico deben comenzar, ante todo, con el recuerdo y la sanación de esta historia.

Acompañamiento. El segundo compromiso es el acompañamiento, que consiste en reconocer y poner en primer plano las experiencias vividas, los conocimientos y la capacidad de acción de las comunidades más afectadas por estas nuevas tecnologías. El acompañamiento, en este sentido, no trata a las comunidades negras como meras receptoras de justicia, sino que garantiza que desempeñen un papel significativo y un lugar en la mesa en cuestiones de poder, tales como quién se beneficia, quién resulta perjudicado y quién detenta la autoridad. Como acto de agencia, el acompañamiento implica caminar junto a estas comunidades para determinar cómo, dónde y si se implementan o no las tecnologías de vigilancia basadas en IA. Al centrar la atención en quienes se ven más afectados por los resultados de la IA, al tiempo que se prioriza el impacto en la comunidad y el discernimiento participativo sobre el uso de los sistemas de IA, una respuesta inspirada en la tradición jesuita protege contra la amenaza de la asimetría de poder en el desarrollo de la tecnología emergente.

Rendición de cuentas. El tercer compromiso exige la rendición institucional de cuentas . En un informe del AI Now Institute titulado «Algorithmic Impact Assessments Report: A Practical Framework for Public Agency Accountability» (Reisman et al., 2018), los autores sostienen que «el giro hacia la toma de decisiones automatizada y los sistemas predictivos no debe impedir que las agencias (las instituciones) cumplan con su responsabilidad de proteger los valores democráticos básicos, como la equidad, la justicia y el debido proceso» (p. 5). Sin mecanismos de rendición de cuentas significativos, los sistemas de vigilancia impulsados por IA seguirán reproduciendo e intensificando las injusticias que se hacen visibles a través de la captura tecnológica. Por esta razón, una regulación eficaz es fundamental para mitigar los daños y riesgos que plantea la tecnología de vigilancia impulsada por IA.

Regulación. Como cuarto compromiso, la regulación también incluye la transparencia en la forma en que se recogen, procesan y utilizan los datos empleados para entrenar a la IA. Actualmente, la mayoría de los sistemas de IA siguen siendo opacos (West et al., 2019). Para mitigar los sesgos no deseados en los datos con los que se entrenan los modelos de IA, la regulación debería incluir «restricciones o prohibiciones sobre el uso de datos históricos generados por prácticas ilegales y sesgadas» (Richardson et al., 2019, p. 47).

Dado que la regulación por sí sola puede seguir siendo insuficiente para mitigar los posibles daños de la IA, nuestra respuesta —en la tradición jesuita— requiere no solo abogar por una regulación efectiva y por límites claros a las tecnologías de vigilancia que vulneran la dignidad humana, sino también exigir una decisión de reparación algorítmica. La reparación algorítmica se centra en la reparación mediante el examen de las injusticias que heredan los algoritmos y el desenmascaramiento de los daños representacionales infligidos a las comunidades afectadas (Davis et al., 2021). La reparación algorítmica también se aleja de las soluciones técnicas que no abordan las desigualdades estructurales subyacentes que la IA sigue amplificando, y plantea la pregunta: ¿debería existir este sistema en primer lugar? La justicia, en este sentido, puede requerir más que rendición de cuentas y regulación, y puede apuntar hacia un rechazo estructural total de la vigilancia mediante IA.

En la tradición jesuita de una fe que hace justicia, una respuesta a los daños que plantea la captura tecnológica debe poseer la fidelidad creativa y la imaginación moral necesarias para acompañar a las comunidades afectadas, reparar y subsanar las injusticias, y rechazar las tecnologías de IA que no puedan conciliarse con la dignidad inviolable de la vida humana.

Referencias

• Benjamin, L. A. (2003).El criminal negro/jamaicano: La construcción de la ideología(Publicación n.º 305258209) [Tesis doctoral, Universidad de Toronto]. ProQuest Dissertations & Theses Global.
• Benjamin, R. (2019).La raza después de la tecnología: herramientas abolicionistas para el nuevo «código Jim». John Wiley & Sons.
• Browne, S. (2015).Cuestiones oscuras: sobre la vigilancia de la negrura. Duke University Press Books.
• Davis, J. L., Williams, A. y Yang, M. W. (2021). Reparación algorítmica.Big Data & Society, 8(2). https://doi.org/10.1177/20539517211044808
• Dumas, M. J. y Ross, K. M. (2016). «Be real Black for me».*Urban Education*, 51(4), 415-442. https://doi.org/10.1177/0042085916628611
• Gebru, T., Morgenstern, J., Vecchione, B., Vaughan, J. W., Wallach, H., Daumé III, H., y Crawford, K. (2021). Hojas de datos para conjuntos de datos.Communications of the ACM, 64(12), 86–92. https://doi.org/10.1145/3458723
• Hampton, L. M. (2021). Reflexiones feministas negras sobre la opresión algorítmica.Actas de la Conferencia ACM 2021 sobre Equidad, Rendición de Cuentas y Transparencia, 1-1. https://doi.org/10.1145/3442188.3445929
• Hartman, S. (2007).Lose your mother: Un viaje a lo largo de la ruta atlántica de la esclavitud. Macmillan + ORM.
• Hoffmann, A. L. (30 de abril de 2018).La violencia de los datos y cómo las malas decisiones de ingeniería pueden dañar a la sociedad. Medium. https://medium.com/@annaeveryday/data-violence-and-how-bad-engineering-choices-can-damage-society-39e44150e1d4
• Mayson, S. G. (2019). «Bias in, bias out».Yale Law Journal, 128, 2218–2300.
• Reisman, D., Schultz, J., Crawford, K. y Whittaker, M. (2018).Informe sobre evaluaciones de impacto algorítmico: un marco práctico para la rendición de cuentas de los organismos públicos. AI Now Institute.
• Richardson, R., Schultz, J. M. y Crawford, K. (2019). Datos sucios, predicciones erróneas: cómo las violaciones de los derechos civiles afectan los datos policiales, los sistemas de vigilancia predictiva y la justicia. New York University Law Review Online, 94, 15–55.
• West, S. M., Whittaker, M. y Crawford, K. (2019).Sistemas discriminatorios: género, raza y poder en la IA. Instituto AI Now.

Autor

Créditos de imagen de portada: Sesgos y discriminación en la inteligencia artificial. Diseño: Composición visual realizada por la Oficina de Comunicaciones del SJES. Imágenes de fondo: Fotografías de personas reales utilizadas bajo licencia de Canva Pro.