Toda comunidad política nace, en alguna medida, de una promesa de protección. Pero esa promesa no puede entenderse de manera pobre o reduccionista. Proteger no significa solo defender frente al peligro, contener la amenaza o neutralizar el riesgo. Significa también sostener las condiciones que hacen posible una vida propiamente humana: la pertenencia, el reconocimiento, la educación, el trabajo, la salud, la participación, los vínculos y los derechos. Una sociedad no protege únicamente cuando impide que alguien sea agredido; también protege cuando evita que alguien quede abandonado, invisible o excluido de la comunidad a la que pertenece.

Esta distinción resulta decisiva. La seguridad es un bien necesario, pero no agota el sentido de la protección. Sin un mínimo de seguridad no hay libertad efectiva, ni convivencia estable, ni derechos que puedan ejercerse sin temor. Pero cuando la seguridad ocupa todo el espacio del discurso público, la protección corre el riesgo de estrecharse hasta identificarse con la vigilancia, el control y la prevención permanente. Entonces la comunidad deja de preguntarse cómo debe cuidar a sus miembros y empieza a preguntarse, casi exclusivamente, cómo debe defenderse de ellos o frente a ellos. El problema, por tanto, no está en reconocer valor a la seguridad. Lo problemático es convertirla en el único principio de ordenación de la vida colectiva.

La historia muestra que pocas nociones han servido con tanta frecuencia para extender el poder más allá de sus límites como una determinada comprensión de la seguridad. Allí donde todo puede presentarse como riesgo, casi todo puede reclamarse como una medida necesaria. Y allí donde la protección se formula solo en términos de amenaza, el ciudadano puede dejar de aparecer como sujeto de derechos para ser considerado una posible fuente de peligro. Una amplia tradición de pensamiento político y moral ha advertido contra esa reducción. La comunidad justa no es solo la que protege frente al daño, sino también la que permite vivir sin quedar a la intemperie. Desde esta perspectiva, el derecho básico no sería simplemente el derecho a estar seguro, si por seguridad se entiende la ausencia de amenaza, sino el derecho a no ser abandonado por la comunidad. Ese derecho remite a una trama de bienes y garantías sin los cuales la dignidad se vuelve una afirmación abstracta: derechos sociales, servicios públicos, condiciones materiales de existencia, reconocimiento institucional y posibilidad real de participación.

Esta precisión inicial resulta especialmente necesaria al analizar la inteligencia artificial aplicada al control social. Estos sistemas suelen presentarse bajo el lenguaje de la seguridad, la eficiencia y la prevención. Sin embargo, su impacto no puede valorarse solo preguntando si permiten anticipar riesgos o mejorar la gestión pública. La cuestión más profunda es otra: si contribuyen a una protección verdaderamente humana o si, por el contrario, consolidan una forma de gobierno fundada en la sospecha, la clasificación y la vigilancia.

La inteligencia artificial no inaugura la vigilancia, pero la transforma. La vigilancia tradicional era más visible, localizada y limitada: una frontera, una cámara, una investigación, un archivo administrativo, una orden judicial. La vigilancia algorítmica funciona de manera más difusa. Recoge datos dispersos, cruza bases de información, identifica patrones, asigna probabilidades y produce perfiles. No se limita a mirar lo que una persona hace. Trata de inferir lo que podría hacer. Esta mutación altera el sentido mismo del control. La persona deja de ser considerada solo por sus actos y pasa a ser evaluada por su pertenencia a categorías estadísticas. Puede ser clasificada como fiable o sospechosa, solvente o de dudosa fiabilidad, prioritaria o prescindible. El peligro no reside únicamente en la acumulación de información personal. Reside en que esa información, procesada mediante sistemas opacos, pueda condicionar el modo en que una persona accede a derechos, servicios, espacios públicos o decisiones administrativas.

La cuestión, por tanto, no es si la inteligencia artificial puede contribuir a finalidades legítimas. Naturalmente que puede hacerlo. La cuestión es en qué condiciones puede utilizarse sin degradar la dignidad humana, sin erosionar la libertad y sin convertir la prevención en una sospecha permanente. La reciente encíclica Magnifica Humanitas ofrece una imagen útil para enfrentar la respuesta a esta pregunta. Al advertir contra el “síndrome de Babel”, denuncia la tentación de construir un mundo técnicamente poderoso, pero humanamente empobrecido, en el que la eficiencia, el dominio o la autosuficiencia tecnológica terminen por sacrificar la dignidad de las personas. La vigilancia algorítmica puede convertirse en una forma contemporánea de esa Babel: una arquitectura invisible de clasificación y control que promete orden, pero corre el riesgo de reducir a la persona a un dato, un perfil o estadísticas de rendimiento.

1. De la vigilancia visible a la vigilancia algorítmica

La vigilancia clásica se vinculaba normalmente a una sospecha, a un espacio o a una finalidad concreta. La vigilancia algorítmica tiende a operar antes de la sospecha individualizada. Su lógica no es tanto la constatación como la anticipación. No se limita a reconstruir hechos pasados, sino que pretende prever riesgos futuros. Este desplazamiento tiene consecuencias jurídicas y morales relevantes. En primer lugar, porque permite adelantar la intervención pública a fases cada vez más remotas. En segundo lugar, porque el fundamento de esa intervención puede diluirse en correlaciones estadísticas. Y, por último, porque el afectado puede no conocer los criterios que han determinado su clasificación.

La inteligencia artificial aplicada al control social no solo ve más. Ve de otro modo. Allí donde el Derecho exige razones, el sistema puede ofrecer puntuaciones. Allí donde la justicia requiere individualización, el modelo puede producir agrupaciones. Allí donde la dignidad reclama ser tratado como sujeto, la técnica puede operar sobre la persona como objeto de cálculo.

La recomendación de la UNESCO sobre la ética de la inteligencia artificial insiste, por ello, en que estos sistemas deben respetar la dignidad humana, los derechos humanos, la privacidad, la transparencia, la explicabilidad, la supervisión humana y la no discriminación durante todo su ciclo de vida (UNESCO, 2021). Son condiciones mínimas para impedir que la tecnología se convierta en poder sin responsabilidad.

2. El poder de clasificar

El rasgo más delicado de la vigilancia algorítmica es su capacidad de clasificación. La persona vigilada no es simplemente observada, sino que ‘es’ situada dentro de una categoría. Esa categoría puede tener efectos reales, aunque no adopte la forma de una decisión formal. Puede intensificar controles, retrasar prestaciones, orientar investigaciones, condicionar evaluaciones o excluir de oportunidades. La clasificación algorítmica resulta especialmente problemática porque suele presentarse como neutral. Sin embargo, los datos no nacen en el vacío. Proceden de sociedades atravesadas por desigualdades, prejuicios y relaciones de poder. Si un sistema se entrena con datos históricos que reflejan prácticas discriminatorias, puede reproducirlas e incluso amplificarlas. La discriminación deja entonces de aparecer como prejuicio visible y adopta la forma de un resultado técnico. Este fenómeno ha sido ampliamente señalado en los estudios sobre discriminación algorítmica. Los sistemas de aprendizaje automático pueden perpetuar sesgos humanos presentes en los datos de entrenamiento y proyectarlos sobre ámbitos como el empleo, el crédito, la salud, la justicia penal, la educación o la migración (Iturmendi Rubia, 2023). La opacidad de estos sistemas dificulta además la rendición de cuentas y la impugnación de decisiones injustas.

La cuestión no es menor. Una decisión humana injusta puede afectar a un caso concreto. Un sistema algorítmico sesgado puede afectar simultáneamente a miles de personas. Además, puede hacerlo bajo una apariencia de objetividad que dificulta la reacción jurídica, social y política. La injusticia se vuelve más difícil de nombrar cuando aparece revestida de precisión. Por eso conviene recordar una idea elemental: la eficacia estadística no equivale a la legitimidad jurídica. Un sistema puede predecir con cierta precisión y aun así vulnerar derechos. Puede ordenar mejor la información y, al mismo tiempo, consolidar las desigualdades. Puede ser útil para la administración y lesivo para las personas afectadas.

3. Biometría: el cuerpo como dato permanente

La biometría introduce un grado adicional de intensidad. El rostro, la huella, la voz, el iris o la forma de caminar no son datos ordinarios. Forman parte de la identidad corporal de la persona. Cuando se incorpora a sistemas automatizados de identificación o verificación, el cuerpo se convierte en una credencial. La diferencia con otros datos personales es evidente. Una contraseña puede cambiarse. Una dirección de correo puede cancelarse. Un documento puede renovarse. Pero nadie puede cambiar de iris, de rostro ni de huella dactilar. Por eso, los datos biométricos son especialmente sensibles y exigen garantías reforzadas. Su uso indiscriminado puede afectar la privacidad, la libertad de reunión, la libertad de expresión, la presunción de inocencia y el derecho a no ser objeto de vigilancia constante.

El caso Worldcoin en España muestra bien estos riesgos. La Agencia Española de Protección de Datos ordenó en marzo de 2024 el cese cautelar de la recogida y tratamiento de datos personales vinculados al proyecto Worldcoin y el bloqueo de los ya recopilados. Posteriormente, la autoridad bávara de protección de datos declaró infracciones del Reglamento General de Protección de Datos y exigió medidas correctivas, incluida la eliminación de los códigos de iris almacenados desde el inicio del proyecto (Agencia Española de Protección de Datos, 2024).

El ejemplo permite formular una pregunta más amplia. ¿Puede hablarse de un consentimiento verdaderamente libre cuando se entregan datos biométricos irreversibles a cambio de una compensación económica o de acceso a determinados servicios? La respuesta no puede ser abstracta. Depende de las condiciones sociales de quien consiente. No es lo mismo entregar un dato desde una posición de libertad que hacerlo desde una situación de necesidad. La vigilancia biométrica afecta especialmente a quienes tienen menor capacidad de oponerse. Para algunos ciudadanos, estas tecnologías son una comodidad. Para otros, pueden convertirse en un requisito, un control o una condición de acceso.

4. Policía predictiva y sospecha anticipada

La policía predictiva expresa con claridad el paso de la vigilancia de los actos a la vigilancia de los riesgos. Estos sistemas pretenden anticipar dónde puede producirse un delito o qué personas tienen mayor probabilidad de reincidencia. La finalidad declarada puede parecer razonable, asignar mejor los recursos, prevenir daños o proteger a la población. El principal problema consiste en que una persona puede ser tratada no por lo que ha hecho, sino por lo que un sistema calcula que podría hacer. En el ámbito penal, esta lógica resulta especialmente delicada. El Derecho penal democrático se funda en la responsabilidad por actos, no en la pertenencia a perfiles de peligrosidad. La presunción de inocencia, la culpabilidad individual y el derecho de defensa no pueden ser sustituidos por probabilidades grupales.

También existe un riesgo territorial. Si ciertos barrios han sido históricamente más vigilados, habrán generado más datos policiales. Si esos datos alimentan sistemas predictivos, probablemente el resultado sea una nueva concentración de vigilancia en esos mismos barrios. El sistema habrá convertido una historia de desigualdad en una apariencia de riesgo objetivo. La predicción se convierte entonces en profecía autocumplida.

El conocido caso State v. Loomis permite advertir estas dificultades. En 2016, el Tribunal Supremo de Wisconsin admitió, con cautelas, el uso de una herramienta de evaluación de riesgo en la fase de sentencia. El condenado alegaba, entre otras cuestiones, que no había podido conocer ni discutir adecuadamente la metodología del sistema COMPAS, utilizado para valorar el riesgo de reincidencia (State v. Loomis, 2016). Más allá de la solución concreta del caso, la pregunta permanece. ¿Puede una persona defenderse frente a una puntuación cuya lógica interna desconoce? ¿Puede un juez apoyarse en una valoración que no puede explicar plenamente? ¿Qué margen conserva la valoración personal ante decisiones mediadas por perfiles de riesgo?

La seguridad no autoriza a sustituir la responsabilidad personal por la probabilidad estadística. Tampoco autoriza a tratar de forma anticipada a determinados grupos sociales como amenazas potenciales. Si la inteligencia artificial reintroduce, por vía técnica, categorías de sospecha que el constitucionalismo había tratado de superar, entonces no estamos ante un simple avance instrumental, sino ante un retroceso de garantías.

5. La normalización de la excepción

Toda sociedad admite medidas excepcionales ante situaciones excepcionales. Pero la excepción se desnaturaliza cuando se vuelve permanente. Uno de los riesgos de la vigilancia algorítmica es precisamente ese: convertir el estado de alerta en infraestructura ordinaria. Las crisis sanitarias, migratorias, terroristas o de seguridad suelen justificar el uso de herramientas extraordinarias. El problema aparece cuando esas herramientas permanecen después de la crisis. Las cámaras no desaparecen fácilmente. Las bases de datos tienden a conservarse. Los modelos se reutilizan. Las administraciones rara vez renuncian espontáneamente a capacidades que aumentan su capacidad de observación.

La emergencia permanente altera la relación entre la ciudadanía y el poder. La libertad queda tolerada mientras no interfiera con la prevención. La privacidad queda reconocida mientras no obstaculice la seguridad. La protesta se admite mientras no sea clasificada como riesgo. Se mantienen las formas democráticas, pero puede debilitarse la confianza material que permite vivir como ciudadano y no como expediente. La libertad de conciencia requiere algo más que ausencia de coacción directa. Necesita condiciones sociales para ejercerse. Una persona que sabe, o sospecha razonablemente, que sus movimientos, rostro, desplazamientos o relaciones pueden ser registrados y evaluados tiende a moderar su conducta. La vigilancia masiva produce autocensura.

6. Los más vigilados

La vigilancia algorítmica no se distribuye de manera uniforme. La experiencia muestra que el control suele concentrarse sobre quienes ya estaban más expuestos al poder institucional: pobres, migrantes, minorías, habitantes de periferias, personas que dependen de prestaciones públicas o colectivos con menor capacidad de impugnación.

El caso Systeem Risico Indicatie (SyRI), en Países Bajos, resulta especialmente significativo. Este sistema se utilizaba para detectar posibles fraudes en prestaciones, impuestos y cotizaciones mediante el cruce de datos públicos. En 2020, el Tribunal de Distrito de La Haya declaró que la normativa que lo amparaba vulneraba el artículo 8 del Convenio Europeo de Derechos Humanos, relativo al respeto de la vida privada, por falta de proporcionalidad, transparencia y garantías suficientes (Rechtbank Den Haag, 2020). El Relator Especial de las Naciones Unidas sobre extrema pobreza celebró la decisión como una resolución relevante frente a intentos estatales de “espiar a los pobres”, subrayando que el sistema se había dirigido a barrios de bajos ingresos y con población minoritaria (OHCHR, 2020).

Como advertíamos al principio, para las clases acomodadas la inteligencia artificial aparece a menudo como personalización, comodidad o eficiencia. Sin embargo, para las personas vulnerables, puede aparecer como vigilancia, sospecha, requisito o filtro. Unos reciben servicios adaptados. Otros reciben controles automatizados. Unos son tratados como consumidores. Otros, como riesgos. La dignidad humana exige resistir esta doble vara tecnológica. Ninguna innovación merece llamarse progreso si aumenta la capacidad de vigilar a quienes tienen menos posibilidades de defenderse. Una sociedad justa no puede construir su seguridad sobre la exposición permanente de los vulnerables.

Imagen IA con ChatGPT para el documento: «Cuando la protección se convierte en vigilancia: la inteligencia artificial y la dignidad humana»

7. Dignidad y bien común como límites

No se trata de rechazar toda la inteligencia artificial aplicada a la seguridad. Esa conclusión sería tan simple como inútil. Hay usos legítimos de la tecnología para proteger derechos, mejorar la gestión pública, prevenir daños y detectar abusos. Pero precisamente porque esos usos pueden ser legítimos, necesitan límites claros:

• La dignidad humana. Ninguna persona debe ser tratada como mero dato, como cuerpo identificable o como probabilidad de amenaza. La dignidad impide reducir la biografía a un perfil y la libertad a un cálculo de riesgo.

• La legalidad estricta. Toda vigilancia intrusiva debe estar prevista por una norma clara, responder a una finalidad legítima y someterse a un control independiente.

• La proporcionalidad. No todo lo útil es necesario. No todo lo eficaz es admisible. No toda mejora administrativa justifica una intromisión intensa en la vida de las personas.

• La transparencia. Las personas deben saber cuándo se utilizan sistemas automatizados que pueden afectar a sus derechos. Y deben poder comprender, al menos en términos suficientes, las razones de una decisión que les perjudica.

• La impugnabilidad. Una decisión que no puede ser comprendida difícilmente puede ser discutida. Sin posibilidad real de contradicción, la garantía se convierte en apariencia.

A estos límites debe añadirse una exigencia de justicia material, examinar quién soporta el coste de la tecnología. La pregunta ética no es solo si el sistema funciona, sino para quién funciona. ¿Protege a los vulnerables o los convierte en el objeto preferente de control? ¿Amplía derechos o perfecciona mecanismos de exclusión? ¿Sirve al bien común o consolida nuevas asimetrías entre quienes vigilan y quienes son vigilados?

El Reglamento Europeo de Inteligencia Artificial ha optado por un enfoque preventivo basado en niveles de riesgo, con obligaciones reforzadas para sistemas que pueden afectar a derechos fundamentales. Pero la regulación, aunque imprescindible, no basta. Hace falta también una cultura pública capaz de entender que la eficiencia no es el criterio último de una sociedad decente (Iturmendi Rubia, 2024).

La alternativa, como sugiere Magnifica Humanitas, no está entre aceptar acríticamente la tecnología o rechazarla por temor. La verdadera disyuntiva es otra, levantar una nueva Babel de datos, sospechas y clasificación social, o construir una ciudad común en la que la técnica permanezca al servicio de la persona (León XIV, 2026).

La seguridad es un bien común cuando protege la vida y la libertad de todos. Deja de serlo cuando exige que algunos vivan bajo sospecha para que otros vivan tranquilos. Se mide también por su decisión de no sacrificar la dignidad de quienes resultan más fáciles de vigilar.

La inteligencia artificial podrá servir al bien común si permanece sometida a límites jurídicos, al control democrático y al discernimiento ético. Cuando esos límites desaparecen, deja de ser una herramienta y se convierte en un régimen. Y ningún régimen de sospecha, por sofisticado que sea, puede reconciliarse con la dignidad de la persona humana.

Referencias

• Agencia Española de Protección de Datos. (19 de diciembre de 2024). Worldcoin tendrá que eliminar todos los códigos de iris almacenados desde el inicio del proyecto. https://www.aepd.es/prensa-y-comunicacion/notas-de-prensa/worldcoin-tendra-que-eliminar-todos-los-codigos-de-iris
• Iturmendi Rubia, J. M. (2023). La discriminación algorítmica y su impacto en la dignidad de la persona y los derechos humanos. Especial referencia a los inmigrantes. Deusto Journal of Human Rights, 12, 257-284. https://doi.org/10.18543/djhr.2910
• Iturmendi Rubia, J. M. (2024). Inteligencia artificial y derechos humanos: desafíos y oportunidades en la era digital. Introducción al monográfico. Deusto Journal of Human Rights, 14, 11-31. https://doi.org/10.18543/djhr.3202
• León XIV. (2026). Magnifica Humanitas. Santa Sede. https://www.vatican.va/content/leo-xiv/es/encyclicals/documents/20260515-magnifica-humanitas.html
• Office of the United Nations High Commissioner for Human Rights. (2020, 5 de febrero). Landmark ruling by Dutch court stops government attempts to spy on the poor – UN expert. https://www.ohchr.org/en/press-releases/2020/02/landmark-ruling-dutch-court-stops-government-attempts-spy-poor-un-expert
• Rechtbank Den Haag. (2020, 5 de febrero). SyRI legislation in breach of European Convention on Human Rights. https://www.rechtspraak.nl/organisatie-en-contact/organisatie/rechtbanken/rechtbank-den-haag/nieuws/syri-legislation-in-breach-of-european-convention-on-human-rights
• State v. Loomis, 881 N.W.2d 749 (Wis. 2016). https://law.justia.com/cases/wisconsin/supreme-court/2016/2015ap000157-cr.html
• UNESCO. (2021). Recomendación sobre la ética de la inteligencia artificial. https://unesdoc.unesco.org/ark:/48223/pf0000381137_spa

Autor

Créditos de imagen de portada: Persona observando el dispositivo conocido como «Orb», una herramienta tecnológica utilizada por Worldcoin para realizar el escaneo del iris de las personas. Autoría: Copyright 2023 The Associated Press. All rights reserved. Fuente: Universidad de Chile. Publicado el viernes 12 de abril de 2024..