El problema de ignorar la amenaza de la IA

Hace poco, el gigante tecnológico estadounidense Palantir compartió en X un resumen (tildado acertadamente de «manifiesto» de los 22 puntos principales del libro La República Tecnológica, escrito por Alex Karp y Nicholas Zamiska.

Los autores, CEO y abogado de la empresa respectivamente, postulan que atrás quedaron los días de desarrollar armas nucleares como estrategia de disuasión frente a ataques extranjeros: en la nueva era, la IA servirá a ese mismo propósito.

También restan importancia a la preocupación ética por las armas con IA: serían algo meramente performativo —aunque un mejor ejemplo de teatralidad es el desplegado por el secretario de Defensa estadounidense Pete Hegseth en las conferencias de prensa sobre la guerra contra Irán— y lo importante «no es si se construirán armas de IA; la cuestión es quién las construirá y con qué propósito».

El manifiesto fue publicado en un contexto en el que Palantir enfrenta a cada vez más críticas por su vinculación con la política antiinmigratoria de Donald Trump y por respaldar las operaciones militares israelíes en Gaza y el territorio ocupado de la Cisjordania.

Difícilmente pueda exagerarse la gravedad de la situación. Palantir no es una empresa de tecnología más del montón: tiene vínculos muy fuertes con la infraestructura estatal y los sistemas de seguridad de varios países, ya que cuenta con contratos con agencias militares, servicios de inteligencia y departamentos de migración y de policía. En el Reino Unido, administra la plataforma de datos del sistema de salud nacional, un contrato que le representa unas 330 millones de libras esterlinas y le da acceso a datos muy sensibles sobre la salud de millones de ciudadanos británicos.

El manifiesto desencadenó una gran indignación. Muchos lo tacharon de «tecnofacismo» y advirtieron sobre «la amenaza de la IA para la existencia humana». En el Reino Unido, se juntaron unas 200 000 firmas para exigir que el gobierno rescindiera el contrato con Palantir. Así, crece el miedo en torno al control cada vez mayor de las grandes tecnológicas sobre los datos sensibles, que redunda en una mayor capacidad de ejercer presión sobre los gobiernos. Muchos temen que la democracia sea reemplazada por una «tecnocracia».

En este contexto, en 2024, el Instituto Internacional para la Gestión del Desarrollo (IIMD, por sus siglas en inglés) creó un reloj para monitorear la IA y el rápido avance de los riesgos que trae aparejados. En vez de la hora, el reloj marca el riesgo, de manera similar al reloj del apocalipsis, que indica qué tan cerca estamos de la guerra nuclear: cuando den las doce, habremos llegado a un punto sin retorno.

En septiembre de 2024, cuando el reloj fue publicado, faltaban 29 minutos para la medianoche. En febrero de 2025, 24; en septiembre de 2025, 20 y en marzo de 2026 estábamos a solo 18 minutos del punto de quiebre.

En poco más de año y medio, se nos fueron 11 minutos, por lo que cada vez estamos más cerca del precipicio de esa medianoche en la que no podremos dormir tranquilos.

Hubo un aumento pronunciado de incidentes relacionados con la IA: hasta un 50 % más por año entre 2022 y 2024. En 2025, se documentaron 346 episodios problemáticos relacionados con la IA, de los cuales 179 tenían que ver con deepfakes, esas grabaciones, videos e imágenes falsas de políticos, empresarios y personas comunes y corrientes con las que se busca estafar a alguien. Ahora bien, si hay algo que abunda, son las estafas, por lo que la cifra debe estar muy por debajo del número de casos real.

Otros 37 incidentes se relacionaban con el contenido violento o peligroso, y en varios casos, llevaron a la muerte de alguna persona.

No subestimemos a los deepfakes: se presume que, hasta ahora, estas estafas han costado a sus víctimas unos 1560 millones de dólares, más de 1000 millones de los cuales representan solo los casos de 2025.

Por poner un ejemplo, en marzo de 2025 el director financiero de una multinacional con sede en Singapur se conectó a una reunión de Zoom, aparentemente, con otros funcionarios de alto rango. Nada había de extraño en aquella llamada, por lo que aprobó una transferencia de USD 499 000. Después se enteró de que las personas con las que creía haber tenido la reunión no habían estado allí: sus rostros y voces habían sido generados con IA usando videos de acceso público. Para cuando se dio cuenta, ya era demasiado tarde: el dinero se había esfumado.

En redes sociales como Facebook y TikTok abundan deepfakes de Elon Musk en los que anuncia un nuevo lanzamiento de criptomonedas. Muchos usuarios enviaron dinero a cuentas que, según pensaban, pertenecían al equipo de Musk, pero se trataba de un engaño con el que se perdieron miles de dólares.

En distintos rubros, crece la preocupación sobre qué ocurre cuando se utilizan sistemas de IA en entornos reales sin una verificación previa. El mayor miedo es que acaben afectando a grupos que de por sí ya son muy vulnerados.

En 2025, Adam Raine, un adolescente de 16 años, se quitó la vida. Según los informes presentados ante la justicia, ChatGPT habría reforzado sus pensamientos suicidas en vez de incentivarlo a buscar ayuda. En noviembre de 2024, febrero de 2024 y abril de 2025, otras familias llamaron la atención sobre casos similares y señalaron que los chatbots con IA pueden influir en los comportamientos autodestructivos de muchos jóvenes.

En este sentido, los chatbots con IA encabezan el ranking de peligros tecnológicos del 2026. Estas herramientas no están reguladas, no son dispositivos médicos habilitados ni cuentan con validación clínica: aún así, tanto médicos como pacientes y personal sanitario las utilizan para tomar decisiones de vida o muerte.

En 2019, un estudio reveló que un algoritmo especializado muy usado en el sistema sanitario había afectado a más de 200 millones de personas de los EE. UU. En vez de tener en cuenta las enfermedades de los pacientes para determinar las necesidades de atención médica, el algoritmo consideró los gastos ocasionados y, como históricamente se gasta menos en los pacientes negros por una cuestión de desigualdad estructural, el sistema subestimó sus necesidades. El algoritmo no era explícitamente racista, pero reproducía los sesgos de los datos con los que había sido entrenado a una escala enorme.

El desarrollo de la IA también es desigual.

El 70 % de las patentes de IA pertenecen a empresas chinas y los modelos más avanzados están en manos de un puñado de compañías estadounidenses.

Según el informe del Programa de las Naciones Unidas para el Desarrollo para el 2025, esta concentración acarrea el riesgo de acentuar aún más la desigualdad a nivel internacional e incluso podría dar marcha atrás al progreso de algunos países. Las regiones que no puedan acceder a la IA de última generación se perderán grandes oportunidades en materia de salud, finanzas, agricultura, ganadería y educación. Además, se verían cada vez más relegadas en una carrera tecnológica de la que en realidad nunca fueron parte.

Otro riesgo emergente es el de las armas autónomas: sistemas que pueden identificar, elegir y atacar blancos sin supervisión directa por parte de un humano y que ya se están desarrollando e implementando.

Las principales potencias avanzan rápidamente en esa dirección. China y Rusia apuntan a automatizar un gran porcentaje de su actividad militar entre 2028 y 2030; por su parte, Estados Unidos tiene un objetivo similar a largo plazo. Cuando quedan pocos humanos en el campo de batalla, cuesta menos apretar el gatillo y, lo que resulta más alarmante, iniciar un conflicto.

La IA ya llegó a la primera línea de combate. En el reciente ataque de Estados Unidos e Israel a Irán, se habría utilizado IA para identificar blancos y llevar adelante operaciones de inteligencia y simulacros de batalla. En Ucrania, también se vio un aumento de vehículos aéreos dotados de sistemas de IA para la adquisición y selección de blancos, capaces de destruir rápidamente objetivos militares.

En Gaza, la inteligencia artificial cobró un papel protagónico en la guerra después de que Hamás inutilizara los sistemas de vigilancia israelíes. La respuesta israelí fue el llamado Evangelio, una plataforma de selección de blancos mediante IA que permitió ampliar la magnitud de los ataques y suscitó cuestionamientos por el número de víctimas civiles.

Estos son solo algunos de los peligros que conlleva la IA. Sin dudas, los riesgos irán en aumento si no se implementa un marco de control y rendición de cuentas, pero no hay ninguna estrategia coordinada a nivel internacional. Algunos países sancionan normas más estrictas sobre la IA, otros relajan sus leyes en un afán de atraer inversores y talentos que transforma la gobernanza en una competencia y no en un esfuerzo conjunto en pos de la seguridad.

Así, si los sistemas de IA se vuelven aún más peligrosos, no tenemos ningún mecanismo internacional para hacerles frente. La historia, sin embargo, nos enseña que el control es posible: el Organismo Internacional de Energía Atómica no prohibió la tecnología nuclear, pero sí formuló normas comunes e instrumentalizó una serie de inspecciones y límites que las naciones accedieron a respetar.

El peligro inherente de dejar que la IA avance sin ningún tipo de control no ha pasado desapercibido. Al papa León XVI le pareció que la urgencia de la situación ameritaba una encíclica, Magnifica Humanitas, (Magnífica humanidad) sobre la custodia de la persona humana en el tiempo de la inteligencia artificial.

Como desde hace 2000 años, la Iglesia hace incapié que los habitantes de Wichita, South Bend, Nairobi, Manila ni de ninguna ciudad del mundo son peones de ajedrés en la revolución tecnológica de los poderosos.

Para lidiar con la IA, lo que hace falta es un marco internacional vinculante con mecanismos de supervisión e implementación efectivos. A fin de cuentas, estamos frente a una decisión sencilla: o exigimos que nuestros gobiernos se pongan de acuerdo regular la IA o nos quedamos sentados a esperar a que ella nos gobierne.