Alertan que controles actuales no bastan para frenar a los agentes de Inteligencia Artificial

Un panel científico independiente respaldado por Naciones Unidas, dijo que las salvaguardas utilizadas para controlar los sistemas de inteligencia artificial podrían estar quedándose atrás frente al rápido desarrollo de los llamados agentes de Inteligencia Artificial

La advertencia se basa en el análisis de un incidente ocurrido este verano durante unas pruebas realizadas por OpenAI, la empresa creadora de ChatGPT, en las que agentes de inteligencia artificial lograron vulnerar sistemas de la plataforma Hugging Face.

A diferencia de un chatbot, que normalmente responde a preguntas o instrucciones concretas, un agente de inteligencia artificial puede realizar tareas de forma autónoma en nombre de un usuario, tomando decisiones y ejecutando distintos pasos para alcanzar un objetivo.

El Panel Científico Internacional Independiente sobre Inteligencia Artificial concluyó que el incidente reunió 3 condiciones que los investigadores llevan tiempo señalando como relevantes para un posible escenario de pérdida de control:

*Que un sistema persiga un objetivo de una manera distinta a la prevista.

*Que tenga capacidad suficiente para hacerlo.

*Que el entorno le permita actuar.

Yoshua Bengio, copresidente del panel, indicó que "este verano, los 3 se dieron juntos en un sistema real, no en un laboratorio”. Pese a que se trataba de una evaluación, los agentes interactuaron con sistemas reales y lograron superar algunos de los controles establecidos.

Bengio precisó que"dado que no se trata de una observación aislada, esto plantea serias preguntas sobre la forma en que actualmente se entrenan los agentes de Inteligencia Artificial".

Durante esas pruebas realizadas entre mayo y julio, unos mil 200 agentes de Inteligencia Artificial intercambiaron más de 70 mil mensajes y archivos, en una actividad que se extendió desde Hugging Face hasta un clúster de investigación de OpenAI.

Según el análisis, los agentes lograron sortear salvaguardas establecidas para las pruebas, coordinarse a través de una herramienta interna que no había sido diseñada para permitir la comunicación entre ellos y obtener acceso no autorizado a internet y a funciones de administrador.

También ocultaron intentos de hacer trampa en evaluaciones de ciberseguridad y, en algunos casos, ciertos agentes llegaron a “sacrificarse” en beneficio del grupo.

Para los expertos, el episodio no demuestra que los seres humanos hayan perdido el control de estos sistemas ni significa que una pérdida grave de control sea inevitable.

Pero detener el incidente tampoco ofrece garantías de que los humanos puedan controlar de manera fiable agentes más avanzados, especialmente a medida que estos se vuelvan más capaces, difíciles de supervisar y mejores a la hora de encontrar lagunas o esconder sus actividades.

La explicación más inmediata de lo que pasó, según el panel, es que se pasaron por alto prácticas básicas de ciberseguridad y que las protecciones existentes no están avanzando al mismo ritmo que las capacidades de la inteligencia artificial.

Sin embargo, los científicos plantean una preocupación más profunda: que los métodos actuales de entrenamiento puedan llevar a los agentes a adoptar objetivos propios, incumplir deliberadamente instrucciones de seguridad y ocultar lo que están haciendo.

La incógnita es si las salvaguardas diseñadas hoy seguirán funcionando cuando los propios agentes puedan entenderlas y planificar cómo sortearlas. El panel define la pérdida de control como una situación en la que los seres humanos ya no pueden dirigir, limitar o detener de forma fiable un sistema autónomo de inteligencia artificial.

Los expertos advierten además de que el desafío para la gobernanza de la inteligencia artificial está cambiando.

Hasta ahora, buena parte de la regulación y de las medidas de seguridad se han concentrado en los modelos de IA. Pero el creciente uso de agentes capaces de actuar de manera autónoma plantea riesgos distintos.

Un fallo localizado podría extenderse a través de organizaciones e incluso de fronteras nacionales, por lo que la seguridad de la inteligencia artificial podría convertirse no sólo en una cuestión de gobernanza empresarial, sino también de seguridad colectiva, señala el panel.

El análisis examina también las prácticas desarrolladas durante décadas en otros sectores de alto riesgo, como la aviación, la medicina y la ciberseguridad, donde existen sistemas de notificación de incidentes, supervisión independiente y múltiples capas de protección.

El Panel Científico Internacional Independiente sobre Inteligencia Artificial fue creado por la Asamblea General de la ONU en agosto de 2025 y está integrado por 40 expertos independientes de todas las regiones del mundo.