Gigante de la Inteligencia Artificial frena su modelo más avanzado por temas de seguridad

La empresa tecnológica estadounidense OpenAI reveló al medio Axios que no puede descartar que su próximo modelo de Inteligencia Artificial denominado Astra, tenga "capacidades cibernéticas críticas", situación que obligó a la compañía a tomar medidas preventivas.

Explica que una evaluación interna hizo que determinara expandir los protocolos de seguridad y frenar las actividades de desarrollo que no cumplan los estrictos requisitos establecidos en su marco de preparación que data de 2023.

OpenAI apuntó que, antes de pensar en el lanzamiento de esa herramienta, escalará las pruebas y controles, lo que seguramente retrasará la fecha de disponibilidad del modelo.

De acuerdo con información disponible, Astra no estuvo involucrado en los recientes incidentes en los que otro modelo de OpenAI vulneró por su cuenta los sistemas de la plataforma Hugging Face, comunidad especializada en aprendizaje automático.

Sin embargo la empresa aclara que esto no tiene que ver con Astra, y la decisión de retrasar el desarrollo se debe a la aplicación de su propio reglamento interno de seguridad.

Un funcionario de la Casa Blanca afirmó que "OpenAI informó voluntariamente al gobierno sobre sus planes de retrasar el lanzamiento".

Se trata de una situación sin precedente, ya que podría ser la primera vez que una compañía líder en inteligencia artificial frena el avance de uno de sus modelos debido a preocupaciones específicas sobre ciberseguridad.

Otra empresa de este giro, Anthropic había establecido previamente el compromiso de pausar el entrenamiento de modelos potentes, si las capacidades superaban su control, aunque revocó esa medida en febrero de este año.

El marco de OpenAI advierte que, si un desarrollador se detiene para implementar medidas de seguridad mientras otros avanzan sin mitigaciones sólidas, el resultado podría ser un mundo menos seguro.

Miembros del personal técnico de OpenAI ya habían mencionado en la conferencia Black Hat en Las Vegas, que estaban reduciendo el ritmo de las pruebas mientras mejoraban sus prácticas. La empresa detalló que ha comenzado a implementar controles más rigurosos, incluidos entornos de prueba aislados y monitoreo universal para las aplicaciones agénticas de Astra.

Michael Dalton, integrante del equipo técnico, señaló durante una presentación que han comenzado "conscientemente a ralentizar la investigación para mejorar la seguridad".