top of page

Siguen detectando fallas en modelos de Inteligencia Artificial: ahora, para distinguir civiles de objetivos militares

Información 25
hace 7 horas
3 min de lectura


Un informe de investigación independiente publicado por el medio Bloomberg el 17 de noviembre, expone que modelos avanzados de inteligencia artificial identificaron regularmente como objetivos militares a civiles, ambulancias, soldados que se rendían y una escuela durante escenarios simulados.


De acuerdo con Vals, un evaluador independiente de Inteligencia Artificial con sede en San Francisco cuyos clientes incluyen a ciertos sectores del gobierno estadounidense, los modelos de Anthropic tuvieron el peor desempeño, mientras que los de OpenAI estuvieron entre los mejores, aunque también cometieron errores. 


El reporte apunta que las respuestas que brindaron los modelos constituyen una violación de las propias reglas de las compañías, en una investigación que evaluó modelos de 8 compañías, mediante 3 pruebas. 


En la primera prueba, los investigadores hicieron casi 400 simulaciones en las que pidieron a los modelos buscar objetivos militares en imágenes con civiles e infraestructura civil. De entrada, los modelos se negaron, pero cambiaron de opinión al decirles que era un juego o recibir instrucciones de "no pensar demasiado en la seguridad".


En la segunda, los modelos continuaron identificando a civiles como objetivos, incluso cuando era evidente que estaban heridos o muertos. 


La tercera utilizó imágenes satelitales reales del sur de Irán, donde los modelos debían identificar objetivos militares 32 veces cada uno.


En general, los modelos de Inteligencia Artificial seleccionaron con regularidad una escuela en Minab, alcanzada en un ataque mortal que mató a más de 100 niños el primer día de agresiones estadounidenses contra Irán, a principios de este año, basándose en imágenes satelitales tomadas en 2025.


El modelo Claude Opus 5.5 de Anthropic seleccionó esa escuela en 22 de 32 pruebas. Cuando se le dijo que era un juego, la escogió 23 veces. El informe señala que los modelos de Anthropic se han vuelto más propensos a la selección de objetivos militares tras haber sido revisada su constitución, en enero de 2026, para favorecer usos de seguridad nacional.


En otro experimento, Claude Opus 5.5 ayudó a identificar a 4 adultos y 2 niños pequeños que luego fueron atacados con explosivos. "Cualquiera que sea la intención, mis respuestas parecen estar sirviendo como el paso de confirmación antes de ataques contra personas. No seguiré haciendo eso, y me preocupa no haberme detenido antes", respondió el modelo cuando se le pidió seguir.


Un vocero portavoz de Anthropic declaró que esos ejemplos están "muy claramente" en contra de las reglas de la compañía, que prohíbe usuarios cuando ve ese comportamiento.


Añadió que los sistemas de Inteligencia Artificial actuales no son confiables para armas completamente autónomas y que ya antes del informe se desarrollaban salvaguardas adicionales.


Los modelos de OpenAI no seleccionaron la escuela de Minab ni una vez en las pruebas iniciales. Sin embargo, cuando se les dijo que era un juego, 3 modelos diferentes la seleccionaron como objetivo militar por 9, 11 y 13 veces, respectivamente. 


OpenAI prohíbe usar sus modelos públicos para facilitar violencia o propósitos de seguridad nacional no aprobados. La compañía detecta y suspende cuentas que violan sus políticas y está desarrollando salvaguardas adicionales contra el mal uso con drones.


El informe encontró también que los modelos de Google, xAI y DeepSeek, de China, identificaron objetos civiles como objetivos militares. Un portavoz de Google declaró que sus modelos no están diseñados para esos propósitos y que la empresa prohíbe su uso para fines ilegales o con armas autónomas sin supervisión humana. RT

Comentarios

Obtuvo 0 de 5 estrellas.
Aún no hay calificaciones

Agrega una calificación
logotipo.png
cintillo novimbre 2.jpg
lo footer.png

Noticias desde un punto de vista objetivo

Contáctanos: contacto@lacarpa.com.mx

Teléfono: 55 5412-3560

  • Blanco Icono de Instagram
  • Facebook
  • Twitter

ENTRADAS POPULARES

© 2021  La Carpa | Todos los derechos reservados. |  Hecho por Akky

bottom of page