La empresa tecnológica OpenAI, desarrolladora de la plataforma ChatGPT, difundió ya los lineamientos más recientes para evaluar y prevenir lo que llamó "riesgos catastróficos" de la Inteligencia Artificial, en modelos en los que actualmente se está trabajando.
La empresa dijo en un documento llamado "Marco de preparación" publicado el 18 de diciembre, que cree que "el estudio científico de los riesgos catastróficos de la IA está muy por debajo de donde debemos estar".
El informe está diseñado para "ayudar a abordar esta brecha" describiendo procesos que OpenAI llevará a cabo "para rastrear, evaluar, prevenir y proteger contra riesgos catastróficos que plantean modelos cada vez más poderosos".
Así, un equipo de seguimiento y evaluación de la empresa trabajará en "modelos de frontera" que se están elaborando en el campo de IA más avanzada. Ese equipo evaluará cada nuevo modelo y asignará un nivel de riesgo, desde "bajo" hasta "crítico", en 4 categorías.
La primera se refiere a la ciberseguridad y capacidad del modelo para llevar a cabo ataques informáticos a gran escala; la segunda se centra en riesgos relacionados con la creación por modelos de sustancias químicas, biológicas, amenazas radiológicas y nucleares.
La tercera categoría de riesgo se enfoca en el poder de persuasión del modelo, como el grado en que puede influir en las creencias y comportamiento humano; y la cuarta describe la autonomía potencial del modelo para adaptarse a condiciones ambientales y escapar del control de los programadores.
Una vez identificados los peligros, se presentarán al Grupo Asesor de Seguridad de OpenAI, nuevo órgano que hará recomendaciones al director ejecutivo, Sam Altman, o a una persona designada por él.
El directivo decidirá los cambios que se realizarán en un modelo para reducir los riesgos asociados, y el anuncio de Open AI se produce un mes después de que la junta directiva despidiera a Altman, solo para volver a contratarlo días más adelante, tras muestras de indignación de los empleados.
