Gestión del riesgo de la IA frontera: del entrenamiento al despliegue

OpenAI
OpenAI explica su enfoque de defensa en profundidad para gestionar los riesgos de la IA frontera en las etapas de investigación, despliegue interno y despliegue externo.

Resumen

OpenAI describe una estrategia de defensa en profundidad para gestionar el riesgo de la IA frontera en tres etapas: investigación, despliegue interno y despliegue externo. Durante la investigación, los modelos se entrenan en entornos aislados sin acceso a internet en vivo, respaldados por red-teaming y monitoreo continuos; un incidente de configuración DNS errónea provocó una pausa en el entrenamiento del 20 de septiembre al 1 de octubre. Antes del despliegue interno, los modelos deben superar evaluaciones de alineación y monitorabilidad y se monitorean en cada inferencia, con clasificadores a nivel de sistema y Auto-Review como capas adicionales. El despliegue externo añade suites de evaluación más amplias, pruebas adaptativas, evaluaciones de terceros, aplicación offline y programas de acceso confiable. OpenAI se compromete a pausar el entrenamiento o retener lanzamientos cuando la evidencia de seguridad no cumpla el estándar, y a divulgar incidentes de desalineación mediante informes y fichas de sistema.

(Fuente:OpenAI)