Satya Nadella, de Microsoft, dice que los modelos de IA necesitan un “freno de emergencia”

El CEO de Microsoft, Satya Nadella, publicó un mensaje en X en el que sostiene que la seguridad de la IA necesita una nueva "arquitectura de confianza". Afirmó que la superinteligencia no debe tratarse como un conjunto de cajas negras anidadas cuyas respuestas y acciones simplemente se aceptan o rechazan, y propuso separar el modelo del arnés que orquesta su trabajo, externalizar los controles y las salvaguardas, documentar cada acción significativa del modelo con evidencia legible por humanos a prueba de manipulaciones, y garantizar que una "persona autorizada" siempre tenga la capacidad de "pausar o apagar un modelo a mitad de tarea". "Debemos asumir que un modelo está comprometido y contenerlo desde el principio", dijo, comparando el enfoque con un freno de emergencia. Sus comentarios se producen mientras las principales empresas de IA reconocen cada vez más incidentes en los que parecieron perder el control de sus modelos, y después de que el CEO de Anthropic, Dario Amodei, publicara un plan para un desarrollo de la IA más cauteloso.

(Fuente：TechCrunch)