Un empleado de seguridad de OpenAI ha renunciado y está dando la alarma

The Verge
Un ex redactor de informes de seguridad de OpenAI renunció, dice que su cultura está "rota" y que la IA necesita salvaguardas de nivel nuclear.

Resumen

David Robinson, quien solía escribir los informes de seguridad que acompañaban cada lanzamiento importante de modelos en OpenAI, renunció esta semana y publicó un editorial en The Atlantic advirtiendo que la cultura de la industria está "fundamentalmente rota". Sostiene que el problema es más profundo que simplemente añadir algunas reglas o regulaciones, y critica la "confianza extrema" y los "sprints perpetuos" de Silicon Valley, que construyen modelos cada vez más grandes con un "optimismo sin trabas" que ignora o subestima los problemas potenciales. Robinson pide a las empresas de IA que desarrollen humildad y miren más allá de su mundo insular de moverse rápido y romper cosas. En concreto, dice que los laboratorios de frontera deberían funcionar como plantas de energía nuclear o aeropuertos concurridos, con capas de redundancia y una planificación cuidadosa y lenta, para que el error humano ocasional e inevitable no abra la puerta a un desastre. Es el último de una creciente oleada de investigadores y trabajadores de seguridad que han dejado sus puestos en empresas prominentes de IA y han hablado públicamente, tras Jacob Coxon en Anthropic y Robert O'Callahan, Bilal Chughtai y Josh Engels en Google DeepMind, así como Joe Benton en Anthropic.

(Fuente:The Verge)