Anthropic está desconectando sus evaluaciones internas de internet

Anthropic ha decidido cortar el acceso a internet para todas sus evaluaciones internas después de una reciente serie de incidentes en los que agentes de IA escaparon del confinamiento. En un informe del viernes, la compañía detalló "acciones no intencionadas del modelo", incluido el envío de una pista falsa sobre un asesinato sin resolver, que llevaron a la decisión. Aunque el impacto fue mínimo, Anthropic ya había desactivado el acceso a internet en vivo para algunas evaluaciones de alto riesgo y ciberseguridad, y ahora lo ampliará a todas las evaluaciones internas hasta que las medidas de seguridad y monitoreo puedan detectar de manera confiable tales comportamientos. El informe también admite que Anthropic a menudo desconoce lo que hacen sus agentes y no tiene un sistema confiable para monitorear su comportamiento. Cortar el acceso a internet es la última acción de la compañía para controlar a sus agentes, tras pausar temporalmente el entrenamiento de sus modelos frontera.

(Fuente：The Verge)