Una actualización sobre los evaluadores independientes

Anthropic ofrece una actualización sobre su compromiso con la evaluación independiente y de terceros de sus modelos de IA y prácticas de seguridad. La empresa ha comenzado a dar a un equipo de METR, una organización sin fines de lucro que evalúa modelos de IA de frontera, un acceso similar al de sus empleados—incluidos hardware corporativo, espacio de oficina y herramientas internas—y METR publicará los resultados de sus evaluaciones de riesgo. Anthropic exige a los evaluadores experiencia en la evaluación de capacidades de modelos de frontera, independencia (sin participación accionaria ni dependencia financiera), acceso suficiente a los datos de entrenamiento y salvaguardas, y libertad para publicar sus observaciones. La empresa explica que no puede compartir públicamente toda la información relevante para la seguridad debido a riesgos para actores maliciosos y a la sensibilidad comercial, por lo que otorga a terceros un acceso profundo para cerrar la brecha de comprensión. Anthropic también trabaja con SecureBio y Accenture, mantiene conversaciones iniciales con organizaciones como Hugging Face y está desarrollando tres niveles de acceso para evaluadores, con derechos crecientes de información y publicación. El acuerdo con METR no puede ser vetado por Anthropic, aunque categorías estrechas—como datos de clientes, información privilegiada abogado-cliente y arquitecturas de modelos—pueden redactarse, y METR puede caracterizar públicamente esas redacciones. Anthropic presenta esto como un paso hacia una supervisión de seguridad robusta y alienta a toda empresa de IA de frontera a incorporar evaluadores de forma voluntaria.

(Fuente：Anthropic)