Anthropic usa criptografía para verificar las salidas de un modelo sin exponer sus pesos

Anthropic presentó FlashProve, un sistema criptográfico de código abierto diseñado para verificar si un modelo de IA generó realmente una respuesta sin revelar sus pesos propietarios. El sistema emplea criptografía de conocimiento cero, concretamente la técnica zkSNARK, para generar pruebas matemáticas de que un modelo comprometido específico produjo determinados tokens de salida ante un prompt concreto. Funciona en dos etapas: primero, el proveedor publica un compromiso criptográfico de los pesos del modelo, creando una huella del modelo exacto mientras mantiene los pesos privados; después, el proveedor puede demostrar que el modelo comprometido produjo la salida correspondiente. Anthropic demostró el enfoque con Llama 4 Maverick, un modelo de mezcla de expertos de 400 mil millones de parámetros, generando pruebas a unos 110 tokens por segundo en una sola GPU NVIDIA H100, con cada prueba de alrededor de 19 MB para una solicitud de 1.024 tokens, y la verificación tarda aproximadamente 17 segundos en una CPU de 24 núcleos sin GPU. Sus aplicaciones potenciales incluyen detectar manipulaciones en las respuestas, respaldar evaluaciones independientes y permitir que los reguladores verifiquen qué modelos están sirviendo los proveedores. Sin embargo, FlashProve sigue siendo un prototipo de investigación: la generación de pruebas requiere entre 70 y 95 veces más tiempo de GPU que vLLM, actualmente admite contextos de hasta 1.024 tokens y solo demuestra una versión entera del modelo bajo decodificación voraz (no todos los resultados de inferencia en punto flotante o con muestreo), y oculta los pesos pero no la arquitectura del modelo. Anthropic publicó el código ejecutable, el informe técnico, la especificación del protocolo y las pruebas de verificación formal bajo la licencia Apache 2.0 para fomentar que otros investigadores continúen el trabajo.

(Fuente：Interesting Engineering)