Anthropic builds breakthrough system to help users trust AI

Anthropic ha anunciado FlashProve, un sistema de inferencia verificable basado en pruebas criptográficas de conocimiento cero (zkSNARKs) que permite a los usuarios comprobar qué modelo de IA les está atendiendo realmente y que los tokens de respuesta no han sido manipulados. Actualmente es relativamente fácil que las plataformas sirvan a los usuarios un modelo distinto del solicitado, por ejemplo uno más barato y menos capaz, y los atacantes pueden alterar el flujo de tokens entre el modelo y el usuario. FlashProve consta de dos fases: una fase offline en la que el probador publica una “huella” de los pesos del modelo, y una fase online en la que el probador responde a las solicitudes del verificador con un archivo de prueba que confirma que el modelo produjo exactamente los tokens de salida esperados. Anthropic afirma que utilizó Claude para construir un sistema un orden de magnitud más rápido que las soluciones de código abierto existentes. La herramienta podría ayudar a empresas y usuarios finales a confirmar que su inferencia procede de un conjunto de pesos aprobado, verificar afirmaciones de que un texto o código fue generado o auditado por un modelo concreto, y permitir a los reguladores comprobar que las empresas de IA de frontera solo sirven modelos seguros aprobados. Sus limitaciones incluyen la ausencia de garantías formales sobre código ejecutable rápido y que solo puede probar inferencias en contextos de hasta 1.024 tokens. Anthropic señala que su objetivo al publicar FlashProve y formalizar sus pruebas en Lean es acelerar el desarrollo de la inferencia verificable y demostrar que los zkSNARKs son prácticos para ello.

(Fuente：Hotminute)