Anthropic利用密码学验证模型输出而不暴露权重

Anthropic发布了FlashProve，这是一个开源密码学系统，旨在在不暴露专有模型权重的前提下验证AI模型是否确实生成了某个响应。该系统采用零知识密码学，具体为zkSNARK技术，生成数学证明以证实某个已承诺的特定模型针对特定提示生成了给定的输出token。其工作分为两个阶段：首先，提供方发布对模型权重的密码学承诺，形成该模型的指纹同时保持权重私密；随后，提供方可证明该已承诺模型生成了相应输出。Anthropic使用Llama 4 Maverick（一个4000亿参数的混合专家模型）进行了演示，在单块NVIDIA H100 GPU上以约每秒110个token的速度生成证明，对于1024个token的请求，每个证明约19 MB，而在24核CPU上无需GPU的验证耗时约17秒。该技术潜在应用包括检测对模型响应的篡改、支持独立评估，以及让监管机构验证提供方实际服务的模型。但FlashProve仍是研究原型：生成证明所需的GPU时间约为vLLM的70至95倍，目前仅支持最多1024个token的上下文，且仅能证明贪心解码下的整数版模型（尚未覆盖所有浮点或采样推理结果），同时它隐藏权重但不隐藏模型架构。Anthropic已根据Apache 2.0许可证发布了可执行代码、技术报告、协议规范和形式化验证证明，以鼓励其他研究人员在此基础上继续研究。

(来源：Interesting Engineering)