Anthropic builds breakthrough system to help users trust AI

Anthropic发布了一套名为FlashProve的可证明推理系统，基于zkSNARKs零知识密码学证明，让用户能够验证当前服务自己的究竟是哪一个AI模型，并确认模型输出的token流没有被篡改。目前平台很容易用更便宜、能力更弱的模型冒充用户所请求的模型，攻击者也可能在模型与用户之间篡改token流。FlashProve分为两个阶段：离线阶段中证明方发布模型权重的“指纹”；在线阶段中证明方响应验证方请求，生成证明文件，证实模型确实产生了预期的输出token。Anthropic表示其使用Claude构建的系统比现有开源方案快一个数量级。该工具可帮助企业及终端用户确认推理来自经批准的权重集合，核实某段文本或代码确由特定模型生成或审计，并帮助监管机构检查前沿AI公司是否只提供获批的安全模型。其局限在于无法对快速可执行代码提供形式化保证，且只能在最多1,024个token的上下文范围内生成证明。Anthropic称，发布FlashProve并形式化其Lean证明，旨在加速可证明推理的发展，并证明zkSNARKs在该领域具有实用性。

(来源：Hotminute)