Anthropic builds breakthrough system to help users trust AI

Anthropicは、zkSNARKs（ゼロ知識簡潔非対話型知識証明）に基づく検証可能な推論システム「FlashProve」を発表した。これにより利用者は、実際にどのAIモデルが使われているか、また応答のトークン列が改ざんされていないかを確認できる。現状、プラットフォームは利用者が要求したモデルではなく、より安価で能力の低いモデルを提供することが容易であり、攻撃者がモデルと利用者の間でトークン列を改ざんする恐れもある。FlashProveは2段階で動作する。オフライン段階では証明者がモデル重みの「フィンガープリント」を公開し、オンライン段階では検証者からの要求に応じて、モデルが期待通りの出力トークンを生成したことを示す証明ファイルを生成する。AnthropicはClaudeを用いて、既存のオープンソース手法より1桁高速なシステムを構築したと述べている。このツールは、企業やエンドユーザーが推論が承認済みの重み集合によるものだと確認したり、テキストやコードが特定モデルによって生成・監査されたという主張を検証したり、規制当局がフロンティアAI企業が承認済みの安全なモデルのみを提供しているか確認するのに役立つ。制限として、高速に実行されるコードに対する形式的保証がないこと、証明できるコンテキストが最大1,024トークンに限られることが挙げられる。Anthropicは、FlashProveの公開とLean証明の形式化を通じて検証可能な推論の発展を加速し、zkSNARKsが実用的であることを示すことが目的だとしている。

(出典：Hotminute)