独立評価者に関する最新情報

Anthropicは、AIモデルと安全対策に対する独立した第三者評価への取り組みに関する最新情報を発表した。同社は、フロンティアAIモデルを評価する非営利団体METRのチームに対し、社用ハードウェアやオフィススペース、内部ツールを含む社員同様のアクセスを付与し始めており、METRはリスク評価結果を公開する。Anthropicは評価者に対し、フロンティアモデルの能力評価に関する専門知識、独立性（株保有や財務的依存がないこと）、トレーニングや安全対策への十分なアクセス、観察結果を公開する自由を求めている。悪意ある行為者に利用され得る情報や商業的に機密な情報は公開できないため、代わりに第三者へ深いアクセスを与えて理解のギャップを埋める狙いである。同社はSecureBioやAccentureとも協力し、Hugging Faceを含む複数組織と初期協議中で、情報アクセスと公開権が段階的に拡大する3層の評価者アクセス制度を整備している。METRとの取り決めにAnthropicは拒否権を持たないが、顧客データや弁護士-依頼者特権情報、モデルアーキテクチャなど狭い区分は削除でき、METRは削除の妥当性について公開で言及できる。Anthropicはこれを堅牢な安全監督への一歩と位置づけ、すべてのフロンティアAI企業が自発的に評価者を組み込むべきだとしている。

(出典：Anthropic)