マルチモーダル知識エージェントベンチマークの紹介
概要
Google DeepMindはArtificial Analysisとの提携により、視覚的に複雑なファイルを横断して推論し、実世界の知識作業タスクを解決するAIエージェントの能力を評価するマルチモーダル知識エージェント（MKA）ベンチマークを発表した。このベンチマークは10の業種と83の職業のドメイン専門家と共同で開発され、専門家が完了するのに3〜8時間かかる200の多段階タスクで構成され、事実精度に75%、視覚デザインに25%の重みを置いた専門家作成のルーブリックが付属する。非Googleモデルで構築されたエージェント型自動評価器が各成果物を採点し、人間の専門家との一致率は96%に達した。評価セットはリーク防止のため非公開に保たれ、Hugging Face上で10の公開タスクがリリースされている。Gemini 4 Carbonは品質で第2位を達成し、最高スコアモデルと比較して平均6倍低いコストでタスクを完了し、品質と価格のパレートフロンティア上に位置する。
(出典：Gemini)