概要TechCrunch Disruptで、Hugging Faceの最高政策責任者Irene SolaimanはAIモデルのベンチマークの課題について議論した。彼女は、評価は再現性と比較可能性の問題を抱える進化する科学であり、組み込み評価者——AI組織内の第三者の観察者——にはより多くの標準化が必要だと強調した。評価がハーネスやエージェントを含むシステム全体のテストに拡大するにつれ、ベンチマークが有用であり続けるには統一された業界全体のアプローチが必要である。
(出典：TechCrunch)
Hugging Faceの政策責任者、組み込みAI評価者は簡単な解決策ではないと発言
Microsoft、AIエージェントは内部脅威に似ていると指摘、「フロンティアモデルは信頼できない」
化石燃料の復権が現実に
CoreWeaveの債務がAI業界全体の問題になりつつある
Microsoft、NscaleのEssex AIデータセンターから撤退
「責任は Mike にある」：Atlassian CEO の AI agent ルール | Fortune
Amazon、新開発ツール「TorchNeuron」でNvidiaに対するこれまでで最大の挑戦
ハッカーがAIコーディングツールOpenCodeを攻撃、ユーザーのAIアカウントに高額請求
Tolan、生活ナビゲートを支援するAIコンパニオンで3000万ドルを獲得
Replikaの創業者が、12年前にDisruptで披露したAIアシスタントを実現