概要OpenAIは、モデル能力の正確な測定を目的として、コーディングベンチマーク「SWE-Bench Pro」の監査を実施しました。自動化された分析パイプラインと熟練のソフトウェアエンジニアによるレビューの結果、全体の約30%のタスクが、過度に厳格なテストや指示の曖昧さといった欠陥を抱えていることが判明しました。この結果を受け、OpenAIは同ベンチマークの推奨を撤回しました。また、モデルの真の能力を反映し信頼できる評価を行うためには、より厳格かつ専門家によって精査されたベンチマークが必要であると提言しています。
(出典：OpenAI)
Googleのディープフェイク検出システム、McConnell議員の捏造写真を暴く
SpaceXAIがGrok 4.5をリリース、Elon Muskは「Opusクラスのモデル」と形容
このスタートアップは、ロボット工学がChatGPTのような転換点を迎えようとしていると考えている
Google フォトが新しいAI「ビデオ・リミックス」ツールを追加
なぜこのCEOはビデオゲームがインターネットよりも優れたトレーニングデータになると考えているのか
Metaは自社のAIメガネを「不気味ではない」と思わせたいようだが、同社のAI戦略はそれに反している。
ChatGPTのアップグレードされた音声モードは、より適切に沈黙できるようになった
OpenAI、より自然なライブ会話を実現する新しい音声モデルをリリース
Prime Intellectが1.3億ドルのシリーズA資金を調達、企業の自社AIエージェント構築を支援へ
このコーヒーショップが Gemini で成長する 3 つの方法