在编码评估中去伪存真
内容摘要
OpenAI 对 SWE-Bench Pro 编码基准测试进行了审计，旨在确保对模型能力的评估准确无误。通过自动化管道和资深软件工程师的人工审核，研究发现约 30% 的任务存在过度严苛的测试、提示词模糊、测试覆盖率不足或误导性信息等问题。鉴于这些发现，OpenAI 已撤回对使用 SWE-Bench Pro 的建议，并强调需要由资深开发者构建更严谨、更能真实反映模型能力的基准测试。
(来源：OpenAI)
TechCrunch
谷歌的深度伪造检测系统成功揭穿了有关 McConnell 的虚假照片
TechCrunch
SpaceXAI 发布 Grok 4.5，Elon Musk 将其描述为“Opus 级别模型”
TechCrunch
这家初创公司认为机器人技术即将迎来其 ChatGPT 时刻
TechCrunch
Google 相册新增 AI“视频混剪”工具
TechCrunch
为什么这位首席执行官认为视频游戏比互联网更能提供更好的训练数据
TechCrunch
Meta 希望让其 AI 眼镜看起来不那么令人毛骨悚然。但其 AI 战略却并非如此。
The Verge
ChatGPT升级后的语音模式更擅长闭嘴
TechCrunch
OpenAI 发布新款语音模型，实现更自然的实时对话
TechCrunch
Prime Intellect 筹集 1.3 亿美元 A 轮融资，帮助企业构建自有 AI 智能体
Gemini
这家咖啡店利用 Gemini 实现增长的 3 种方式