OpenAI的Jalapeño芯片专为大规模快速推理而构建,基准测试显示
内容摘要
在Hot Chips大会上,OpenAI公布了其与Broadcom合作开发的定制芯片Jalapeño的首批基准测试结果。在Semianalysis的InferenceX基准测试中,该芯片在每用户token数量和每千瓦吞吐量方面均超过了Nvidia Blackwell等当前最先进的处理器。Jalapeño旨在最大限度地减少预填充和通信阶段的数据移动与瓶颈,从而实现大规模、低延迟的快速AI推理。OpenAI计划于2026年底进行小规模部署,并于2027年进行更广泛的部署,这是其多代硬件战略的一部分。
(来源:TechCrunch)