OpenAI的Jalapeño芯片专为大规模快速推理而构建,基准测试显示

TechCrunch
OpenAI的新型Jalapeño芯片在最新基准测试中展现出超越当前先进推理处理器的卓越性能与效率。

内容摘要

在Hot Chips大会上,OpenAI公布了其与Broadcom合作开发的定制芯片Jalapeño的首批基准测试结果。在Semianalysis的InferenceX基准测试中,该芯片在每用户token数量和每千瓦吞吐量方面均超过了Nvidia Blackwell等当前最先进的处理器。Jalapeño旨在最大限度地减少预填充和通信阶段的数据移动与瓶颈,从而实现大规模、低延迟的快速AI推理。OpenAI计划于2026年底进行小规模部署,并于2027年进行更广泛的部署,这是其多代硬件战略的一部分。

(来源:TechCrunch)