OpenAIのJalapeñoチップは大規模な高速推論向けに構築されている、ベンチマークが示す
概要
Hot Chipsカンファレンスにおいて、OpenAIはBroadcomと共同開発したカスタムチップ「Jalapeño」の初のベンチマーク結果を発表しました。SemianalysisのInferenceXベンチマークでのテストでは、Nvidia Blackwellなどの現在の最先端プロセッサと比較して、ユーザーあたりのトークン数およびキロワットあたりのスループットの両方で優れた結果を記録しました。Jalapeñoは、プリフィルおよび通信フェーズ中のデータ移動やボトルネックを最小限に抑えるよう設計されており、大規模で低レイテンシなAI推論を実現することを目指しています。OpenAIは、2026年末に非常に小規模な展開を行い、2027年には本格的な展開を進める予定です。
(出典:TechCrunch)