Intel LLM-Scaler vllm-0.14.0-b8.2 リリース、Arc Pro B70を公式サポート - Phoronix
概要
Intelは、Intel Arcハードウェア上での大規模言語モデル（LLM）のデプロイを最適化する「LLM-Scaler」イニシアチブにおいて、vllm-0.14.0-b8.2をリリースしました。このアップデートの主な変更点は、32GBのvRAMを搭載した最新のBattlemage世代であるArc Pro B70グラフィックスカードを公式にサポートしたことです。
さらに、プラットフォームイメージが「intel/llm-scaler-platform:26.18.8.2」に更新されました。このツールチェーンは「Project Battlematrix」の一環として、Dockerを利用したAI推論環境の構築を可能にし、マルチGPU構成にも対応しています。
(出典：Phoronix)