Intel LLM-Scaler Ready With Muse Glimmer Support, Other LLMs & Features - Phoronix
概要
Intelは、vLLMやComfyUIなどのツールを使用してArc Bシリーズグラフィックスカードで生成AIを実行しやすくすることを目的としたLLM-Scalerプロジェクトのアップデートをリリースしました。最新のLLM-Scaler-vLLMベータ版では、Arc Pro B70などのハードウェア上でFP8オンライン量子化を備えたMetaのMuse Glimmer 30Bモデルの即日サポートが導入され、DFlashのサポートやGemmaおよびQwenモデルのパフォーマンス向上が図られています。さらに、LLM-Scaler-Omniベータ版ではComfyUI XPUスタックがアップグレードされ、MiniMax H3やWan Animate 2などのローカル動画生成ツールのサポートが追加され、最適化されたモデルの対応範囲が拡大されました。
(出典：Phoronix)