Intel LLM-Scaler Ready With Muse Glimmer Support, Other LLMs & Features - Phoronix

Intel ha lanzado actualizaciones para su proyecto LLM-Scaler, diseñado para facilitar la ejecución de inteligencia artificial generativa en tarjetas gráficas Arc de la serie B utilizando herramientas como vLLM y ComfyUI. La última versión beta de LLM-Scaler-vLLM introduce compatibilidad el mismo día de su lanzamiento para el modelo Muse Glimmer 30B de Meta con cuantización en línea FP8 en hardware como la Arc Pro B70, además de soporte para DFlash y mejoras de rendimiento para los modelos Gemma y Qwen. Asimismo, la versión beta de LLM-Scaler-Omni actualiza la pila ComfyUI XPU, añade soporte para generación de vídeo local como MiniMax H3 y Wan Animate 2, y amplía la cobertura de modelos optimizados.

(Fuente：Phoronix)