Lanzamiento de Intel LLM-Scaler vllm-0.14.0-b8.2 con soporte oficial para Arc Pro B70 - Phoronix
Phoronix
Intel ha lanzado la actualización vllm-0.14.0-b8.2 para LLM-Scaler, que incluye soporte oficial para la tarjeta gráfica Arc Pro B70.Resumen
Intel ha lanzado la versión vllm-0.14.0-b8.2 de su iniciativa LLM-Scaler, diseñada para facilitar el despliegue de modelos de lenguaje de gran tamaño en hardware Intel Arc. La novedad principal es la incorporación de soporte oficial para la GPU Arc Pro B70, una tarjeta de la serie Battlemage equipada con 32GB de vRAM.
Junto con este soporte de hardware, se ha actualizado la imagen de la plataforma a intel/llm-scaler-platform:26.18.8.2. Este proyecto, que forma parte de la iniciativa "Project Battlematrix", se enfoca en ofrecer un entorno basado en Docker para la inferencia de IA, permitiendo configuraciones de múltiples GPU en hardware de Intel.
(Fuente：Phoronix)