La prometedora startup francesa ZML lanza un producto gratuito para acelerar la inferencia en diversos chips de IA
TechCrunch
La startup francesa ZML ha lanzado LLMD, un servidor de inferencia gratuito diseñado para optimizar el rendimiento de la IA en múltiples chips, reduciendo la dependencia de proveedores.Resumen
ZML, una startup francesa apoyada por Yann LeCun, ha lanzado ZML/LLMD, un servidor de inferencia diseñado para ejecutar modelos de lenguaje a gran escala en una amplia variedad de hardware, incluyendo chips de Nvidia, AMD, Google, Apple e Intel. El objetivo de la empresa es romper las barreras de los proveedores y optimizar el rendimiento de la IA, ayudando a las empresas a gestionar los crecientes costos de procesamiento. A pesar de la competencia de proyectos como vLLM o SGLang, ZML destaca por su enfoque en el diseño conjunto de silicio. Actualmente, el producto se ofrece de forma gratuita para recopilar datos de uso y fomentar su adopción antes de definir un modelo de ingresos futuro.
(Fuente：TechCrunch)