AMD Ryzen AI NPU が Linux 上で LLM 実行のためにようやく実用的に

AMD は過去2年間、メインラインの Linux カーネルに AMDXDNA アクセラレータドライバを開発してきましたが、ユーザー空間での Ryzen AI NPU の利用は非常に限られていました。しかし、Lemonade 10.0 のリリースにより、この状況が大きく変化し、大規模言語モデル（LLM）や Whisper を実行するために Linux NPU サポートが提供されました。Lemonade は、Ryzen AI 専用に構築された NPU ファーストのランタイムであるオープンソースの FastFlowLM に依存しており、現在の世代の NPU で最大 256k トークンのコンテキスト長をサポートします。このサポートを利用するには、Linux 7.0 カーネルまたは AMDXDNA ドライバのバックポートが必要であり、現在のすべての AMD Ryzen AI 300/400 シリーズ SoC で動作するはずです。この機能は、Linux での利用が増えると予想される Ryzen AI Embedded P100 および PRO 400 シリーズの登場時期と重なり重要です。

(出典：Phoronix)