ローカルAIの使い方を学ぶのは、わくわくして、圧倒されて、もどかしい
概要
著者は、個人データをクラウドサービスに送ることへのプライバシー懸念から、AIを日常的に使うことへのためらいを経て、ローカルで強力な大規模言語モデルを動かす実験を始めた。OpenAI、Google、Microsoft、Anthropicを信頼するのではなく、256GBのユニファイドメモリを搭載したM5 Ultra Mac Studioを使用。オープンソースのデスクトップアプリHermes Agentをインストールし、1250億パラメータのQwenモデル（約105GB）を選択した。セットアップはすぐに終わったが、「空白のテキストボックス」に何をすべきかわからないという問題に直面。まずはシンプルなcronタスクから始め、メール、カレンダー、天気をスキャンする毎朝のブリーフィング（当初はmacOSがスリープ状態で失敗）や、SteamのWeb APIキーを使って400以上のゲームライブラリをジャンル別に整理した。また、財務記録や embargo 中のノートPCスペック比較表など、機密データの分析にも使用。より大きな進行中のプロジェクトは、バイブコーディングされたPythonスクリプトによるノートPCベンチマークテストの自動化だ。全体として、ローカルAIを単なるツールと見なし、デジタルの友達とは考えておらず、その限界を学びながら慎重かつ警戒を続けるつもりだ。
(出典：The Verge)