学习使用本地 AI 令人兴奋、不知所措且令人沮丧
内容摘要
作者描述了自己犹豫地开始定期使用 AI 的过程，动机是担心将个人数据发送到云服务。他选择不信任 OpenAI、Google、Microsoft 或 Anthropic，而是在配备 256GB 统一内存的 M5 Ultra Mac Studio 上本地运行强大的大语言模型。他安装了开源桌面应用 Hermes Agent，并选择了 1250 亿参数的 Qwen 模型（约 105GB）。虽然设置很快，但他立刻面临“空白文本框”的问题，不知道该用这个工具做什么。他从简单的 cron 任务开始：一个每日晨间简报，扫描邮件、日历和天气（最初因 macOS 休眠而失败），以及使用 Steam 网络 API 密钥按类型重新整理他 400 多款游戏的 Steam 库。他还用它进行敏感数据分析，如财务记录和受禁运的笔记本电脑规格对比表格。他更大的持续项目是通过氛围编码的 Python 脚本自动化笔记本电脑基准测试。总的来说，他把本地 AI 仅仅视为工具，而非数字朋友，并计划在继续学习其局限时保持谨慎和警惕。
(来源：The Verge)