Aprender a usar la IA local es emocionante, abrumador y frustrante
Un escritor documenta su proceso de ejecutar modelos de IA locales en un Mac Studio de gama alta, encontrándolo emocionante, abrumador y a veces frustrante.Resumen
El autor describe sus vacilantes primeros pasos en el uso regular de la IA, motivado por preocupaciones de privacidad sobre el envío de datos personales a servicios en la nube. En lugar de confiar en OpenAI, Google, Microsoft o Anthropic, experimenta con la ejecución local de potentes modelos de lenguaje en un Mac Studio M5 Ultra con 256 GB de memoria unificada. Instala la aplicación de escritorio de código abierto Hermes Agent y selecciona un modelo Qwen de 125 mil millones de parámetros (~105 GB). Aunque la configuración es rápida, inmediatamente se enfrenta al problema del "cuadro de texto vacío". Comienza con tareas simples de cron: un resumen matutino diario que escanea correo, calendario y clima (que inicialmente falló porque macOS estaba dormido), y la reorganización de su biblioteca de más de 400 juegos de Steam por género usando una clave API web de Steam. También lo usa para análisis de datos sensibles como registros financieros y una hoja de comparación de especificaciones de portátiles bajo embargo. Su proyecto en curso más grande es automatizar las pruebas de rendimiento de portátiles mediante scripts de Python generados por vibe coding. En general, ve la IA local solo como una herramienta, no como un amigo digital, y planea mantener la cautela y la vigilancia mientras continúa aprendiendo sus límites.
(Fuente：The Verge)