Cómo la Fábrica de Rendimiento de OpenAI mantiene rápida a ChatGPT
Resumen
OpenAI ha desarrollado la Fábrica de Rendimiento, un sistema autónomo que aprovecha Codex y sus modelos para automatizar la ingeniería de rendimiento de ChatGPT. El sistema evolucionó desde investigaciones manuales con herramientas como generadores de perfiles, hasta Codex como socio que ayuda a los ingenieros, pasando por habilidades reutilizables como perf-forensics, y finalmente flujos de trabajo automatizados. El primer flujo de trabajo, el Flujo de Regresión, maneja alertas de rendimiento: un agente investiga la desaceleración, propone una solución, un ingeniero la revisa y despliega, y otro agente verifica la recuperación. En más de tres meses, rastreó más de 1,700 investigaciones y determinó la causa raíz de más de 600 casos. La Fábrica de Rendimiento consta de un rastreador de tareas con flujos de trabajo configurables, un bucle de despacho, una API en la nube para ejecutar Codex y suscripciones a eventos. Las lecciones clave incluyen proteger la atención de los ingenieros resumiendo y clasificando los hallazgos, evaluar los cambios de los agentes mediante pruebas retrospectivas con incidentes pasados y usar agentes para autorreparar fallos recurrentes. El trabajo futuro incluye monitoreo proactivo y aplicaciones más amplias del patrón de fábrica de agentes para optimizar continuamente los servicios.
(Fuente:OpenAI)