OpenAI的Performance Factory如何保持ChatGPT快速运行
内容摘要
OpenAI开发了Performance Factory,一个利用Codex及其模型自动化ChatGPT性能工程的自主系统。该系统从使用分析器等工具的手动调查,发展到Codex作为工程师的合作伙伴,再到可复用技能如perf-forensics,最终实现自动化工作流。第一个工作流“回归工作流”处理性能警报:代理调查减速原因,提出修复方案,工程师审查并部署,另一个代理验证恢复情况。在三个多月里,它跟踪了超过1,700次调查,并根因分析了超过600个案例。Performance Factory由任务跟踪器(可配置工作流)、调度循环、云端运行Codex的API以及事件订阅组成。关键经验包括:通过总结和排序发现来保护工程师的注意力,通过基于过去事件的回测评估代理变更,以及使用代理自我修复重复出现的故障。未来工作包括主动监控和更广泛地应用代理工厂模式以持续优化服务。
(来源:OpenAI)