OpenAIのPerformance FactoryがChatGPTを高速に保つ方法

OpenAI
OpenAIは、Codexエージェントを使用してChatGPTのパフォーマンス低下を自動的に調査、修正、検証する自律システムPerformance Factoryを構築した。

概要

OpenAIは、Codexとそのモデルを活用してChatGPTのパフォーマンスエンジニアリングを自動化する自律システム「Performance Factory」を開発した。このシステムは、プロファイラなどのツールを使用した手動調査から、Codexをパートナーとしてエンジニアを支援する段階、perf-forensicsなどの再利用可能なスキル、そして自動化されたワークフローへと進化した。最初のワークフローである「リグレッションワークフロー」は、パフォーマンスアラートに対応する。エージェントが遅延を調査し、修正案を提案し、エンジニアがレビューしてデプロイし、別のエージェントが回復を検証する。3か月以上で1,700以上の調査を追跡し、600以上のケースの根本原因を特定した。Performance Factoryは、設定可能なワークフローを持つタスクトラッカー、ディスパッチループ、Codexをクラウドで実行するAPI、イベントのサブスクリプションで構成される。主な教訓は、調査結果を要約してランク付けすることでエンジニアの注意を保護すること、過去のインシデントに基づくバックテストを通じてエージェントの変更を評価すること、定期的な障害を自己修復するためにエージェントを使用することである。今後の取り組みには、プロアクティブな監視と、サービスを継続的に最適化するためのエージェントファクトリーパターンのより広範な適用が含まれる。

(出典:OpenAI)