OpenAIがどのようにして低遅延な音声AIを大規模に提供しているか

OpenAI
OpenAIは、リレーとトランシーバーを分離したアーキテクチャを採用し、WebRTCインフラを最適化することで大規模かつ低遅延な音声AIを実現しました。

概要

OpenAIは、高性能かつ低遅延な音声AIを実現するために「スプリット・リレー・プラス・トランシーバー」という独自アーキテクチャを構築しました。WebRTCのセッション管理を専用のトランシーバーに集約し、軽量なリレー層でパケットルーティングを行うことで、Kubernetes環境において大量のUDPポートを公開する複雑さを回避しました。この設計により、標準的なWebRTCとの互換性を維持しながら、グローバルな接続性とChatGPT VoiceおよびRealtime APIのためのスケーラブルなリアルタイム性能を確保しています。

(出典:OpenAI)