Escalando rápidamente el almacenamiento en línea para servir a más de mil millones de usuarios de ChatGPT (Parte II)

Habitat de OpenAI es su plataforma de almacenamiento en línea que sirve a más de mil millones de usuarios en 40 regiones geográficas, almacenando 500 petabytes de datos. La Parte II de esta serie detalla cómo OpenAI escaló su uso de Azure Cosmos DB a través de una estrecha colaboración con el equipo de Azure de Microsoft. El artículo traza tres fases: la Fase I se basó en las primitivas de Azure Cosmos DB, como las claves de partición lógicas, lo que provocó colisiones de rendimiento en claves calientes, interferencia de vecinos ruidosos entre particiones físicas y una capacidad decreciente por partición a medida que crecía el almacenamiento. La Fase II probó el aislamiento de cargas de trabajo con contenedores de inquilino único, lo que resolvió los problemas de aislamiento pero creó sobrecarga de aprovisionamiento, crecimiento agregado inestable y una alta carga de planificación de capacidad para los equipos de producto. La Fase III volvió a la multi-tenencia por defecto, utilizando un diseño de contenedor co-gestionado con nuevas características de Azure Cosmos DB: limitación de claves calientes, clasificación de solicitudes por calidad de servicio y un modo sin servidor mejorado con divisiones basadas en el uso de RU. El artículo también analiza la co-ingeniería con Azure (paneles compartidos, pruebas y respuesta conjunta a incidentes) y una importante interrupción regional en 2024 que reveló un comportamiento de conmutación por error no probado a la escala de OpenAI. Finalmente, cubre el trabajo de rendimiento: replicación multirregión para conjuntos de datos críticos para la latencia, una caché distribuida integrada que utiliza la captura de datos de cambios (CDC) para la invalidación, y una reescritura en Rust del servicio Habitat que redujo la latencia p50 de lectura global de ~120 ms a ~10 ms. De cara al futuro, OpenAI está construyendo un sistema de almacenamiento en línea interno personalizado a escala de exabytes que combina RocksDB Cloud de Rockset con replicación basada en Raft para abordar los desafíos de replicación futuros.

(Fuente：OpenAI)