OpenAI строит систему хранения данных эксабайтного масштаба для следующего миллиарда пользователей.
Инфраструктура OpenAI упирается в дефицит физического пространства, поэтому компания создает собственную систему хранения для поддержки работы ChatGPT при дальнейшем росте использования.
Платформа Habitat уже обслуживает более 500 петабайт данных в 40 регионах, поддерживая свыше 1 миллиарда пользователей и более 70 миллионов запросов в секунду. Одна учетная запись Azure Cosmos DB обрабатывает свыше 20 миллионов запросов в секунду, что OpenAI называет беспрецедентным для сервиса.
Центры обработки данных ограничены пространством, мощностью и охлаждением, поэтому приходится выбирать между размещением данных ближе к пользователям для быстрых ответов и запуском большего числа моделей ИИ.