#Ограничения частоты запросов

Объём доступных ресурсов может зависеть от учётной записи, группы, модели, вышестоящего провайдера и текущей нагрузки. Единого значения RPM или TPM для всех запросов нет.

Используйте ограниченную очередь, ограничитель параллелизма, общий тайм-аут и лимит повторных попыток. Начните с небольшого числа параллельных запросов и увеличивайте его, отслеживая задержку, ответы 429 и 5xx, использование и стоимость.

Ответ 429 может указывать на квоту, баланс, параллелизм, частоту запросов или нехватку ресурсов вышестоящего сервиса. Прежде чем считать причиной только ограничение RPM, проверьте ответ и журналы использования.