#レート制限

キャパシティは、アカウント、グループ、モデル、アップストリームプロバイダー、現在の空き状況によって変わります。すべてのリクエストに共通する単一の RPM または TPM 値はありません。

キューのサイズ、同時実行数、全体タイムアウト、再試行回数に上限を設けてください。低い同時実行数から始め、レイテンシ、429、5xx、使用量、コストを監視しながら増やします。

429 は、クォータ、残高、同時実行数、レート、アップストリームのキャパシティを示す場合があります。RPM 制限だけだと判断する前に、レスポンスと利用ログを確認してください。