#速率限制

容量可能因帳戶、群組、模型、上游供應商及目前可用性而異。沒有任何單一 RPM 或 TPM 數值適用於所有請求。

請使用有界佇列、並行限制器、總逾時及重試額度。從低並行數開始，再逐步提高，同時監控延遲、429、5xx、用量與成本。

429 可能表示配額、餘額、並行數、速率或上游容量問題。在認定只是 RPM 限制前，請先檢查回應與用量記錄。