#Giới hạn tốc độ

Dung lượng xử lý có thể thay đổi theo tài khoản, nhóm, model, nhà cung cấp thượng nguồn và mức độ sẵn sàng hiện tại. Không có một giá trị RPM hoặc TPM duy nhất áp dụng cho mọi yêu cầu.

Hãy dùng hàng đợi có giới hạn, bộ giới hạn mức đồng thời, thời gian chờ tổng và ngân sách thử lại. Bắt đầu với mức đồng thời thấp rồi tăng dần trong khi theo dõi độ trễ, 429, 5xx, mức sử dụng và chi phí.

Phản hồi 429 có thể biểu thị hạn mức, số dư, mức đồng thời, tốc độ hoặc dung lượng thượng nguồn. Hãy kiểm tra phản hồi và nhật ký sử dụng trước khi kết luận rằng nguyên nhân chỉ là giới hạn RPM.