Định tuyến yêu cầu

RouteAPI giúp hệ thống nghiệp vụ chỉ cần gọi một điểm vào API thống nhất. Nền tảng sẽ thực hiện lựa chọn dịch vụ, kiểm tra khả dụng và gửi yêu cầu ở phía sau.

Bạn cần cấu hình gì

Phần lớn nghiệp vụ chỉ cần quan tâm:

• ID mô hình RouteAPI dùng trong yêu cầu.
• Có sử dụng đầu ra streaming hay không.
• Có cần gọi công cụ, hiểu hình ảnh, đầu ra có cấu trúc hoặc năng lực tùy chọn khác hay không.
• API Key và giới hạn usage.

Nền tảng sẽ dựa trên các thông tin này để gửi yêu cầu đến dịch vụ mô hình phù hợp.

Luồng xử lý yêu cầu

1. RouteAPI xác thực API Key và quyền tài khoản.
2. RouteAPI đọc ID mô hình trong yêu cầu.
3. RouteAPI xác định yêu cầu có cần năng lực đặc biệt hay không.
4. RouteAPI gửi yêu cầu qua đường dịch vụ khả dụng.
5. RouteAPI trả kết quả theo giao thức client mong đợi.

Mã nghiệp vụ của bạn không cần để lộ chi tiết dịch vụ bên trong.

Khuyến nghị sử dụng

• Giữ ID mô hình ổn định trong mã nghiệp vụ.
• Xác nhận năng lực được hỗ trợ trong danh sách mô hình của console.
• Các luồng quan trọng nên được kiểm thử trước bằng cùng định dạng yêu cầu với production.
• Khi cần phân tích độ trễ, lỗi hoặc chi phí, ưu tiên xem nhật ký usage.