Bỏ qua để đến nội dung
RouteAPI RouteAPI

Tổng quan định tuyến

RouteAPI cung cấp điểm vào thống nhất để hệ thống nghiệp vụ gọi mô hình AI. Nhóm của bạn có thể tiếp tục dùng API tương thích OpenAI quen thuộc, trong khi RouteAPI phụ trách xác thực yêu cầu, lựa chọn mô hình, bảo vệ khả dụng và ghi usage.

Điều này có ý nghĩa gì với hệ thống nghiệp vụ

Phần tiêu đề “Điều này có ý nghĩa gì với hệ thống nghiệp vụ”
  • Yêu cầu production sử dụng một Base URL thống nhất.
  • Mã ứng dụng sử dụng ID mô hình ổn định.
  • Khi dịch vụ mô hình tạm thời không khả dụng, nền tảng cung cấp cơ chế bảo vệ.
  • Nhật ký usage hỗ trợ xử lý sự cố, kiểm toán yêu cầu và phân tích chi phí.
  • Hỗ trợ các năng lực phổ biến như đầu ra streaming, gọi công cụ, hiểu hình ảnh và đầu ra có cấu trúc.

Luồng yêu cầu

Phần tiêu đề “Luồng yêu cầu”
  1. Client gửi yêu cầu kèm API Key và ID mô hình.
  2. RouteAPI xác thực yêu cầu và quyền truy cập tài khoản.
  3. RouteAPI chọn dịch vụ mô hình phù hợp theo năng lực cần thiết.
  4. RouteAPI gửi yêu cầu và trả phản hồi theo định dạng client mong đợi.
  5. RouteAPI ghi usage, độ trễ và thông tin lỗi để tiện xem lại.

Đọc tiếp đề xuất

Phần tiêu đề “Đọc tiếp đề xuất”