SLA về tính sẵn sàng
99.9%
Request gateway · kỳ đo hàng tháng
Mục tiêu khả dụng hàng tháng cho các yêu cầu qua gateway.
CỔNG LLM API CHO PRODUCTION
Cổng LLM APIsẵn sàng cho production.
Truy cập GPT, Claude, Gemini và hơn 50 mô hình qua một API tương thích OpenAI, với fallback nhà cung cấp có thể cấu hình, kiểm soát usage và khả năng quan sát theo từng request.
- Tương thích OpenAI
- Fallback có thể cấu hình
- Tính phí theo usage
- Tiết kiệm đến 25%
Một API cho các nhà cung cấp mô hình hàng đầu
Tích hợp trong ba dòng
Giữ OpenAI client. Chỉ đổi Base URL.
RouteAPI dùng giao diện tương thích OpenAI, nên phần lớn tích hợp có thể giữ SDK hiện tại và cập nhật API key cùng Base URL.
Tính năng API được hỗ trợ có thể khác nhau tùy mô hình và nhà cung cấp upstream.
Xem tài liệu APImain.py
TrướcGốc
1from openai import OpenAI
2
3client = OpenAI(
4 api_key="sk-openai-key",# đặt ROUTEAPI_KEY trong môi trường
5)
6
7response = client.chat.completions.create(
8 model="gpt-4o",
9 messages=[{"role": "user", "content": "Hello"}],
10)
SauĐã thay đổi
1from openai import OpenAI
2import os
3
4client = OpenAI(
5 api_key=os.environ["ROUTEAPI_KEY"],# đặt ROUTEAPI_KEY trong môi trường
6 base_url="https://www.routeapi.ai/v1",# trỏ client tới RouteAPI
7)
8
9response = client.chat.completions.create(
10 model="gpt-5.5",# dùng mô hình đã bật cho tài khoản
11 messages=[{"role": "user", "content": "Hello"}],
12)
TRUY CẬP ĐA MÔ HÌNH
Một API cho các mô hình ứng dụng của bạn sử dụng.
Gửi request qua một endpoint tương thích OpenAI và chọn mô hình được hỗ trợ mà ứng dụng cần.
RouteAPI
OpenAI
OpenAIAnthropic
AnthropicGoogle
GoogleDeepSeek
DeepSeekQwen
QwenMiniMax
MiniMaxMoonshot
MoonshotZhiPu
ZhiPuOther supported models
Other supported modelsĐỊNH TUYẾN MÔ HÌNH & KHẢ NĂNG CHỐNG LỖI
Một route mô hình. Nhiều đường dẫn nhà cung cấp.
Chọn mô hình và cấu hình nhà cung cấp chính cùng dự phòng. RouteAPI giám sát trạng thái kênh và định tuyến request qua đường dẫn khả dụng theo policy của bạn.
Kênh chính hoạt động bình thường
Ứng dụng của bạn
RouteAPI
claude-sonnet5Mô hình đã chọn: claude-sonnet5
Mô phỏng sự cố nhà cung cấp để xem request tiếp theo chuyển sang đường dự phòng đã cấu hình.
Ứng dụng chọn mô hình và gửi request qua RouteAPI. Bạn cấu hình thứ tự nhà cung cấp; RouteAPI giám sát trạng thái kênh và dùng đường dẫn chính hoặc dự phòng theo policy. Sự cố ảnh hưởng request tiếp theo, không di chuyển phản hồi streaming đang chạy.
GIÁ MÔ HÌNH TRỰC TIẾP
Giá và khả dụng mô hình trực tiếp từ catalog workload của bạn.
25% thấp hơn giá niêm yết API chính thức
Áp dụng cho các mô hình tại Hoa Kỳ được dùng nhiều nhất
20% thấp hơn giá niêm yết API chính thức
Áp dụng cho các mô hình tại Trung Quốc được dùng nhiều nhất
Không có phí nền tảng bổ sung ngoài giá mô hình đã hiển thị.
Nguyên tắc tính phí: Chỉ tính usage có thể lập hóa đơn từ request đã hoàn tất. Request thất bại không có usage tính phí sẽ không bị tính; nếu fallback đã cấu hình hoàn tất request, usage được tính theo giá RouteAPI hiển thị của mô hình đã chọn.
Control plane
Điều khiển traffic AI từ một lớp vận hành duy nhất.
Thay thế endpoint, credential và bản ghi vận hành riêng lẻ bằng một lớp điều khiển tương thích OpenAI.
Kỹ thuật nền tảngĐội ngũ ứng dụng AIVận hành và tài chính
www.routeapi.ai/console
Bảng điều khiểnTất cả route đều ổn định
Yêu cầu đến
0
+12.4%Token hôm nay
0
Hôm nayTỷ lệ thành công
0.00%
Tỷ lệ cache hit 86.4%Chi phí ước tính
$0.00
Đã tiết kiệm $36.79Lưu lượng request24 giờ qua
18,420 requests
29,680 requests
22,450 requests
38,120 requests
26,740 requests
45,200 requests
31,980 requests
48,600 requests
29,150 requests
40,780 requests
43,820 requests
51,240 requests
Tích hợp trực tiếp với nhà cung cấp
- Mỗi nhà cung cấp có endpoint, thông tin xác thực và giao diện thanh toán riêng.
- Sự cố nhà cung cấp và thay đổi mô hình tác động trực tiếp tới ứng dụng.
- Usage và chi phí bị chia nhỏ trên nhiều console.
RouteAPI gateway
- Một endpoint tương thích OpenAI cho ứng dụng.
- Việc chọn route, retry và hành vi fallback được quản lý tại một nơi.
- Usage, độ trễ, lỗi và chi phí hiển thị trong một chế độ xem vận hành.
CHUẨN THAM CHIẾU ĐỘ TIN CẬY
Mục tiêu dịch vụ với phạm vi đo rõ ràng.
Các mục tiêu tham chiếu công khai cho lớp gateway. Độ trễ suy luận mô hình và sinh nội dung streaming được đo riêng vì thay đổi theo workload.
Độ trễ tăng thêm của gateway (P99)
≤ 400 ms
Chỉ xử lý của RouteAPI · không gồm suy luận mô hình
99% request hợp lệ không được tăng thêm quá 400 ms tại lớp gateway.
Mục tiêu chuyển dự phòng
≤ 1 s
Lỗi nhà cung cấp hoặc truyền tải đủ điều kiện · request tiếp theo
Mục tiêu khôi phục nội bộ; không có thời gian chuyển đổi chung cho mọi workload nên giá trị được xác định theo chính sách route.
Tích hợp nhà cung cấp
30+
Nhóm upstream được hỗ trợ · phạm vi sản phẩm hiện tại
Số liệu về độ phủ sản phẩm, được trình bày riêng với SLO về tính sẵn sàng và độ trễ.
Đây là mục tiêu mức dịch vụ của chúng tôi và phạm vi sản phẩm hiện tại, không phải telemetry production trực tiếp. Điều khoản hợp đồng được thống nhất theo từng gói doanh nghiệp.
MINH BẠCH VỀ XỬ LÝ DỮ LIỆU
Hiểu đường đi của dữ liệu API.
Tóm tắt nơi request được gửi tới và những gì RouteAPI ghi nhận. Nhà cung cấp upstream áp dụng chính sách dữ liệu riêng.
Ứng dụng của bạn
Gửi prompt và tham số request
Gateway RouteAPI
Định tuyến request và ghi nhận dữ liệu vận hành
Nhà cung cấp upstream đã cấu hình
Xử lý request theo chính sách dữ liệu riêng
Request được gửi tới đâu
Request đi qua RouteAPI và được gửi tới nhà cung cấp upstream do hệ thống cấu hình cho model đã chọn.
Huấn luyện mô hình
RouteAPI không lưu nội dung request của bạn và sẽ không sử dụng nội dung đó để huấn luyện. Dữ liệu của bạn được chuyển trực tiếp đến nhà cung cấp upstream đã chọn; vui lòng tham khảo chính sách dữ liệu của từng nhà cung cấp.
RouteAPI ghi nhận những gì
Bản ghi vận hành gồm mô hình, nhà cung cấp, trạng thái, độ trễ, mức dùng token và chi phí.
Trang này mô tả đường đi request và hành vi ghi log hiện tại của RouteAPI; không đưa ra bảo đảm chung về lưu giữ, xóa hoặc huấn luyện ở upstream.
Giải đáp câu hỏi
Điều đội ngũ cần biết trước khi định tuyến traffic production.
Bắt đầu với tích hợp tương thích, sau đó từng bước bổ sung route và các chế độ kiểm soát vận hành phù hợp với workload.
Có cần thay thế OpenAI client hiện tại không?
Không. RouteAPI được xây dựng quanh API tương thích OpenAI, nên bước đầu thường là giữ client hiện tại và cập nhật Base URL cùng API key.
RouteAPI có tự động chọn nhà cung cấp phù hợp nhất không?
Có. Bạn chọn model muốn sử dụng, còn RouteAPI sẽ tự động chọn nhà cung cấp phù hợp nhất dựa trên route do hệ thống cấu hình và trạng thái nhà cung cấp.
Fallback và retry của nhà cung cấp hoạt động thế nào?
Bạn cấu hình nhà cung cấp chính, các fallback và chính sách retry cho từng route model. RouteAPI áp dụng quy tắc khi xảy ra lỗi nhà cung cấp hoặc transport đủ điều kiện; không phải lỗi nào cũng khôi phục được.
Request lỗi, retry và fallback có bị tính phí không?
Tính phí dựa trên usage có thể lập hóa đơn. Lần thử thất bại không tạo usage tính phí sẽ không bị tính; retry hoặc fallback tạo usage tính phí có thể bị tính, và fallback hoàn tất request sẽ tính theo giá model đã chọn. Đọc chi tiết tính phí
Bạn có lưu prompt và response không?
Không. RouteAPI không lưu nội dung prompt hoặc response. Để tính phí, chúng tôi chỉ giữ các metadata cần thiết như model, mức dùng token, chi phí, trạng thái và thời điểm của request.
Gửi request đầu tiên qua RouteAPI.
Tạo API key, cập nhật Base URL và gửi một request thử nghiệm.
Trả theo usage · Tiết kiệm tới 25%
Được tin dùng ở quy mô lớn
Các đội ngũ đang xây dựng trên RouteAPI
Gateway sẵn sàng cho production dành cho các đội ngũ cần truy cập đáng tin cậy vào những mô hình hỗ trợ sản phẩm của họ.