Mô hình mã nguồn mở
Hỗ trợ các mô hình văn bản, hình ảnh và video mã nguồn mở phổ biến. Quy trình ComfyUI có thể được đóng gói thành dịch vụ API.
Ví dụ · DeepSeek · Qwen · GLM · Kimi · Llama · Wan · quy trình ComfyUI
Mô hình của bạn trên GPU chuyên dụng. Chúng tôi vận hành toàn bộ hệ thống.
Dịch vụ triển khai LLM riêng trọn gói: đánh giá năng lực tính toán, mua sắm máy chủ, triển khai mô hình và vận hành sau khi đưa vào sử dụng, đồng thời hỗ trợ triển khai trên máy chủ sẵn có của khách hàng.
- Hỗ trợ mô hình mã nguồn mở và mô hình riêng
- Máy chủ do chúng tôi mua sắm hoặc khách hàng tự chuẩn bị
- Vận hành liên tục sau bàn giao
- Khả dụng 99,9% hằng tháng
- Khách hàngỨng dụng của khách hàngGọi API tương thích OpenAI
- RouteAPIVận hànhGiám sát, nâng cấp, xử lý sự cố
- RouteAPISuy luận mô hìnhCông cụ suy luận, lượng tử hóa, mở rộng quy mô
- RouteAPI hoặc khách hàngMáy chủ GPUCấu hình theo mô hình và lưu lượng
Triển khai được cả mô hình mã nguồn mở và mô hình riêng
Trong phạm vi giấy phép của mô hình cho phép, cả mô hình mã nguồn mở và mô hình riêng của khách hàng đều có thể được triển khai vào môi trường sản xuất.
Mô hình riêng của khách hàng
Hỗ trợ mô hình đã tinh chỉnh, LoRA và mô hình do khách hàng tự phát triển. Khách hàng cung cấp trọng số, chúng tôi thực hiện triển khai và đưa vào sử dụng.
Khách hàng huấn luyện · chúng tôi triển khai và vận hành
Dịch vụ này không bao gồm huấn luyện và tinh chỉnh mô hình. Nếu dự án có nhu cầu này, chúng tôi sẽ trao đổi rõ trong giai đoạn tiếp nhận yêu cầu.
Từ đánh giá đến vận hành, một đội ngũ phụ trách xuyên suốt
Cùng một nhóm kỹ sư phụ trách đánh giá phương án, triển khai và vận hành sau khi đưa vào sử dụng, bao gồm xử lý sự cố ngoài giờ làm việc.
Đánh giá
Dựa trên mô hình, lưu lượng yêu cầu, yêu cầu độ trễ và ràng buộc dữ liệu để xác định cấu hình, số lượng GPU và lập phương án triển khai.
Bàn giao · Danh mục cấu hình và báo giá
Phần cứng
Chúng tôi mua sắm máy chủ và bố trí lưu trữ tại trung tâm dữ liệu, hoặc sử dụng máy chủ, tài khoản đám mây sẵn có của khách hàng.
Bàn giao · Phương án phần cứng được xác nhận
Triển khai
Xây dựng môi trường suy luận, tối ưu hiệu năng và cấu hình mở rộng quy mô; kiểm thử tải theo lưu lượng thực tế trước khi đưa vào sử dụng.
Bàn giao · Điểm cuối API sẵn sàng sử dụng
Vận hành
Giám sát và cảnh báo, nâng cấp phiên bản, cập nhật mô hình và xử lý sự cố, với SLA khả dụng 99,9% hằng tháng.
Bàn giao · Đội ngũ hỗ trợ kỹ thuật chuyên trách
Hai phương án phần cứng
Dù chọn phương án nào, chúng tôi đều phụ trách triển khai và vận hành lớp phần mềm, đồng thời chịu trách nhiệm theo SLA.
| RouteAPI mua sắm | Khách hàng tự chuẩn bị | |
|---|---|---|
| Quyền sở hữu máy chủ | Do chúng tôi mua sắm riêng cho đợt triển khai | Thuộc sở hữu khách hàng, tại trung tâm dữ liệu riêng hoặc tài khoản đám mây |
| Vị trí triển khai | Trung tâm dữ liệu do chúng tôi bố trí, khu vực do khách hàng lựa chọn | Trung tâm dữ liệu hoặc khu vực đám mây của khách hàng |
| Hình thức thanh toán | Phí hằng tháng gộp phần cứng và vận hành | Phí triển khai + phí vận hành |
| Phù hợp khi | Muốn tránh khoản đầu tư phần cứng ban đầu | Đã có tài nguyên tính toán, hoặc dữ liệu không được rời khỏi môi trường riêng |
Triển khai độc lập, kết nối mô hình công khai khi cần
Hệ thống triển khai thuộc sở hữu của khách hàng, vận hành độc lập và không đi qua nền tảng RouteAPI. RouteAPI đồng thời cung cấp cổng kết nối tới hơn 70 mô hình công khai; khi cần, hai hệ thống có thể được kết nối theo thỏa thuận.
- Mặc định, mọi yêu cầu chỉ do hệ thống triển khai riêng xử lý
- Có thể định tuyến tác vụ phức tạp tới GPT, Claude hoặc Gemini
- Khách hàng quyết định chiến lược chuyển đổi dự phòng, có thể không kích hoạt
Trường hợp phù hợp
Chúng tôi là một đội ngũ tinh gọn. Dưới đây là các trường hợp phù hợp và không phù hợp với dịch vụ này để khách hàng tham khảo.
Phù hợp
- Lưu lượng lớn và ổn định, khi chi phí GPU chuyên dụng thấp hơn tính phí theo token
- Dữ liệu hoặc trọng số mô hình cần được cô lập, không thể chạy trong môi trường dùng chung
- Đã hoàn tất huấn luyện mô hình và cần triển khai vào môi trường sản xuất
- Chưa có đội ngũ vận hành chuyên trách để duy trì GPU hoạt động 24/7
Không phù hợp
- Huấn luyện hoặc tinh chỉnh mô hình. Dịch vụ này chỉ cung cấp triển khai.
- Lưu lượng nhỏ hoặc biến động mạnh. API trả theo mức sử dụng sẽ tiết kiệm chi phí hơn.
- Cụm hàng nghìn GPU. Nhà cung cấp đám mây GPU quy mô lớn sẽ phù hợp hơn.
Câu hỏi thường gặp
Vui lòng cung cấp mô hình và lưu lượng dự kiến, chúng tôi sẽ gửi đánh giá năng lực tính toán và báo giá sơ bộ.
Liên hệ với chúng tôiCó. Chúng tôi hỗ trợ triển khai tại trung tâm dữ liệu riêng hoặc tài khoản đám mây của khách hàng, hoặc có thể mua sắm và lưu trữ máy chủ thay khách hàng.
SLA áp dụng cho mức khả dụng hằng tháng của API triển khai riêng. Cách tính thời gian gián đoạn và bồi hoàn dịch vụ được quy định trong hợp đồng triển khai.
Không. Hệ thống triển khai riêng vận hành độc lập. Nếu cần kết nối mô hình công khai hoặc cấu hình chuyển đổi dự phòng, hai bên sẽ thỏa thuận riêng.
Chỉ các kỹ sư vận hành phụ trách hệ thống triển khai đó. Chúng tôi không sử dụng trọng số, prompt hoặc đầu ra của khách hàng để huấn luyện mô hình.
Sau khi đánh giá, chúng tôi báo giá riêng cho từng hệ thống triển khai dựa trên cấu hình phần cứng, mô hình và mức độ vận hành. Triển khai chuyên dụng không tính phí theo token.