开源模型
支持主流开源的文本、图像和视频模型，ComfyUI 工作流可封装为 API 服务。
例如 · DeepSeek · Qwen · GLM · Kimi · Llama · Wan · ComfyUI 工作流
开源模型、自有模型，都能部署
在模型许可证允许的前提下，开源模型和客户自有模型都可以部署到生产环境。
客户自有模型
支持微调模型、LoRA 及客户自研模型。客户提供权重，我们完成部署与上线。
客户负责训练 · 我们负责部署与运维
本服务不包含模型训练和微调。如果项目涉及这部分需求，我们会在需求沟通阶段说明。
从评估到运维，同一团队全程负责
方案评估、部署实施和上线后的运维由同一组工程师负责，包括非工作时间的故障响应。
评估
根据模型、请求量、延迟要求和数据约束，评估所需 GPU 规格与数量，制定部署方案。
交付物 · 配置清单与报价
硬件
由我们采购服务器并安排机房托管，或使用客户已有的服务器、云账号。
交付物 · 确定的硬件方案
部署
完成推理环境搭建、性能调优和扩缩容配置，上线前按实际流量进行压力测试。
交付物 · 可调用的 API 接口
运维
提供监控告警、版本升级、模型更新和故障处理，月度可用性 SLA 为 99.9%。
交付物 · 专属技术支持团队
两种硬件方案
无论采用哪种方案，软件层的部署与运维均由我们负责，并承担相应 SLA。
| RouteAPI 采购 | 客户自备 | |
|---|---|---|
| 服务器归属 | 由我们为该部署专门采购 | 客户自有，本地机房或云账号 |
| 部署位置 | 我们安排的数据中心，区域由客户选定 | 客户的机房或云区域 |
| 计费方式 | 硬件与运维合并，按月计费 | 部署费 + 运维费 |
| 适用场景 | 希望避免一次性硬件投入 | 已有算力资源，或数据不能离开自有环境 |
独立部署，可按需接入公有模型
私有化部署归客户所有，独立运行，不经过 RouteAPI 平台。RouteAPI 同时提供覆盖 70+ 公有模型的网关服务，如有需要，可协商打通两者。
- 默认所有请求仅由私有化部署处理
- 可将复杂任务路由至 GPT、Claude 或 Gemini
- 故障切换策略由客户决定，可选择不启用
适用场景
我们是一支精简的团队，以下列出适合与不适合本服务的场景，供评估参考。
适合
- 调用量大且稳定，专属 GPU 的成本低于按 token 计费
- 数据或模型权重需要隔离，不能运行在共享环境中
- 已完成模型训练，需要部署到生产环境
- 缺少专职运维团队，无法保障 GPU 7×24 小时运行
不适合
- 模型训练或微调。本服务仅提供部署。
- 调用量小或波动大。按量付费 API 成本更低。
- 千卡级集群。更适合选择大型 GPU 云服务商。
可以。支持部署在客户的本地机房或云账号中，也可以由我们采购并托管服务器。
覆盖私有化部署接口的月度可用性。停机的计算方式与服务补偿在部署合同中约定。
不会。私有化部署独立运行。如需接入公有模型或配置故障切换，可另行协商。
仅限负责该部署的运维工程师。我们不会使用客户的权重、提示词或输出训练模型。
评估完成后按部署单独报价，取决于硬件配置、模型和运维级别。私有化部署不按 token 计费。