模型服务异常排查
当 RouteAPI 返回服务侧错误时,问题通常与模型服务状态、请求参数或账户可用额度有关。
- 模型服务是否仍可用。
- 账户余额或额度是否充足。
- 是否超过当前服务限流。
- 请求参数是否被模型服务拒绝。
- 模型 ID 是否仍在可用列表中。
- 是否可以稍后重试或切换到其他可用模型。
- 为关键业务配置健康检查。
- 记录服务侧错误原文,但避免泄露密钥。
- 对连续失败的服务请求设置冷却和告警。
- 为生产场景准备可替代的模型方案。
当 RouteAPI 返回服务侧错误时,问题通常与模型服务状态、请求参数或账户可用额度有关。