Skip to content

故障保护

AI 模型服务偶尔可能返回错误、超时或短暂不可用。RouteAPI 会在安全的情况下尝试继续处理请求,并在无法安全完成时返回清晰的错误信息。

场景预期行为
模型服务短暂错误RouteAPI 会在安全时尝试继续处理。
响应开始前超时RouteAPI 可尝试使用其他可用服务路径。
模型服务限流如存在合适选项,RouteAPI 会继续处理。
请求参数无效RouteAPI 返回错误,提示客户端修正。
账户余额或权限问题RouteAPI 返回账户级错误。
  • 非流式文本请求最适合重试。
  • 流式请求应只在输出开始前重试。
  • 会触发外部动作的请求应设计为幂等。
  • 客户端仍应处理 HTTP 错误,并向用户展示明确提示。
  1. 设置合理的请求超时时间。
  2. 排查问题时记录 RouteAPI 请求 ID。
  3. 只在业务确认幂等的操作上做客户端重试。
  4. 如果重复出现服务错误,请携带请求 ID 联系支持。