跳到內容

故障保護

AI 模型服務偶爾可能返回錯誤、超時或短暫不可用。RouteAPI 會在安全的情況下嘗試繼續處理請求,並在無法安全完成時返回清晰的錯誤信息。

場景預期行為
模型服務短暫錯誤RouteAPI 會在安全時嘗試繼續處理。
響應開始前超時RouteAPI 可嘗試使用其他可用服務路徑。
模型服務限流如存在合適選項,RouteAPI 會繼續處理。
請求參數無效RouteAPI 返回錯誤,提示客戶端修正。
賬戶餘額或權限問題RouteAPI 返回賬戶級錯誤。
  • 非流式文本請求最適合重試。
  • 流式請求應只在輸出開始前重試。
  • 會觸發外部動作的請求應設計為冪等。
  • 客戶端仍應處理 HTTP 錯誤,並向用戶展示明確提示。
  1. 設置合理的請求超時時間。
  2. 排查問題時記錄 RouteAPI 請求 ID。
  3. 只在業務確認冪等的操作上做客戶端重試。
  4. 如果重複出現服務錯誤,請攜帶請求 ID 聯繫支持。