故障保護
AI 模型服務偶爾可能返回錯誤、超時或短暫不可用。RouteAPI 會在安全的情況下嘗試繼續處理請求,並在無法安全完成時返回清晰的錯誤信息。
哪些情況會被保護
Section titled “哪些情況會被保護”| 場景 | 預期行為 |
|---|---|
| 模型服務短暫錯誤 | RouteAPI 會在安全時嘗試繼續處理。 |
| 響應開始前超時 | RouteAPI 可嘗試使用其他可用服務路徑。 |
| 模型服務限流 | 如存在合適選項,RouteAPI 會繼續處理。 |
| 請求參數無效 | RouteAPI 返回錯誤,提示客戶端修正。 |
| 賬戶餘額或權限問題 | RouteAPI 返回賬戶級錯誤。 |
開發者注意事項
Section titled “開發者注意事項”- 非流式文本請求最適合重試。
- 流式請求應只在輸出開始前重試。
- 會觸發外部動作的請求應設計為冪等。
- 客戶端仍應處理 HTTP 錯誤,並向用戶展示明確提示。
推薦客戶端行為
Section titled “推薦客戶端行為”- 設置合理的請求超時時間。
- 排查問題時記錄 RouteAPI 請求 ID。
- 只在業務確認冪等的操作上做客戶端重試。
- 如果重複出現服務錯誤,請攜帶請求 ID 聯繫支持。