模型服務異常排查
當 RouteAPI 返回服務側錯誤時,問題通常與模型服務狀態、請求參數或賬戶可用額度有關。
- 模型服務是否仍可用。
- 賬戶餘額或額度是否充足。
- 是否超過當前服務限流。
- 請求參數是否被模型服務拒絕。
- 模型 ID 是否仍在可用列表中。
- 是否可以稍後重試或切換到其他可用模型。
- 為關鍵業務配置健康檢查。
- 記錄服務側錯誤原文,但避免洩露密鑰。
- 對連續失敗的服務請求設置冷卻和告警。
- 為生產場景準備可替代的模型方案。
當 RouteAPI 返回服務側錯誤時,問題通常與模型服務狀態、請求參數或賬戶可用額度有關。