跳到內容

模型服務異常排查

當 RouteAPI 返回服務側錯誤時,問題通常與模型服務狀態、請求參數或賬戶可用額度有關。

  1. 模型服務是否仍可用。
  2. 賬戶餘額或額度是否充足。
  3. 是否超過當前服務限流。
  4. 請求參數是否被模型服務拒絕。
  5. 模型 ID 是否仍在可用列表中。
  6. 是否可以稍後重試或切換到其他可用模型。
  • 為關鍵業務配置健康檢查。
  • 記錄服務側錯誤原文,但避免洩露密鑰。
  • 對連續失敗的服務請求設置冷卻和告警。
  • 為生產場景準備可替代的模型方案。