跳到內容

流式調試

流式請求涉及客戶端連接、RouteAPI 轉發和模型服務響應三層,排查時需要區分問題來源。

問題可能原因
沒有任何輸出客戶端未開啟 stream 或當前模型不支持
輸出中斷模型服務超時、網絡斷開、客戶端關閉連接
收不到 usage當前模型不支持 stream_options.include_usage
JSON 解析失敗客戶端沒有按 SSE 行解析
  • 按行讀取 data:
  • 忽略空行。
  • 收到 [DONE] 後結束。
  • 對每個 JSON chunk 單獨解析。
  • 不要把整個響應當作一個 JSON 文檔解析。