流式調試
流式請求涉及客戶端連接、RouteAPI 轉發和模型服務響應三層,排查時需要區分問題來源。
| 問題 | 可能原因 |
|---|---|
| 沒有任何輸出 | 客戶端未開啟 stream 或當前模型不支持 |
| 輸出中斷 | 模型服務超時、網絡斷開、客戶端關閉連接 |
| 收不到 usage | 當前模型不支持 stream_options.include_usage |
| JSON 解析失敗 | 客戶端沒有按 SSE 行解析 |
客戶端處理建議
Section titled “客戶端處理建議”- 按行讀取
data:。 - 忽略空行。
- 收到
[DONE]後結束。 - 對每個 JSON chunk 單獨解析。
- 不要把整個響應當作一個 JSON 文檔解析。