ストリーミングデバッグ

ストリーミングリクエストには、クライアント接続、RouteAPI 転送、モデルサービスレスポンスの 3 層が関係します。調査時は、問題の発生元を切り分ける必要があります。

よくある問題

問題	考えられる原因
何も出力されない	クライアントで stream が有効になっていない、または現在のモデルが対応していない
出力が中断される	モデルサービスのタイムアウト、ネットワーク切断、クライアントによる接続終了
usage を受け取れない	現在のモデルが stream_options.include_usage に対応していない
JSON 解析に失敗する	クライアントが SSE 行として解析していない

クライアント処理の推奨事項

• data: を行単位で読み取ります。
• 空行は無視します。
• [DONE] を受け取ったら終了します。
• 各 JSON chunk を個別に解析します。
• レスポンス全体を 1 つの JSON ドキュメントとして解析しないでください。