Gỡ lỗi streaming

Yêu cầu streaming liên quan đến ba lớp: kết nối client, chuyển tiếp RouteAPI và phản hồi dịch vụ mô hình. Khi xử lý, cần phân biệt nguồn gốc vấn đề.

Vấn đề thường gặp

Vấn đề	Nguyên nhân có thể
Không có đầu ra	Client chưa bật stream hoặc mô hình hiện tại không hỗ trợ
Đầu ra bị ngắt	Dịch vụ mô hình timeout, mạng bị ngắt, client đóng kết nối
Không nhận được usage	Mô hình hiện tại không hỗ trợ stream_options.include_usage
Phân tích JSON thất bại	Client không phân tích theo dòng SSE

Khuyến nghị xử lý phía client

• Đọc data: theo từng dòng.
• Bỏ qua dòng rỗng.
• Kết thúc khi nhận [DONE].
• Phân tích riêng từng JSON chunk.
• Không phân tích toàn bộ phản hồi như một tài liệu JSON duy nhất.