Débogage du streaming

Les requêtes en streaming impliquent trois couches : la connexion client, le transfert RouteAPI et la réponse du service de modèle. Lors du diagnostic, il faut distinguer l’origine du problème.

Problèmes courants

Problème	Cause possible
Aucune sortie	Le client n’a pas activé stream ou le modèle actuel ne le prend pas en charge
Sortie interrompue	Timeout du service de modèle, coupure réseau, fermeture de connexion par le client
usage non reçu	Le modèle actuel ne prend pas en charge stream_options.include_usage
Échec d’analyse JSON	Le client n’analyse pas ligne par ligne au format SSE

Recommandations de traitement côté client

• Lire data: ligne par ligne.
• Ignorer les lignes vides.
• Terminer après réception de [DONE].
• Analyser chaque JSON chunk séparément.
• Ne pas analyser toute la réponse comme un seul document JSON.