Protection en cas d'échec
Les services de modèles IA peuvent parfois retourner des erreurs, expirer ou devenir brièvement indisponibles. RouteAPI tente de poursuivre le traitement de la requête lorsque cela est sûr, et retourne une erreur claire lorsqu’elle ne peut pas être terminée en toute sécurité.
Cas protégés
Section intitulée « Cas protégés »| Scénario | Comportement attendu |
|---|---|
| Erreur temporaire du service de modèle | RouteAPI tente de poursuivre le traitement lorsque cela est sûr. |
| Timeout avant le début de la réponse | RouteAPI peut essayer d’utiliser une autre voie de service disponible. |
| Limitation du service de modèle | Si une option adaptée existe, RouteAPI poursuit le traitement. |
| Paramètres de requête invalides | RouteAPI retourne une erreur et invite le client à corriger la requête. |
| Problème de solde ou de droits du compte | RouteAPI retourne une erreur au niveau du compte. |
Points d’attention pour les développeurs
Section intitulée « Points d’attention pour les développeurs »- Les requêtes texte non streaming sont les plus adaptées à la reprise.
- Les requêtes en streaming ne doivent être reprises qu’avant le début de la sortie.
- Les requêtes qui déclenchent des actions externes doivent être conçues comme idempotentes.
- Le client doit tout de même gérer les erreurs HTTP et afficher un message clair à l’utilisateur.
Comportement client recommandé
Section intitulée « Comportement client recommandé »- Définissez un délai d’attente de requête raisonnable.
- Enregistrez l’ID de requête RouteAPI lors du diagnostic.
- Effectuez des reprises côté client uniquement pour les opérations confirmées comme idempotentes.
- Si des erreurs de service se répètent, contactez le support avec l’ID de requête.