Intégration LiteLLM

LiteLLM peut unifier plusieurs fournisseurs de modèles dans une interface de style OpenAI. Pour se connecter à RouteAPI, il suffit généralement de configurer une base URL personnalisée et une API Key.

Variable d’environnement

export ROUTEAPI_KEY="your-routeapi-token"

Exemple Python

import litellm
import os

response = litellm.completion(
    model="openai/gpt-4o",
    api_base="https://www.routeapi.ai/v1",
    api_key=os.environ["ROUTEAPI_KEY"],
    messages=[{"role": "user", "content": "Hello RouteAPI"}],
)

print(response.choices[0].message.content)

Notes

• Le nom de modèle LiteLLM peut inclure un préfixe provider ; la nécessité de ce préfixe dépend de la configuration LiteLLM.
• Côté RouteAPI, les requêtes sont toujours traitées selon l’ID de modèle et les capacités du service affichés dans la console.