LiteLLM 接続

LiteLLM は複数のモデル提供元を OpenAI 形式のインターフェースに統一できます。RouteAPI に接続する場合、通常はカスタム base URL と API Key を設定するだけです。

環境変数

export ROUTEAPI_KEY="your-routeapi-token"

Python サンプル

import litellm
import os

response = litellm.completion(
    model="openai/gpt-4o",
    api_base="https://www.routeapi.ai/v1",
    api_key=os.environ["ROUTEAPI_KEY"],
    messages=[{"role": "user", "content": "Hello RouteAPI"}],
)

print(response.choices[0].message.content)

注意事項

• LiteLLM のモデル名には provider プレフィックスが付く場合があります。実際にプレフィックスが必要かどうかは LiteLLM の設定によって異なります。
• RouteAPI 側では、コンソール内のモデル ID とサービス機能に基づいてリクエストを処理します。