跳到內容

LiteLLM 接入

LiteLLM 可以把多個模型供應商統一成 OpenAI 風格接口。接入 RouteAPI 時,通常只需要配置自定義 base URL 和 API Key。

Terminal window
export ROUTEAPI_KEY="your-routeapi-token"
import litellm
import os
response = litellm.completion(
model="openai/gpt-4o",
api_base="https://www.routeapi.ai/v1",
api_key=os.environ["ROUTEAPI_KEY"],
messages=[{"role": "user", "content": "Hello RouteAPI"}],
)
print(response.choices[0].message.content)
  • LiteLLM 的模型命名可能帶 provider 前綴,實際是否需要前綴取決於 LiteLLM 配置。
  • RouteAPI 側仍按控制台中的模型 ID 和服務能力處理請求。