Tích hợp LiteLLM

LiteLLM có thể hợp nhất nhiều nhà cung cấp mô hình thành giao diện kiểu OpenAI. Khi tích hợp RouteAPI, thông thường chỉ cần cấu hình base URL tùy chỉnh và API Key.

Biến môi trường

export ROUTEAPI_KEY="your-routeapi-token"

Ví dụ Python

import litellm
import os

response = litellm.completion(
    model="openai/gpt-4o",
    api_base="https://www.routeapi.ai/v1",
    api_key=os.environ["ROUTEAPI_KEY"],
    messages=[{"role": "user", "content": "Hello RouteAPI"}],
)

print(response.choices[0].message.content)

Lưu ý

• Cách đặt tên mô hình của LiteLLM có thể kèm tiền tố provider; việc có cần tiền tố hay không phụ thuộc vào cấu hình LiteLLM.
• Phía RouteAPI vẫn xử lý yêu cầu theo ID mô hình và năng lực dịch vụ trong console.