Modèles open-weight
Modèles de texte, d’image et de vidéo issus des principales familles open source. Les workflows ComfyUI peuvent être exposés sous forme de service API.
Par exemple · DeepSeek · Qwen · GLM · Kimi · Llama · Wan · workflows ComfyUI
Vos modèles sur des GPU dédiés. Nous opérons l’ensemble de la pile.
Déploiement de LLM privé de bout en bout : nous dimensionnons le matériel, l’approvisionnons ou utilisons vos serveurs existants, mettons en production des modèles open-weight ou vos propres modèles, puis les exploitons avec un SLA de disponibilité mensuelle de 99,9 %.
- Modèles open-weight ou vos propres poids
- Matériel fourni par nos soins ou par vous
- Exploitation assurée par RouteAPI après livraison
- Disponibilité mensuelle de 99,9 %
- VousVotre applicationAppelle une API compatible OpenAI
- RouteAPIExploitationSupervision, mises à niveau, gestion des incidents
- RouteAPIService des modèlesMoteur d’inférence, quantification, mise à l’échelle
- RouteAPI ou vousServeurs GPUDimensionnés selon votre modèle et votre trafic
Modèles open-weight ou propriétaires : tous peuvent être déployés.
Dans la mesure où la licence du modèle l’autorise, nous mettons en production les modèles open-weight comme vos propres modèles.
Vos propres modèles
Modèles affinés, adaptateurs LoRA ou modèles développés en interne. Vous fournissez les poids ; nous assurons le déploiement et la mise en service.
Vous entraînez · nous déployons et exploitons
Ce service n’inclut ni l’entraînement ni l’affinage de modèles. Si votre projet le nécessite, nous vous l’indiquerons dès la phase de recueil des besoins.
Du dimensionnement à l’astreinte, une seule équipe
Les mêmes ingénieurs assurent l’évaluation, le déploiement et l’exploitation après la mise en production, y compris la gestion des incidents en dehors des heures ouvrées.
Évaluation
Le modèle, le volume de requêtes, les objectifs de latence et les contraintes sur les données déterminent le type et le nombre de GPU ainsi que le plan de déploiement.
Livrable · Configuration détaillée et devis
Matériel
Nous achetons et hébergeons les serveurs, ou nous déployons sur vos serveurs ou votre compte cloud existants.
Livrable · Plan matériel validé
Déploiement
Mise en place du moteur d’inférence, optimisation des performances et configuration de la mise à l’échelle, puis tests de charge sur votre trafic réel avant la mise en production.
Livrable · Une API compatible OpenAI
Exploitation
Supervision et alertes, mises à niveau, changements de version des modèles et gestion des incidents, avec un SLA de disponibilité mensuelle de 99,9 %.
Livrable · Une équipe d’astreinte dédiée
Vos serveurs ou les nôtres
Dans les deux cas, nous déployons et exploitons la couche logicielle et assumons le SLA correspondant.
| Matériel fourni par RouteAPI | Matériel existant du client | |
|---|---|---|
| Propriété des serveurs | Achetés par RouteAPI pour votre déploiement | Les vôtres, sur site ou dans votre compte cloud |
| Lieu d’exécution | Un centre de données que nous organisons, dans la région de votre choix | Votre centre de données ou votre région cloud |
| Facturation | Un forfait mensuel couvrant matériel et exploitation | Frais de déploiement et frais d’exploitation |
| Cas d’usage type | Vous souhaitez éviter un investissement matériel initial | Vous disposez déjà de capacités, ou vos données ne peuvent pas quitter votre environnement |
Un déploiement autonome, avec accès aux modèles publics si nécessaire
Le déploiement vous appartient et fonctionne de manière indépendante, sans passer par la plateforme RouteAPI. RouteAPI exploite également une passerelle vers plus de 70 modèles publics ; les deux peuvent être reliés lorsque votre charge de travail le justifie, selon des modalités convenues avec vous.
- Par défaut, toutes les requêtes sont traitées par votre déploiement dédié
- Les tâches complexes peuvent être routées vers GPT, Claude ou Gemini, si vous le souhaitez
- Vous décidez de la stratégie de basculement, ou de ne pas en activer
Quand ce service est adapté
Nous sommes une équipe resserrée. Voici les situations auxquelles ce service répond, et celles pour lesquelles une autre option sera préférable.
Adapté
- Un volume élevé et régulier, pour lequel des GPU dédiés coûtent moins cher qu’une facturation au token
- Des données ou des poids qui doivent rester isolés, hors de tout environnement partagé
- Un modèle déjà entraîné qui doit être mis en production
- Pas d’équipe d’infrastructure dédiée pour assurer le fonctionnement des GPU 24 h/24, 7 j/7
Peu adapté
- Entraînement ou affinage. Ce service couvre uniquement le déploiement.
- Trafic faible ou irrégulier. Notre API facturée à l’usage sera moins coûteuse.
- Clusters de plusieurs milliers de GPU. Un grand fournisseur de cloud GPU sera mieux placé.
Questions fréquentes
Indiquez-nous votre modèle et votre volume estimé. Nous vous transmettrons une évaluation des ressources et un premier devis.
Contacter notre équipeOui. Nous pouvons déployer sur vos propres serveurs, sur site ou dans votre compte cloud, ou bien acheter et héberger le matériel pour vous.
La disponibilité mensuelle de l’API de votre déploiement. Le mode de calcul des interruptions et les compensations de service sont définis dans votre contrat de déploiement.
Non. Votre déploiement fonctionne de manière autonome. Si vous souhaitez également accéder aux modèles publics ou mettre en place un basculement, nous en convenons séparément avec vous.
Uniquement les ingénieurs RouteAPI chargés de l’exploitation de votre déploiement. Nous n’utilisons ni vos poids, ni vos prompts, ni vos sorties pour entraîner des modèles.
Un devis est établi pour chaque déploiement après évaluation, en fonction du matériel, du modèle et du niveau d’exploitation requis. Le déploiement dédié n’est pas facturé au token.