Des modèles gratuits dans le nuage derrière votre passerelle, et des routes qui disent qui répond

Vos cartes sont le premier choix : privées, gratuites une fois achetées, et aussi rapides que vous les avez réglées. Mais une carte qui fait tourner un jeu, un long calcul ou un redémarrage ne répond à rien. Plusieurs fournisseurs offrent de vrais modèles gratuitement, dans des quotas par jour ou par minute. Placez-les derrière la même passerelle et regroupez-les en routes : un nom qui essaie une liste de modèles dans l'ordre. La règle qui garde tout cela honnête : seul un nom qui commence par auto- a le droit de faire répondre un autre modèle.

Ce que vous y gagnez. 34 modèles dans le nuage ajoutés à la passerelle, à côté des slots locaux, pour un budget total de 0 €. Trois routes : auto-local-first (les cartes, puis les API gratuites), auto-gratuit (API gratuites seulement) et auto-difficile (les modèles gratuits les plus forts, puis des crédits offerts en dernier). Chaque client qui parle déjà à la passerelle les voit sans rien changer.

Un peu d'histoire

Les offres gratuites de modèles de langage sont apparues en 2024, quand de nouvelles sociétés d'inférence (Groq avec ses puces LPU maison, puis Cerebras avec des puces de la taille d'une galette de silicium) avaient besoin que les développeurs les essaient. Les grands laboratoires ont suivi avec des clés gratuites pour leurs petits modèles. Le paysage bouge vite, et dans les deux sens. Rien qu'en 2026, GitHub Models a fermé le 30 juillet. Gemini CLI gratuit a laissé place à Antigravity CLI le 18 juin. L'accès gratuit Qwen OAuth s'est arrêté le 15 avril. Et depuis le 23 mars, un projet Google AI Studio rattaché à un compte de facturation prépayé vide refuse tous les appels, modèles gratuits compris. Une source gratuite est un prêt, pas une fondation : c'est pour cela que les cartes restent en tête.

1. Ce qui est permis, et ce qui ne l'est pas

• Uniquement les offres officielles : une clé tirée de la console du fournisseur, utilisée par son API documentée.
• Un compte par fournisseur. Faire tourner plusieurs comptes pour multiplier un quota gratuit viole les conditions de chacun d'eux.
• Aucun agrégateur par rétro-ingénierie qui rejoue une session de chat web comme une API : il viole les conditions et casse sans prévenir.
• Lisez la clause sur les données. Certaines offres gratuites peuvent utiliser vos requêtes pour entraîner leurs modèles (l'offre gratuite « Experiment » de Mistral le dit). N'y faites passer aucun secret, aucun code client, rien de personnel.

2. Les sources branchées, et ce qu'elles ont fait ce jour-là

Déclarez un modèle même s'il échoue aujourd'hui. Un modèle gratuit surchargé ou pas encore ouvert revient ; une route le saute simplement en attendant. Le retirer par script au premier échec transforme une mauvaise heure en modèle disparu.

3. Aucune clé dans un fichier que vous pourriez partager

Une clé va de la console du fournisseur à votre gestionnaire de secrets, de là à un seul fichier d'environnement lu par la passerelle, et nulle part ailleurs. La configuration de la passerelle nomme la variable, jamais la valeur :

# la clé passe directement du presse-papiers au gestionnaire de secrets
wl-paste | tr -d '\n\r ' | votre-coffre put GROQ_API_KEY
wl-copy --clear

# le fichier d'environnement de la passerelle : mode 0600, lu au démarrage
#   GROQ_API_KEY='…'

# dans la configuration générée, seulement une référence :
api_key: "os.environ/GROQ_API_KEY"

Les modèles distants vivent dans une carte à côté de celle qui liste les slots locaux, une ligne par modèle :

# remote.map — nom|api_base|modèle_amont|max_input_tokens|api_key
groq-gpt-oss-120b|https://api.groq.com/openai/v1|openai/gpt-oss-120b|131072|os.environ/GROQ_API_KEY
cf-gpt-oss-120b|https://api.cloudflare.com/client/v4/accounts/YOUR-ACCOUNT-ID/ai/v1|@cf/openai/gpt-oss-120b|131072|os.environ/CLOUDFLARE_AI_TOKEN

Le générateur refuse un modèle distant qui porte le nom d'un slot local : deux modèles derrière un même nom, c'est exactement la confusion que la passerelle existe pour empêcher.

4. Les routes : plusieurs modèles derrière un nom, et le nom le dit

Une troisième carte liste les routes. Chaque ligne donne un nom et ses membres, dans l'ordre où il faut les essayer :

# routes.map — route|membre,membre,...
auto-local-first|local-27b-card1,local-9b-card1,groq-gpt-oss-120b,cerebras-gpt-oss-120b,gemini-flash-lite
auto-gratuit|groq-gpt-oss-120b,cerebras-gpt-oss-120b,gemini-flash-lite,mistral-codestral
auto-difficile|nv-glm-5.3,or-nemotron-3-ultra,umans-glm-5.3

Le générateur transforme chaque route en une entrée de la passerelle (une copie de son premier membre) et une liste de repli, et rien d'autre ne se replie :

router_settings:
  # Only routes fall back, and only to the models they list.
  fallbacks:
    - "auto-gratuit": ["cerebras-gpt-oss-120b", "gemini-flash-lite", "mistral-codestral"]

Il refuse la configuration entière, plutôt qu'à moitié, quand une route ne commence pas par auto-, cite un membre inconnu, en cite un deux fois, ou reprend le nom d'un modèle existant. Sans fichier de routes, sa sortie est identique, à l'octet près, à ce qu'elle était avant.

Ordonnez une route selon ce que vous acceptez de dépenser. Des crédits offerts qui ne se renouvellent pas passent en dernier : ils ne servent que quand tous les modèles gratuits ont échoué.

5. Prouver le repli, ne pas le supposer

LiteLLM documente une option mock_testing_fallbacks censée simuler une panne. Sur notre version (1.92), elle n'a rien changé : le premier membre répondait à chaque fois. Nous avons donc provoqué une vraie panne, sans toucher à la passerelle en service :

1. Générer une petite configuration avec une route : premier membre, un slot local non chargé ; second membre, une API gratuite.
2. En démarrer une seconde passerelle sur un port libre, dans le même conteneur, sous timeout 120 pour qu'elle s'arrête seule.
3. Appeler la route : l'API gratuite a répondu, et l'en-tête de la réponse disait x-litellm-attempted-fallbacks: 1.
4. Appeler le slot non chargé par son propre nom : une erreur de connexion, « No fallback model group found ». C'est la seconde moitié de la preuve.

Sur la vraie passerelle, l'en-tête x-litellm-model-api-base vous dit quel membre a répondu à chaque requête : votre carte, ou quel fournisseur.

Pièges

La configuration vide. Dans une session SSH non interactive, ~/.local/bin n'est souvent pas dans le PATH. Une ligne comme gen > tmp || true; mv tmp config.yaml installe alors un fichier vide, et la passerelle ne sert plus aucun modèle. Appelez le générateur par son chemin complet, et ne remplacez la configuration qu'après l'avoir vérifiée : elle n'est pas vide, elle contient le nombre de modèles attendu, et aucun api_key ne contient autre chose qu'une référence.

Google répond 402, « prepayment credits are depleted », sur un modèle gratuit. Le projet est rattaché à un compte de facturation prépayé à zéro. Détachez la facturation de ce projet dans AI Studio, créez une nouvelle clé, et l'offre gratuite refonctionne.

N'affichez jamais une partie de clé « pour vérifier ». Trois caractères dans un terminal, ce sont trois caractères dans un journal. Vérifiez un préfixe par un test oui/non, jamais en l'affichant.

Le gratuit est lent quand il est demandé. Un modèle gratuit puissant a mis 115 secondes pour une réponse d'un mot, dans une file partagée. Donnez aux agents un délai à la mesure, ou gardez les lents en fin de route.

Sources

• LiteLLM, fallbacks and reliability
• LiteLLM, router
• Groq, rate limits
• Cerebras, rate limits
• Gemini API, rate limits
• Gemini API, billing
• Cloudflare Workers AI, pricing and free allocation
• OpenRouter, limits
• Cohere, rate limits
• NVIDIA build (NIM)
• Mistral, models

Utile ? Dites-nous ce qu'il faut mesurer ensuite.