Hybride : le local d'abord, le cloud seulement quand ça vaut le coup

Niveau AvancéTemps estimé 1 hÀ lire avant Une passerelle pour tous vos modèles, et trois façons dont un modèle local gèle vos agents, Un petit juge local pour les petites décisionsUn mot inconnu ? Lexique

Les modèles locaux font l'essentiel du travail ; certaines tâches demandent quand même un modèle de pointe. Payer un abonnement pour tout gaspille son quota sur ce qu'un modèle local fait bien ; refuser le cloud en bloc laisse les tâches dures non faites. Notre réponse, c'est une petite file d'escalade : chaque tâche ne monte que jusqu'où elle en a besoin.

Une tâche ne monte que jusqu'où elle en a besoin. Les modèles locaux d'abord ; s'ils ne peuvent pas, l'agent hébergé le moins cher ; le plus cher seulement quand la tâche l'exige ou que vous l'avez épinglée. Chaque agent hébergé a un plafond par jour et une cage, et rien ne monte sans votre confirmation sur le téléphone.

1. Une file, pas un réflexe

Les agents n'appellent pas un modèle hébergé directement. Quand un agent local ne peut pas finir une tâche, il la dépose dans une file d'escalade avec ce qu'il a déjà essayé. La file décide qui la prend : par défaut l'agent hébergé le moins cher, l'agent frontier seulement si le moins cher n'a plus de quota ou ne répond pas, ou si vous avez épinglé la tâche sur lui (problèmes durs, changements critiques, relectures finales).

2. Plafonds et cages

Un plafond par jour pour chaque agent hébergé (chez nous : 30 tâches par jour pour le moins cher, 10 pour le frontier) : une boucle ne peut pas brûler un mois de quota en une nuit.
Une liste d'outils autorisés pour l'agent qui en accepte une, sans sudo, sans suppression récursive, sans arrêt de processus par nom.
Une cage pour l'agent qui n'a pas de liste d'outils : un système en lecture seule, l'écriture seulement dans son dossier de travail.

3. Vous confirmez

Rien ne monte vers un agent hébergé sans une carte sur votre téléphone : la tâche, l'agent choisi, un oui ou un non. Les gros projets sont découpés en tâches ordonnées, avec une relecture finale par le modèle le plus fort.

Pièges que nous avons payés

Lancez les tâches dans l'ordre. Notre premier lanceur de projets démarrait toutes les tâches à la fois : une tâche « relire puis déployer » a tourné sur du code pas encore écrit. Les dépendances font partie du plan.

Les données privées restent locales : aiguillez selon la classe de la donnée, pas seulement selon la difficulté (voir la cascade de décision dans Homelab 14).

Un proxy de compression de contexte devant un modèle hébergé n'a rien économisé sur des prompts de moins de 100 000 jetons environ, et a coûté un peu plus. Mesurez avant d'ajouter une couche.

Utile ? Dites-nous ce qu'il faut mesurer ensuite.