billion-context : un proxy de compression de contexte, mesuré honnêtement
billion-context est un proxy libre : votre agent lui parle au lieu de parler à son modèle, et il réécrit la conversation au passage, en donnant au modèle des outils pour compresser et rappeler ce qui est ancien. La promesse : de longues sessions sans buter sur la fenêtre. Nous n'adoptons pas un outil sur une promesse : nous l'avons mesuré sur les trois agents que nous utilisons.
Comment ces chiffres ont été obtenus. Mesurés sur nos propres machines (voir le protocole), en général en un seul passage, vitesses relevées par le serveur lui-même ; nous ne publions pas les journaux bruts. Ce sont des ordres de grandeur sur ce matériel, pas des garanties sur le vôtre. Les chiffres extérieurs sont accompagnés de leur source.
Ce que vous y gagnez. Une réponse claire avant d'y passer une soirée : aucun gain sous environ 100 000 jetons de contexte, un vrai surcoût dans certains cas, et la façon sûre de l'installer, le brancher et le retirer si vous voulez l'essayer sur de longues sessions.
1. L'installer serré
- Épinglez la version et installez sans lancer les scripts du paquet (
npm install --ignore-scripts) : sa seule dépendance est une bibliothèque de validation. - Faites-le tourner en service utilisateur attaché à la machine elle-même, avec
NoNewPrivilegesetProtectSystem=strict. - Coupez dans sa configuration les mises à jour automatiques et les appels « quoi de neuf ».
2. Le brancher, un agent à la fois
- Claude Code : pointez
ANTHROPIC_BASE_URLsur le proxy, avec un repli direct s'il ne répond pas. Marche avec un abonnement ; aucun jeton n'apparaît dans son journal. - Kimi Code : changer l'adresse ne marche pas, parce que Kimi range sa connexion sous une clé dérivée de cette adresse, et la perd. Utilisez plutôt le greffon natif du proxy : il ajoute un fournisseur à part qui garde la même clé de connexion.
- OpenFox : un seul interrupteur, l'adresse du modèle qu'il utilise.
3. Ce que nous avons mesuré
| Essai | En direct | Par le proxy |
|---|---|---|
| Claude, 40 fichiers lus en parallèle | 0,19 $ | 0,62 $ : le proxy change le début du prompt, le cache du modèle repart à froid |
| Kimi, une chaîne de 30 fichiers | 132 s, juste | 102 s, juste, mais 13 % de données envoyées en plus et aucune compression déclenchée en 31 requêtes |
| OpenFox, une chaîne de 40 fichiers sur un 27B local | arrêt à 15 fichiers | arrêt à 13 fichiers, 60 % de lecture de prompt en plus |
Verdict : sous environ 100 000 jetons, rien à gagner et un petit surcoût (ses propres descriptions d'outils ajoutent environ 17 Ko à chaque requête). Son effet attendu porte sur les petites fenêtres locales, 32k à 64k, sur de très longues sessions : encore à démontrer. Nous avons remis chaque agent sur sa route directe.
Pièges
Un proxy qui réécrit le prompt casse le cache de prompt du fournisseur. Sur un abonnement facturé au jeton, cela seul peut tripler une facture.
Ne copiez pas le jeton de connexion d'un agent pour faire marcher un proxy : les jetons qui se renouvellent seuls peuvent invalider l'original. Utilisez un mécanisme qui partage la connexion existante.
Gardez un retour arrière d'une ligne : une variable d'environnement ou plugin remove. Les nôtres ont servi le soir même.
Sources
Utile ? Dites-nous ce qu'il faut mesurer ensuite.