Un juge 100 % local en deux passes : Tev1 d'abord, Nimble en cas de doute

Un petit juge est rapide et honnête sur ses doutes. Un plus gros est plus sûr mais coûte de la mémoire et du temps. Plutôt que choisir, enchaînez-les, et laissez le code décider qui répond. Notre service de juge parle la même API qu'un juge hébergé : les appelants ont changé une adresse et cessé d'envoyer leurs questions dehors.

Comment ces chiffres ont été obtenus. Mesurés sur nos propres machines (voir le protocole), en général en un seul passage, vitesses relevées par le serveur lui-même ; nous ne publions pas les journaux bruts. Ce sont des ordres de grandeur sur ce matériel, pas des garanties sur le vôtre. Les chiffres extérieurs sont accompagnés de leur source.

Ce que vous y gagnez. Des décisions sur vos propres données sans rien envoyer dehors : 0,87 à 0,91 sur 77 vrais mails, contre 0,86 à 0,95 pour le service hébergé. Au repos, la mémoire est vide : chaque modèle se charge à la demande et repart.

1. Les deux passes, décidées par le code

1. Chaque question part chez le modèle rapide : Tev1, 0,8B, environ 1 Go, 0,05 s par décision sur le processeur.
2. Sa réponse est gardée quand sa confiance atteint 0,8. À ce niveau, il ne s'est jamais trompé sur nos mails, et en a tranché 38 % seul.
3. Le reste part chez le modèle lent : Nimble, 9B, environ 10 Go, 0,8 s par décision, chargé à la demande et libéré 60 s après, pour qu'une rafale partage un seul chargement.
4. Si le modèle lent ne peut pas répondre (sa machine dort), la réponse rapide revient marquée "confirmed": false. L'appelant décide. Rien n'est deviné.

Chaque réponse dit qui a décidé (decided_by) et si elle est confirmée.

2. Servir les deux modèles avec Ollama, sur le processeur

OLLAMA_HOST=127.0.0.1:11435 OLLAMA_KEEP_ALIVE=0 ollama serve
fh-judge serve      # http://127.0.0.1:8475/v1/systemone, GET /health
fh-judge ask < question.json

Aucune carte graphique en jeu : les cartes restent aux agents et aux images.

3. Mesuré

Le duo local égale le juge hébergé sur les questions conceptuelles et reste à quatre points sur les lexicales. C'était notre condition avant de laisser un juge lire des documents personnels.

Pièges

La question va dans instructions, pas dans question : le mauvais champ renvoie une erreur 400. Et le petit modèle lit 2 000 jetons au plus : envoyez les faits, pas le fichier.

Placez le petit juge là où rien ne dort. Le gros peut rester sur la grosse machine ; le petit doit répondre la nuit aussi, pour les automatisations.

Utile ? Dites-nous ce qu'il faut mesurer ensuite.