À propos : qui écrit, sur quelles machines, et comment nous mesurons

Dernière révision : 2026-10-22

freedzhost.cloud est un labo. Nous cassons, nous mesurons, et nous écrivons ce qui s'est passé.

Les machines

Chaque chiffre de ce site vient de notre matériel. Nous ne citons aucune autre machine comme la nôtre.

• Geekom A7 : notre mini-PC principal.
• NUC 7 i5 : un mini-PC slim et ancien qui fait tourner tous nos services. La preuve qu'un homelab n'exige pas du neuf.
• Machine gamer : une RTX 5080 et une RTX 4070 Ti SUPER externe. C'est là que tournent les modèles locaux.
• Laptop et serveurs : un poste EliteBook, plus mindhub et sentinelle pour les services autour des modèles.
• Machines d'essai : un laptop Dell d'ancienne génération et un second NUC 7, gardés pour les essais, les expériences et ce que nous pensons casser.

Comment nous mesurons

Nous mesurons les tokens par seconde sur les vraies cartes, avec le vrai serveur et le vrai fichier de modèle, et nous disons lesquels. Nous n'extrapolons pas depuis une autre carte. Pour choisir un modèle, nous utilisons fh-bench : du code juge chaque réponse, puis les modèles travaillent pour de vrai (le bench). Les mesures GPU et mémoire viennent de fh-probes.

Le protocole, en bref

• Vitesse (tokens par seconde) : le chiffre que le serveur llama.cpp rapporte lui-même pour chaque requête (predicted_per_second pour la génération, prompt_per_second pour la lecture du prompt). Nous ne chronométrons pas de l'extérieur.
• Qualité (fh-bench) : température 0, et chaque réponse est jugée par du code, jamais par un autre modèle : un outil réellement appelé, un JSON qui valide, une réponse qui correspond, un programme dont les tests passent. Le test de long contexte cache une aiguille dans un texte généré, à des tailles croissantes (de 4k à 128k tokens), toujours le même texte.
• Répétitions : sauf mention contraire dans l'article, un chiffre est une seule exécution sur une seule machine, pas une moyenne. Quand nous avons répété une mesure, l'article dit combien de fois et donne la médiane et l'étendue.
• Versions et dates : modèles, quantifications et serveurs changent toutes les quelques semaines. La date de relecture en tête d'article est la dernière fois où nous avons revu le texte, pas forcément la date de chaque mesure ; un chiffre n'est valable que pour le matériel et le fichier de modèle cités à côté.
• Chiffres extérieurs (un papier, un constructeur, une autre équipe) : toujours étiquetés comme tels, avec la source en lien. Sans étiquette, le chiffre est le nôtre.

Quand une chose n'est pas mesurée, le tuto le dit.

Ce que nous ne promettons pas

• Pas de benchmarks synthétiques maquillés : un chiffre qui n'existe que dans un banc de test n'est pas un résultat.
• Pas de promesse de revenus : faire tourner tout ça chez soi économise des abonnements, cela n'en rapporte aucun.
• Les versions évoluent. Chaque tuto indique sa dernière révision, et ce avec quoi nous l'avons testé quand c'est utile. Lisez cette date avant de copier une commande.

Une question, une correction : écrivez-nous.

Utile ? Dites-nous ce qu'il faut mesurer ensuite.