Nos constats : chaque astuce et chaque fait mesuré, une ligne chacun

Cette page est la version courte de tout le reste : les découvertes, les astuces et les résultats de bancs accumulés depuis le début, une ligne chacun. Rien ici n'est recopié d'un forum ; les lignes viennent de nos propres machines (méthode dans la note ci-dessous), et renvoient au tutoriel qui raconte l'histoire.

Comment ces chiffres ont été obtenus. Mesurés sur nos propres machines (voir le protocole), en général en un seul passage, vitesses relevées par le serveur lui-même ; nous ne publions pas les journaux bruts. Ce sont des ordres de grandeur sur ce matériel, pas des garanties sur le vôtre. Les chiffres extérieurs sont accompagnés de leur source.

Ce que vous y gagnez. Des mois de soirées en quinze minutes de lecture. Parcourez-la avant votre prochaine mise à niveau, votre prochain modèle, ou votre prochain « pourquoi c'est lent ? ».

Cartes graphiques et PCIe

• Une carte peut tourner en x4 au lieu de x16 après un redémarrage, sans bruit. « Auto » dans le BIOS, c'est le x16 ; un cycle d'alimentation l'a ramené (tutoriel).
• Désignez une carte par son identité, jamais par son adresse de bus : les adresses bougent d'un démarrage à l'autre (tutoriel).
• Une seconde carte en OCuLink plafonne à x4, 63 Gbit/s, et ça suffit pour l'inférence (tutoriel).
• Après une mise à jour du pilote ou un redémarrage, un conteneur peut voir la carte et tourner quand même sur le processeur : régénérez la description des périphériques à chaque démarrage (tutoriel).
• Sans CUDA_DEVICE_ORDER=PCI_BUS_ID, la « carte 1 » de CUDA n'est pas forcément celle de nvidia-smi (tutoriel).

Modèles et vitesse

• Compresser le cache V en q4_0 a rendu la lecture du prompt 21 fois plus lente, en silence. Prenez q8_0 pour K et V (tutoriel).
• Un modèle MoE de 177B est passé de 26,1 à 55,6 jetons par seconde une fois ses poids bien placés (tutoriel).
• Décodage spéculatif (MTP) : 65,7 jetons par seconde pour un 27B sur une carte (tutoriel).
• KVMem : 48/48 en rappel à 130k jetons, une vitesse plate au-delà de 100k, 4,9 Go de VRAM économisés (tutoriel).
• La réflexion laissée active a brûlé 2 500 jetons sans une ligne de code ; coupée, le même code en 2,5 s (tutoriel).
• llama-server ignore enable_thinking à la racine d'une requête ; utilisez chat_template_kwargs (tutoriel).
• Des poids de modèle résidents plutôt que projetés en mémoire : +3 % de vitesse, puis deux gels de la machine (carnet).
• Surveillez la pression mémoire, pas la « mémoire disponible » : elle disait que tout allait bien trois minutes avant un gel (tutoriel).

Agents

• Petit et cadré bat gros et vague : le 9B a livré des demandes de fusion propres là où le 27B n'a rien produit (tutoriel).
• Déclarez les outils en signatures Python : en JSON Schema, les modèles choisissaient bien mais ne remplissaient pas les valeurs (tutoriel).
• 98 % de la facture d'un agent, ce sont les mêmes 30 939 jetons de consignes et d'outils, renvoyés à chaque tour (tutoriel).
• Invité dans son prompt à consulter le juge, un agent l'a fait 0 fois sur 3 ; aiguillé par le code, à chaque fois (tutoriel).
• Muni des faits, un 27B a trouvé 5 pannes sur 5 en 72 s, contre 2,75 en 9 minutes sans (tutoriel).
• Un juge de 0,8B sur le processeur : 0,05 s par décision, jamais faux au-dessus de 0,8 de confiance sur nos mails (tutoriel).
• Un proxy de contexte n'a rien économisé sous 100k jetons et a une fois triplé la facture en cassant le cache de prompt (tutoriel).
• Ne tuez jamais par motif de nom à travers SSH : le motif attrape votre propre shell (tutoriel).

Création

• La distillation en quatre étapes a rendu un plan vidéo 6,8 fois plus vite, et l'image était meilleure (tutoriel).
• Un modèle vidéo rend ce qui suit l'action : écrivez « still » ou un participe présent (tutoriel).
• Trois minutes de musique en 27 secondes ; stockez-les en Opus, 3 Mo au lieu de 69 (tutoriel).

Homelab et poste

• Avec Docker, les bannissements de fail2ban doivent aller dans la chaîne DOCKER-USER, sinon ils ne bloquent rien (tutoriel).
• Un service publié sur internet est surtout visité par des scanners : ne publiez que ce qui en a besoin (tutoriel).
• ExecCondition traite le code 255 comme un échec, et 255 est ce que renvoie ssh quand l'hôte est absent (tutoriel).
• « Luminosité 100 % » peut être le réglage le plus sombre : un débordement du pilote près du maximum (tutoriel).
• Grafana télécharge des greffons au premier démarrage, sauf si on le lui interdit (tutoriel).

Utile ? Dites-nous ce qu'il faut mesurer ensuite.