Matériel

Les articles qui aident à choisir, monter et optimiser la machine qui fait tourner l'IA et les services à la maison.

• Avant de commencer : le matériel, honnêtementCe qui tient sur quelle carte, chiffres mesurés à l'appui, et quoi acheter en premier.
• Libérer vos cartes graphiques pour l'IA, et jouer quand mêmeMettre le bureau sur le GPU intégré, donner chaque octet de VRAM aux modèles, et laisser Steam emprunter une carte seulement le temps de jouer.
• Plusieurs modèles, deux cartes graphiques : une grille plutôt qu'un numéro de jonglageUn conteneur par modèle et par carte, des bascules qui coûtent une demi-seconde par gigaoctet, un service vocal qui cède la place, et pourquoi un modèle ne doit jamais remplir sa carte.
• RAM, zram et swap sur une machine IA : les trois voleurs qui nous coûtaient un facteur dixAvant de soupçonner le GPU, mesurez la RAM. Trois réglages la mangeaient ; les corriger a fait passer un modèle de 1,9 à environ 20 jetons par seconde.
• Une seconde carte graphique en OCuLink : plus de VRAM sans changer de carte mèreQuand la carte mère n'a qu'un gros emplacement, un emplacement M.2 peut prêter ses quatre lignes à une carte externe. Ce qui a marché, ce qui n'a pas marché, et comment lire le lien.
• Le décodage spéculatif (MTP) : jusqu'à deux fois plus vite sur la même carteUne petite tête devine les jetons suivants, le modèle les vérifie en une passe. Les bons réglages, la valeur à mesurer vous-même, le vrai gain en production, et le plantage à surveiller.
• Un modèle de 177 milliards de paramètres sur deux cartes grand public : l'emplacement compte plus que le débitUn modèle à mélange d'experts qui ne tient pas en VRAM peut quand même tourner à la maison. L'endroit où vivent ses poids compte plus que le lien PCIe, et deux réglages font la différence entre un serveur rapide et une machine gelée.
• Lent sans raison ? Il relit : le piège du cache KVUn modèle local qui génère vite mais met dix minutes à répondre n'est pas lent : il lit mal le prompt. Un seul réglage l'a rendu 21 fois plus lent, en silence. Comment le mesurer en deux minutes, et les deux réglages à mettre à la place.
• Contexte long sur une carte de 16 Go : KVMem, et notre versionLes agents lisent de longues conversations. KVMem garde tout l'historique en RAM système et seulement les blocs utiles sur la carte : 48 rappels sur 48, une vitesse qui reste plate au-delà de 100k jetons, 4,9 Go de VRAM économisés. Et ce qu'ajoute notre version : un binaire pour deux générations de cartes, les experts en mémoire hôte, les probabilités par jeton, un cache d'experts sur la carte qui fait tourner un 177B sur une seule carte.
• Quel modèle local pour quel travail : un banc qui mesure le vrai travailLes bancs favorisent le modèle rapide ; le vrai travail a favorisé le fiable. Un banc où le code juge chaque réponse, puis où chaque modèle travaille pour de vrai sur un petit dépôt. Ce qu'il a montré : petit et cadré bat gros et vague, et quatre réglages comptent plus que le modèle.
• Strata : un modèle de 177 milliards de paramètres sur une seule carte de jeuStrata est un moteur libre fait pour faire tourner Qwen3.8-Flash-Next sur un PC ordinaire : une carte de 12 à 16 Go et assez de RAM pour les experts. Comment nous l'avons branché dans notre grille GPU comme une case de plus, et les trois détails qui décident s'il démarre.
• Votre carte graphique en x4 au lieu de x16 : le diagnostiquer, et retrouver le x16Une carte peut tourner en silence sur un quart de ses lignes après un redémarrage. Comment lire le lien que le micrologiciel lui a vraiment donné, pourquoi le BIOS n'a pas de réglage « x16 » à choisir, la mauvaise solution à éviter, et ce qu'un cycle d'alimentation a fait chez nous : de x4 à x16, sans rien changer.

Utile ? Dites-nous ce qu'il faut mesurer ensuite.