Avant de commencer : le matériel, honnêtement
Dernière révision :
La première question de tout le monde : de quoi ai-je besoin ? Voici ce que nous avons mesuré sur notre propre machine, deux cartes NVIDIA de 16 Go (une RTX 5080 et une RTX 4070 Ti SUPER).
Comment ces chiffres ont été obtenus. Mesurés sur nos propres machines (voir le protocole), en général en un seul passage, vitesses relevées par le serveur lui-même ; nous ne publions pas les journaux bruts. Ce sont des ordres de grandeur sur ce matériel, pas des garanties sur le vôtre. Les chiffres extérieurs sont accompagnés de leur source.
La règle : la mémoire vidéo décide
Un modèle tourne vite quand il tient entièrement dans la mémoire de la carte (la VRAM). La taille du fichier du modèle donne une bonne première estimation de ce qu'il demande, plus de la place pour le contexte (le « cache KV ») et une marge.
| Modèle | Fichier / VRAM | Tient sur |
|---|---|---|
| Qwen3 8B, Q4_K_M | fichier de 5,0 Go | une carte de 8 Go |
| Un modèle 9B, Q8, long contexte | 9,4 Go utilisés, mesuré | une carte de 12 Go |
| Un modèle 27B, IQ3_XXS, contexte 64k | 14,2 Go utilisés, mesuré | une carte de 16 Go, tout juste |
| Qwen3.6 35B-A3B (mélange d'experts), Q4_K_M | fichier de 22,1 Go | carte de 16 Go + les experts en RAM |
La RAM compte aussi
Les modèles à « mélange d'experts » n'utilisent qu'une petite partie de leurs poids pour chaque mot : leurs experts peuvent vivre en RAM pendant que le reste reste sur la carte. On échange de la VRAM contre de la RAM : comptez 20 Go de RAM libre pour le 35B ci-dessus.
Quoi acheter en premier
- Une carte NVIDIA avec autant de VRAM que possible. La VRAM compte plus que la vitesse brute. 12 Go est un départ confortable, 16 Go ouvre la catégorie des 27B.
- 32 Go de RAM ou plus si vous voulez des modèles à mélange d'experts.
- Un SSD rapide avec de la place : quelques modèles prennent 50 à 100 Go.
- Linux. Tout dans cette série tourne sous Linux : c'est là que les outils arrivent en premier.
Les prix changent chaque mois, nous ne les citons donc pas. Comparez la VRAM par euro, pas les scores de benchmark.
Utile ? Dites-nous ce qu'il faut mesurer ensuite.