Parcours : faire tourner un modèle 7B
Quatre tutos, dans cet ordre. Cochez chacun quand il fonctionne ; votre progression reste dans votre navigateur.
- 1Installer le pilote NVIDIA et vérifier sa carteLa dépendance sur laquelle tout repose, et comment savoir qu'elle marche vraiment.
Prouver cette étape
Lancez cette commande sur votre machine et collez sa sortie. Votre navigateur la vérifie : rien n'est envoyé.
nvidia-smiAstuces débloquées
- Gardez nvtop ouvert pendant vos essais : vous voyez la mémoire graphique se remplir quand un modèle se charge.
- Notez la mémoire totale affichée : c'est elle qui décide de la taille de modèle que vous pourrez faire tourner.
Applis open source pour cette étape
- 2Docker avec accès à votre carte graphiqueInstaller Docker et le NVIDIA Container Toolkit, tester, et éviter le piège après une mise à jour du pilote.
Prouver cette étape
Lancez cette commande sur votre machine et collez sa sortie. Votre navigateur la vérifie : rien n'est envoyé.
sudo docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smiAstuces débloquées
- Chaque service GPU que vous ajouterez reprendra ces deux options : --runtime=nvidia et --gpus all.
- lazydocker donne une vue d'ensemble de vos conteneurs dans le terminal, journaux compris.
Applis open source pour cette étape
- 3Votre premier modèle local avec llama.cppTélécharger un modèle ouvert, le servir sur votre carte, lui parler avec la même API que les grands clouds.
Prouver cette étape · +120 XP
Lancez cette commande sur votre machine et collez sa sortie. Votre navigateur la vérifie : rien n'est envoyé.
curl http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' -d '{"messages": [{"role": "user", "content": "Say hello in one sentence."}]}'Astuces débloquées
- Votre serveur parle le même protocole que les API payantes : la plupart des outils acceptent une adresse de base, mettez-y http://127.0.0.1:8080/v1.
- Open WebUI pose une interface de discussion sur ce serveur, sans compte externe.
Applis open source pour cette étape
- 4Quel modèle local pour quel travail : un banc qui mesure le vrai travailLes bancs favorisent le modèle rapide ; le vrai travail a favorisé le fiable. Un banc où le code juge chaque réponse, puis où chaque modèle travaille pour de vrai sur un petit dépôt. Ce qu'il a montré : petit et cadré bat gros et vague, et quatre réglages comptent plus que le modèle.
Prouver cette étape · +140 XP
Lancez cette commande sur votre machine et collez sa sortie. Votre navigateur la vérifie : rien n'est envoyé.
curl -s http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' -d '{"messages": [{"role": "user", "content": "Count from 1 to 50."}]}'Astuces débloquées
- Refaites la mesure après chaque changement (quantification, contexte, pilote) : un chiffre seul ne dit rien, deux chiffres racontent une histoire.
- Quand vous voulez juger la qualité et pas seulement la vitesse, lm-evaluation-harness fait passer des épreuves standard à votre modèle.
Applis open source pour cette étape