Strata : un modèle de 177 milliards de paramètres sur une seule carte de jeu

Flash-Next est un modèle à mélange d'experts de 177 milliards de paramètres : pour chaque jeton, il n'en utilise qu'une petite partie. Strata, un moteur libre, est construit autour de ce fait : la partie active sur la carte graphique, les experts en RAM système, lus au besoin. Résultat : un modèle de taille serveur sur un PC de jeu, sans que rien ne sorte de la maison.

Ce que vous y gagnez. Un grand modèle de raisonnement sur une seule carte de 16 Go, à côté d'une seconde carte qui continue de servir vos agents. Chez nous, il a été branché comme modèle des tours « information » de l'orchestrateur du téléphone, pendant qu'un modèle plus petit traite les actions sur l'autre carte.

1. Ce qu'il lui faut

• Une carte NVIDIA récente (RTX 20 à 50) ou AMD avec 12 Go ou plus.
• De la RAM : 32 Go minimum ; 64 Go font tourner toutes les tailles. Chez nous, la version 2 bits garde environ 38 Go d'experts en RAM.
• Environ 80 Go de disque, sur SSD si possible : le premier démarrage lit beaucoup.

Les auteurs de Strata publient leurs propres vitesses : sur une RTX 5070 (12 Go), la version 2 bits écrit 94 jetons par seconde et lit un prompt à 2 650. Mesurez sur votre machine avant de croire un chiffre, le leur compris.

2. Une case de plus dans la grille

Nous ne lançons pas Strata à la main : c'est une case de plus dans notre grille GPU, sur la première carte seulement. Choisir cette case décharge ce qui occupait la carte et démarre Strata dans son conteneur ; choisir une autre case remet tout en place.

docker run -d --name flashnext-strata-c0 --network host \
  --gpus device=GPU-xxxxxxxx \             # la carte par son UUID, jamais par son numéro
  -v strata-data:/data \
  -e FAMILY=qwen -e MODEL=Q2_0 -e CONTEXT=32768 -e HOST=127.0.0.1 -e PORT=8129 \
  strata:local

Déclarez ensuite la case dans la passerelle de modèles et dans la configuration des agents, sinon la grille et les agents ne sont plus d'accord, ce que notre contrôle de dérive signale par une alerte sur le téléphone.

3. Trois détails qui décident s'il démarre

1. La carte doit être vraiment libre. Notre premier essai a échoué sur « cudaMalloc impossible » : un autre modèle tenait encore la mémoire. La grille décharge d'abord, puis démarre.
2. Lisez sa ligne « prêt » telle qu'il l'écrit. Strata annonce ready: http://... sur une ligne sans le préfixe habituel. Notre grille attendait une ligne préfixée et déclarait un délai dépassé sur un serveur pourtant démarré.
3. Attachez-le à la machine elle-même (HOST=127.0.0.1) : la passerelle est la seule porte, avec son propre contrôle d'accès.

Pièges

Quand un rôle retombe sur « le premier modèle servi », c'est l'ordre alphabétique qui décide. Privé de son petit modèle habituel, notre orchestrateur a envoyé ses tours au mauvais. Nommez le repli explicitement.

Projetez les experts en mémoire, ne les épinglez jamais : des poids résidents en RAM ne peuvent pas être libérés, et la machine gèle (voir le 177B sur deux cartes).

Sources

• Strata, official repository

Utile ? Dites-nous ce qu'il faut mesurer ensuite.