ComfyUI : images, vidéo et 3D sur vos propres cartes

Niveau IntermédiaireTemps estimé 1 hÀ lire avant Docker avec accès à votre carte graphique, Plusieurs modèles, deux cartes graphiques : une grille plutôt qu'un numéro de jonglageUn mot inconnu ? Lexique

ComfyUI est un éditeur libre où l'on câble des modèles génératifs sous forme de nœuds : encodeur de texte, modèle de diffusion, décodeur, sortie. Il dessine des images, fabrique des plans vidéo, transforme une image en objet 3D. Le nôtre fait les rendus de la mascotte et les plans d'une chaîne vidéo automatique, sur les mêmes cartes qui servent les modèles de langage la nuit.

Ce que vous y gagnez. Votre propre studio d'images, de vidéo et de 3D, sur les cartes que vous avez déjà, commandé par vos agents : un plan vidéo de cinq secondes en deux minutes environ, sans abonnement, sans envoi en ligne.

1. L'installer en service, à l'écoute de la machine seule

git clone https://github.com/comfyanonymous/ComfyUI.git ~/comfyui
cd ~/comfyui && python -m venv .venv && .venv/bin/pip install -r requirements.txt
.venv/bin/python main.py --listen 127.0.0.1 --port 8188

Faites-en ensuite un service utilisateur, pour qu'il redémarre seul. Gardez --listen 127.0.0.1 : ComfyUI n'a pas de connexion, et ses nœuds personnalisés exécutent du code arbitraire. Atteignez-le depuis le portable par un tunnel SSH, jamais en ouvrant le port.

ssh -L 8188:127.0.0.1:8188 serveur   # puis ouvrir http://localhost:8188

2. Une instance par carte

Avec deux cartes, lancez deux instances, chacune épinglée à sa carte et écrivant dans son propre dossier :

CUDA_DEVICE_ORDER=PCI_BUS_ID CUDA_VISIBLE_DEVICES=1 \
  .venv/bin/python main.py --listen 127.0.0.1 --port 8189 --output-directory ~/comfyui-b/output

Sans CUDA_DEVICE_ORDER=PCI_BUS_ID, la « carte 1 » de CUDA n'est pas forcément la « carte 1 » de nvidia-smi. Posez-le partout, sinon vous chargerez un modèle sur la carte que vous vouliez garder libre.

3. Quel modèle pour quoi

Besoin	Famille de modèles	Remarque
Images façon photo, rapides	SDXL (Juggernaut, RealVis), variantes Turbo	tient dans 8 Go
Images qui suivent fidèlement le prompt	Flux dev, quantifié (GGUF Q8)	16 Go avec un encodeur de texte fp8
Vidéo depuis un texte ou une image	Wan 2.2 14B (deux experts), LTX-Video 2B	un LoRA 4 étapes divise le temps
Un objet en 3D depuis une image	Trellis 2	décodeurs de forme et de texture

Mesuré sur une de nos cartes : un plan Wan 2.2 de 5 secondes (81 images à 16 i/s) prend environ 2 minutes en mode rapide et environ 13 minutes à 20 étapes. Pensez une vidéo en plans, pas en minutes de film.

4. Le piloter depuis des scripts et des agents

Enregistrez un workflow au format API ; un script le poste sur /prompt en changeant le prompt et la graine, puis interroge l'historique pour récupérer les fichiers produits. C'est ainsi qu'un agent commande un rendu : il remplit quelques champs, le workflow reste fixe et testé.

Pièges

ComfyUI et un modèle de langage partagent mal une carte. Décidez qui possède quelle carte et quand (voir la grille GPU), et arrêtez l'instance ComfyUI plutôt que de les laisser se battre pour la mémoire.

Installez les nœuds personnalisés comme n'importe quel programme venu d'internet : peu, d'auteurs connus, lus avant d'être lancés. Ils s'exécutent avec vos droits.

Sources

ComfyUI, official repository

Utile ? Dites-nous ce qu'il faut mesurer ensuite.