L' IA image-to-video WAN2.2 en LOCAL est une DINGUERIE !

Putain, à partir d'une simple image elle te génère un film, c'est un folie.

Là, j'ai crée un truc SFW avec Marika de Elden Ring à partir d'une simple image, le rendu est incroyable (ici gif à 480p car Onche) :

comment on fait ?

Stylé

Si tu as un PC avec un carte graphique gaming correct, un peu sport, mais on s'en sort :

Télécharger Cuda129 de nvidia
Télécharger GitGui (bien cocher les options ajout au PATH)
Télécharger ComfyUI portable ( https://github.com/comfyanonymous/ComfyUI )
Télécharger le node manager : https://github.com/Comfy-Org/ComfyUI-Manager
Ajouter le node GGUF
Récupérer les modèles Video ici : https://huggingface.co/be[...]d-AllInOne-GGUF/tree/main
+ Le Json (wan2.2-i2v-rapid-aio-gguf-example.json ou wan2.2-t2v-rapid-aio-gguf-example.json)
Ajouter L'encoder text utm5-xxl-encoder-Q***.gguf
Ajouter le VAE wan_2.1_VAE.safetensor

houla houla AHOUGA

en Local c'est extrêmement difficile voir impossible

j'ai tenté plusieurs fois avec des tuto

ça ne fonctionne pas, ça ne marche pas

Tu as mis quoi dans le prompt ?

quel est le nombre de paramètres pour ce modèle ?

Si, faut prendre des modèles gguf justement, pas les modèles de base safetensors.
Si tu prend un gguf de type Q4K_M ça tourne sur toutes les cartes presque.

Je suis débutant en video, j'ai l'habitude de stable diffusion pour les images ... Du coup mon prompt n'est forcement à prendre en exemple :

Positif :
(masterpiece, best quality, beautiful, rich draw, perfect, motion)++. Marika is a powerful goddess alone. She firstly turns around. Secondly, the camera pulls back to reveal a background tears in two by vertical golden solar energy, as she stands with her back to the camera.

Negatif :
ugly, lowres, bad anatomy, bad hands, bad move, deformed, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, logo, username, blurry, artist name, guy, boy, man, jerky motion, bad motion, floating hair, unnatural stretch, distortion of face, broken, flicker between frames, frame jumps, weird, deformed arms, nsfw, sexy

Topic en fav, j'essaie demain

14B, mais je prends un modèle quantifié en Q8K (et parfois Q4K_M quand je veux tester vite).

pas mal, tu as utilisé la version quantizé pour l'exemple ?

Oui, une Q6K pour le modèle ici, un Q4K_M pour l'encoder text.

Après, l'avantage, c'est que c'est très rapide, le workflow et le modèle on de très bon résultat pour seulement 3 min de travail, tu as 30 secondes de vidéos.

PS : Pour le modèle Q4K_M, vous pouvez aussi le récupérer sur civitai com : Rapid WAN 2.2 I2V GGUF (attention beaucoup de NSFW !)

Une vrai dinguerie bordel, le pb c'est la conversion en gif qui est pas très bonne

--

Merci pour les indications. Ça fait quelque temps que je me demandais si la techno IA avait suffisamment évoluer pour permettre de courte vidéo sur des carte graphique moyen de gamme.

Visiblement oui

J'ai une rtx 3060ti avec 8go ça le ferait ? Tu as quoi de ton côté?

Ca va être juste, faut que tu passe comfyui en "low vram", pour générer les images il te faudra plus de 5 minutes.
Essaie d'abord des Q4K_M, et si tu as des pb, descend en qualité.

A Savoir : Les prompts sont ici encore plus important que pour les IA qui ganère les images.

PS : J'ai une 5090 RTX Laptop, mais je la sous-utilise car je veux générer très vites mes vidéos pour mes tests. Je pourrais facilement utiliser les Q8

tu peux pas faire un streamable ou autre en 720p ?

De base, je génère des webp 480p, mais je peux le faire en 1080p, le pb c'est que sur Onche je peux mettre que des GIF avec une taille limite ...
+ Streamble merde avec les webp, je peux pas les upload et je veux pas m'inscrire sur des sites.

Du coup :
https://gifyu.com/image/bwLjX

Si ça garde les metadata, vous pourrez trouver les prompts dedans

https://i.postimg.cc/zvLVL0FF/Comfy-UI-00357.webp

https://i.postimg.cc/g0YjyYKJ/Comfy-UI-00376.webp

https://i.postimg.cc/dt48ZxFG/Comfy-UI-00422.webp

https://i.postimg.cc/FHwG1BbD/Comfy-UI-00378.webp