J’ai fourni à une IA de génération vidéo une simple prévisualisation réalisée avec des boîtes et des mannequins. Une prévisualisation est une vidéo brute qui permet de définir à l’avance la disposition et les mouvements des personnages, ainsi que les mouvements de caméra.

Pour aller droit au but : c’est très utilisable. Mais les détails ne sont pas reproduits à l’identique. Au contraire, en fournissant une mise en scène générale, l’IA comble élégamment les éléments manquants. C’était donc pratique comme plan de référence.

Comparaison entre les prévisualisations et les résultats générés

Dans toutes les vidéos, la partie du haut est la vidéo générée par IA et celle du bas la prévisualisation d’origine. Chacune dure environ 15 secondes. J’ai testé dans quelle mesure le déroulement d’une scène pouvait être transmis sans travailler en détail les arrière-plans ou les personnages.

Un café au bord de la mer

À partir d’une simple disposition de table et de personnages, on obtient un café au crépuscule. Des gestes comme porter une boisson à la bouche sont rendus dans un style réaliste.

再生

Marcher dans les rues la nuit

La position des personnages et leur direction de marche sont indiquées dans la prévisualisation. Un décor urbain lumineux et sommaire, presque diurne, est transformé par le prompt en rue nocturne.

再生

Une tortue marine sous l’eau

À partir d’un fond marin approximatif et du mouvement d’une tortue, on obtient un paysage sous-marin avec jeux de lumière et coraux. C’est un exemple qui montre clairement la capacité de l’IA à enrichir l’apparence.

再生

Courir le long de la mer

Le mouvement du personnage qui court et celui de la caméra qui le suit sont spécifiés. L’arrière-plan brut est remplacé par une promenade en bord de mer.

再生

Une rue pluvieuse et un tramway

À partir de la disposition d’un personnage tenant un parapluie et d’un tramway, l’ambiance d’une nuit pluvieuse est ajoutée.

再生

La méthode est simple

Pour cette réalisation, j’ai suivi le processus suivant.

1. Créer une prévisualisation avec des boîtes et des formes simples dans Python + Blender 4.2. J’ai également utilisé Mixamo pour les mouvements des personnages.
2. Préparer des images de référence, notamment pour les personnages, avec la génération d’images de Codex.
3. Fournir la prévisualisation, les images de référence et une voix de référence à MiniMax-H3 Ref2VA afin de générer une vidéo d’environ 15 secondes.
4. Préparer les dialogues avec HiggsAudio v3, les effets sonores avec Stable Audio 3 Medium et la musique avec ACE-Step 1.5, puis mixer et monter le tout avec ffmpeg. J’ai utilisé Claude Code pour les scripts de production et la gestion de l’exécution.

L’essentiel des consignes consiste à séparer le rôle de chaque référence : « les images pour le visage et les vêtements », « la prévisualisation pour la disposition, les actions et les mouvements de caméra ». Il faut aussi préciser que l’apparence des mannequins et des boîtes ne doit pas être reprise. Le rendu de la nuit, de la pluie ou de l’éclairage a été défini par texte.

Utilisable, mais les détails changent beaucoup

La disposition des personnages, le sens de leurs déplacements, l’ordre des actions et les grands mouvements de caméra se transmettent assez bien. En revanche, des indications précises comme « s’arrêter au bout de tant de secondes » ou « zoomer de telle ampleur » peuvent être décalées ou ne pas être prises en compte. Il n’est pas possible de verrouiller parfaitement les détails.

Par ailleurs, le scintillement de l’éclairage dans la prévisualisation ou des arrière-plans trop régulièrement agencés peuvent se retrouver dans le résultat généré. Il semble donc préférable de garder l’éclairage et les formes de la prévisualisation simples, et de se concentrer sur les mouvements à communiquer.

Malgré cela, il est très pratique que l’IA puisse compléter des indications grossières pour produire une vidéo visuellement convaincante. Les détails peuvent beaucoup changer, mais c’est largement suffisant pour transmettre les grandes lignes de la mise en scène. Il n’est pas nécessaire de tout peaufiner : même sommaire, mieux vaut utiliser une prévisualisation, voilà ce que je retiens de cette expérience.