IA et cinéma14 juillet 20268 min de lecture

Pourquoi les vidéos générées par IA sont encore loin d'être automatiquement du cinéma

9n16 Redaktion

Pourquoi les vidéos générées par IA sont encore loin d'être automatiquement du cinéma

Le passage du clip à la scène n'est pas une étape graduelle

La qualité d'image a fait de grands progrès, c'est incontestable. OpenAI décrit Sora 2 comme un « big leap forward in controllability » capable de suivre des « intricate instructions spanning multiple shots » « while accurately persisting world state » (OpenAI, « Sora 2 is here »). Dans son rapport technique, Google DeepMind attribue même à son modèle un « bias for generating cinematic footage, with frequent camera cuts and dramatic camera angles » (Veo 3 Technical Report). Qui voit de tels clips pour la première fois peut aisément avoir l'impression que l'art de faire des films est largement résolu.

Or c'est précisément cette impression qui induit en erreur. Un film n'est pas une succession de belles images isolées, mais une chaîne de décisions maîtrisées qui doivent s'accorder sur des dizaines de plans, de scènes et de phases de production. Un personnage doit être le même personnage au plan suivant, le regard doit pointer dans la bonne direction pour qu'un champ-contrechamp fonctionne, et un accessoire ne doit pas disparaître entre un plan large et un gros plan. Ces exigences semblent triviales, mais elles constituent le véritable cœur du métier – et c'est justement là que les modèles génératifs se heurtent à un seuil plus élevé que la simple qualité d'image.

On peut distinguer cinq niveaux souvent confondus : le clip de démonstration impressionnant, la scène de film contrôlable, le processus de production reproductible, le film complet et la série racontée sur la durée. Chacun impose des exigences plus strictes de cohérence et de contrôle que le précédent ; un modèle qui maîtrise brillamment le premier ne dit presque rien du cinquième.

La continuité est la vraie épreuve, pas la résolution

Le progrès en matière de cohérence est réel et mérite d'être salué. Runway vante Gen-4 pour sa capacité à générer des « consistent characters, locations and objects across scenes » – et ce « with just a single reference image of your characters » (Runway, « Introducing Runway Gen-4 »). Le conditionnement par référence et par personnage a transformé le domaine : on peut fixer un personnage et le rappeler sous différentes perspectives. The Verge résume l'annonce avec sobriété : Gen-4 devrait offrir « enhanced ‘continuity and control’ », tandis que les vidéos d'IA « often face challenges in sustaining coherent storytelling » (The Verge).

La recherche montre toutefois à quel point le problème est profond. Une synthèse récente sur le contrôle relève que « text prompts alone are often insufficient to express complex, multi-modal, and fine-grained user requirements » – c'est pourquoi des signaux supplémentaires comme le mouvement de caméra, les cartes de profondeur et la pose corporelle sont explorés (Ma et al., « Controllable Video Generation: A Survey »). Une deuxième étude sur la cohérence spatio-temporelle nomme ouvertement les classes d'erreurs typiques : « subject swapping », « object teleportation », « unnatural jumping ». Et pour les formats longs : « Existing generation models typically struggle to effectively capture such long-range dependencies, lacking the dynamic modeling and spatiotemporal memory capabilities required for complex and extended-duration relationships » (Survey: Spatiotemporal Consistency in Video Generation).

Un plateau de tournage avec caméras, matériel d'éclairage et de son : installations pour un tournage comportant plusieurs plans coordonnés entre eux.
La continuité est un travail manuel : sur le plateau, costumes, accessoires, axes de regard et jeu sont vérifiés plan par plan.

Les exigences deviennent concrètes dès qu'on regarde le détail. La continuité des costumes et des accessoires exige qu'un objet reste exactement identique d'une prise à l'autre – or l'étude sur la cohérence recense « subject swapping » et « object teleportation » parmi les erreurs typiques (Survey: Spatiotemporal Consistency in Video Generation). Pour le mouvement corporel et l'anatomie, Sora 2 est, selon son fournisseur, « more physically accurate » et fait rebondir un tir manqué sur le panneau au lieu de le téléporter, tout en reconnaissant être « far from perfect » (OpenAI, « Sora 2 is here ») ; la recherche exige ici que la « motion trajectory … conforms to physical laws » (Survey: Spatiotemporal Consistency in Video Generation). Pour les scènes de dialogue, Sora 2 et Movie Gen livrent, selon leurs fournisseurs, un son natif et synchronisé ; pour Sora 2, OpenAI cite expressément « synchronized dialogue and sound effects », ce qui améliore nettement la synchronisation labiale (OpenAI ; Meta, « Movie Gen »). Mais savoir si l'accentuation, le rythme et la coloration émotionnelle d'une réplique peuvent être dirigés avec précision reste une autre question – les rapports des modèles attestent la synchronisation, non le contrôle fin de l'interprétation vocale. La limite apparaît le plus clairement dans la finesse émotionnelle et les choix de jeu contrôlables : dans « Here », les acteurs réels ont porté « every single one of the character performance moments », et la tentative avec des doublures a échoué parce que « it wasn't the soul of the actor that was there » (befores & afters, « ‘Here’: A test with Tom Hanks »).

À cela s'ajoute la dimension du langage cinématographique, rarement prise en compte. Lorsque le rapport de Veo 3 attribue au modèle un « bias for generating cinematic footage, with frequent camera cuts and dramatic camera angles » (Veo 3 Technical Report), c'est justement le point : des coupes ou des angles dramatiques fréquents ne constituent pas encore une mise en scène précise. Le champ-contrechamp, le raccord dans le mouvement, l'axe d'action, des regards nets et le rythme d'une séquence vivent d'une couverture contrôlable et de plans reproductibles, non de coupes aléatoires séduisantes. Un générateur qui choisit de beaux angles ne remplace donc pas une mise en scène qui tient le même angle de manière consciente et reproductible sur plusieurs plans.

C'est exactement ce qui distingue les catégories techniques les unes des autres. Le texte-vers-vidéo génère à partir d'une description, l'image-vers-vidéo anime une image de départ, la vidéo-vers-vidéo transforme un matériau existant, les world models transportent des états dans le temps, la shot extension prolonge des clips – et les flux classiques de VFX et de compositing restent le cadre dans lequel les éléments générés sont assemblés de manière contrôlée et juridiquement sûre. Generative Extend d'Adobe, par exemple, prolonge une prise « up to two seconds for video and ten seconds for audio » et signale toujours les images générées « so you know exactly where the original footage ends and created frames begin » (Adobe, « Generative Extend »). C'est un outil de montage précis – et en même temps un rappel qu'il s'agit ici de secondes, non de scènes. Movie Gen de Meta documente lui aussi pour son plus grand modèle « a generated video of 16 seconds at 16 frames-per-second » en « 1080p HD » avec « synchronized audio » (Meta, « Movie Gen »). Impressionnant – mais un long métrage se compose de milliers de tels éléments, qui doivent tous s'accorder entre eux.

Un exemple réel le montre : l'IA déplace le travail, elle ne le remplace pas

Qui veut croire que l'IA épargne le travail du plateau devrait étudier la production de « Here » – expressément comme exemple hybride d'apprentissage automatique et de VFX classique pour le traitement du jeu, et non comme un film généré par texte-vers-vidéo. Pour le film de Robert Zemeckis, Metaphysic et le superviseur VFX Kevin Baillie ont pris en charge « 53-character minutes of full-face replacement » sur quatre rôles principaux, parfois dans des plans « up to four minutes » (befores & afters, « ‘Here’: A test with Tom Hanks »). Le CGI classique n'était pas une option : « It was obvious that there was no way we could use traditional CGI methods to do this », selon Baillie – trop cher, trop lent, avec le risque de la vallée de l'étrange.

Le point décisif est la quantité de travail manuel spécialisé qu'a exigée l'IA. Pour chaque acteur, plusieurs réseaux de neurones ont été entraînés sur des jeux de données soigneusement sélectionnés – Tom Hanks « at 18, at 30, at 45 » –, les ingénieurs devant combattre activement l'« identity leak » pour éviter l'apparition de « Tom's brother or cousin ». Les axes de regard ont aussi été un sujet permanent, car les réseaux tendaient à regarder « magnetically » l'objectif ; des cas limites comme un baiser ont dû être « backstopped » avec des astuces classiques. La conclusion de Baillie est nette : « All these limitations of the AI tools, they need traditional visual effects teams who know how to do this stuff to backstop them and help them succeed » (befores & afters).

Mais surtout, l'interprétation est restée humaine. Wired et Variety en documentent l'essentiel : un système en temps réel sur deux moniteurs permettait aux acteurs de vérifier et d'ajuster immédiatement leur jeu rajeuni – un outil pour les créateurs, non un substitut (Wired, « The $50 Million Movie ‘Here’ » ; Variety). « Here » prouve que l'IA arrive dans la production – et combien d'efforts itératifs et hautement spécialisés restent nécessaires pour qu'un résultat tienne.

Une timeline de montage dans un logiciel de montage professionnel : de nombreux plans sont assemblés en une séquence dans une salle de montage sombre.
Seul le raccord crée l'émotion : au montage, de nombreux plans cohérents forment une séquence solide.

Contre-arguments, limites et risques

On peut objecter à juste titre que les limites se sont déplacées en 2025/2026 – et c'est vrai. Pour la série « El Eternauta », Netflix a utilisé pour la première fois l'IA générative dans une production originale ; selon le codirecteur général Ted Sarandos, la séquence VFX de l'effondrement d'un bâtiment a été créée « 10 times faster than it could have been completed with traditional VFX tools and workflows » (The Guardian). Ce chiffre est une affirmation du groupe et concerne une seule séquence. Significative aussi est la manière dont elle a été obtenue : l'unité Eyeline de Netflix n'a, selon ses propres dires, pas utilisé de technologie de modèle maison, mais des « commercially available video diffusion models under enterprise licenses » – intégrés dans un pipeline VFX classique (TheWrap).

L'image des festivals trompe elle aussi facilement. L'AI Film Festival de Runway est passé de « merely 300 submissions » en 2024 à « 6,000 entries » en 2025, et « Total Pixel Space » de Jacob Adler a remporté le Grand Prix (The Hollywood Reporter ; Runway AIFF Screening Room). Mais les œuvres présentées étaient « varying in quality », souvent « dream-like, experimental », marquées par des « constraints on sound and the portrayal of real people » (The Hollywood Reporter).

Restent les limites dures. Contrôlabilité ne signifie pas contrôle : même un modèle présenté comme « more controllable » ne suit pas parfaitement les consignes, et des instructions fines peuvent dériver – OpenAI reconnaît elle-même pour Sora 2 qu'il est « far from perfect » et commet « plenty of mistakes » (OpenAI, « Sora 2 is here »). Le rapport de Veo 3 mentionne des « small hallucinations that mark videos as clearly fake » (Veo 3 Technical Report). L'éditabilité, le contrôle de version et la reproductibilité – vitales pour toute production – sont à peine assurées avec de purs générateurs ; « Here » ne les a résolues qu'avec des outils Nuke sur mesure et des « neural animators ». Et l'exploitabilité juridique varie fortement : Adobe se vante d'être « only trained on content where Adobe has permission … never on Adobe users' content » (Adobe), tandis que le modèle précédent de Runway a été critiqué pour un entraînement sur des « scraped YouTube videos and pirated films » (The Verge). Le fait qu'OpenAI, selon sa propre page, annonce qu'« as of April 26, 2026, the Sora product is no longer available » concerne le produit grand public (l'application Sora) et non nécessairement le modèle sous-jacent ou la disponibilité de son API ; cela rappelle néanmoins le peu de sécurité de production qu'offre un produit grand public (OpenAI).

Conclusion : le spectacle est une compétence, le contrôle en est une autre

Le bilan honnête n'est ni euphorie ni rejet. Les images de référence, le contrôle de la caméra, les bandes-son natives et les outils de shot extension ont transformé des curiosités scintillantes en sérieux modules de production. Ils font gagner du temps, ouvrent des budgets et élargissent le champ du narrable – « El Eternauta » et « Here » le montrent concrètement. Mais ils ne déplacent pas le seuil réel : un bon film ne naît pas là où une image est belle, mais là où mille décisions, à travers plans, scènes et mois, s'accordent entre elles et restent reproductibles. C'est précisément cela – cohérence des personnages, axes de regard, raccord, jeu contrôlable, états de version propres – le seuil plus élevé que les modèles génératifs ne franchissent pas encore seuls. La question intéressante pour les prochaines années n'est donc pas de savoir si l'IA fait de belles vidéos. Elle le peut depuis longtemps. La question est de savoir si elle apprend à raconter de manière contrôlée. D'ici là : un clip impressionnant est une promesse, pas un film.

Points clés

  • Un seul clip d'IA prouve la qualité d'image, mais pas le contrôle de production ; entre la démo et la série s'échelonnent cinq niveaux de maturité clairement distincts.
  • La vraie épreuve est la continuité – personnage, espace, direction du regard, accessoires, raccord – et c'est justement là que la recherche documente des classes d'erreurs persistantes comme « subject swapping » et « object teleportation ».
  • Les progrès sont réels : le conditionnement par référence/personnage, l'audio natif et la shot extension ont sensiblement déplacé les limites en 2025/2026.
  • « Here » prouve que l'IA déplace le travail, elle ne le remplace pas : 53 minutes de full-face replacement ont exigé une curation de données spécialisée, des corrections de regard et des VFX classiques comme « backstop ».
  • L'éditabilité, le contrôle de version, la reproductibilité et l'exploitabilité juridique restent des obstacles décisifs, souvent non résolus, pour un usage en studio.