Video ze scénáře v ComfyUI: záběry, dialogy, střih a zvuk

Dva vstupy, jeden hotový video výstup

Scénář má dvě minuty, ale video z něj složit chcete jen za hodinu? Tady je problém: každý generovaný klip má omezenou délku, další záběr na něj není automaticky navázán a dialog se často vejde do obrazu špatně. Řešení je lokální pipeline v ComfyUI, která rozdělí scénář na záběry, propojí je přes latent a spojí obraz s řečí, hudbou a efekty.

Základ workflow tvoří obrázkový storyboard a podrobný scénář. Z prvního získáte vizuální reference, z druhého popisy postav, děj, dialogy, emoce a zvukové poznámky. Pipeline pak pro každý záběr vytvoří samostatný prompt, vygeneruje klip, připojí ho k předchozímu videu, sestaví střih a doplní zvuk.

Ve zveřejné ukázce „Dojdu pro tebe“ pracuje scénář jako vertikální sci-fi thriller pro formát 9:16. Devět oken vymezuje jednotlivé situace od telefonátu po závěrečné odhalení. Scénář už před generováním určuje tempo, průběh děje i návaznost prostředí.

ZDROJ: promptlab.cz ↗

1. Rozdělte scénář na záběry

Nejdřív převeďte scénář na seznam atomických událostí. Každý záběr potřebuje vlastní vizuální cíl, délku, popis pohybu kamery a případně dialog.

Dlouhé dialogové pasáže rozdělte už ve storyboardu. Generátor pak nemusí udržovat příliš dlouhý souvislý úsek a později snadněji opravíte jednotlivé repliky.

Ke každému oknu zapište:

• stabilní údaje o postavě, oblečení, prostředí, času a místě,
• krátký seznam akcí,
• detaily záběru,
• přesný zvukový výstup.

Generátor tak dostává podobné zadání a nemusí dlouho hádat, kdo kde stojí.

Pro převod storyboardu a textu lze využít Qwen3-VL 8B Instruct Abliterated. V původním projektu navíc pomáhá vlastní vylepšovač promptů a závěrečnou kontrolu přes Claude Opus. Výsledek ale nechte projít lidskou kontrolou.

Create a [target style] shot for [popis scény].
Keep [popis postavy] consistent with the storyboard and preserve the established [location, lighting, and time of day].
Show [akce a změna scény] in a [pohyb kamery] shot.
Use [seznam materiálů] and [délka záběru].
Avoid [nežádoucí artefakty], unwanted text, identity changes, and abrupt continuity breaks.

Nejčastější chyba: Jedno okno má příliš mnoho děje, pohybu kamery i dialogu. Záběr zkrácený. Lépe rozdělte scénu na několik jasných úseků.

2. Nastavte graf a připojte první klip

V ComfyUI vytvořte graf, v němž výstup jednoho video uzlu vstupuje do uzlu pro pokračování. Pořadí je zásadní:

1. Vytvořte počáteční záběr.
2. Předáte jeho latent dalšímu generátoru.
3. Uložte výsledné video jako referenci pro následující záběr.
4. Postup opakujte až do konce sekvence.

V popsaném projektu je maximální délka jednoho výstupu MiniMaxu 15 sekund. Předat modelu latent předchozího videa tedy umožňuje pokračovat, místo aby každý nový klip začínal nezávisle.

MiniMax řeší část problému délky, nikoli automaticky dramaturgii. Delší sekvenci stále rozdělte na logické celky a připravujte jejich konce jako místa, kde lze změnu záběru přijmout.

Nejčastější chyba: Uzly v grafu nejsou zapojené správným směrem. Před generováním zkontrolujte, zda latent skutečně proudí z předchozího klipu do dalšího.

3. Zkontrolujte každý přechod

Připojení latentu samo o sobě nezaručí plynulý střih. Při přechodu může video skočit kvůli rozdílu v kompozici, směru pohybu, osvětlení nebo poloze postavy.

Pomáhají:

• jednotné referenční snímky,
• stejná velikost a poměr stran všech klipů,
• předem stanovená pravidla pro střih,
• ruční kontrola každého přechodu.

Nejdřív si přehrajte klip bez zvuku. Případný skok pak hledejte snadněji. Teprve po sestavení obrazu přidejte dialog, hudbu a efekty.

Nejčastější chyba: Za plynulý přechod považujete samotné propojení latentem. Vizuální rozdíl ale zůstane viditelný, pokud mu nepřizpůsobíte kompozici, pohyb a osvětlení.

4. Vygenerujte řeč a přiřaďte emoce

Dialogy se v původním řešení generovaly odděleně pomocí Higgs Audio. Důvodem byly vynechané hlásky a nepřesná artikulace.

Řeč navíc dostává informaci o emoci postavy. Tón popište slovně, například jako potlačený, úzkostný nebo naléhavý. Samotná emocionální značka nestačí. Sledujte také tempo, pauzy, předzvěst a správné přiřazení repliky postavě.

Před spuštěním pipeline zkontrolujte znění a citace. Ověřte také, zda syntetická řeč nemá jinou délku než zamýšlený záběr.

Nejčastější chyba: Řeč je vygenerovaná správně, ale začíná nebo končí mimo záběr. Nejdřív upravte její délku nebo načasování, až potom mixujte.

5. Postavte zvuk do samostatných vrstev

Výsledný mix tvoří čtyři vrstvy:

• dialogy a jejich časování,
• ambientní zvuk pro jednotlivé lokace,
• hudební podklad,
• krátké zvukové efekty zdůrazňující děj.

AI dabing a AI hudba nejsou jen finální ozdobou. Jejich časování musí odpovídat střihu. Mluvení nesmí překrývat důležité zvuky a hudba nesmí zbytečně rušit emoce scény.

Nejčastější chyba: Všechny zvuky spustíte najednou a necháte je překrývat. Řeč tak zanikne pod hudbou, efekty přijdou pozdě a ambient zvuk vytvoří nepřirozený šum.

6. Převeďte strukturu do vlastního projektu

Referenční video mělo přibližně minutu, rozlišení 736 × 1280 a vzniklo na NVIDIA RTX 3090 24 GB za 2,5 hodiny čistého generování. Výpočet probíhal lokálně, ale část řešení se delegovala externímu modelu. Replika tedy není čistě offline pipeline. Přesná rychlost a výsledek závisejí na použitém hardwaru i externích službách.

Do vlastního projektu přeneste strukturu, ne cizí prompty:

1. Rozdělte scénář na okna.
2. Připravte pro každé reference a dialog.
3. Zvolte video model.
4. Prodlužte záběr latentem předchozího klipu.
5. Zkontrolujte přechody.
6. Přidejte samostatné větve pro řeč, hudbu a efekty.
7. Sestavte a otestujte konečný mix.

Diskuze k projektu oceňovala vizuální výsledek a zejména dobře zpracovanou postavu. Současně upozornila na přehnané emoce a obtížné posouzení kvality bez širšího kontextu. Přísnější test by byl replika známé minutové filmové scény a porovnání výsledku s originálem.

Co si z toho vzít

• Storyboard rozdělte na krátké, jasně definované záběry ještě před generováním.
• Připojujte latent předchozího videa a ručně kontrolujte každý přechod.
• Dialogy generujte odděleně, přiřaďte jim emoce a před finálním mixem ověřte artikulaci i délku.
• Řeč, hudbu, ambientní zvuk a efekty stavte jako samostatné vrstvy.
• Lokální běh neznamená offline provoz. U externích služeb ověřte podmínky, rychlost a data.
• Kvalitu workflow posuzujte na známé filmové scéně, ideálně vedle originálu.