Ze scénáře hotové video, které si AI sama zkontroluje — lokálně na vlastním PC a zdarma

Ze scénáře hotové video, které si AI sama zkontroluje — lokálně na vlastním PC a zdarma

Generativní modely jsou nevyzpytatelné. Tohle je jediná věta, kterou si musíš zapamatovat, než začneš dělat video pomocí AI. Z pěti generací téhož záběru jsou dvě použitelné, jedna je úplně mimo a dvě jsou tak napůl. Nakonec si vyberu jednu a ta jde do střihu. Ten výběr je celá práce — a přesně ten jsem chtěl dostat z hlavy do stroje.

Udělal jsem si proto skill pro Claude Code, který je napojený na moje ComfyUI. Dám mu scénář nebo klidně jen jednu větu a on z toho vyrobí hotové video. Vygeneruje si reference postav a prostředí, připne k nim kotvy, aby se scéna mezi záběry nerozpadla, natočí jednotlivé záběry, prohlédne si je a co neprošlo, přetočí. Teď je celý volně na GitHubu.

Co se stane, když mu dáš scénář

Napíšeš do Claude Code zadání. Může být rozepsané na scény, může to být i jedna věta typu „dvě ženy na lavičce u hřiště, jedna se ptá, druhá odpoví pointu". Od té chvíle si vystačí sám:

  • rozepíše záběry a ke každému určí délku, kameru, akci a co má být na začátku a na konci;
  • vyrobí referenční snímky postav a prostředí — když je potřeba list postavy z několika úhlů, udělá i ten;
  • vygeneruje klíčový snímek scény a z něj natočí záběr;
  • vytáhne z hotového videa kontrolní snímky, prohlédne si je a ohodnotí šest věcí: identitu postavy, prostředí, návaznost na předchozí záběr, shodu s promptem, kvalitu pohybu a artefakty;
  • co neprojde, přetočí — ale změní jen to, co selhalo, ne celý prompt;
  • hotové záběry zvětší do HD, sestříhá a řekne ti, kde soubor leží.

Poslední série, na které jsem to zkoušel, bylo osm krátkých hraných klipů s dialogem, 16:9 v 1280×720. Jeden záběr se generuje 14 až 25 minut podle délky, takže série tohohle rozsahu je práce na jednu noc — a ráno máš hotové soubory, ne hromadu variant k probírání.

Zpětná kontrola je to jediné, na čem záleží

Dlouho jsem přemýšlel, jestli tohle vůbec jde postavit. A dlouho mi to generovalo nesmysly. Postava měla v každém záběru jiný obličej, prostředí si žilo vlastním životem a člověk, který vyšel z místnosti doleva, přišel do další scény zprava. Příčina byla pokaždé stejná: nikdo se na výsledek nedíval. Model vyrobil záběr, ten se uložil a šlo se dál.

Zlom přišel ve chvíli, kdy jsem do postupu přidal krok „podívej se na to a rozhodni, jestli to prošlo". Ne na konci, ale po každé jedné generaci. Zní to banálně, ale je to rozdíl mezi hromadou náhodných klipů a videem, které drží pohromadě.

Druhá věc, která se ukázala jako zásadní, je pravidlo měň jen to, co selhalo. Když neprošla identita postavy, přidají se reference a zesílí kotva — prompt zůstane. Když nesedí návaznost, přidá se poslední snímek předchozího záběru. Kdyby se přepsalo všechno najednou, změnilo by se i to, co už sedělo — proto se sahá vždycky jen na tu jednu věc, která neprošla.

Co se v tom seznamu ztrácí

Pár věcí, které dělá mimochodem, ale právě ony rozhodují, jestli výsledek vypadá jako video nebo jako pokus.

Samotné obrázky, i bez videa. Nemusíš chtít film. Řekneš, co chceš vidět, a dostaneš obrázek — portrét, produktovou fotku, ilustraci, pozadí, cokoli. Skill si sám vybere model podle toho, co po něm chceš: na fotorealistický portrét sáhne po jiném než na stylizovanou ilustraci. Vyrobí prakticky cokoli, co dokážeš popsat větou. A když to chceš upravit, řekneš mu to zase větou.

Zvětšení do HD. Záběry se generují v malém rozlišení, protože je to mnohonásobně rychlejší — a hotové se pak zvětšují. Není to roztažení pixelů: běží přes SeedVR2 nebo RTX Video Super Resolution, které detail dopočítávají, takže z generovaného materiálu vypadne ostrý obraz v 1280×720 a víc. Kdo chce jít výš, změní jedno číslo. Pro srovnání: zvětšení desetisekundového záběru trvá půl minuty, generování stejného záběru čtvrt hodiny.

List postavy z jedné fotky. Dáš jeden portrét a skill z něj vyrobí otočku — stejného člověka z šesti úhlů. Tyhle panely pak slouží jako reference do všech záběrů, takže postava nemění obličej, když se otočí nebo změní světlo. Tohle je největší rozdíl proti generování záběr po záběru.

Převlékání bez ztráty tváře. Potřebuješ stejnou postavu v jiném oblečení nebo v jiné místnosti? Řekneš to větou („dej jí červenou bundu", „posaď ho ke stolu u okna") a obličej zůstane, protože změnu dělá editační model s uzamčenou identitou, ne nové generování.

Navazování přes střih. Poslední snímek jednoho záběru jde do dalšího jako první snímek. Pohyb pak přes střih plyne — člověk nevyjde dveřmi doleva, aby v další scéně přišel zprava.

Lip-sync na hotovou stopu. Když máš repliku namluvenou (vlastním hlasem, klonovaným, nebo vzatou z knihovny), skill ji zamkne do generování a video se natočí přesně na ni. Ne přibližně — doslova na slovo.

Na čem to jede

Skill není vázaný na jeden model — každou práci dělá ten, který je na ni nejlepší, a přepíná mezi nimi sám:

  • MiniMax H3 — video včetně mluveného slova a lip-syncu, otočky postav
  • Z-Image Turbo — rychlé fotorealistické obrázky, portréty a reference
  • FLUX.2 Klein — stylizace, ilustrace a složitější kompozice
  • Qwen Image Edit — úprava obrázku podle věty a natočení stejného objektu do jiného úhlu
  • Krea 2 s Identity Edit — změna oblečení a scény při zachování obličeje
  • SeedVR2 a RTX Video Super Resolution — zvětšování videa; SeedVR2 dává lepší výsledek, RTX je rychlejší
  • Higgs Audio — klonování hlasu a namluvení replik, když nechceš nativní zvuk

Všechno běží u tebe na počítači. Nic se nikam nenahrává, nic se neúčtuje po sekundách a na výstupu nejsou žádné vodoznaky ani licenční podmínky poskytovatele.

Kde to drhne — zvuk

Tady musím být upřímný, protože je to jediná část, se kterou nejsem spokojený.

Základní cesta je nativní audio MiniMaxu H3, tedy dialog vzniká rovnou s videem včetně lip-syncu. Funguje to překvapivě dobře, ale u češtiny občas zkomolí koncovku slova. Skill si výsledek nechá přepsat do textu a porovná ho se scénářem, takže si odchylky všimne sám a záběr přetočí — většinu jich tím srovná. Zbytek je v postprodukci práce na pár minut, ale úplně bez ruky to zatím není.

Druhá cesta je napojení na Higgs Audio. Tam si můžeš naklonovat vlastní hlas nebo sáhnout do knihovny hlasů a video se pak generuje na hotovou stopu. Kvalita hlasu je výborná, ošemetné jsou intonace a emoce — smutek zní jako únava, ironie se ztratí úplně. Na tomhle pořád pracuji.

Co k tomu potřebuješ

Skill sám o sobě nic negeneruje — je to řídicí vrstva. Pod ním musí běžet:

  • ComfyUI na vlastním počítači, ideálně s grafikou se 16 GB VRAM. MiniMax H3 si při běhu bere kolem 50 GB systémové RAM, s tím je potřeba počítat.
  • Claude Code, ve kterém skill běží.
  • PocketComfy — moje aplikace, ze které si skill bere workflow šablony (a ty s ní zároveň můžeš celé ComfyUI ovládat z mobilu).
  • Modely ze seznamu výše — stačí ty, které budeš používat.

Když něco chybí, skill si to sám ověří proti serveru a řekne ti to. Nespustí běh, o kterém předem ví, že skončí chybou.

Jak to rozjedeš

Skill má vlastní repozitář — Promptlab37/VideoDirector. Naklonuj si ho a zkopíruj do složky skillů Claude Code:

git clone https://github.com/Promptlab37/VideoDirector.git
cp -r VideoDirector ~/.claude/skills/video-director
claude

Musí vzniknout cesta .claude/skills/video-director/SKILL.md. Vedle toho potřebuješ repozitář PocketComfy — skill si z něj bere workflow šablony.

Pak už jen napíšeš, co chceš natočit. V repozitáři je návod s nastavením (adresa ComfyUI, kořen instalace, kam se ukládají projekty) a celá dokumentace postupu — včetně pravidel pro české dialogy, tabulky délek záběrů a matice oprav, podle které se skill rozhoduje, co přetočit.

Oproti balíčku ke stažení má repozitář jednu výhodu: skill průběžně dolaďuji podle toho, na co při natáčení narazím, a přes git pull se ti ty opravy dostanou samy.

Pojď to doladit se mnou

Kde skill najdeš

github.com/Promptlab37/VideoDirector — MIT licence, česky i anglicky, včetně návodu na instalaci.

Dávám to ven s MIT licencí schválně. Obrazová část je podle mě hotová, zvuk ne — a to je přesně místo, kde víc hlav udělá víc než jedna. Když s tím něco natočíš nebo přijdeš na to, jak srovnat intonaci u Higgs Audio, dej vědět. Rád to do skillu zapracuji.

← Zpět na tutoriály