Stable Diffusion

Z fotky hotový 3D model přímo v ComfyUI, zdarma a pro komerční použití

Z fotky hotový 3D model přímo v ComfyUI, zdarma a pro komerční použití

Udělat 3D model z jedné fotky šlo do teď dvěma způsoby a ani jeden nebyl dobrý. Buď zaplatit cloudové službě jako Tripo nebo Rodin a nahrát jí fotky produktu, nebo si na Linuxu kompilovat CUDA rozšíření k Microsoft TRELLIS a doufat, že to po pár dnech rozchodíš.

Od ComfyUI 0.34.0 nepotřebuješ ani jedno. TRELLIS.2 a Pixal3D jsou zabudované přímo v jádře: žádné custom nody, žádná kompilace a žádná licence, která by ti zakazovala komerční použití. Testoval jsem i Hunyuan 3D a pro lokální nasazení je tohle lepší volba: plná verze Hunyuanu má tak vysoké nároky, že se na běžné herní kartě nespustí, a osekané varianty kvalitou nepřesvědčí.

Jedno slovo, které se bude opakovat: PBR materiály jsou sady map, které říkají, jak povrch reaguje na světlo — jakou má barvu, jestli se leskne, nebo je matný, a jestli je to kov. Model pak v Blenderu i na webu vypadá jako kov a sklo, ne jako papírová maketa s nalepenou fotkou.

Co ty dva modely jsou

TRELLIS.2 je model od Microsoftu, open-source od prosince 2025, 4 miliardy parametrů. Z jedné fotky udělá 3D síť v efektivním rozlišení až 1536³ včetně PBR materiálů, tedy base color, roughness a metallic mapy. Zvládá i to, na čem starší generátory padaly: otevřené plochy, tenké stěny, non-manifold geometrii.

Pixal3D je model z dílny Tsinghua University a Tencent ARC Lab. Staví na páteři TRELLIS.2, ale generuje „pixel-aligned“: každý pixel vstupní fotky má svůj protějšek na modelu. Výsledek je blíž rekonstrukci než volné generaci. Když vložíš fotku hrnku s potiskem, potisk skončí na správném místě, ne „někde na hrnku“.

V šabloně ComfyUI je Pixal3D výchozí volba. TRELLIS.2 zapneš přepínačem, když chceš víc domyšlenou zadní stranu objektu nebo když ti Pixal3D vrátí něco divného.

Proč je „nativně“ podstatné slovo

Původní TRELLIS.2 od Microsoftu má háček, o kterém se na GitHubu moc nemluví. Kód i váhy jsou pod MIT licencí, jenže post-processing sítě stál na knihovnách NVIDIA nvdiffrast a nvdiffrec. Ty jsou pod NVIDIA Source Code License, která povoluje jen nekomerční výzkum. Model „open“, výstup neprodejný.

Tým ComfyUI celý ten 3D post-processing přepsal od nuly do čistého PyTorche a SciPy. Žádná CUDA rozšíření, žádné wheely na konkrétní verzi Pythonu, žádná nekomerční závislost. To je pro mě ten důvod, proč o tom píšu: je to první otevřený 3D generátor, který můžu nasadit u klienta na komerční projekt, aniž bych mu musel vysvětlovat právnické drobné písmo.

Kolik to opravdu žere

Oficiálně ti tohle číslo nikdo neřekne. ComfyUI píše jen „consumer hardware“, Microsoft u původní implementace uváděl minimálně 24 GB a testoval na A100. V praxi je to výrazně méně: na kartě s 8 GB VRAM to běží a jeden model tam vyjde zhruba na 220 sekund. Modely v šabloně jsou kvantované do int8 a právě proto se do osmi gigabajtů vejdou. Ber tedy 8 GB jako reálné dno, ne oficiálních 24.

Microsoft uvádí na H100 zhruba 3 sekundy pro 512³, 17 sekund pro 1024³ a minutu pro 1536³, jenže to je akcelerátor za statisíce. Na spotřební kartě počítej v minutách. Není to real-time, ale je to řádově jinde než hodinová fotogrammetrie z padesáti fotek.

Jak to rozjet

Potřebuješ ComfyUI 0.34.0 nebo novější. V knihovně šablon najdeš „Pixal3D & TRELLIS.2: Image to Model“. Šablona sama nabídne stažení modelů; jsou to tyhle soubory a složky:

  • trellis_2_int8_convrot.safetensors a pixal3d_int8_convrot.safetensors do models/diffusion_models/
  • trellis_2_shape_vae_bf16.safetensors a trellis_2_texture_vae_bf16.safetensors do models/vae/
  • dino_v3_L_naf_fp32.safetensors do models/clip_vision/
  • birefnet.safetensors do models/background_removal/

Váhy jsou v repozitářích Comfy-Org/TRELLIS.2 a Comfy-Org/Pixal3D. Do balíku patří ještě dva pomocníci: BiRefNet na odstranění pozadí a MoGe na odhad ohniskové vzdálenosti fotoaparátu, bez kterého by pixel-aligned generace nedávala smysl.

Pak už je to triviální: načteš fotku do LoadImage, necháš přepínač na Pixal3D, spustíš graf a v Preview 3D si model otočíš. Výstup jde do ComfyUI/output/3d/.

Co ComfyUI přidalo navíc

Nepřibyl jen model, ale celá sada 3D nodů, které se hodí i mimo TRELLIS:

  • Load 3D, Preview 3D a Save 3D (Advanced) pro práci se sítěmi přímo v grafu.
  • Remesh Mesh, Decimate Mesh, Smooth Mesh Normals, Fill Holes a Merge Meshes — úpravy, které jsi dřív dělal v Blenderu.
  • UV unwrapping a k původním třem mapám navíc normal mapu a ambient occlusion. To původní TRELLIS.2 vůbec negeneruje.
  • Paint Mesh a Render Mesh pro texturování a náhledy.

Na co si dát pozor

Kvalita proti placeným službám. Placené cloudové generátory jako Tripo nebo Rodin pořád dávají o něco lepší výsledky, ComfyUI to sám přiznává. V kategorii „běží mi to lokálně, zdarma a smím to prodat“ ale konkurenci nevidím.

Alfa kanál. Průhledné části (sklo, listy) se do GLB exportují jako neprůhledné. V Blenderu nebo Three.js musíš u materiálu ručně přepnout blend mode.

Vstupní fotka. Jeden objekt, jednoduché pozadí, celý v záběru. Pixal3D drží pixely, takže když je na fotce půlka židle, dostaneš půlku židle.

Kde to dává smysl

Hlavní scénář je e-shop: fotku produktu z jedné strany proměnit ve 3D náhled, který si zákazník otočí. Druhý je AR — model v GLB s PBR materiály vložíš na web přes model-viewer a zákazník si nábytek postaví do obýváku. Třetí jsou herní assety a rekvizity, kde ti nevadí, že zadní strana je domyšlená.

Kde bych to zatím nenasazoval: přesné strojírenské díly, lidské postavy a cokoli, co jde rovnou do výroby. Tam je to nástroj na první draft, ne na finál.

Odkazy

← Zpět na tutoriály