Этот рабочий процесс ComfyUI превращает одно референсное изображение и аудиодорожку в синхронизированное видео с помощью модели Wan 2.2 S2V (sound-to-video). Он загружает основу Wan через UNETLoader, CLIPLoader и VAELoader и задаёт корректный расписание через ModelSamplingSD3. Ваш текстовый промпт кодируется нодой CLIPTextEncode, а аудио обрабатывается через AudioEncoderLoader и AudioEncoderEncode. Эти сигналы вместе с изображением из LoadImage управляют WanSoundImageToVideo, синтезируя движение, которое следует ритму и фразировке аудио. KSampler управляет шагами, CFG и seed; VAEDecode преобразует латенты в кадры; а CreateVideo собирает финальный клип.
Две инженерные детали делают рабочий процесс практичным для продакшена: стабилизация первого кадра и масштабируемая длительность. Группа Fix overbaked first frame использует LatentCut и LatentConcat, чтобы продублировать исходный латентный кадр перед декодированием, а затем отбрасывает первый декодированный кадр, чтобы избежать типичного для VAE «перепечённого» вида на кадре 0. Для длинных клипов подграфы Video S2V Extend позволяют сцеплять сегменты чанками (по умолчанию 77 кадров) с помощью LatentCut/LatentConcat, чтобы собирать видео длиной в минуты без переполнения VRAM. Рабочий процесс также поддерживает lightning-путь: с Wan 2.2 lightning LoRA можно семплировать за 4 шага (рекомендуемый CFG ~1.0). Если важнее качество и стабильность, используйте стандартный путь примерно на 20 шагах (CFG ~6.0).
API
Использовать этот рабочий процесс из кода
Каждый рабочий процесс Comfy — это JSON-граф. Ниже представлен payload этого процесса, точно так же, как его запускает ComfyUI: получите его по ссылке, храните в системе контроля версий или загрузите в ComfyUI и выполняйте по узлам.
Запустите его на TypeScript или Python с помощью Comfy SDK. Один и тот же код работает с Comfy Cloud или вашим собственным ComfyUI — меняется только базовый URL.
// Install (beta)
npm i @comfyorg/sdk
// Run "Wan2.2-S2V Генерация Видео на Основе Аудио" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_wan2_2_14B_s2v_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("52", "image", asset); // LoadImage
wf.setInput("6", "text", "your prompt here"); // CLIPTextEncode
const job = await client.run(wf);
await job.getOutputs("113")[0].toFile("output.png"); // SaveVideoSDK принимает рабочий процесс в API-формате: откройте этот процесс в ComfyUI и используйте Файл → Экспортировать рабочий процесс (API).
Доступ к API Comfy Cloud требует плана с API-ключом.
FAQ
