Этот рабочий процесс ComfyUI генерирует короткие видео — до 15 секунд — с помощью модели Grok и автоматически синхронизированного аудиотрека. В основе — GrokVideoNode, который принимает либо чистый текстовый промпт (text-to-video), либо стартовый кадр из LoadImage (image-to-video). Нода выполняет вывод и возвращает готовый к сохранению видеоклип, в котором визуальная часть связана с аудио, созданным моделью. Затем SaveVideo записывает результат на диск как стандартный видеофайл, сохраняя встроенное аудио, если оно присутствует.
Технически это минимальный и прямой граф: LoadImage (необязательно) подаёт начальный кадр в GrokVideoNode, которая синтезирует движение и саундтрек по Вашему промпту и/или референс-изображению, а SaveVideo сохраняет Выход в файл. Ограничение длительности до 15 секунд делает генерацию более отзывчивой и соответствует возможностям модели. В итоге получается практичный пайплайн для быстрого прототипирования, анимации статичных кадров или создания коротких клипов для соцсетей, не выходя из ComfyUI.
API
Использовать этот рабочий процесс из кода
Каждый рабочий процесс Comfy — это JSON-граф. Ниже представлен payload этого процесса, точно так же, как его запускает ComfyUI: получите его по ссылке, храните в системе контроля версий или загрузите в ComfyUI и выполняйте по узлам.
Запустите его на TypeScript или Python с помощью Comfy SDK. Один и тот же код работает с Comfy Cloud или вашим собственным ComfyUI — меняется только базовый URL.
// Install (beta)
npm i @comfyorg/sdk
// Run "Grok: Генерация видео" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("api_grok_video_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("3", "image", asset); // LoadImage
const job = await client.run(wf);
await job.getOutputs("2")[0].toFile("output.png"); // SaveVideoSDK принимает рабочий процесс в API-формате: откройте этот процесс в ComfyUI и используйте Файл → Экспортировать рабочий процесс (API).
Доступ к API Comfy Cloud требует плана с API-ключом.
FAQ
