Локальное AI-видео на RTX 4070: Wan2.2 i2v и lightx2v без боли

Сгенерировать картинку нейросетью дома уже умеет каждый второй. А вот заставить эту картинку двигаться, да ещё на видеокарте с 12 гигабайтами, до сих пор считается спортом для мазохистов. Спорим, что нет? Ниже разбор связки, которую мы гоняли живьём на RTX 4070: что реально работает, где всё встаёт колом и как выжать пять секунд видео за девять минут вместо девятнадцати.

Что вообще нужно

Wan2.2 i2v (image-to-video) от Alibaba работает в ComfyUI нативно, без сторонних обёрток. Модель двухступенчатая: сначала «high noise» эксперт набрасывает движение, потом «low noise» дочищает детали. На 12 ГБ спокойно живёт GGUF-квант Q4_K_M обеих ступеней плюс VAE, текстовый энкодер umt5 и clip_vision. Всё вместе влезает в память, если не жадничать с разрешением.

Базовый рецепт: два UnetLoaderGGUF (high и low), CLIPLoader в режиме wan, WanImageToVideo со стартовым кадром, два KSamplerAdvanced (первый добивает половину шагов на high-модели, второй досэмплирует на low), VAE-декод и склейка в mp4 через VideoHelperSuite. Стартовому кадру не нужно содержать само действие: движение дорисовывает промпт, а картинка задаёт, кто в кадре и как он выглядит.

Первый прогон вас разочарует

Двадцать шагов, cfg 3.5, разрешение 480x832, сорок девять кадров. Итог: примерно три секунды видео за девятнадцать минут. Качество «ну такое», картинка мягкая, движение осторожное. На этом моменте половина людей закрывает ComfyUI и идёт платить за облако.

Не спешите. Дело не в железе, а в том, что вы гоните полную дистанцию там, где её можно срезать.

lightx2v меняет всё

Есть готовая дистилляция Wan под быстрый инференс, lightx2v, лора lightx2v_i2v_rank128. Вешаете её на обе ступени, и модель начинает выдавать вменяемый результат за шесть шагов вместо двадцати. Бонусом cfg опускается до 1.0, а это значит, что негативный проход просто не считается. По времени выходит почти двойная экономия сверху.

Освободившийся бюджет тратим на качество. Поднимаем разрешение до 576x1024 и длину до восьмидесяти одного кадра, то есть честные пять секунд при шестнадцати кадрах в секунду. Новый расклад: пять секунд, выше чёткость, около девяти минут. Тот же кадр, вдвое длиннее, втрое быстрее.

Параметры, которые у нас поехали ровно:

• шагов 6, половина на high, половина на low;
• cfg 1.0, sampler euler, scheduler simple;
• shift в ModelSamplingSD3 около 5.0;
• длина кадров кратна формуле 4n+1 (81 это ровно пять секунд).

Кадр рвётся? Это не модель, это fps

Шестнадцать кадров в секунду глазу заметны, картинка идёт рывками. Ставить тяжёлый пак интерполяции и перезагружать ComfyUI ради этого лень. Проще прогнать готовый mp4 через ffmpeg с фильтром minterpolate и поднять до сорока восьми кадров моушен-интерполяцией. Бинарь ffmpeg уже лежит внутри пакета imageio-ffmpeg, отдельно ставить нечего. На медленном чувственном движении артефактов почти не видно, зато рывки уходят полностью.

Где всё равно больно

Честно про грабли, чтобы вы не убили вечер.

Лицо при движении капризничает. Задаёте сильную мимику, получаете гримасу или неестественный оскал. Лечится спокойным промптом на лицо и жёстким негативом против смеха и злого выражения. Если кадр снят со спины, лицо вообще лучше почти не анимировать: пусть двигается тело, а лицо стоит.

Мелкий предмет в руке у тела расплывается. Крупный устойчивый объект в кадре модель держит нормально, а вот тонкую штуку, которой активно двигают у самого низа кадра, разносит в кашу. Вывод простой: старт-кадр решает больше, чем промпт.

Стартовый кадр под видео проще генерить там, где сложную сцену рисуют чисто, а потом уже оживлять на своём железе. Один хороший кадр на клип это всё, что нужно: остальное досчитает Wan.

Стоит ли оно того

Для коротких живых роликов на домашней карте, без подписок и облачных лимитов, связка Wan2.2 плюс lightx2v плюс ffmpeg это честный рабочий вариант. Не студийное качество, но пять секунд движения из одной картинки за девять минут на 4070 ещё пару лет назад звучали как фантастика.

Инструменты и где взять

• ComfyUI - сам движок нодов.
• ComfyUI-GGUF - загрузчик GGUF-квантов моделей.
• Wan-AI на Hugging Face - модели Wan2.2 i2v и VAE.
• lightx2v - дистилляция под быстрый инференс; саму лору lightx2v_i2v_rank128 ищите на Hugging Face и Civitai.
• ComfyUI-VideoHelperSuite - сборка кадров в mp4.
• ffmpeg и imageio-ffmpeg - интерполяция fps через minterpolate.

А если хочется посмотреть, во что это всё в итоге складывается на живом персонаже, а не на тестовых кадрах, у нас есть кому показать.