ComfyUI 视频工作流搭建

ComfyUI 与视频生成

ComfyUI 是基于节点的 AI 图像/视频生成工具，通过拖拽节点、连接连线的方式构建工作流。相比 Web UI，ComfyUI 更灵活、可编程，适合进阶用户和批量生产。

视频相关节点概览

输入类

• Load Image：加载单帧或序列图作为条件
• Load Video：加载视频，可提取帧或作为参考
• Empty Latent：创建空白 latent，用于纯文生视频

模型与采样

• Checkpoint Loader：加载主模型（如 AnimateDiff、SVD 兼容模型）
• VAE Encode / Decode：潜空间编码与解码
• KSampler / KSampler Advanced：采样器，控制步数、CFG、seed

条件与提示

• CLIP Text Encode：文本编码，支持正向/负向 Prompt
• Conditioning：组合多种条件（如 ControlNet、IP-Adapter）

输出类

• Save Image：保存单帧
• Save Video：保存视频序列（需将帧序列转为视频格式）
• Preview：实时预览

视频专用

• AnimateDiff 相关：运动模块、上下文长度
• SVD（Stable Video Diffusion）：图生视频专用节点
• Frame Interpolation：帧插值，提升流畅度

基础工作流搭建

加载模型：Checkpoint Loader → 连接到 Sampler 和 VAE

设置 Prompt：CLIP Text Encode（正/负）→ Conditioning → Sampler

准备 Latent：Empty Latent 或 Load Image + VAE Encode

采样：Sampler 输出 → VAE Decode → Save Image/Video

视频流程中，需将 latent 的 batch 维度理解为时间维，或使用专门的视频采样节点。

自定义工作流

子图与分组

• 将常用节点组合为 Group，折叠后作为子模块
• 通过输入/输出接口暴露参数，便于复用

参数化

• 将 Prompt、seed、步数等设为可调参数
• 使用 ComfyUI 的 API 或自定义节点从外部传入

保存与加载

• Save 将当前工作流存为 .json
• Load 加载已有工作流
• 可建立模板库，按项目类型快速切换

批量生成

方式一：Queue

• 在 Queue 中依次添加多组参数
• 每组可修改 Prompt、seed 等，自动排队执行

方式二：脚本与 API

• 通过 ComfyUI 的 HTTP API 提交 job
• 用 Python 等脚本循环生成，动态修改输入
• 适合与上游系统（如 CMS、任务队列）集成

方式三：Batch 节点

• 部分节点支持 batch 输入，一次处理多组
• 注意显存占用，batch 过大可能导致 OOM

性能与稳定性

• 显存：视频生成显存占用高，可降低分辨率、缩短时长、使用 --lowvram
• 模型：确保 Checkpoint 与 AnimateDiff/SVD 等模块版本兼容
• 缓存：合理使用模型缓存，避免重复加载

小结

ComfyUI 通过节点化、可编程的方式，为视频生成提供了灵活的工作流能力。掌握核心节点、子图封装与批量生成，可搭建从单次生成到自动化生产的完整流水线。