这份报告不堆工具清单。它告诉你：抖音 AI 视频赛道现在是什么结构、两类主流玩法（讲解 / 剧情）的工作流分别长什么样、哪些工具与 Agent skills 是真正必要的、以及你应该按什么顺序起跑。
抖音上的 "AI 视频" 不是一个赛道，而是两个。它们的生产逻辑、工具链、变现节奏几乎不重合。先想清楚你做的是哪种，不然工具买错、流程搭错，时间白扔。
2026 年的现状是：AI 数字人制作的内容已经占到全网短视频播放量的相当比例（行业大会上披露的数字是 ~37%，仅 2026 Q1），并且这个比例还在涨。AI 短剧赛道在 2025 年 9 月 Sora 2 发布之后被一度引爆，但戏剧性地，Sora 2 在 2026 年 3 月被关停（后文详述）。真正接棒并继续推动赛道的，是可灵 Kling、字节 Seedance、Google Veo 3.1、以及 2026 年 4 月空降登顶的阿里 Happy Horse——主流视频模型现在都能做到电影级画质、角色稳定、多镜头叙事和原生音画同步。
这两个赛道的根本差异：
包括：知识科普、影视解说、新闻速读、个人观点表达、教程演示、行业拆解、AI 情感故事第一人称解说等。它的视频画面通常是 "数字人口播 + B-roll 素材"，或者 "PPT 风信息板 + 旁白"。真正卡你的不是画面，是脚本和声音。
包括：AI 短剧（真人风格）、AI 漫剧（动漫风格 / 韩漫 / 日漫）、AI 神话故事（西游记、山海经等公版 IP 二创）、AI 情感故事漫画版。它的视频画面是逐镜生成的，真正卡你的不是脚本，是角色一致性和分镜节奏。
把每个步骤、每个工具、每个产物拉直了看。这是 2026 年实战上跑得通的版本，不是 PPT 上的理想流程。
所有 AI 视频工具，无论是单一功能还是一站式平台，本质上都在干这 5 件事中的一件或几件。理解这个分层，你就不会被市场上 30+ 工具搞晕。
找到平台正在涨的话题（飞瓜 / 蝉妈妈给你看哪些标签在涨），然后用大模型把脚本写出来。核心是 prompt 工程：把账号定位、目标平台、字数、节奏、关键词、互动点全部塞进去。
中文 TTS 这两年质感跃迁。讲解类用魔音 / 海螺已经听不出 AI；剧情类要多角色音色，配朵朵更合适；出海内容用 ElevenLabs。
讲解类基本不动这一层（用素材库就够）。剧情类是主战场，模型选型 = 风格选型。写实风首选 Happy Horse 1.0 / Veo 3.1，中文剧情用 Seedance / 可灵，国风 / 漫画风首选即梦。
讲解类的核心引擎。重点是：选公模数字人（免费 / 同质化）还是克隆自己的形象（付费 / 强 IP）。强烈推荐前期跑通后立刻做克隆，否则人设立不起来。
剪映在国内几乎是默认答案，它是字节自家的，对抖音算法兼容性最好，AI 功能几乎全免费。海外发 TikTok 用 CapCut（同源）。
把上面 5 层串成一条自动化生产线的层，比如 Dify、Coze、ComfyUI、LibTV、白日梦 AI、纳米漫剧、青否数字员工。这层目前还在早期，但是你应该最终走向的位置。
不按市占率，按 2026 年 5 月真正好用的能力点 排。下面这份名单只列还在快速迭代、且每款都有清晰差异化优势的模型，避免把一些靠先发占位但已经掉队的工具塞进来。
| 模型 | 出品方 | 差异化优势（为什么前沿） | 实战定位 | 评级 |
|---|---|---|---|---|
| Happy Horse 1.0 | 阿里 ATH · 2026.4 | 2026 年 4 月 AAVA 双榜第一（文生 + 图生），统一 Transformer 架构、150 亿参数、原生 1080P · 38 秒生成、支持 7 种语言音视频同步。Elo 1336 / 1391，比 Seedance 2.0 高 50+ 分（约 58% 胜率）。最大优势：长镜头连贯性、多镜头叙事。 | 剧情类首推 · 适合 15 秒以上多镜头 | 新王 |
| Seedance 2.0 | 字节 · 2026.2 | 字节 Seed 团队的旗舰，是即梦 / 豆包 / 剪映视频功能的底座。最大优势：多模态混合输入（文 + 图 + 音 + 视频片段）、@引用系统精准控制角色 / 场景、原生双声道立体声、复杂场景物理逻辑。冯骥曾称"地表最强"。 | 抖音生态强绑定 · 剧情批量生产首选 | SOTA |
| 可灵 Kling 3.0 | 快手 · 2025.11 | 5 分钟 Avatar 长视频生成，国内最早商业化。3 月底之后启动价格战，部分图片功能免费 + 会员限时 8 折，性价比突然变高。中文人物质感（皮肤、面部细节）仍是国内第一档。 | 长口播 / 真人风格剧情 · 价格友好 | 主力 |
| Veo 3.1 | Google DeepMind · 2025.12 | 音频质量行业第一档——这是它与所有国产模型最大的差异点。原生支持环境音、配乐、对白一起生成，对 MV 类、电影感剧情有不可替代价值。物理模拟也极强。 | 对音质要求高的剧情 / MV / 广告 | SOTA |
| 即梦 Jimeng | 字节 · 持续迭代 | 底层用 Seedance 2.0，但比直接调 Seedance 更便宜、有完整的角色 / 场景库、与剪映 / 抖音直连。国风、动漫、3D 渲染风格模板丰富，新手 0 门槛。 | 新手第一站 · 抖音生态闭环 | 入门首选 |
| 模型 / 工具 | 出品方 | 差异化优势 | 评级 |
|---|---|---|---|
| 海螺 Hailuo 02 | MiniMax | 性价比之王。中文提示词理解最准、API 稳定，批量调用时单价能压到 0.04 元 / 秒，工作流里的"廉价工人"。 | 性价比 |
| Vidu Q2 | 生数科技 | 多主体参考图功能国内做得最好——一次性输入多个角色 + 场景参考图，自动保持跨镜头一致性，对剧情类是杀手锏。 | 一致性 |
| PixVerse V6 | 爱诗科技 | 完整叙事能力 + 海外用户基数大。专门为出海 TikTok 优化，竖屏短剧表现强。 | 出海向 |
| Runway Gen-4.5 | Runway · 美 | 60s 1080P + 原生音频，角色一致性是西方模型里最稳的。订阅贵但海外发行有优势。Sora 死后是欧美创作者的主要替代品。 | 海外 |
| 工具 | 出品方 | 核心价值 | 评级 |
|---|---|---|---|
| LTX-2 | Lightricks · 2026.1 开源 | 4K / 50fps + 音画原生同步 + 20 秒长度，是开源里画质最高的一档。基于 DiT 架构，本地部署需 24GB+ 显存，但 FP8/GGUF 量化版 12GB 也能跑 1080P。 | 开源 SOTA |
| Wan 2.5 | 阿里 · 部分开源 | 阿里通义万相的视频侧。中文文本渲染（视频里的招牌、字幕）是行业最强，需要在视频中显示中文标牌的场景必选。 | 中文渲染 |
| CogVideoX 2 | 智谱 · 开源 | 纯开源、商用免费、自部署门槛低。不追求 SOTA，但隐私 / 离线场景必备。 | 自部署 |
| 万兴剧厂 | 万兴 · 2026 新品 | 不是单一模型，是专为漫剧 / 短剧打包的产品级工作流。官方数据：分镜创作提效 6 倍，5 人团队 1 周产出 100 分钟漫剧，整剧 AI 创作成本下降 60%+。 | 产品化 |
| LibTV | LiblibAI · 2026.3 | 「人工创作 + AI Agent」双入口，无限画布节点式工作流，2026 年 4 月已接入 Seedance 2.0（免排队）。剧本→分镜→成片全链路。 | 工作流 |
画面同质化的时代，声音是你能立人设最快的杠杆。同样一段脚本，配音不同，账号风格完全是两个赛道。
声音层要解决 4 个具体问题，对应 4 类工具：
| 问题 | 首选工具 | 使用场景 | 价格区间 |
|---|---|---|---|
| 中文 TTS 配音 （旁白 / 解说） |
魔音工坊（字节系 · 音色库更新最快 · 10 秒即可克隆） 剪映 AI 音色（免费 · 50+ 音色 · 内置情绪标记） 豆包 TTS（API 友好 · 中文最自然 · 2026 迅速崛起） |
讲解类视频默认选项 | 免费 ~ ¥99/月 |
| 多角色 / 剧情对话配音 | 配朵朵（多音色批量分轨 · 角色音色映射） ElevenLabs v3（情感最丰富 · 对白"演戏感"无敌） |
AI 短剧 · 情感故事 · 多人对话 | ¥30 ~ ¥200/月 |
| 声音克隆 （做自己的数字声） |
ElevenLabs Instant Clone（10 秒样本即可 · 跨语言保留音色） 海螺 MiniMax Speech（中文情感最饱满 · 国内首选） CosyVoice 2（阿里开源 · 零样本 · 自部署友好） |
个人 IP 必备 · 24h 无限输出"你" | 免费 ~ ¥200/月 |
| BGM / 音乐生成 | Suno v4.5（文生 BGM · 含歌词 · 风格化拉满） Udio（音质更细腻 · 进阶可选） 剪映音效库（免费 · 抖音商业可用 · 起步够用） |
任何剧情 · 渲染情绪 | 免费 ~ $15/月 |
| 开源克隆 / 自部署 | GPT-SoVITS（5 秒样本 · 开源 · 技术圈最火） F5-TTS（极快推理 · 零样本 · 2024 末发布） CosyVoice 2（阿里开源 · 商用免费） |
规模化生产 / Agent 集成 | 免费（需 GPU） |
传统流程是先生成视频、再后期对口型，对剧情类伤害很大。2026 年的新模型（Happy Horse 1.0、Seedance 2.0、Veo 3.1、LTX-2）开始原生支持音视频一体化生成——画面里人物的嘴型、背景音效、BGM 一次性同步出来。Happy Horse 1.0 的统一 Transformer 把文 / 图 / 音 / 视频帧编码为同一序列，一次前向推理就吐出完整带音视频。
但要注意：原生音画同步在中文场景下还不完美（中文嘴型比英文复杂），目前依然建议 "中文 TTS（魔音 / 海螺） + 后期对口型（硅基 / 蝉镜）" 这条更稳的路径。等到 Happy Horse 2.0 这一代普及，可能就能一步到位。
数字人技术 2026 年已经从"看出来是 AI"过渡到"得仔细看才看得出"。中文嘴型匹配主流工具能做到 95% 以上的精度。讲解类内容如果不出镜，数字人是必经之路。
| 工具 | 核心突破点（前沿在哪） | 克隆门槛 | 价格 | 定位 |
|---|---|---|---|---|
| 蝉镜 | 唇形同步精度 98%+，行业最高。批量素材处理能力强，专为短视频矩阵设计。2026 年异军突起的新势力。 | 需上传素材 | ¥99 ~ ¥299/月 | 唇形最强 |
| HeyGen Avatar IV | 2026.1 重大升级：1 张照片 + 30 秒脚本 = 视频。新增 Video Agent 2.0，自然语言直出完整视频（从剧本到画面）。140+ 语言，跨语言保留音色 + 唇形同步。 | 1 张照片 | $24+/月 | 海外首选 |
| 剪映 AI 数字人（情绪版） | 2D 克隆 30 秒完成，手机拍 5 秒视频就能训练。情绪版支持喜怒哀乐一键切换，做情感口播比真人还真。直接发抖音算法友好。 | 5 秒手机视频 | 大量免费 | 起步首选 |
| 硅基智能 DUIX 3.0 | 中文唇形 95%+，支持抖音 / 快手实时直播 + 弹幕互动（1-2 秒延迟）。是国内中文直播数字人的标杆。 | 需采集 | ¥399+/月 | 中文直播 |
| T9 数字人 | 20 秒视频即可克隆 / 1 张照片即可克隆，无视频时长限制，支持 7×24 直播。2026.4 刚发布 v2.6.8，传统录制视频成本的 1/10。 | 20 秒视频 / 1 照片 | ¥免费起步 | 轻量克隆 |
| 阿里 EMO + 通义 OmniTalker | 一张照片 + 一段音频 = 让照片说话 / 唱歌，已集成在通义千问 App。OmniTalker 是新一代，实时文本驱动说话头像，技术上是当前最前沿的方向之一。 | 1 张照片 | 免费 / API 计费 | 前沿研究 |
| EchoMimicV2 / V3 | 蚂蚁集团开源，CVPR 2025 收录。音频驱动半身人物动画 + 手部姿势同步，是 ComfyUI 工作流里的核心数字人组件。 | 自部署 · 开源 | 免费（需 GPU） | 开源工作流 |
| 即创（字节） | 抖音官方带货闭环：输入商品 ID，自动爬买家秀 → 脚本 → 数字人出镜 → 发布；附带"直播高光二创"功能，一场直播自动剪 30 条短视频。 | 低 | 免费 | 带货必备 |
剪映、腾讯智影里那些"美女主播""西装小哥"。优点：0 门槛、合成快。缺点：抖音上同款形象太多，算法已经在降权。只建议头 1–2 周用来跑通流程。
录 30 秒 ~ 几分钟自己的视频和声音，平台给你做一个数字分身。优点：账号有人设。缺点：要露脸（或用一致的虚拟形象）。这是 2026 年的合规且可持续做法。
理由很功利：抖音是字节的，剪映也是字节的。剪映里的内容上传抖音、用同源音乐、获取流量推荐，链路是最顺的。剪映 AI 又把 90% 的 AI 功能塞了进去，而且大部分免费。
这一部分对你（Carrey）特别重要：你本身在做多 Agent 平台，所以 AI 视频不仅是创作场景，也是天然的 Agent 应用场景。下面拆出 8 个真正必要的 skill 能力模块。
能力：每天抓飞瓜 / 蝉妈妈 / 巨量算数榜单、抖音热搜词、相关账号近 7 天爆款，做关键词扩散和选题打分。输出 JSON 选题池。
能力：基于账号画像（人设、目标人群、过往爆款）+ 选题，生成结构化脚本：前 3 秒钩子 / 主体 3–5 段 / 结尾互动。带 SEO 关键词检测。
能力：脚本 → 镜头表 JSON。每个镜头含：时长、画面描述、机位、角色、对白、情绪。这是后续所有视觉调用的源数据。
能力：维护"角色知识库""场景知识库""音色库"。剧情类账号必须有这一层，否则角色一定会"变脸"。Dify 里直接建知识库即可。
能力：根据镜头描述调用相应模型 API（即梦 / 可灵 / Happy Horse / Seedance），处理排队、重试、画质回退、成本统计。这是最技术重的 skill。
能力：根据分镜中的"对白 + 情绪"调用 TTS API，输出带时间戳的音频文件。多角色需要按角色 → 音色映射表分轨。
能力：拿到所有视频片段 + 音轨 + 字幕，按模板（横屏 / 竖屏 / 卡点）拼接、添加 BGM、转场、字幕。FFmpeg + MoviePy 是基础设施。
能力：调用抖音 / 视频号 / 小红书 / B站 / 快手开放平台 API，自动发布；回流播放数据，触发反馈环。
下面这几个是 2026 年真正在用、且各自有清晰技术差异化的工作流编排工具。你做多 Agent 平台时也是潜在竞品 / 学习对象。
| 平台 | 差异化优势 | 适配场景 | 评级 |
|---|---|---|---|
| Coze（扣子） | 字节出品，零代码 + 抖音生态直连。可直接发布到抖音的 Bot，免费版 10 万次模型调用。新手 0 门槛，缺点是私有化和高阶逻辑弱。 | 纯内容创作者 · 不想写代码 | 入门 |
| Dify | 开源 + 企业级。多 Agent 协作 + JSON 结构化输出能力最强，知识库 + RAG 内置。AI 漫剧主流方案 "Dify + ComfyUI" 的大脑。 | 有技术能力 · 想自托管 | 技术向首选 |
| n8n | 2026.1 推出 AI 对话生成工作流——一句话生成完整节点链。1000+ 节点 / 插件，开源 + 自托管 + 高度自由。9 万 GitHub Star。 | 把视频生产接入业务系统的全自动化 | 自动化王 |
| Google Opal | 2026 新出，比 n8n 更简单：自然语言描述需求 → Gemini 自动生成工作流。原生集成 Veo（视频）+ Imagen（图）。实测 12 分钟产出广告素材。 | 跨境卖家 · 海外发布 | 新势力 |
| ComfyUI | 节点式本地 AIGC 引擎。角色一致性的事实标准（IP-Adapter + ControlNet）。LTX-2 / Wan / Flux 模型都有对应工作流。剧情类工作室的标配。 | 剧情 / 漫剧深度玩家 | 本地 SOTA |
| LibTV | 2026.3 新发布，专为视频做的节点画布，集成 Seedance 2.0 免排队。剧本→角色三视图→分镜→成片全链路。 | 漫剧 / 短剧批量生产 | 垂直产品 |
| 万兴剧厂 | 产品级闭环：分镜创作提效 6 倍，5 人团队 1 周产出 100 分钟漫剧。整剧成本下降 60%+。和 LibTV 是直接竞品，更产品化但灵活度低。 | 稳定输出的漫剧团队 | 产品化 |
不是"先学透再开始"，而是"一边跑一边学"。下面这条路径已经被很多人验证过，按周拆。
下面这些是 2026 年实战者反复总结出来的高频陷阱。读完这一节，能帮你省下 1–2 个月的弯路。每张卡片都包含"陷阱描述 → 正确做法"两层。
一上来订阅 5 个 AI 工具、买 3 个数字人会员，结果每个都浅尝辄止。本质是用"购买行为"替代"内容输出"的心理逃避。
每一层只用 1 个工具，至少深用 2 周再考虑替换。
平台早就在降权"撞脸数字人"。剪映、腾讯智影里那些公模美女主播 / 西装小哥，抖音上同款形象已经几十万个，算法权重直降。
第二周就把声音 + 形象克隆成自己的。蝉镜 / T9 / 剪映情绪版都行。
新手立刻想搭 ComfyUI + Dify + n8n 全自动管道，结果搭了一个月一条视频没发。技术债早于产能债。
先用手工流程发出 30 条，再考虑自动化哪些环节。
前 3 秒不抓人，后面再精彩也没用。5 秒完播率是抖音算法的核心指标——比点赞、收藏权重都高。
脚本第一句永远先写完，反复 A/B 测试钩子。
抖音 2024 年起强制 AI 内容打标。不打标会被限流甚至封号。算法对老实打标的内容反而没有惩罚。
发布时勾选"包含 AI 生成内容"，照样能涨粉。
AI 情感故事 + 漫画分镜是 2025 年爆赛道，但 2026 年早期红利已被吃完，单纯模仿很难起号。
在已验证的形式里加差异化（垂直领域 / 独特人设 / 反直觉视角）。
10 个账号同步发同样的内容，看起来在"扩大流量"，实际上算法识别出来后整片矩阵限流。"无脑搬运矩阵"已经是 2026 年最常见的死法。
先有 1 个跑得通的账号，再考虑差异化矩阵。
新手把 80% 精力放在画面上，结果配音僵硬、节奏拖沓。声音是用户"听觉惯性"的来源，比画面更影响完播。
声音和画面 5:5 投入，前期甚至声音优先。
2026 年视频模型的"护城河"非常浅——Sora 2 都被关停了，可灵被 Seedance 替代、Seedance 又被 Happy Horse 挤下。绑死一家会被反复打脸。
工作流做成"模型可换"，API 调用层做适配器抽象。
第一个月就盯着接广告、卖课、带货，结果数据指标全跑偏。账号还没"活下来"就想"赚钱"，最后两头空。
前 3 个月只看 5s 完播率、涨粉曲线、互动率。变现是第 3–6 个月的事。
AI 视频赛道目前的窗口期还在，但已经从"会用 AI 就有红利"过渡到"会用 AI + 有内容判断力才有红利"。工具会越来越好用，剩下的胜负手是：你能不能持续输出 + 有不可替代的视角。
你的优势是技术背景 + 在做多 Agent 平台。这意味着你可以做别人做不到的两件事：（1）把视频生产真正自动化，做出比单兵作业高一个数量级的产能；（2）把"做 AI 视频"本身变成内容素材，输出 AI 视频工厂的搭建故事，技术圈的人会爱看。
起跑姿态已经搭好了。剩下的是迈出第一步。