1. 文生视频原理
文生视频可以理解为在图像扩散模型基础上增加了时间维度：不仅要在空间上生成合理的画面，还要在时间轴上保证多帧之间连贯一致。
速记主流架构是 DiT（Diffusion Transformer）：用 Transformer 替代传统 U-Net 作为扩散去噪的主干网络，更利于扩展模型规模和处理长序列（时间维度）。速记Sora 的核心思路：把视频在时空上切分成一个个 patch（时空块），在这些 patch 对应的 latent 表示上做扩散生成，相当于把图像扩散中的"空间 patch"扩展成"时空 patch"。速记核心难点是时序一致性：- 帧与帧之间要连贯，不能出现物体突然闪烁、形变、跳变；
- 长视频生成更难，误差会随时间累积，画面容易漂移或崩坏；
- 需要同时兼顾空间保真度和时间连贯性，计算量比图像生成大得多。
2. 主流文生视频产品
速记Sora（OpenAI）：基于 DiT + 时空 patch 思路，代表当前文生视频的技术高水位，能生成较长、较连贯的高质量视频。速记可灵（快手）：国内领先的文生视频大模型，主打高分辨率、长时长、强动作连贯性。速记Runway Gen-3：面向创意/影视制作场景的文生视频与图生视频工具，强调可控性与画面质感。速记Pika：早期主打易用、轻量的文生/图生视频产品，适合短视频与创意片段生成。
3. 语音生成 TTS
TTS（文本转语音）的经典链路：
文本 → 声学特征（mel 频谱） → 声码器（vocoder） → 波形
- 文本先被转换为声学特征（通常是 mel 频谱，描述语音的音高、时长、韵律等中间表示）；
- 再由声码器（vocoder）把声学特征还原成可播放的音频波形。
代表方法：
- VITS：端到端的 TTS 方案，将声学模型与声码器联合训练，直接从文本生成波形，音质自然、流程更简洁；
- 扩散类 TTS：借鉴扩散模型思路，在声学特征或波形空间上做去噪生成，音质和多样性上有优势。
zero-shot 语音克隆：只需几秒钟的参考音频，就能提取说话人音色特征，在不重新训练模型的情况下合成该音色的任意文本语音。
代表产品：ElevenLabs（海外语音生成与克隆代表）、CosyVoice（国内代表性开源/商用语音合成方案）。
4. 语音识别 ASR（简述）
速记Whisper（OpenAI）是当前语音识别（ASR）的代表模型，支持多语言、强噪声鲁棒性。速记ASR 与 TTS 互为逆过程：ASR 是"语音 → 文本"，TTS 是"文本 → 语音"，两者常配合构成语音交互闭环（听清 → 理解/生成 → 说出）。
5. 数字人 / 唇形同步
数字人视频生成通常是 TTS + 口型驱动（唇形同步） + 视频生成/渲染 的组合技术：先用 TTS 生成语音，再驱动数字人模型的嘴型与语音对齐，最后合成完整视频。常用于虚拟主播、数字人客服等场景。
6. 高频追问
❓ 常见追问 · 视频生成为什么比图像生成难？
答：一是要多保证一个时序一致性维度（帧间连贯、物体不能闪烁/跳变，长视频误差会累积漂移）；二是算力和数据量要求高得多，视频数据规模远大于图像，训练和推理成本显著上升。
❓ 常见追问 · TTS 效果怎么评价？
答：常用 MOS（Mean Opinion Score，主观意见分），由人工对生成语音的自然度、清晰度等打分取平均；也会结合自然度、音色相似度、韵律等维度做主客观结合评估。
❓ 常见追问 · 实时/流式 TTS 怎么做？
答：核心是把"整句合成后再播放"改造成流式生成 + 边生成边播放：文本分块（如按句/按词）流式输入模型，声学特征和声码器部分也要支持流式/低延迟推理，尽量减少首包延迟（time-to-first-audio），同时兼顾语音的连贯性和韵律自然度。
❓ 常见追问 · 语音克隆的合规与滥用风险？
答：zero-shot 克隆门槛低（几秒音频即可仿声），存在声音伪造、诈骗、侵犯肖像/声音权等滥用风险；工程上通常需要：用户音色授权确认、生成内容加水印/可追溯标识、滥用检测与风控机制，并遵循相关法律法规（如深度合成内容标识要求）。
评论