文生视频与语音生成

本文介绍了文生视频和语音生成两大方向。文生视频在图像扩散基础上增加时间维度，采用DiT架构和时空patch（如Sora），核心难点是时序一致性。主流产品包括Sora、可灵、Runway Gen-3和Pika。语音生成TTS经典链路为文本→声学特征→声码器→波形，代表方法有VITS和扩散类TTS，而zero-shot语音克隆（如ElevenLabs、CosyVoice）可用几秒音频合成新语音。ASR（Whisper）与TTS互为逆过程，数字人通过TTS加口型驱动实现。此外，视频生成因时序一致性和算力需求比图像更难；TTS效果用MOS评价；流式TTS需分块生成并低延迟播放；语音克隆存在声音伪造等滥用风险，需授权和风控机制。