模型原理
阅读 1
评论 0
点赞 0
多模态生成与理解架构
本篇补生成视角，多模态大模型的三段式架构细节见 08 大模型调用 §12，此处不重复。
模型原理
模型原理
阅读 0
评论 0
点赞 0
文生视频与语音生成
本文介绍了文生视频和语音生成两大方向。文生视频在图像扩散基础上增加时间维度，采用DiT架构和时空patch（如Sora），核心难点是时序一致性。主流产品包括Sora、可灵、Runway Gen-3和Pika。语音生成TTS经典链路为文本→声学特征→声码器→波形，代表方法有VITS和扩散类TTS，而zero-shot语音克隆（如ElevenLabs、CosyVoice）可用几秒音频合成新语音。ASR（Whisper）与TTS互为逆过程，数字人通过TTS加口型驱动实现。此外，视频生成因时序一致性和算力需求比图像更难；TTS效果用MOS评价；流式TTS需分块生成并低延迟播放；语音克隆存在声音伪造等滥用风险，需授权和风控机制。
模型原理
阅读 0
评论 0
点赞 0
扩散模型与文生图
扩散模型（Diffusion Model）分两个过程：
模型原理
阅读 2
评论 0
点赞 0
什么是 AIGC 与技术全景
AIGC指利用生成式模型自动产出文本、图像、音频、视频等内容，核心是“学习数据分布→采样生成”。发展历经GAN、VAE、Diffusion、自回归到多模态阶段，其中Diffusion因质量与可控性成为文生图/视频主流，自回归统一了多模态生成。四大模型家族（GAN/VAE/Diffusion/自回归）各有优劣：Diffusion质量高但推理慢，自回归通用但串行生成，GAN实时快但训练不稳定，VAE常用作压缩组件。四大任务包括文生图、文生视频、文生语音、文本生成。产业落地覆盖创作工具、营销素材、游戏美术、数字人、代码生成等，典型形态为API调用（快速上线、数据风险）或自托管（数据可控、成本可控）。后端工程师需掌握技术选型、模型调用、成本控制与能力边界判断，以支撑合理的系统设计。
模型原理
阅读 2
评论 0
点赞 0
AIGC 生成式 AI
AIGC是通过AI自主生成文本、图像、视频、音频等内容的技术集合，核心在于“生成”。文本生成由大语言模型（LLM）驱动，图像/视频主要基于扩散模型（如DiT），音频分为语音合成（TTS）和音乐生成。需区分AIGC（应用层）、LLM（文本引擎）与AGI（能力愿景）。生成式模型的核心是学习数据分布以创造新内容，而判别式模型仅做分类。四大生成模型家族中，自回归LLM主导文本，扩散模型主导图像/视频，GAN和VAE逐渐边缘化。工程实践强调API调用、异步任务设计（任务队列与回调）及成本限流。学习路径建议从基础认知、核心技术到工程实践逐步深入。AIGC并非取代人类，而是扩展创造力的工具。
模型原理
阅读 2
评论 0
点赞 0
Transformer 与模型微调
Transformer基于Encoder-Decoder双模块架构，Encoder通过双向自注意力理解上下文，Decoder通过单向自注意力生成文本。自注意力机制以Q/K/V三向量交互为核心，结合多头注意力和位置编码实现全局语义建模。大模型（如GPT-4）是Transformer在数据和算力极致扩展的产物。主流架构包括Causal Decoder（LLaMA）、Prefix Decoder（ChatGLM）和Encoder-Decoder（T5），其中Decoder-only因训练高效、生成能力强成为主流。微调技术中，LoRA通过低秩矩阵仅训练1%~5%参数，适应多任务；RLHF分SFT、奖励模型、PPO三阶段对齐人类偏好，DPO可简化流程。实际应用中建议优先高质量指令数据，小数据量用Chat模型，大数据量用Base模型，RLHF可跳过奖励模型直接DPO。掌握这些核心知识能帮助高效落地大模型任务。