AIGC 生成式 AI - 峰的个人知识库

1. AIGC 是什么

AIGC（AI Generated Content）指用人工智能自动生成文本、图像、音频、视频、代码等内容的能力和产物，强调"生成"这个动作本身，而不是某一种具体模型。

容易混淆的三个概念：
- AIGC：生成内容的能力/产物，是一个应用层的统称，文本、图片、视频都算。
- LLM：大语言模型，是驱动"文本类 AIGC"的引擎，也是目前最成熟的 AIGC 分支。
- AGI：通用人工智能，指"像人一样什么都能干"的终极愿景，是能力目标而非具体技术。

一句话区分：AIGC 是"生成什么"，LLM 是"用什么生成文本"，AGI 是"最终想达到什么高度"——三者不是同一层级的概念，AIGC 和 LLM 是手段/产物，AGI 是目标。

❓ 常见追问 · 问："文生图算不算 LLM？" 答：不算，LLM 特指文本生成的大模型，文生图背后通常是 Diffusion（扩散模型），二者都属于 AIGC，但不是同一种模型家族。

2. 生成式 vs 判别式

这是机器学习里最基础的两分法：
- 判别式模型（Discriminative）：学习条件概率 P(y|x)，给定输入 x，判断它属于哪个类别 y。比如垃圾邮件分类、情感分析、人脸识别，本质是"划边界"。
- 生成式模型（Generative）：学习数据本身的分布 P(x) 或 P(x|y)，理解"数据长什么样"，从而能够采样、造出全新的、没见过的样本。比如让模型画一张新的猫的图片。

判别式是"认得出"，生成式是"造得出"；判别式做分类/打分，生成式做创作/合成。GPT、Diffusion、GAN 都是生成式代表。

❓ 常见追问 · 问："同一个模型能既判别又生成吗？" 答：可以，比如用生成式模型的中间表示做分类（如用扩散模型做异常检测），但训练目标和优化方式不同，工程上通常还是分开设计。

3. 四大生成模态

AIGC 按生成的内容类型可以分为四大模态：

文本：由 LLM（大语言模型）驱动，代表如 GPT 系列、Claude 系列，用于对话、写作、代码生成。
图像：主流技术是 Diffusion（扩散模型），也叫文生图，代表产品如 Midjourney、Stable Diffusion。
视频：近年基于 DiT（Diffusion Transformer）架构发展迅速，代表如 Sora、可灵。
音频：包括语音合成 TTS 和 AI 音乐生成，代表如主流云厂商的语音合成服务、Suno 这类音乐生成产品。

文本用 LLM，图像/视频用 Diffusion 系（视频是 Diffusion + Transformer 结合），音频分 TTS（把文字变声音）和音乐生成两条线。

❓ 常见追问 · 问："这四种模态未来会走向统一吗？" 答：趋势是走向统一的多模态生成模型（一个模型既能懂又能生成多种模态），但目前工程上主要还是各模态独立的专用模型分别调用。

4. 生成式模型家族一句话

四大经典生成模型架构，各记一句定位即可：

GAN（生成对抗网络）：生成器和判别器互相"对抗"博弈，生成器造假、判别器抓假，博弈到生成器以假乱真为止。
VAE（变分自编码器）：把数据压缩到一个概率分布的隐空间再解码还原，生成过程稳定但生成质量偏模糊。
Diffusion（扩散模型）：先给数据逐步加噪声到纯噪声，再训练模型学会逐步去噪还原，当前图像/视频生成的主流范式。
自回归（AR，Auto-Regressive）：像 GPT 一样一个 token 接一个 token 地预测下一个，文本生成的主流范式。

GAN 靠对抗博弈、VAE 靠隐空间编解码、Diffusion 靠加噪去噪、AR 靠逐 token 预测；目前文本用 AR，图像视频用 Diffusion 是主流组合。

详见子目录 01。

5. 对后端工程师意味着什么

对于以后端为主的 AI 应用开发工程师，生成式媒体这块不需要深究训练细节，但要理解工程侧的几个关键点：

调用形态：绝大多数场景是调用云厂商/模型厂商的生成 API（文生图、文生视频、TTS 接口），只有少数私有化场景才会自托管开源模型（如自部署 Stable Diffusion）。
成本与延迟：生成式任务普遍比文本生成更"重"——图片/视频生成依赖 GPU 算力，耗时从几秒到几分钟不等，费用也明显高于纯文本调用，接口设计上通常要用异步任务+轮询/回调，而不是同步等待。
与已有能力的关系：生成式媒体调用本质上和 RAG、Function Calling、多模态调用是同一套工程范式——都是"调用外部能力+编排结果"，只是这次外部能力换成了图像/视频/语音生成模型。

对后端来说，生成式媒体 = 广度加分项，重点是"知道怎么调、成本高、要异步"，不是"知道怎么训"。

❓ 常见追问 · 问："生成图片的接口你会怎么设计？" 答：用异步任务模式——提交生成请求先返回任务 ID，客户端轮询或服务端用 Webhook 回调通知结果，避免长连接同步阻塞；同时做好排队限流和失败重试。

6. 学习路径

建议按以下顺序推进，量力而行，非必须吃透：

先了解全景 → 子目录 01：什么是 AIGC 与技术全景
再看图像生成原理 → 子目录 02：扩散模型与文生图
然后看视频与语音生成 → 子目录 03：文生视频与语音生成
再看多模态架构怎么整合 → 子目录 04：多模态生成与理解架构
最后过一遍工程与面试高频题 → 子目录 05：AIGC 工程与面试高频

全景 → 图像 → 视频语音 → 架构 → 面试高频，五步走，时间紧就优先看 01 和 05。

7. 与本仓其他篇的关系

本模块聚焦"生成"视角，和仓库里已有的几篇不重复，而是互相补充：

08 大模型调用与流式：讲的是文本类大模型的调用方式和流式输出，AIGC 模块不重复讲调用协议，只补充"图像/视频/语音"这类非文本生成的调用差异。
09 Transformer 与微调：讲的是模型结构和微调（含 LoRA）本身，AIGC 模块不重复讲训练/微调原理，只在需要时提一句生成式模型也可以微调（如 LoRA 用于 Diffusion 风格微调）。
01 RAG 检索增强：讲的是文本检索增强，AIGC 模块补充的是"多模态检索/生成"的延伸场景（比如以图搜图、图文联合检索），不重复 RAG 的核心流程。

本模块不重造轮子，只从"生成"角度给已有技术打补丁、做互链，面试时能接得上话即可，不必单独展开讲透。