AIGC 工程与面试高频

1. 落地形态（后端视角）

后端接入 AIGC 能力常见三种形态：

1. API 调用：直接接入云厂商/模型厂商提供的图像、视频、语音生成接口（如豆包、OpenAI 的图像/视频接口），免运维、按量付费、快速上线，但数据出域、成本随调用量线性增长。
2. 开源自托管：自行部署开源模型到私有/云端算力，如 Stable Diffusion WebUI 提供交互式界面，ComfyUI 以节点图方式编排生成工作流（加载模型→采样→ ControlNet →后处理），数据可控、可定制微调，但需自建 GPU 与运维能力。
3. 成本与延迟工程化：生成任务耗时长（文生图秒级、文生视频分钟级）、GPU 算力昂贵，后端典型架构是"异步任务队列 + 结果缓存 + 限流"——请求提交后立即返回任务 id，客户端轮询状态或服务端回调通知，避免同步阻塞长连接；相同/相似请求（prompt+参数）命中缓存直接返回，减少重复推理；结合 GPU 排队情况做限流与优先级调度，防止资源被打满。

❓ 常见追问 · 为什么生成类接口几乎都设计成异步任务模式而不是同步返回？→ 生成耗时可能从几秒到几分钟不等，远超常规 HTTP 同步请求的合理超时范围，同步长连接会占用连接资源、对网关和客户端超时策略都不友好；异步任务 id + 轮询/回调既能应对耗时波动，也便于做排队、重试、限流与计费统计。

2. 评测指标

不同模态的生成效果评测指标不同，核心是"分布/相似度的客观指标 + 主观人工评测"结合：

• 图像：
• FID（Fréchet Inception Distance）：衡量生成图像分布与真实图像分布之间的距离，数值越低越好，是图像生成质量最主流的客观指标。
• IS（Inception Score）：衡量生成图像的清晰度与多样性，数值越高越好，但不比较与真实数据的分布差异，已逐渐被 FID 取代为主指标。
• CLIP Score：衡量生成图像与输入文本描述的图文匹配度（图文向量相似度），用于评估文生图的语义一致性。
• 语音：MOS（Mean Opinion Score，主观意见分），人工对合成语音的自然度/清晰度打分（通常 1-5 分），是 TTS 质量评测的黄金标准；也有 NISQA 等自动化 MOS 预测模型作为客观代理指标。
• 视频：客观上关注时序一致性（帧间物体/风格是否连贯、有无闪烁抖动）与运动合理性，同时视频生成主观质量差异大，仍需结合人工评测（如成对偏好比较）。

❓ 常见追问 · 为什么图像生成不能只看 FID/IS 这类客观指标？→ FID/IS 反映的是生成分布的统计特性，无法判断生成内容是否符合具体文本语义（需要 CLIP Score 补充），也无法完全代表人眼主观审美与细节合理性（如手指、文字畸变），因此工程上通常客观指标 + 人工评测/AB 测试并用。

3. 版权 / 合规 / 安全

AIGC 落地绕不开的四类风险：

• 训练数据版权争议：模型训练大量抓取互联网图片/文本/音乐，是否构成侵权、生成结果是否算"演绎作品"在全球范围内仍存在法律争议与诉讼案例（如图片库、艺术家维权）。
• 生成内容水印/溯源：为生成内容打上可见或不可见水印（如像素级隐写水印、C2PA 内容溯源标准），标明"AI 生成"身份，便于事后追溯来源、满足监管要求（国内已要求 AI 生成内容强制标识）。
• 内容安全过滤：对生成结果做 NSFW（色情/暴力/血腥等违规内容）检测过滤，对输入 prompt 做敏感词/越权请求拦截，防止模型被诱导生成违法违规内容。
• 深度伪造与语音克隆合规：Deepfake（人脸换脸/伪造视频）与语音克隆技术存在被用于诈骗、造谣、侵犯肖像权/声音权的风险，多地已立法要求显著标识合成内容、限制未经授权的人物形象/声音克隆。

❓ 常见追问 · 后端工程师在合规上具体要落哪些点？→ 生成结果落库前后接入内容审核（图像/文本双重过滤）、按监管要求给输出内容打 AI 生成标识、记录生成任务的 prompt 与结果用于审计溯源、涉及真人形象/声音克隆的功能需增加显式授权与二次确认环节。

4. 面试高频题 + 速答

以下按高频顺序整理，建议先自答再看速记核对：

1. 扩散模型原理是什么？ 速记 前向过程逐步给数据加高斯噪声直到变为纯噪声，训练一个模型学习反向逐步去噪的过程，推理时从随机噪声出发反复去噪还原出图像/视频。
2. Stable Diffusion 三大件是什么？ 速记 VAE（图像与潜空间互相编解码，降维加速）、U-Net（在潜空间中执行去噪的核心网络，接收文本条件引导）、文本编码器（如 CLIP Text Encoder，将 prompt 编码为条件向量）。
3. ControlNet 的作用是什么？ 速记 在不改动/微调原 SD 主干权重的前提下，通过额外的条件分支引入边缘图、姿态、深度图等结构性控制信号，让生成图像在保持特定构图/姿态/轮廓的同时接受文本引导，实现精细可控生成。
4. 文生图 LoRA 和 LLM LoRA 有什么区别？ 追问 二者原理相同（低秩矩阵旁路微调，冻结原始权重），差异在作用对象与效果目标：SD-LoRA 通常插入 U-Net 的注意力层，用于学习特定画风/角色/风格；LLM-LoRA 通常插入 Transformer 的注意力/FFN 层，用于学习特定任务指令风格或领域知识，两者都以"小样本、低成本、可插拔"为核心优势。
5. Sora 为什么强、难点在哪？ 速记 核心是把视频统一表示为时空 patch 并用 DiT（Diffusion Transformer）建模，替代传统 U-Net，具备更好的可扩展性（scaling law）；难点在于保持长时间的时序一致性（物体不变形、不闪烁）、物理规律合理性，以及训练/推理所需的巨大算力成本。
6. CLIP 在 AIGC 中起什么作用？ 速记 CLIP 通过图文对比学习将图像与文本映射到同一语义空间，在文生图中作为文本编码器提供语义条件，也常用作 CLIP Score 评测图文匹配度，是连接"语言理解"与"视觉生成/理解"的关键桥梁模型。
7. TTS（文生语音）的链路是什么样的？ 速记 文本前端处理（分词、多音字/数字规范化）→ 声学模型将文本转为声学特征（梅尔频谱等，主流用 Diffusion 或自回归 token 方案）→ 声码器（Vocoder）将声学特征还原为波形音频；语音克隆则在声学模型环节引入目标说话人的音色特征作为条件。
8. AIGC 落地时成本怎么控制？ 速记 模型侧用蒸馏/少步采样（如 LCM）降低推理步数、按场景选更小分辨率/更轻量模型；架构侧用异步队列削峰填谷、结果缓存复用、GPU 按负载弹性伸缩与排队限流；业务侧按 SLA 分级（实时预览用低质量快速模型，最终交付再用高质量模型）。
9. FID 是什么，怎么理解？ 速记 Fréchet Inception Distance，用 Inception 网络分别提取真实图像集和生成图像集的特征分布（假设为高斯分布），计算两个分布之间的 Fréchet 距离，数值越低说明生成分布越接近真实分布、生成质量越好。
10. AIGC 有哪些版权/合规风险，工程上怎么应对？ 速记 训练数据版权争议、生成内容侵权风险、深度伪造/语音克隆滥用风险；工程应对是生成内容强制加水印/标识、接入内容安全审核过滤、记录审计日志、对人物形象声音克隆类功能加授权确认机制。

5. 与本仓关联

01 RAG 多模态 · 08 多模态调用 · 09 LoRA/微调