混合技术应用 - 峰的个人知识库

场景 1 · 完整 RAG 生产链路

工业级 RAG 分生产端（离线建库）和消费端（在线问答）：

生产端：多模态文档加载（PDF/DOCX/图片）→ 解析清洗（MinerU 版面分析/OCR）→ 滑动窗口智能切片（500/100）→ Embedding 向量化（M3E/BGE/豆包 2048 维）→ 向量库持久化（Weaviate/FAISS）。

消费端：用户 Query → 结合历史做查询重写/关键词提取 → 多路召回（BM25 关键词 + 向量语义） → Cross-Encoder 重排（BGE-Reranker） → 上下文组装（拼 System Prompt + 召回片段 + 历史）→ 大模型生成（SSE 流式）→ 后处理输出。

flowchart LR
 subgraph 生产端
 A[多模态文档] --> B[解析清洗 MinerU/OCR]
 B --> C[滑动窗口切片 500/100]
 C --> D[Embedding M3E/BGE]
 D --> E[(向量库 Weaviate/FAISS)]
 end
 subgraph 消费端
 Q[用户Query] --> QR[查询重写+关键词]
 QR --> MR[多路召回 BM25+向量]
 E --> MR
 MR --> RR[Rerank BGE-Reranker]
 RR --> CTX[上下文组装]
 CTX --> GEN[LLM生成 SSE流式]
 end

融合的单块技术：RAG + 向量库/Embedding + 大模型调用/流式 + 提示词
对应项目：企业RAG知识库

场景 2 · Agent 记忆闭环（短期+长期+路由）

一个完整的对话 Agent 是"意图路由 + 短期记忆 + 长期记忆 + 模型路由 + 落库"的闭环：
1. 用户输入 → 意图识别分类（走哪个能力）
2. 短期记忆：MySQL 拉近 5 轮 + 每 5 轮摘要
3. 长期记忆：Weaviate 按语义召回 TopK（6 类型带元数据过滤）
4. 组装上下文 → 模型路由（快/强/多模态）生成 → SSE 流式
5. 回复后重要性评估：关键事实写长期库，主题脉络沉淀摘要
6. 会话/token/trace 落库，可观测

核心矛盾：短期连贯 + 长期可检索 + 成本可控 + 可观测。短期用滑动窗口防爆炸，长期只召回强相关避免噪声，冲突偏好用时间衰减不覆盖。

融合的单块技术：Agent与记忆 + 向量库 + 大模型调用/流式
对应项目：小智平板

场景 3 · 多 Agent 编排 + 工具调用

复杂系统不是单 Agent，而是"总控路由 + 专用子 Agent + 工具链"：
- 总控 Agent：意图识别，把任务路由分发给专门子 Agent（苏格拉底/写作/判题）。
- 子 Agent：各自专注领域，内部可能是 ReAct（边做边想）或 Plan-and-Execute（谋定后动）。
- 工具层：简单工具用 Function Calling（模型输出参数 JSON 本地执行），跨项目共用服务（TTS/OCR）封装成 MCP Server 解耦调用。
- 编排框架：LangGraph 搭状态机（支持循环、有状态、可回溯、人机协同）。

LangGraph 客服回复实例：用户输入 → 意图与上下文节点 → 条件路由（能否自主处理）→ 简单走工作流处理生成，复杂/敏感转人工审批 → 发送 → 日志记录。

融合的单块技术：Agent与记忆 + FunctionCalling + MCP + Dify
对应项目：小智平板 · 企业RAG

场景 4 · FC vs MCP vs RAG 技术边界（三者串讲）

这三个是构建大模型应用的核心，职责边界不同：
- Function Calling：模型的"手和脚"——理解意图后自主决定调工具、输出参数。是行为路由机制。
- MCP：工具与数据无缝连接的标准通信网关——把工具封装成 Server，跨平台复用，解耦。
- RAG：解决幻觉/私有知识的架构模式——回答前"翻私有字典"检索增强，不改变模型行为。

一个查询流转例子（企业客服）：用户问"我的工单进度" → RAG 先检索知识库看是否有通用答案 → 需要实时数据则 Function Calling 调工单 API（该 API 可能封装成 MCP Server）→ 拿到结果注入上下文 → 生成回复。三者协同：RAG 管静态知识，FC 管动态动作，MCP 管工具接入标准化。

融合的单块技术：FunctionCalling + MCP + RAG

场景 5 · 多模态摘要降维链路（控上下文爆炸）

处理大量图文视频时，直接喂模型会上下文爆炸。解法是"先摘要降维再生成"：
1. 原始多模态（公众号图 + 学员图文视频）→ OCR/清洗/分段
2. 大文件分流：视频 >50MB 走 Files API（≤512MB，7 天），图片 >10MB 过滤
3. 调大模型生成结构化摘要 → 向量化存 Weaviate
4. 需要时向量匹配召回相关摘要（阈值 0.7 Top5）→ 融合生成最终内容
5. 失败降级：只用文本重试

本质是以空间换成本 + 信息提纯：把长内容压成高密度短文本，既不超窗口又保留核心。

融合的单块技术：大模型调用/流式 + 向量库 + 提示词
对应项目：商学咨询AI

场景 6 · NL2SQL 自助取数链路

自然语言转 SQL 是 RAG + 结构化生成 + 安全工程的组合：
1. 训练：DDL + 业务术语文档 + 问题→SQL 示例对，向量化存 ChromaDB（本质是给 SQL 生成做 RAG）
2. 业务术语映射：黑话映射到字段和口径，约束生成
3. 检索生成：召回相关表结构+示例 → LLM 生成 SQL
4. 安全校验：只读账号 + 白名单 + 拦 DML/DDL + 注入检测 + 强制 LIMIT
5. 执行自校正：报错回喂模型重写（最多 3 次）

融合的单块技术：RAG + 向量库 + 提示词 + 数据库
对应项目：NL2SQL取数助手

场景 7 · 高并发 AI 服务工程组合

高并发大模型服务是多个工程手段的叠加：
- 异步全链路：FastAPI async/await，大模型 SDK + 向量库检索非阻塞
- 批处理减压：对话累计 200 条批量异步写 MySQL（BackgroundTasks）
- 流式降延迟：SSE 流式降 TTFT
- 任务异步化：长任务丢 Celery + Redis 队列，返回 task_id
- 缓存：Redis 短期记忆/高频查询，语义缓存相似问答
- 成本控制：滑动窗口 + 长文本摘要 + 长期记忆特征化 + Prompt Caching
- 监控：Graylog 日志 + Token/成本落库 + 微服务拆分/读写分离

融合的单块技术：工程化部署 + 大模型调用/流式 + 数据库并发
对应项目：小智平板 · 商学AI

场景 8 · 数仓 ETL 全链路（大数据背景）

MySQL/Oracle → Shell ETL → XXL 调度 → ClickHouse → MySQL。数仓分层 ODS/CDM/RPT，三层校验（空值/格式/统计），ReplacingMergeTree 增量去重，报送自动压缩传输。这套数据底盘能力是做好 RAG 数据管道和 NL2SQL 的基础。

融合的单块技术：数据库并发 + 工程化部署
对应项目：EAST5数仓

场景 9 · 推荐系统三层链路（与 RAG 同构，学习推荐调研）

推荐系统的"召回 → 精排 → 重排"三层链路，和 RAG/Agent 检索链路高度同构——这是从推荐迁移到大模型应用的关键洞察：
- 召回（粗筛，求全）：多路召回融合。协同过滤（UserCF/ItemCF/Swing）、双塔模型 DSSM/YouTubeDNN（user/item 塔解耦 + 内积 + ANN/HNSW 检索，就是 RAG 的向量召回）、序列召回（SASRec 单向注意力预测下一个）、知识图谱召回。
- 精排（细排，求准）：特征交叉 FM/DeepFM/DCN、注意力 DIN/DIEN、多目标 ESMM（全空间解决 CVR 样本偏差）/MMOE→PLE（解决多任务负迁移）。对应 RAG 的 Rerank。
- 重排（业务调整）：MMR（λ 权衡相关性/多样性）、DPP（行列式度量多样性）、PRM（Transformer listwise）。对应 RAG 的多样性/去重后处理。