向量库与 Embedding 检索增强 RAG
阅读 3 评论 0 点赞 0

向量库与 Embedding

向量化基于BERT编码器将文本映射到高维语义空间，生成稠密向量（如768维），语义相近则余弦相似度高。稠密向量代表语义检索，稀疏向量（如BM25）代表关键词检索。向量库选型中，Weaviate适合需要多租户和混合检索的轻量场景；Faiss+ES适合千万级以上高性能需求；Milvus虽强但运维重。ANN算法主流为HNSW（查询近O(logn)），其他包括IVF、PQ、Annoy。百万级题库压测显示单次搜题端到端10-20秒，瓶颈在AI解析而非检索。调优技巧：只向量化题干和选项排除答案，维度降级（2048→1024），预处理HTML但保留img标签，异步处理记忆管道降低响应延迟。多租户通过Weaviate的with_tenant实现硬隔离。

#向量库#Embedding#语义检索
RAG 检索增强生成 检索增强 RAG
阅读 1 评论 0 点赞 0

RAG 检索增强生成

RAG 系统分为数据准备与查询两阶段，核心在分块（推荐 500/100 滑动窗口）、混合检索（BM25 与向量归一化加权，加长度惩罚）、Rerank（Cross-Encoder 精排）及评估（RAGAS 指标：命中率、忠实度等）。优化方向覆盖查询改写、多路召回、重排序及数据侧策略。进阶范式包括 Self-RAG（自决定是否检索）、GraphRAG（实体关系多跳推理）及多模态 RAG。读者可掌握从分块到生产压测的完整链路，关键在于排查“答非所问”的分块、召回、排序和生成环节，并通过离线评估与 bad case 回流持续迭代。

#RAG#检索增强#向量检索