检索增强 RAG
阅读 6
评论 0
点赞 0
向量库与 Embedding
Embedding通过编码器将文本压缩为高维稠密向量,实现语义相似度检索(余弦距离);稀疏向量如BM25用于关键词匹配。主流向量库选型需结合场景:Chroma适合中小原型,Weaviate支持原生混合检索(关键词+向量)与多租户隔离,Milvus面向大规模分布式生产,Pinecone提供免运维SaaS服务。性能优化依赖ANN算法(如HNSW),牺牲极小精度换指数级提速。实战中向量化耗时占90%,需预处理题干降维、去无关文本并异步更新。选型核心:Embedding优先中文优化模型,向量库按规模与运维能力匹配。