向量库与 Embedding

向量化基于BERT编码器将文本映射到高维语义空间，生成稠密向量（如768维），语义相近则余弦相似度高。稠密向量代表语义检索，稀疏向量（如BM25）代表关键词检索。向量库选型中，Weaviate适合需要多租户和混合检索的轻量场景；Faiss+ES适合千万级以上高性能需求；Milvus虽强但运维重。ANN算法主流为HNSW（查询近O(logn)），其他包括IVF、PQ、Annoy。百万级题库压测显示单次搜题端到端10-20秒，瓶颈在AI解析而非检索。调优技巧：只向量化题干和选项排除答案，维度降级（2048→1024），预处理HTML但保留img标签，异步处理记忆管道降低响应延迟。多租户通过Weaviate的with_tenant实现硬隔离。