Zilliz 持续为 AI 应用开发者赋能！ 
近期，Zilliz 与智源研究院达成合作，将多种 BGE （BAAI General Embedding）开源模型与开源向量数据库 Milvus 集成。得益于 Milvus 2.4 最新推出的 SparseVector 和多向量支持，开发者获得了多种选择，不仅有广泛采用的的 Dense Embedding 模型，还能使用 BGE 最新推出的 Sparse Embedding、Reranker 模型构建更加强大的召回方案。BGE 与 Milvus 的集成在全面提升 RAG 质量的同时兼具灵活性，可以更好地为 AI 应用开发者服务。 
Zilliz 生态集成和 AI 平台负责人陈将表示：“未来，Milvus 将持续与智源在模型研究、开发者推广等方面深度合作，助力 AI 应用的进一步普及和提升。” 
智源研究院 BGE 负责人表示：“ BGE 和 Milvus 的集成，为社区用户快速搭建“三位一体的”（稠密检索、稀疏检索、重排序）检索流水线带来的极大便利。未来期待与像 Zilliz 这样行业优秀的企业进一步合作，共同为 AI 应用开发者赋能。”
01
Sparse Embedding 和 Reranker
提升 RAG 的新趋势
RAG（Retrieval Augmented Generative）已经被证明能够有效解决大模型的幻觉、时效性差、专业领域知识不足、数据安全等阻碍大模型应用的核心问题，而 Embedding 模型和向量数据库是实现这一方案的关键，更好的模型、功能更丰富的向量数据库，能够有效提升 RAG 的回复质量，帮助大语言模型实现更好的终端问答体验。 
然而，由于 Dense Embedding 和 Dense Vector Search 的限制，RAG 最终所呈现的效果往往并不尽如人意。目前，业界倾向于采取两种方案来解决 RAG 质量不高的问题： 
方案一，使用 Sparse Vector 配合 Dense Vector 进行两路召回的方式。其中，Sparse Vector 可以帮助识别和捕捉特定的语义信息，而 Dense Vector 则可以提供更丰富的语义表达。通过将这两种向量召回的结果整合，可以获得更丰富、更全面的信息，从而提升 RAG 的效果。 
方案二，使用 Cross-encoder Reranker 作为第二层的精排。首先使用 Dense Vectors、Sparse Vectors 或二者的组合进行粗排；随后通过使用 Reranker 模型对第一阶段的结果进行进一步的筛选和排序，以提高最终结果的质量。 
值得注意的是，方案一既可以独立使用，即采用基于规则的算法来合并两路召回的结果，例如常用的 RRF Reciprocal Rank Fusion (RRF)，也可以叠加方案二使用，即采用 Cross-Encoder Reranker 对两路结果合并重新排序。
02
Milvus 携手 BGE
灵活解决 RAG 的质量难题
Milvus 是一款面向AI 应用，服务向量搜索和非结构化数据管理的开源向量数据库。它最初由 Zilliz 公司发起，并在 2019 年开源。自推出以来，Milvus 在 AI 开发者社区和企业用户中大受欢迎并被广泛采用，在 GitHub 上拥有超过 26,000 个星标和 260 多位贡献者，全球下载和安装量超过 2000 万次，已成为全球使用最广泛的向量数据库之一。 
不久前，Zilliz 创始人兼 CEO 星爵在 NVIDIA GTC 大会上正式发布了 Milvus 2.4 版本，堪称业界的革命性升级。除了被热烈讨论的基于 GPU 的向量索引和搜索加速能力，对 Sparse Vector 和 Multi-Vector 的支持也是一大亮点。Milvus 与智源 BGE 的集成不仅一次性聚集了提升 RAG 质量所需的 Sparse Embedding、多路召回、Reranker 能力，更是为开发者提供了多种类、多层次的召回方案，帮助开发者根据实际需求灵活地构建 AI 应用。 
值得关注的是，此次与 Milvus 携手的 BGE（BAAI General Embedding）是由智源研究院打造的通用语义模型。自 2023 年 8 月首次发布以来，智源团队陆续推出了中英文模型 BGE v1.0、v1.5、以及支持多达 100 多种语言和多种召回方式的 BGE-M3 模型。截至目前，BGE 系列模型全球下载量已经超过 1500万，位居国内开源 AI 模型首位。BGE-M3 模型更是一度跃居 Hugging Face 热门模型前三名。
Zilliz 最新推出的 Milvus 2.4 客户端为 BGE 模型提供了简单易用的函数封装。开发者可以更加方便地使用多种 BGE 开源模型，配合 Milvus 向量数据库构建多路、多级的召回方案，全面提升 RAG 质量。更多案例可以参考原文链接：
https://github.com/milvus-io/pymilvus/blob/master/examples/hello_hybrid_sparse_dense.py
更多阅读
#投 稿 通 道#
 让你的文字被更多人看到 
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：[email protected] 
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
·
·
·
继续阅读
阅读原文