本文主要是关于如何评估RAG的效果 1 评估召回环节的效果 构建形如“问题-包含答案的文本块”这样的测试数据。 常用的评估指标:命中率,MRR(Me
本文介绍一些提高向量召回效果的方法 短文本全局信息增强 目的是为切分后的短文本片段补充所属的长文本全局信息。 论文“DAPR:A Benchmark on Document-Aware Passage Retri
常用的高效向量检索算法:分层可导航小世界(Hierarchy Navigable Small World HNSW),倒排文件索引,乘积量化 等 Faiss
文本切块是数据向量化存入向量数据库等核心优化部分。切的块不能太长,太长的块损失的语义信息较多,导致召回准确率较低,过长的召回文本也将限制放入
本文主要介绍RAG中文本召回的相关基础知识,和经典模型。 基础知识 召回环节中,需要使用文本向量检索模型 embedding模型来进行两个环节处理
LLM的缺陷–为什么需要RAG? 大模型的知识源于pretrain阶段输入的语料,对于时效性较近的问题,会出现答案错误或过时。(可