chore:文档补全
This commit is contained in:
@@ -0,0 +1,61 @@
|
||||
# MKv7w5MX5iW54ykkM7Vcfu6YnTg
|
||||
|
||||
Source: https://ocnmca6f1o0p.feishu.cn/wiki/MKv7w5MX5iW54ykkM7Vcfu6YnTg
|
||||
|
||||
|
||||
## 工作内容概述
|
||||
1、学习并实践制作知识库
|
||||
|
||||
> :smile:
|
||||
昨日旁听了千山项目组同事关于知识库的分享,收获颇丰。计划借助 Cursor 工具动手开发一款知识库应用,在实践中理解知识库的构建与应用流程。
|
||||
## 一、RAG 系统简述
|
||||
RAG 在知识库中的作用是:将大语言模型与外部知识检索相结合,使知识库从被动存储升级为能够主动理解问题、实时召回相关信息并生成有据可依的精准答案的智能系统。
|
||||
**RAG(Retrieval-Augmented Generation,检索增强生成)**是一种让大模型在回答问题前先从外部知识库检索相关信息的架构。其核心流程为:用户提问 → 从知识库检索相关内容 → 将问题和检索结果拼接成 Prompt → 大模型生成答案。
|
||||
RAG 的核心价值在于解决大模型的两个局限:知识截止日期问题和幻觉问题。通过外挂知识库,模型无需重新训练就能访问最新或私有的知识,且回答有据可查。
|
||||
## 二、RAG 系统组成
|
||||
### (一) Embedding 模型
|
||||
**能将文本、图片等非结构化数据转换成固定长度数字向量(一串数字)的神经网络模型**。这个向量可以看作数据的“语义坐标”,意思相近的文本,其向量在数学空间中的距离也接近。
|
||||
**能干什么**
|
||||
**知识库中的作用**
|
||||
Embedding 模型负责将笔记内容和用户问题转化为向量,存入 Chroma 向量数据库。用户提问时,系统用同一模型将问题向量化,再由 Chroma 通过向量距离检索出最相关的笔记片段,最终交给大模型生成答案。它是整个语义检索环节的核心引擎。
|
||||
### (二) 向量知识库(语义搜索)
|
||||
**能将文本、图片等数据转换成的向量存储起来,并提供高效相似向量检索能力的数据库系统**。与传统的精准匹配查询不同,它通过计算向量之间的距离来寻找语义上最相近的内容。
|
||||
**能干什么**
|
||||
**知识库中的作用**
|
||||
Embedding 模型将笔记转换为向量后存入向量库。用户提问时,问题同样转为向量,由向量库快速找出与之距离最近的笔记片段,实现基于语义的相关内容召回。
|
||||
### (三) 全文检索
|
||||
**一种基于关键词和词汇匹配的搜索技术,通过倒排索引快速定位包含指定词语的文档**。它关注的是文本中是否出现、出现了多少次查询词,以及词的精确匹配关系。
|
||||
**能干什么**
|
||||
**在知识库项目中的作用**
|
||||
将笔记内容同步至全文索引。当用户提问时,同时执行关键词搜索,与向量搜索结果合并去重,弥补语义搜索在精确术语上的不足,形成“语义理解 + 精确命中”的混合检索能力。
|
||||
### (四) 语义搜索与全文检索合并上下文
|
||||
去重、优选、整理出一份高质量且不冗余的参考上下文,供大模型生成精准答案。
|
||||
二、合并上下文的关键步骤
|
||||
场景
|
||||
语义检索能力
|
||||
全文检索能力
|
||||
最佳方案
|
||||
同义词/模糊意图(水果→苹果)
|
||||
强
|
||||
弱
|
||||
语义
|
||||
精确技术术语、代码、IP
|
||||
弱
|
||||
强
|
||||
全文
|
||||
长文档中的细节
|
||||
中
|
||||
强
|
||||
全文 + 语义
|
||||
排序的确定性(要找包含某个词的)
|
||||
不稳定
|
||||
稳定
|
||||
全文
|
||||

|
||||

|
||||

|
||||

|
||||

|
||||
|
||||
> :thinking_face:
|
||||
我觉得,未来技术知识体系里,广度可能比深度重要得多。能更快地了解最新的 AI 及相关知识,快速体会、快速实验,更快地把它纳入自己的技能体系。虽然还有很多领域深度依然不可替代,但在大量“中间地带”的开发工作上,轻量、快速、广覆盖正在成为新的核心竞争力。
|
||||
Reference in New Issue
Block a user