Evilom
61 lines
4.1 KiB
Markdown
61 lines
4.1 KiB
Markdown
# MKv7w5MX5iW54ykkM7Vcfu6YnTg
|
||
|
||
Source: https://ocnmca6f1o0p.feishu.cn/wiki/MKv7w5MX5iW54ykkM7Vcfu6YnTg
|
||
|
||
|
||
## 工作内容概述
|
||
1、学习并实践制作知识库
|
||
|
||
> :smile:
|
||
昨日旁听了千山项目组同事关于知识库的分享，收获颇丰。计划借助 Cursor 工具动手开发一款知识库应用，在实践中理解知识库的构建与应用流程。
|
||
## 一、RAG 系统简述
|
||
RAG 在知识库中的作用是：将大语言模型与外部知识检索相结合，使知识库从被动存储升级为能够主动理解问题、实时召回相关信息并生成有据可依的精准答案的智能系统。
|
||
**RAG（Retrieval-Augmented Generation，检索增强生成）**是一种让大模型在回答问题前先从外部知识库检索相关信息的架构。其核心流程为：用户提问 → 从知识库检索相关内容 → 将问题和检索结果拼接成 Prompt → 大模型生成答案。
|
||
RAG 的核心价值在于解决大模型的两个局限：知识截止日期问题和幻觉问题。通过外挂知识库，模型无需重新训练就能访问最新或私有的知识，且回答有据可查。
|
||
## 二、RAG 系统组成
|
||
### (一) Embedding 模型
|
||
**能将文本、图片等非结构化数据转换成固定长度数字向量（一串数字）的神经网络模型**。这个向量可以看作数据的“语义坐标”，意思相近的文本，其向量在数学空间中的距离也接近。
|
||
**能干什么**
|
||
**知识库中的作用**
|
||
Embedding 模型负责将笔记内容和用户问题转化为向量，存入 Chroma 向量数据库。用户提问时，系统用同一模型将问题向量化，再由 Chroma 通过向量距离检索出最相关的笔记片段，最终交给大模型生成答案。它是整个语义检索环节的核心引擎。
|
||
### (二) 向量知识库（语义搜索）
|
||
**能将文本、图片等数据转换成的向量存储起来，并提供高效相似向量检索能力的数据库系统**。与传统的精准匹配查询不同，它通过计算向量之间的距离来寻找语义上最相近的内容。
|
||
**能干什么**
|
||
**知识库中的作用**
|
||
Embedding 模型将笔记转换为向量后存入向量库。用户提问时，问题同样转为向量，由向量库快速找出与之距离最近的笔记片段，实现基于语义的相关内容召回。
|
||
### (三) 全文检索
|
||
**一种基于关键词和词汇匹配的搜索技术，通过倒排索引快速定位包含指定词语的文档**。它关注的是文本中是否出现、出现了多少次查询词，以及词的精确匹配关系。
|
||
**能干什么**
|
||
**在知识库项目中的作用**
|
||
将笔记内容同步至全文索引。当用户提问时，同时执行关键词搜索，与向量搜索结果合并去重，弥补语义搜索在精确术语上的不足，形成“语义理解 + 精确命中”的混合检索能力。
|
||
### (四) 语义搜索与全文检索合并上下文
|
||
去重、优选、整理出一份高质量且不冗余的参考上下文，供大模型生成精准答案。
|
||
二、合并上下文的关键步骤
|
||
场景
|
||
语义检索能力
|
||
全文检索能力
|
||
最佳方案
|
||
同义词/模糊意图（水果→苹果）
|
||
强
|
||
弱
|
||
语义
|
||
精确技术术语、代码、IP
|
||
弱
|
||
强
|
||
全文
|
||
长文档中的细节
|
||
中
|
||
强
|
||
全文 + 语义
|
||
排序的确定性（要找包含某个词的）
|
||
不稳定
|
||
稳定
|
||
全文
|
||
|
||
|
||
|
||
|
||
|
||
|
||
> :thinking_face:
|
||
我觉得，未来技术知识体系里，广度可能比深度重要得多。能更快地了解最新的 AI 及相关知识，快速体会、快速实验，更快地把它纳入自己的技能体系。虽然还有很多领域深度依然不可替代，但在大量“中间地带”的开发工作上，轻量、快速、广覆盖正在成为新的核心竞争力。 |