feat: 钉钉群聊飞书文档收集与知识图谱系统初始提交
- 通过悟空(dws CLI)拉取dc战略问题研究院+创新组两个群的消息(377条) - 提取190个飞书链接、18个文件附件 - 下载HTML/MD/XLSX等报告文件到output/downloaded-files/ - 构建知识图谱(JSON+HTML可视化) - 生成Obsidian知识库(28个页面,7大主题) - 生成花园世界全量汇总报告 - 所有脚本路径改为相对路径,便于迁移
This commit is contained in:
@@ -0,0 +1,111 @@
|
||||
# 钉钉群聊飞书文档收集与知识图谱系统
|
||||
|
||||
从钉钉群聊「dc战略问题研究院」和「创新组」中自动收集飞书链接、文件附件,读取内容并整理为结构化知识图谱和 Obsidian 知识库。
|
||||
|
||||
## 项目背景
|
||||
|
||||
公司战略研究团队每天在钉钉群中分享飞书文档(研究报告、竞品分析、日报等),本项目自动化完成:
|
||||
|
||||
1. **采集**:通过悟空(dws CLI)拉取群聊消息,提取飞书链接和文件附件
|
||||
2. **下载**:下载 HTML/MD/XLSX 等文件附件
|
||||
3. **解析**:读取文档内容,提取关键信息
|
||||
4. **结构化**:构建知识图谱(JSON)和 Obsidian 知识库
|
||||
5. **汇总**:生成主题汇总报告
|
||||
|
||||
## 目录结构
|
||||
|
||||
```
|
||||
├── output/ ← 核心产出
|
||||
│ ├── reports/ ← 汇总报告
|
||||
│ │ ├── 花园世界全量汇总.md ← 《我的花园世界》全量研究汇总
|
||||
│ │ └── ...
|
||||
│ ├── knowledge-graph/ ← 知识图谱
|
||||
│ │ ├── knowledge_graph.json ← 结构化数据(28人/190文档/7主题)
|
||||
│ │ ├── knowledge_graph.html ← 可视化网页
|
||||
│ │ └── knowledge_graph_mermaid.md
|
||||
│ ├── obsidian-vault/ ← Obsidian 知识库(可直接打开)
|
||||
│ │ ├── 00-MOC/ ← 主索引入口
|
||||
│ │ ├── 01-产品研究/ ← 10个产品分析页面
|
||||
│ │ ├── 02-方法论/ ← 5个方法论页面
|
||||
│ │ ├── 03-项目落地/ ← 3个落地方案
|
||||
│ │ ├── 04-人物/ ← 3个人物页面
|
||||
│ │ ├── 05-行业趋势/ ← 2个趋势页面
|
||||
│ │ └── 06-数据与索引/ ← 3个数据页面
|
||||
│ └── downloaded-files/ ← 从钉盘下载的原始文件
|
||||
│ ├── html-md/ ← HTML/MD/XLSX 报告
|
||||
│ └── other/ ← ZIP 等其他文件
|
||||
├── scripts/ ← 采集和处理脚本
|
||||
│ ├── fetch_all.py ← 全量消息拉取
|
||||
│ ├── extract_links.py ← 链接提取
|
||||
│ ├── build_graph.py ← 知识图谱构建
|
||||
│ ├── write_obsidian.py ← Obsidian 库生成
|
||||
│ └── daily_feishu_collector.py ← 每日定时采集脚本
|
||||
├── data/ ← 中间数据
|
||||
│ └── links/ ← 提取的链接列表
|
||||
└── docs/ ← 历史文档
|
||||
```
|
||||
|
||||
## 快速开始
|
||||
|
||||
### 环境要求
|
||||
|
||||
- Python 3.10+
|
||||
- 悟空 CLI(dws)已认证登录
|
||||
- Node.js(可选,用于 Playwright 浏览器模式)
|
||||
|
||||
### 使用方式
|
||||
|
||||
```bash
|
||||
# 1. 全量拉取两个群的消息
|
||||
python scripts/fetch_all.py
|
||||
|
||||
# 2. 提取所有链接和文件
|
||||
python scripts/extract_links.py
|
||||
|
||||
# 3. 构建知识图谱
|
||||
python scripts/build_graph.py
|
||||
|
||||
# 4. 生成 Obsidian 知识库
|
||||
python scripts/write_obsidian.py
|
||||
|
||||
# 5. 查看结果
|
||||
# 知识图谱:output/knowledge-graph/knowledge_graph.html
|
||||
# Obsidian:用 Obsidian 打开 output/obsidian-vault/ 目录
|
||||
```
|
||||
|
||||
### 每日定时采集
|
||||
|
||||
```bash
|
||||
# 注册 Windows 定时任务(每天18:00执行)
|
||||
python scripts/daily_feishu_collector.py
|
||||
```
|
||||
|
||||
## 核心发现
|
||||
|
||||
### 《我的花园世界》研究
|
||||
|
||||
详见 [output/reports/花园世界全量汇总.md](output/reports/花园世界全量汇总.md)
|
||||
|
||||
**一句话结论**:不要学"种花题材",要学"已验证底座 + 放大能力"的立项路径。
|
||||
|
||||
### 知识图谱概览
|
||||
|
||||
- **28位活跃人员**:跨两个群
|
||||
- **190个飞书文档链接**:4个飞书空间
|
||||
- **18个文件附件**:HTML/MD/XLSX/PPT/PDF/ZIP
|
||||
- **7大核心主题**:花园世界研究、云湖项目、Agent工具、战略思维、AI落地、创新组研发、战略组日报
|
||||
- **300+条关系**
|
||||
|
||||
## 数据来源
|
||||
|
||||
| 群组 | 消息数 | 时间范围 | 飞书链接 |
|
||||
|------|--------|----------|----------|
|
||||
| dc战略问题研究院 | 291条 | 2026-05-08 ~ 06-02 | 96个 |
|
||||
| 创新组 | 86条 | 2026-05-01 ~ 06-02 | 94个 |
|
||||
|
||||
## 技术栈
|
||||
|
||||
- **悟空 CLI(dws)**:钉钉消息拉取、文件下载
|
||||
- **Python**:数据处理、知识图谱构建
|
||||
- **BeautifulSoup**:HTML 解析
|
||||
- **Obsidian**:知识库管理
|
||||
Reference in New Issue
Block a user