Evilom
23 lines
4.8 KiB
Markdown
23 lines
4.8 KiB
Markdown
# 2026.6.17-日报-张家振
|
|
|
|
2026.6.17-日报-张家振## 一、今日内容概述- 尝试通过爬虫辅助财务取数
|
|
---
|
|
## 二、现有财务取数问题梳理当前财务在月初汇报或日常数据整理时，需要登录多个平台分别取数。不同平台之间入口不统一，页面结构不一致，取数方式也不同。
|
|
### 现有人工流程：- 登录对应平台；- 进入指定菜单或报表页面；- 选择月份、项目等查询条件；- 点击查询；- 将页面结果复制下来；- 再统一汇总到 Excel 或其他报表中；### 这种方式存在问题：- **耗时较长**：多个平台需要逐一登录，多个页面需要重复查询，查询结果还要人工复制、粘贴、整理。- **重复性强**：每个月操作流程基本一致，财务人员**大量时间消耗在重复点击、查询和复制上**。- **汇总效率低**：数据分散在不同系统，取完后还需要再次整理，**无法直接形成统一结果**。
|
|
---
|
|
## 三、爬虫自动化思路核心思路是：**工具模拟财务人员原来的操作过程，自动完成登录、查询、获取结果和汇总。**
|
|
不强依赖各个平台提供接口，不需要对系统进行改造，而是优先复用现有人工取数路径。
|
|
### 整体过程拆分：- **模拟登录**：打开目标平台，进入登录页面，完成账号登录或复用登录状态。- **模拟查询**：进入财务平时取数的页面，设置月份、项目、科目等条件，点击查询或导出。- **模拟取数**：从页面表格、查询结果或导出内容中获取数据，**替代人工复制粘贴**。- **自动汇总**：将不同平台取回的数据统一整理，按财务需要的格式汇总，输出到后续报表或 Excel 中。
|
|
---
|
|
## 四、采用流程录制降低使用门槛在爬虫方案中，一个关键问题是：传统爬虫通常需要配置页面元素、按钮位置、表格区域等信息，而这些内容往往涉及 HTML、页面结构或技术定位规则。财务业务人员通常不理解这些内容。
|
|
因此，本次明确采用**流程录制**的形式屏蔽技术操作。
|
|
### 工具设计思路：- 打开**录制模式**；- 按照平时取数方式**正常操作页面**；- 依次完成登录、进入页面、选择条件、点击查询、复制或导出；- 工具在**后台自动记录**这些操作；- 后续再次取数时，**工具自动复现**这套流程。### 业务操作流程：- **财务不需要关心**：页面 HTML 是什么、按钮对应哪个元素、表格怎么定位、查询框叫什么、爬虫规则怎么写、技术配置应该怎么填。- **财务只需要知道**：**我平时怎么取数，在操作一遍，工具帮我记下来。**
|
|
---
|
|
## 六、理想工具使用方式### 目标使用流向**选择平台 -> 打开录制 -> 按平时方式操作一次 -> 保存流程 -> 后续自动执行 -> 自动汇总结果**
|
|
### 理想使用流程：- 选择要配置的系统；- 点击“开始录制”；- 正常登录并完成一次取数；- 点击“停止录制”；- 填写结果输出位置；- 后续**每月自动执行该流程**；- 工具将抓取结果**自动汇总**到指定文件中。
|
|
---
|
|
## 七、当前状态与下一步计划### 当前状态- **财务取数核心痛点**：多平台登录、多页面查询、人工复制、手动汇总、耗时且容易出错。- **自动化思路**：通过爬虫模拟人工取数过程，自动完成登录、查询、取数并统一汇总。- **业务使用门槛问题**：财务人员不懂 HTML，不适合配置复杂爬虫规则，需要**通过流程录制隐藏技术细节**。- **理想工具形态**：业务人员像平时一样操作页面，工具自动记录流程，后续自动复现流程并完成取数。### 后续计划- **选择一个典型平台作为试点**，验证完整流程。- **梳理该平台人工取数步骤**，形成录制场景。- **完善流程录制入口**，让业务人员可以开始、停止、保存流程。- 将录制流程与自动执行打通，**实现重复取数**。- 将抓取结果**输出到指定汇总文件**。- 后续再**接入 Prefect**，实现多平台、多任务的统一调度与执行。[图片: 图片展示的是“财务多源取数·配置与运行”中“录制爬虫流程”的界面。界面有“配置数据源”“录制流程”“运行流程”“录制场景”四个选项卡，当前选中“录制场景”。下方有“report_web”“web_report”两个录制场景，分别对应网址“https://report.dianchou.com”和“https://ar.gateway.dianchou.co”。最下方有一个红色的“开始录制”按钮。该图片与文档中后续计划里“梳理该平台人工取数步骤，形成录制场景”内容相关，直观呈现了录制场景的配置界面。]
|
|
|
|
---
|
|
*Source: feishu doc H0dFdCh9aoOM8HxjUDAcB5k8nAg*
|