Evilom
123 lines
4.2 KiB
Markdown
123 lines
4.2 KiB
Markdown
# 2026.6.17-日报-张家振
|
|
|
|
|
|
Source: https://feishu.cn/docx/OB6yw6SwgiSLZIkn8rqchgVPndh
|
|
|
|
|
|
## 一、今日内容概述
|
|
|
|
尝试通过爬虫辅助财务取数
|
|
|
|
## 二、现有财务取数问题梳理
|
|
|
|
当前财务在月初汇报或日常数据整理时，需要登录多个平台分别取数。不同平台之间入口不统一，页面结构不一致，取数方式也不同。
|
|
|
|
### 现有人工流程：
|
|
|
|
登录对应平台；
|
|
|
|
进入指定菜单或报表页面；
|
|
|
|
选择月份、项目等查询条件；
|
|
|
|
点击查询；
|
|
|
|
将页面结果复制下来；
|
|
|
|
再统一汇总到 Excel 或其他报表中；
|
|
|
|
### 这种方式存在问题：
|
|
|
|
耗时较长：多个平台需要逐一登录，多个页面需要重复查询，查询结果还要人工复制、粘贴、整理。
|
|
|
|
重复性强：每个月操作流程基本一致，财务人员大量时间消耗在重复点击、查询和复制上。
|
|
|
|
汇总效率低：数据分散在不同系统，取完后还需要再次整理，无法直接形成统一结果。
|
|
|
|
## 三、爬虫自动化思路
|
|
|
|
核心思路是：工具模拟财务人员原来的操作过程，自动完成登录、查询、获取结果和汇总。
|
|
|
|
不强依赖各个平台提供接口，不需要对系统进行改造，而是优先复用现有人工取数路径。
|
|
|
|
### 整体过程拆分：
|
|
|
|
模拟登录：打开目标平台，进入登录页面，完成账号登录或复用登录状态。
|
|
|
|
模拟查询：进入财务平时取数的页面，设置月份、项目、科目等条件，点击查询或导出。
|
|
|
|
模拟取数：从页面表格、查询结果或导出内容中获取数据，替代人工复制粘贴。
|
|
|
|
自动汇总：将不同平台取回的数据统一整理，按财务需要的格式汇总，输出到后续报表或 Excel 中。
|
|
|
|
## 四、采用流程录制降低使用门槛
|
|
|
|
在爬虫方案中，一个关键问题是：传统爬虫通常需要配置页面元素、按钮位置、表格区域等信息，而这些内容往往涉及 HTML、页面结构或技术定位规则。财务业务人员通常不理解这些内容。
|
|
|
|
因此，本次明确采用流程录制的形式屏蔽技术操作。
|
|
|
|
### 工具设计思路：
|
|
|
|
打开录制模式；
|
|
|
|
按照平时取数方式正常操作页面；
|
|
|
|
依次完成登录、进入页面、选择条件、点击查询、复制或导出；
|
|
|
|
工具在后台自动记录这些操作；
|
|
|
|
后续再次取数时，工具自动复现这套流程。
|
|
|
|
### 业务操作流程：
|
|
|
|
财务不需要关心：页面 HTML 是什么、按钮对应哪个元素、表格怎么定位、查询框叫什么、爬虫规则怎么写、技术配置应该怎么填。
|
|
|
|
财务只需要知道：我平时怎么取数，在操作一遍，工具帮我记下来。
|
|
|
|
## 六、理想工具使用方式
|
|
|
|
### 目标使用流向
|
|
|
|
选择平台 -> 打开录制 -> 按平时方式操作一次 -> 保存流程 -> 后续自动执行 -> 自动汇总结果
|
|
|
|
### 理想使用流程：
|
|
|
|
选择要配置的系统；
|
|
|
|
点击“开始录制”；
|
|
|
|
正常登录并完成一次取数；
|
|
|
|
点击“停止录制”；
|
|
|
|
填写结果输出位置；
|
|
|
|
后续每月自动执行该流程；
|
|
|
|
工具将抓取结果自动汇总到指定文件中。
|
|
|
|
## 七、当前状态与下一步计划
|
|
|
|
### 当前状态
|
|
|
|
财务取数核心痛点：多平台登录、多页面查询、人工复制、手动汇总、耗时且容易出错。
|
|
|
|
自动化思路：通过爬虫模拟人工取数过程，自动完成登录、查询、取数并统一汇总。
|
|
|
|
业务使用门槛问题：财务人员不懂 HTML，不适合配置复杂爬虫规则，需要通过流程录制隐藏技术细节。
|
|
|
|
理想工具形态：业务人员像平时一样操作页面，工具自动记录流程，后续自动复现流程并完成取数。
|
|
|
|
### 后续计划
|
|
|
|
选择一个典型平台作为试点，验证完整流程。
|
|
|
|
梳理该平台人工取数步骤，形成录制场景。
|
|
|
|
完善流程录制入口，让业务人员可以开始、停止、保存流程。
|
|
|
|
将录制流程与自动执行打通，实现重复取数。
|
|
|
|
将抓取结果输出到指定汇总文件。
|
|
|
|
后续再接入 Prefect，实现多平台、多任务的统一调度与执行。 |