Evilom
4.3 KiB
4.3 KiB
2026.6.17-日报-张家振
Source: feishu docx OB6yw6SwgiSLZIkn8rqchgVPndh Fetched: 2026-06-18
2026.6.17-日报-张家振
一、今日内容概述
- 尝试通过爬虫辅助财务取数
二、现有财务取数问题梳理
当前财务在月初汇报或日常数据整理时，需要登录多个平台分别取数。不同平台之间入口不统一，页面结构不一致，取数方式也不同。
现有人工流程：
- 登录对应平台；- 进入指定菜单或报表页面；- 选择月份、项目等查询条件；- 点击查询；- 将页面结果复制下来；- 再统一汇总到 Excel 或其他报表中；
这种方式存在问题：
- 耗时较长：多个平台需要逐一登录，多个页面需要重复查询，查询结果还要人工复制、粘贴、整理。- 重复性强：每个月操作流程基本一致，财务人员大量时间消耗在重复点击、查询和复制上。- 汇总效率低：数据分散在不同系统，取完后还需要再次整理，无法直接形成统一结果。
三、爬虫自动化思路
核心思路是：工具模拟财务人员原来的操作过程，自动完成登录、查询、获取结果和汇总。 不强依赖各个平台提供接口，不需要对系统进行改造，而是优先复用现有人工取数路径。
整体过程拆分：
- 模拟登录：打开目标平台，进入登录页面，完成账号登录或复用登录状态。- 模拟查询：进入财务平时取数的页面，设置月份、项目、科目等条件，点击查询或导出。- 模拟取数：从页面表格、查询结果或导出内容中获取数据，替代人工复制粘贴。- 自动汇总：将不同平台取回的数据统一整理，按财务需要的格式汇总，输出到后续报表或 Excel 中。
四、采用流程录制降低使用门槛
在爬虫方案中，一个关键问题是：传统爬虫通常需要配置页面元素、按钮位置、表格区域等信息，而这些内容往往涉及 HTML、页面结构或技术定位规则。财务业务人员通常不理解这些内容。 因此，本次明确采用流程录制的形式屏蔽技术操作。
工具设计思路：
- 打开录制模式；- 按照平时取数方式正常操作页面；- 依次完成登录、进入页面、选择条件、点击查询、复制或导出；- 工具在后台自动记录这些操作；- 后续再次取数时，工具自动复现这套流程。
业务操作流程：
- 财务不需要关心：页面 HTML 是什么、按钮对应哪个元素、表格怎么定位、查询框叫什么、爬虫规则怎么写、技术配置应该怎么填。- 财务只需要知道：我平时怎么取数，在操作一遍，工具帮我记下来。
六、理想工具使用方式
目标使用流向
选择平台 -> 打开录制 -> 按平时方式操作一次 -> 保存流程 -> 后续自动执行 -> 自动汇总结果
理想使用流程：
- 选择要配置的系统；- 点击“开始录制”；- 正常登录并完成一次取数；- 点击“停止录制”；- 填写结果输出位置；- 后续每月自动执行该流程；- 工具将抓取结果自动汇总到指定文件中。
七、当前状态与下一步计划
当前状态
- 财务取数核心痛点：多平台登录、多页面查询、人工复制、手动汇总、耗时且容易出错。- 自动化思路：通过爬虫模拟人工取数过程，自动完成登录、查询、取数并统一汇总。- 业务使用门槛问题：财务人员不懂 HTML，不适合配置复杂爬虫规则，需要通过流程录制隐藏技术细节。- 理想工具形态：业务人员像平时一样操作页面，工具自动记录流程，后续自动复现流程并完成取数。
后续计划
- 选择一个典型平台作为试点，验证完整流程。- 梳理该平台人工取数步骤，形成录制场景。- 完善流程录制入口，让业务人员可以开始、停止、保存流程。- 将录制流程与自动执行打通，实现重复取数。- 将抓取结果输出到指定汇总文件。- 后续再接入 Prefect，实现多平台、多任务的统一调度与执行。