# 2026.6.17-日报-张家振 Source: https://feishu.cn/docx/OB6yw6SwgiSLZIkn8rqchgVPndh ## 一、今日内容概述 尝试通过爬虫辅助财务取数 ## 二、现有财务取数问题梳理 当前财务在月初汇报或日常数据整理时,需要登录多个平台分别取数。不同平台之间入口不统一,页面结构不一致,取数方式也不同。 ### 现有人工流程: 登录对应平台; 进入指定菜单或报表页面; 选择月份、项目等查询条件; 点击查询; 将页面结果复制下来; 再统一汇总到 Excel 或其他报表中; ### 这种方式存在问题: 耗时较长:多个平台需要逐一登录,多个页面需要重复查询,查询结果还要人工复制、粘贴、整理。 重复性强:每个月操作流程基本一致,财务人员大量时间消耗在重复点击、查询和复制上。 汇总效率低:数据分散在不同系统,取完后还需要再次整理,无法直接形成统一结果。 ## 三、爬虫自动化思路 核心思路是:工具模拟财务人员原来的操作过程,自动完成登录、查询、获取结果和汇总。 不强依赖各个平台提供接口,不需要对系统进行改造,而是优先复用现有人工取数路径。 ### 整体过程拆分: 模拟登录:打开目标平台,进入登录页面,完成账号登录或复用登录状态。 模拟查询:进入财务平时取数的页面,设置月份、项目、科目等条件,点击查询或导出。 模拟取数:从页面表格、查询结果或导出内容中获取数据,替代人工复制粘贴。 自动汇总:将不同平台取回的数据统一整理,按财务需要的格式汇总,输出到后续报表或 Excel 中。 ## 四、采用流程录制降低使用门槛 在爬虫方案中,一个关键问题是:传统爬虫通常需要配置页面元素、按钮位置、表格区域等信息,而这些内容往往涉及 HTML、页面结构或技术定位规则。财务业务人员通常不理解这些内容。 因此,本次明确采用流程录制的形式屏蔽技术操作。 ### 工具设计思路: 打开录制模式; 按照平时取数方式正常操作页面; 依次完成登录、进入页面、选择条件、点击查询、复制或导出; 工具在后台自动记录这些操作; 后续再次取数时,工具自动复现这套流程。 ### 业务操作流程: 财务不需要关心:页面 HTML 是什么、按钮对应哪个元素、表格怎么定位、查询框叫什么、爬虫规则怎么写、技术配置应该怎么填。 财务只需要知道:我平时怎么取数,在操作一遍,工具帮我记下来。 ## 六、理想工具使用方式 ### 目标使用流向 选择平台 -> 打开录制 -> 按平时方式操作一次 -> 保存流程 -> 后续自动执行 -> 自动汇总结果 ### 理想使用流程: 选择要配置的系统; 点击“开始录制”; 正常登录并完成一次取数; 点击“停止录制”; 填写结果输出位置; 后续每月自动执行该流程; 工具将抓取结果自动汇总到指定文件中。 ## 七、当前状态与下一步计划 ### 当前状态 财务取数核心痛点:多平台登录、多页面查询、人工复制、手动汇总、耗时且容易出错。 自动化思路:通过爬虫模拟人工取数过程,自动完成登录、查询、取数并统一汇总。 业务使用门槛问题:财务人员不懂 HTML,不适合配置复杂爬虫规则,需要通过流程录制隐藏技术细节。 理想工具形态:业务人员像平时一样操作页面,工具自动记录流程,后续自动复现流程并完成取数。 ### 后续计划 选择一个典型平台作为试点,验证完整流程。 梳理该平台人工取数步骤,形成录制场景。 完善流程录制入口,让业务人员可以开始、停止、保存流程。 将录制流程与自动执行打通,实现重复取数。 将抓取结果输出到指定汇总文件。 后续再接入 Prefect,实现多平台、多任务的统一调度与执行。