{ "ok": true, "identity": "user", "data": { "document": { "content": "2026.6.17-日报-张家振

一、今日内容概述

  1. 尝试通过爬虫辅助财务取数

二、现有财务取数问题梳理

当前财务在月初汇报或日常数据整理时，需要登录多个平台分别取数。不同平台之间入口不统一，页面结构不一致，取数方式也不同。

现有人工流程：

  1. 登录对应平台；
  2. 进入指定菜单或报表页面；
  3. 选择月份、项目等查询条件；
  4. 点击查询；
  5. 将页面结果复制下来；
  6. 再统一汇总到 Excel 或其他报表中；

这种方式存在问题：

三、爬虫自动化思路

核心思路是：工具模拟财务人员原来的操作过程，自动完成登录、查询、获取结果和汇总。

不强依赖各个平台提供接口，不需要对系统进行改造，而是优先复用现有人工取数路径。

整体过程拆分：

  1. 模拟登录：打开目标平台，进入登录页面，完成账号登录或复用登录状态。
  2. 模拟查询：进入财务平时取数的页面，设置月份、项目、科目等条件，点击查询或导出。
  3. 模拟取数：从页面表格、查询结果或导出内容中获取数据，替代人工复制粘贴。
  4. 自动汇总：将不同平台取回的数据统一整理，按财务需要的格式汇总，输出到后续报表或 Excel 中。

四、采用流程录制降低使用门槛

在爬虫方案中，一个关键问题是：传统爬虫通常需要配置页面元素、按钮位置、表格区域等信息，而这些内容往往涉及 HTML、页面结构或技术定位规则。财务业务人员通常不理解这些内容。

因此，本次明确采用流程录制的形式屏蔽技术操作。

工具设计思路：

  1. 打开录制模式；
  2. 按照平时取数方式正常操作页面；
  3. 依次完成登录、进入页面、选择条件、点击查询、复制或导出；
  4. 工具在后台自动记录这些操作；
  5. 后续再次取数时，工具自动复现这套流程。

业务操作流程：

六、理想工具使用方式

目标使用流向

选择平台 -> 打开录制 -> 按平时方式操作一次 -> 保存流程 -> 后续自动执行 -> 自动汇总结果

理想使用流程：

  1. 选择要配置的系统；
  2. 点击“开始录制”；
  3. 正常登录并完成一次取数；
  4. 点击“停止录制”；
  5. 填写结果输出位置；
  6. 后续每月自动执行该流程；
  7. 工具将抓取结果自动汇总到指定文件中。

七、当前状态与下一步计划

当前状态

  1. 财务取数核心痛点：多平台登录、多页面查询、人工复制、手动汇总、耗时且容易出错。
  2. 自动化思路：通过爬虫模拟人工取数过程，自动完成登录、查询、取数并统一汇总。
  3. 业务使用门槛问题：财务人员不懂 HTML，不适合配置复杂爬虫规则，需要通过流程录制隐藏技术细节。
  4. 理想工具形态：业务人员像平时一样操作页面，工具自动记录流程，后续自动复现流程并完成取数。

后续计划

  1. 选择一个典型平台作为试点，验证完整流程。
  2. 梳理该平台人工取数步骤，形成录制场景。
  3. 完善流程录制入口，让业务人员可以开始、停止、保存流程。
  4. 将录制流程与自动执行打通，实现重复取数。
  5. 将抓取结果输出到指定汇总文件。
  6. 后续再接入 Prefect，实现多平台、多任务的统一调度与执行。
\"图片展示的是“财务多源取数·配置与运行”中“录制爬虫流程”的界面。界面有“配置数据源”“录制流程”“运行流程”“录制场景”四个选项卡，当前选中“录制场景”。下方有“report_web”“web_report”两个录制场景，分别对应网址“https://report.dianchou.com”和“https://ar.gateway.dianchou.co”。最下方有一个红色的“开始录制”按钮。该图片与文档中后续计划里“梳理该平台人工取数步骤，形成录制场景”内容相关，直观呈现了录制场景的配置界面。\"", "document_id": "H0dFdCh9aoOM8HxjUDAcB5k8nAg", "revision_id": 120 }, "log_id": "20260618095353F399FB37ACE3AFE5A104" }, "_notice": { "update": { "command": "lark-cli update", "current": "1.0.32", "latest": "1.0.54", "message": "lark-cli 1.0.54 available, current 1.0.32, run: lark-cli update" } } }