Evilom
21 lines
6.2 KiB
JSON
21 lines
6.2 KiB
JSON
{
|
||
"ok": true,
|
||
"identity": "user",
|
||
"data": {
|
||
"document": {
|
||
"content": "<title>2026.6.17-日报-张家振</title><h2>一、今日内容概述</h2><ol><li seq=\"1\">尝试通过爬虫辅助财务取数</li></ol><hr/><h2>二、现有财务取数问题梳理</h2><p>当前财务在月初汇报或日常数据整理时，需要登录多个平台分别取数。不同平台之间入口不统一，页面结构不一致，取数方式也不同。</p><h3>现有人工流程：</h3><ol><li seq=\"1\">登录对应平台；</li><li>进入指定菜单或报表页面；</li><li>选择月份、项目等查询条件；</li><li>点击查询；</li><li>将页面结果复制下来；</li><li>再统一汇总到 Excel 或其他报表中；</li></ol><h3>这种方式存在问题：</h3><ul><li><b>耗时较长</b>：多个平台需要逐一登录，多个页面需要重复查询，查询结果还要人工复制、粘贴、整理。</li><li><b>重复性强</b>：每个月操作流程基本一致，财务人员<b>大量时间消耗在重复点击、查询和复制上</b>。</li><li><b>汇总效率低</b>：数据分散在不同系统，取完后还需要再次整理，<b>无法直接形成统一结果</b>。</li></ul><hr/><h2>三、爬虫自动化思路</h2><p>核心思路是：<b>工具模拟财务人员原来的操作过程，自动完成登录、查询、获取结果和汇总。</b></p><p>不强依赖各个平台提供接口，不需要对系统进行改造，而是优先复用现有人工取数路径。</p><h3>整体过程拆分：</h3><ol><li seq=\"1\"><b>模拟登录</b>：打开目标平台，进入登录页面，完成账号登录或复用登录状态。</li><li><b>模拟查询</b>：进入财务平时取数的页面，设置月份、项目、科目等条件，点击查询或导出。</li><li><b>模拟取数</b>：从页面表格、查询结果或导出内容中获取数据，<b>替代人工复制粘贴</b>。</li><li><b>自动汇总</b>：将不同平台取回的数据统一整理，按财务需要的格式汇总，输出到后续报表或 Excel 中。</li></ol><hr/><h2>四、采用流程录制降低使用门槛</h2><p>在爬虫方案中，一个关键问题是：传统爬虫通常需要配置页面元素、按钮位置、表格区域等信息，而这些内容往往涉及 HTML、页面结构或技术定位规则。财务业务人员通常不理解这些内容。</p><p>因此，本次明确采用<b>流程录制</b>的形式屏蔽技术操作。</p><h3>工具设计思路：</h3><ol><li seq=\"1\">打开<b>录制模式</b>；</li><li>按照平时取数方式<b>正常操作页面</b>；</li><li>依次完成登录、进入页面、选择条件、点击查询、复制或导出；</li><li>工具在<b>后台自动记录</b>这些操作；</li><li>后续再次取数时，<b>工具自动复现</b>这套流程。</li></ol><h3>业务操作流程：</h3><ul><li><b>财务不需要关心</b>：页面 HTML 是什么、按钮对应哪个元素、表格怎么定位、查询框叫什么、爬虫规则怎么写、技术配置应该怎么填。</li><li><b>财务只需要知道</b>：<b>我平时怎么取数，在操作一遍，工具帮我记下来。</b></li></ul><hr/><h2>六、理想工具使用方式</h2><h3>目标使用流向</h3><p><b>选择平台 -> 打开录制 -> 按平时方式操作一次 -> 保存流程 -> 后续自动执行 -> 自动汇总结果</b></p><h3>理想使用流程：</h3><ol><li seq=\"1\">选择要配置的系统；</li><li>点击“开始录制”；</li><li>正常登录并完成一次取数；</li><li>点击“停止录制”；</li><li>填写结果输出位置；</li><li>后续<b>每月自动执行该流程</b>；</li><li>工具将抓取结果<b>自动汇总</b>到指定文件中。</li></ol><hr/><h2>七、当前状态与下一步计划</h2><h3>当前状态</h3><ol><li seq=\"1\"><b>财务取数核心痛点</b>：多平台登录、多页面查询、人工复制、手动汇总、耗时且容易出错。</li><li><b>自动化思路</b>：通过爬虫模拟人工取数过程，自动完成登录、查询、取数并统一汇总。</li><li><b>业务使用门槛问题</b>：财务人员不懂 HTML，不适合配置复杂爬虫规则，需要<b>通过流程录制隐藏技术细节</b>。</li><li><b>理想工具形态</b>：业务人员像平时一样操作页面，工具自动记录流程，后续自动复现流程并完成取数。</li></ol><h3>后续计划</h3><ol><li seq=\"1\"><b>选择一个典型平台作为试点</b>，验证完整流程。</li><li><b>梳理该平台人工取数步骤</b>，形成录制场景。</li><li><b>完善流程录制入口</b>，让业务人员可以开始、停止、保存流程。</li><li>将录制流程与自动执行打通，<b>实现重复取数</b>。</li><li>将抓取结果<b>输出到指定汇总文件</b>。</li><li>后续再<b>接入 Prefect</b>，实现多平台、多任务的统一调度与执行。</li></ol><img name=\"screen_recording_2026-06-18_01-32-25.gif\" alt=\"图片展示的是“财务多源取数·配置与运行”中“录制爬虫流程”的界面。界面有“配置数据源”“录制流程”“运行流程”“录制场景”四个选项卡，当前选中“录制场景”。下方有“report_web”“web_report”两个录制场景，分别对应网址“https://report.dianchou.com”和“https://ar.gateway.dianchou.co”。最下方有一个红色的“开始录制”按钮。该图片与文档中后续计划里“梳理该平台人工取数步骤，形成录制场景”内容相关，直观呈现了录制场景的配置界面。\" href=\"https://internal-api-drive-stream.feishu.cn/space/api/box/stream/download/authcode/?code=ZjA0NDA4ZGQyYzViZDk0ZDFjNmI1N2JhZGM5MzhiZDFfMzk4OGNiMTRhYjc4NjExODlkMTIzOWY0MWI5NDMzMmFfSUQ6NzY1MjQxODc1MzE0MTA2Njk4NV8xNzgxNzQ3NjMzOjE3ODE3NTEyMzNfVjM\" mime=\"image/gif\" scale=\"1.000000\" src=\"YJFkbX0mvoO4QHxHIXfcdy9antf\"/>",
|
||
"document_id": "H0dFdCh9aoOM8HxjUDAcB5k8nAg",
|
||
"revision_id": 120
|
||
},
|
||
"log_id": "20260618095353F399FB37ACE3AFE5A104"
|
||
},
|
||
"_notice": {
|
||
"update": {
|
||
"command": "lark-cli update",
|
||
"current": "1.0.32",
|
||
"latest": "1.0.54",
|
||
"message": "lark-cli 1.0.54 available, current 1.0.32, run: lark-cli update"
|
||
}
|
||
}
|
||
}
|