Evilom
4.3 KiB
XqvgwIgFQiM6ZTkzZlGcunDEnFf
Source: https://fcnlycv6dd0w.feishu.cn/wiki/XqvgwIgFQiM6ZTkzZlGcunDEnFf
今日内容
1.GPT Researcher 调研分析 2.机器学习建模前预处理
一、GPT Researcher 调研分析
🔎 完成 GPT Researcher 工具部署，以小游戏行业为测试场景，结合宏观行业报告与微信/抖音双平台畅销榜 Top50 数据进行交叉验证，形成阶段性行业判断。
（一）GPT Researcher （GitHub开源项目）是什么
面向深度调研场景的开源 AI 工具，核心能力是根据研究主题自动完成资料搜索、信息整合、内容归纳，并生成结构化调研报告。 工作原理：采用"规划者 + 执行者 + 汇总者"三段式代理结构：
🔎 准确定位：研究加速器，而非最终报告生成器。 适合承担资料抓取、框架搭建、信息归纳等前置环节，生成内容仍需人工核验与二次加工。
（二）本次研究说明
本次以"小游戏行业发展情况"为测试场景，分两条线推进：
- 行业报告线：通过 GPT Researcher 生成宏观行业研究框架，覆盖平台生态、产品形态、商业化模式和渠道机会；通过 Codex 辅助完成部署、资料整理与可视化优化。
- 榜单验证线：引入 2026年5月微信/抖音小游戏畅销榜 Top50 作为实际产品数据，用于验证或修正宏观判断。 说明：单月畅销榜只能反映特定时间段内的榜单表现，不能直接代表完整市场规模、用户规模或绝对收入。榜单分析作为辅助验证，而非最终结论依据。 （三）核心发现 基于行业报告与双平台榜单交叉验证，形成以下阶段性判断：
🔎 后续可优化方向
二、机器学习建模前预处理
（一）基本分析原理
XGBoost 是一种基于树模型的机器学习方法，适合处理变量较多、关系复杂、非线性明显的数据。 在本研究中，XGBoost 的作用不是直接证明因果关系，而是用于回答： 在多个机制变量共同进入模型后，哪些变量对综合投入差异更有解释价值？ 它可以帮助我们从七个机制变量中，初步筛选出更值得关注的关键机制变量。 SHAP 是一种模型解释方法，用于解释 XGBoost 识别出的变量为什么重要，以及这些变量和综合投入之间呈现什么关系。 SHAP 主要回答三个问题：
- 哪些变量最重要；
- 变量值升高时，对综合投入是正向还是负向；
- 变量与综合投入之间是否存在非线性、阈值或倒 U 型关系。 XGBoost 更偏向“筛选变量”，SHAP 更偏向“解释机制”
（二）建模前的数据检查
需要检查每个变量的缺失率，并确定处理方式。
一般可以分为：
- **缺失率较低：**可用 0、中位数或均值填充；
- 缺失率中等：保留变量，同时增加缺失标记；
- 缺失率较高：谨慎进入模型，必要时先放入探索变量。
需要检查金额、积分、次数、人数等变量是否存在极端值。
可考虑：
- P99 截断；
- log 变换；
- Z-score 标准化。
虽然 XGBoost 不强制要求变量标准化，但为了后续解释和变量比较，建议尽量保持统一口径。
如果多个变量表达的是同一个信息，容易造成解释分散。
例如：
- 综合指数和组成分项同时进入模型；
- 两个变量相关性过高；
- 变量含义高度重复。
处理建议是：
- 第一版优先保留解释最清楚的变量；
- 综合指数和分项变量可以分两个模型分别测试；
- 不建议把高度重复变量全部放进主模型。
这是进入模型前最重要的一步。
如果综合投入由金钱投入和有效行为投入构成，则自变量中不能直接放入这些组成项，否则模型会变成“用综合投入的一部分预测综合投入”。
因此，机制变量应尽量来自：
- 规则结构；
- 奖励结构；
- 组织结构；
- 匹配结构；
- 阶段差距；
- 协作关系。
而不是直接使用综合投入的组成行为。