Evilom
72 lines
4.3 KiB
Markdown
72 lines
4.3 KiB
Markdown
# XqvgwIgFQiM6ZTkzZlGcunDEnFf
|
||
|
||
Source: https://fcnlycv6dd0w.feishu.cn/wiki/XqvgwIgFQiM6ZTkzZlGcunDEnFf
|
||
|
||
|
||
### 今日内容
|
||
**1.GPT Researcher 调研分析**
|
||
**2.机器学习建模前预处理**
|
||
### 一、**GPT Researcher 调研分析**
|
||
|
||
> :mag_right:
|
||
**完成 GPT Researcher 工具部署，以小游戏行业为测试场景，结合宏观行业报告与微信/抖音双平台畅销榜 Top50 数据进行交叉验证，形成阶段性行业判断。**
|
||
#### **（一）GPT Researcher （GitHub开源项目）是什么**
|
||
**面向深度调研场景的开源 AI 工具，核心能力是根据研究主题自动完成资料搜索、信息整合、内容归纳，并生成结构化调研报告。**
|
||
工作原理：采用"规划者 + 执行者 + 汇总者"三段式代理结构：
|
||
|
||
> :mag_right:
|
||
准确定位：**研究加速器，而非最终报告生成器。** 适合承担资料抓取、框架搭建、信息归纳等前置环节，生成内容仍需人工核验与二次加工。
|
||
#### **（二）本次研究说明**
|
||
本次以"小游戏行业发展情况"为测试场景，分两条线推进：
|
||
- **行业报告线**：通过 GPT Researcher 生成宏观行业研究框架，覆盖平台生态、产品形态、商业化模式和渠道机会；通过 Codex 辅助完成部署、资料整理与可视化优化。
|
||
- **榜单验证线**：引入 2026年5月微信/抖音小游戏畅销榜 Top50 作为实际产品数据，用于验证或修正宏观判断。
|
||
说明：单月畅销榜只能反映特定时间段内的榜单表现，不能直接代表完整市场规模、用户规模或绝对收入。榜单分析作为辅助验证，而非最终结论依据。
|
||
**（三）核心发现**
|
||
基于行业报告与双平台榜单交叉验证，形成以下阶段性判断：
|
||
|
||
> :mag_right:
|
||
**后续可优化方向**
|
||
### 二、机器学习建模前预处理
|
||
#### （一）基本分析原理
|
||
XGBoost 是一种基于树模型的机器学习方法，适合处理变量较多、关系复杂、非线性明显的数据。
|
||
在本研究中，XGBoost 的作用不是直接证明因果关系，而是用于回答：
|
||
**在多个机制变量共同进入模型后，哪些变量对综合投入差异更有解释价值？**
|
||
它可以帮助我们从七个机制变量中，初步筛选出更值得关注的关键机制变量。
|
||
SHAP 是一种模型解释方法，用于解释 XGBoost 识别出的变量为什么重要，以及这些变量和综合投入之间呈现什么关系。
|
||
SHAP 主要回答三个问题：
|
||
- 哪些变量最重要；
|
||
- 变量值升高时，对综合投入是正向还是负向；
|
||
- 变量与综合投入之间是否存在非线性、阈值或倒 U 型关系。
|
||
**XGBoost 更偏向“筛选变量”，SHAP 更偏向“解释机制”**
|
||
#### （二）建模前的数据检查
|
||
|
||
**需要检查每个变量的缺失率，并确定处理方式。**
|
||
一般可以分为：
|
||
- **缺失率较低：**可用 0、中位数或均值填充；
|
||
- **缺失率中等：**保留变量，同时增加缺失标记；
|
||
- **缺失率较高：**谨慎进入模型，必要时先放入探索变量。
|
||
**需要检查金额、积分、次数、人数等变量是否存在极端值。**
|
||
可考虑：
|
||
- **P99 截断；**
|
||
- **log 变换；**
|
||
- **Z-score 标准化**。
|
||
虽然 XGBoost 不强制要求变量标准化，但为了后续解释和变量比较，建议尽量保持统一口径。
|
||
**如果多个变量表达的是同一个信息，容易造成解释分散。**
|
||
例如：
|
||
- 综合指数和组成分项同时进入模型；
|
||
- 两个变量相关性过高；
|
||
- 变量含义高度重复。
|
||
处理建议是：
|
||
- 第一版优先保留解释最清楚的变量；
|
||
- 综合指数和分项变量可以分两个模型分别测试；
|
||
- 不建议把高度重复变量全部放进主模型。
|
||
这是进入模型前最重要的一步。
|
||
**如果综合投入由金钱投入和有效行为投入构成，则自变量中不能直接放入这些组成项，否则模型会变成****“用综合投入的一部分预测综合投入****”。**
|
||
因此，机制变量应尽量来自：
|
||
- 规则结构；
|
||
- 奖励结构；
|
||
- 组织结构；
|
||
- 匹配结构；
|
||
- 阶段差距；
|
||
- 协作关系。
|
||
而不是直接使用综合投入的组成行为。 |