18 KiB
NwXIdPqYhooCKlxf14jc0M3DnOh
Source: https://fcnlycv6dd0w.feishu.cn/docx/NwXIdPqYhooCKlxf14jc0M3DnOh
一、今日内容概述
二、七机制 X 测量效度与构念效度检查规范
基于 Cronbach & Meehl (1955) 经典测量理论的七机制 构念效度检查与指标操作化方案 参考文献:Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281–302.
(一)方法论背景:引入构念效度
在研究“平台如何通过规则机制持续组织投入”时,首先需要明确一种关键方法:七机制变量不能直接由原始字段生成,而需要经过构念效度检查和指标操作化。 痛点:如果直接把胜负、排名、最终领奖或即期攻防行为等字段等同于七大机制,会同时带来两个层面的问题: - 第一:构念效度不足 字段名称或行为结果,并不能直接代表这个机制 - 第二:模型识别风险 部分字段可能与综合投入 Y 或赛后结果发生重叠,导致模型把结果误当成原因。 根据经典计量与心理学文献 Cronbach & Meehl (1955)《Construct Validity in Psychological Tests》 的核心思想:
- 理论构念 VS 理论构念之间的规律 → 理论上说得通 如:较高的公平性有助于维持弱势个体或普通个体的继续投入预期
- 理论构念 VS 可观测变量之间的联系 → 数据上能表达 如:找一个能观察、能计算的指标来代表它, 公平性可以用阵营初始强度差异来表示,构造出
- 可观测变量之间的可验证法则 → 结果上能验证 如:变量构造出来以后,还需要通过试跑结果观察它与结果变量之间的关系是否合理。例如与行为投入 、综合投入 、货币投入 之间是否呈现符合理论预期的经验关系。 核心判断: 七机制 端变量的构造,本质是一个“构念操作化”的过程。每个机制变量在进入机器学习与基础回归模型前,都需要先经过构念效度检查,确认它是否真正反映了相应的规则机制,而不是个体已经产生的行为结果。同时,还需要通过时序边界、结果字段排除和 X/Y 口径隔离,避免模型把结果误当成原因。
(二)七机制 X 变量进入模型前的分区与检查维度
结合 Cronbach & Meehl (1955) 关于构念效度的思想,七机制变量在进入模型前,不仅要说明它在理论上代表什么机制,还要检查它与综合投入 Y 及赛后结果之间是否保持清晰边界。
变量时序与数据流向模型
为保证机制变量、综合投入变量和赛后结果之间的边界清晰,后续变量构造应遵循“规则条件 → 综合投入 → 赛后结果”的单向逻辑。具体可按以下三类变量进行区分:

对七机制 X 变量进行进入模型前的检查
每个机制变量进入模型前,重点从四个维度判断候选变量是否适合进入后续基础回归、机器学习或多机制联合模型:机制含义、时序边界、X/Y 口径隔离、机制差异度。 (1)机制含义检查:变量是否真的代表该机制 需要确认:这个变量反映的是机制条件,还是只是某个行为结果? (2)时序边界检查:变量是否在时间或构造口径上与结果变量保持边界 需要确认:这个变量是在解释后续投入,还是已经混入了后续结果? (3)X/Y 口径隔离检查:变量是否与综合投入重复 需要确认:这个变量和综合投入 Y 是否保持了清晰边界? (4)机制差异度检查:变量是否反映不同个体、团体或赛局实际经历的机制差异 需要确认:这个变量是否只是静态规则描述,还是能够反映不同个体、团体或赛局实际经历到的机制差异? 方法启发:Cronbach & Meehl (1955) 关于构念效度的讨论 - 如果测量操作与待解释表现高度重叠,其关系就难以形成有效的构念解释 - 测量指标本身不应等同于它所要解释的结果 - 对于无法直接观测的理论构念,需要寻找能够解释个体表现差异的间接测量指标
(三)核心机制变量的操作化
[嵌入电子表格]
以上三个机制的共同原则是:机制变量 X 应尽量反映规则条件或赛局环境对个体形成的影响,而不是直接使用个体已经发生的投入行为或赛后结果。 学术逻辑闭环: - 博弈论:负责界定机制,说明机制为什么会影响投入。 - 构念效度:负责规范变量构造,说明哪些字段可以代表机制,哪些字段不能直接使用。 - 机器学习:在通过检查后的变量池基础上,进一步进行变量重要性、非线性关系和异质性探索。
(四)补充支撑文献
Messick (1995)
参考文献:Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Psychologist, 50(9), 741–749. 核心思想: 效度不是单一相关系数,也不是某一种独立证据,而是对“测量分数如何被解释和使用”的整体判断。 对应支持: 不能只因为某个字段和综合投入 Y 有关系,就认为它一定能代表某个机制。还要判断这个字段的理论含义、规则来源、时间边界、是否混入结果字段,以及后续解释是否合理。 对本研究的作用: 机制变量进入模型前,不仅要看是否能计算,还要看它能否被合理解释为某个机制的测量指标。
Adcock & Collier (2001)
参考文献:Adcock, R., & Collier, D. (2001). Measurement validity: A shared standard for qualitative and quantitative research. American Political Science Review, 95(3), 529–546. 核心思想: 讨论的是测量有效性问题,核心是:研究者经常把观察值和测量结果用于操作化理论概念,但必须建立一套共同框架,来判断这些测量是否有效。 对本研究的作用: 理论机制 → 操作化指标 → 字段映射 → 变量检查 → 进入模型。 总结:七机制 X 变量不是“拿字段就用”,而是要经历从理论概念到可观测变量的操作化过程。
三、公平性机制应用
(一)理论定义与机制界定:公平性
完成七机制 变量构念效度与测量有效性检查框架后,进一步将该框架应用到第一个具体机制——公平性机制中,初步跑通了 “机制定义 → 规则载体 → 候选变量 → 字段边界检查 → 单机制试跑 → 变量池预筛选” 的流程。
- 公平性机制界定:赛前或分组前,各竞争主体之间初始机会与强度结构的均衡程度。 从构念效度角度看,公平性并不是解释赛后谁赢、谁排名更高,也不是判断最终战功是否接近,而是回答:个体在进入赛局时,是否面对一个相对值得继续投入的竞争环境。
(二)公式三步递进拆解
计算逻辑:先算出同一个赛局里各个阵营的实力差距(变异系数),然后通过“加负号”和“标准化”,把这个差距反转过来,变成“公平性得分”。赛前各阵营实力越接近,这个得分就越高。 当前主变量 的计算逻辑可以概括为: 下标释义: :表示具体的赛局 :表示阵营/派系 :表示活动观测期 :表示个体 - 将同一赛局、同一阵营内所有个体在赛前或分组前的初始强度加总,得到该阵营的初始总实力。 用变异系数衡量同一赛局内各阵营初始强度之间的差异。Strength_CV 越大,说明阵营之间初始强弱差距越大,赛局越不均衡;Strength_CV 越小,说明阵营间实力越接近,赛局越公平。 由于 Strength_CV 衡量的是“不公平程度”,因此通过负号将其方向反转,并通过 Z-Score 标准化转化为无量纲指标。最终得到的 Fairness_Index 数值越大,表示赛局初始阵营强度越均衡,公平性越高。
(三)基于构念效度四项维度的口径复核
试跑结论:
[嵌入电子表格]
[嵌入电子表格]
- 公平性机制在一期样本中的信号更清晰,主要体现在综合投入 Y、行为投入 L 以及 K/L 结构均衡度上。二期样本在加入控制后整体不显著。 说明:当前结果仅作为公平性进入七机制变量池预筛选的单机制试跑依据,不是机器学习结果,也不是最终因果结论。
延伸思考:
- 一期和二期的结果差异较大,需要进一步了解公平性机制在不同竞赛环境的差异原因。
- 比较是否存在匹配方式、分组规则、阵营强度差异、奖励结构、活动节奏或竞争压力上的变化。通过规则差异解释数据结果差异。
- 目前公平性主变量主要基于阵营初始强度差异构造,用于衡量赛局开始前的实力均衡程度。但是这个又和匹配规则有很大关系。所以接下来,想通过分析游戏规则再继续探索一下,公平性机制是否存在其他可观测变量。例如阵营人数均衡、头部个体分布差异、强弱分层均衡、匹配组历史强度差异等。
一、今日内容概述
二、七机制 X 测量效度与构念效度检查规范
基于 Cronbach & Meehl (1955) 经典测量理论的七机制 构念效度检查与指标操作化方案 参考文献:Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281–302.
(一)方法论背景:引入构念效度
在研究“平台如何通过规则机制持续组织投入”时,首先需要明确一种关键方法:七机制变量不能直接由原始字段生成,而需要经过构念效度检查和指标操作化。 痛点:如果直接把胜负、排名、最终领奖或即期攻防行为等字段等同于七大机制,会同时带来两个层面的问题:
- 第一:构念效度不足 字段名称或行为结果,并不能直接代表这个机制
- 第二:模型识别风险 部分字段可能与综合投入 Y 或赛后结果发生重叠,导致模型把结果误当成原因。 根据经典计量与心理学文献 Cronbach & Meehl (1955)《Construct Validity in Psychological Tests》 的核心思想:
- 理论构念 VS 理论构念之间的规律 → 理论上说得通 如:较高的公平性有助于维持弱势个体或普通个体的继续投入预期
- 理论构念 VS 可观测变量之间的联系 → 数据上能表达 如:找一个能观察、能计算的指标来代表它, 公平性可以用阵营初始强度差异来表示,构造出
- 可观测变量之间的可验证法则 → 结果上能验证 如:变量构造出来以后,还需要通过试跑结果观察它与结果变量之间的关系是否合理。例如与行为投入 、综合投入 、货币投入 之间是否呈现符合理论预期的经验关系。 核心判断: 七机制 端变量的构造,本质是一个“构念操作化”的过程。每个机制变量在进入机器学习与基础回归模型前,都需要先经过构念效度检查,确认它是否真正反映了相应的规则机制,而不是个体已经产生的行为结果。同时,还需要通过时序边界、结果字段排除和 X/Y 口径隔离,避免模型把结果误当成原因。
(二)七机制 X 变量进入模型前的分区与检查维度
结合 Cronbach & Meehl (1955) 关于构念效度的思想,七机制变量在进入模型前,不仅要说明它在理论上代表什么机制,还要检查它与综合投入 Y 及赛后结果之间是否保持清晰边界。
变量时序与数据流向模型
为保证机制变量、综合投入变量和赛后结果之间的边界清晰,后续变量构造应遵循“规则条件 → 综合投入 → 赛后结果”的单向逻辑。具体可按以下三类变量进行区分:

对七机制 X 变量进行进入模型前的检查
每个机制变量进入模型前,重点从四个维度判断候选变量是否适合进入后续基础回归、机器学习或多机制联合模型:机制含义、时序边界、X/Y 口径隔离、机制差异度。 (1)机制含义检查:变量是否真的代表该机制 需要确认:这个变量反映的是机制条件,还是只是某个行为结果? (2)时序边界检查:变量是否在时间或构造口径上与结果变量保持边界 需要确认:这个变量是在解释后续投入,还是已经混入了后续结果? (3)X/Y 口径隔离检查:变量是否与综合投入重复 需要确认:这个变量和综合投入 Y 是否保持了清晰边界? (4)机制差异度检查:变量是否反映不同个体、团体或赛局实际经历的机制差异 需要确认:这个变量是否只是静态规则描述,还是能够反映不同个体、团体或赛局实际经历到的机制差异? 方法启发:Cronbach & Meehl (1955) 关于构念效度的讨论
- 如果测量操作与待解释表现高度重叠,其关系就难以形成有效的构念解释
- 测量指标本身不应等同于它所要解释的结果
- 对于无法直接观测的理论构念,需要寻找能够解释个体表现差异的间接测量指标
(三)核心机制变量的操作化
[嵌入电子表格]
以上三个机制的共同原则是:机制变量 X 应尽量反映规则条件或赛局环境对个体形成的影响,而不是直接使用个体已经发生的投入行为或赛后结果。 学术逻辑闭环:
- 博弈论:负责界定机制,说明机制为什么会影响投入。
- 构念效度:负责规范变量构造,说明哪些字段可以代表机制,哪些字段不能直接使用。
- 机器学习:在通过检查后的变量池基础上,进一步进行变量重要性、非线性关系和异质性探索。
(四)补充支撑文献
Messick (1995)
参考文献:Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Psychologist, 50(9), 741–749. 核心思想: 效度不是单一相关系数,也不是某一种独立证据,而是对“测量分数如何被解释和使用”的整体判断。 对应支持: 不能只因为某个字段和综合投入 Y 有关系,就认为它一定能代表某个机制。还要判断这个字段的理论含义、规则来源、时间边界、是否混入结果字段,以及后续解释是否合理。 对本研究的作用: 机制变量进入模型前,不仅要看是否能计算,还要看它能否被合理解释为某个机制的测量指标。
Adcock & Collier (2001)
参考文献:Adcock, R., & Collier, D. (2001). Measurement validity: A shared standard for qualitative and quantitative research. American Political Science Review, 95(3), 529–546. 核心思想: 讨论的是测量有效性问题,核心是:研究者经常把观察值和测量结果用于操作化理论概念,但必须建立一套共同框架,来判断这些测量是否有效。 对本研究的作用: 理论机制 → 操作化指标 → 字段映射 → 变量检查 → 进入模型。 总结:七机制 X 变量不是“拿字段就用”,而是要经历从理论概念到可观测变量的操作化过程。
三、公平性机制应用
(一)理论定义与机制界定:公平性
完成七机制 变量构念效度与测量有效性检查框架后,进一步将该框架应用到第一个具体机制——公平性机制中,初步跑通了 “机制定义 → 规则载体 → 候选变量 → 字段边界检查 → 单机制试跑 → 变量池预筛选” 的流程。
- 公平性机制界定:赛前或分组前,各竞争主体之间初始机会与强度结构的均衡程度。 从构念效度角度看,公平性并不是解释赛后谁赢、谁排名更高,也不是判断最终战功是否接近,而是回答:个体在进入赛局时,是否面对一个相对值得继续投入的竞争环境。
(二)公式三步递进拆解
计算逻辑:先算出同一个赛局里各个阵营的实力差距(变异系数),然后通过“加负号”和“标准化”,把这个差距反转过来,变成“公平性得分”。赛前各阵营实力越接近,这个得分就越高。 当前主变量 的计算逻辑可以概括为: 下标释义: :表示具体的赛局 :表示阵营/派系 :表示活动观测期 :表示个体
- 将同一赛局、同一阵营内所有个体在赛前或分组前的初始强度加总,得到该阵营的初始总实力。 用变异系数衡量同一赛局内各阵营初始强度之间的差异。Strength_CV 越大,说明阵营之间初始强弱差距越大,赛局越不均衡;Strength_CV 越小,说明阵营间实力越接近,赛局越公平。 由于 Strength_CV 衡量的是“不公平程度”,因此通过负号将其方向反转,并通过 Z-Score 标准化转化为无量纲指标。最终得到的 Fairness_Index 数值越大,表示赛局初始阵营强度越均衡,公平性越高。
(三)基于构念效度四项维度的口径复核
试跑结论:
[嵌入电子表格]
[嵌入电子表格]
- 公平性机制在一期样本中的信号更清晰,主要体现在综合投入 Y、行为投入 L 以及 K/L 结构均衡度上。二期样本在加入控制后整体不显著。 说明:当前结果仅作为公平性进入七机制变量池预筛选的单机制试跑依据,不是机器学习结果,也不是最终因果结论。
延伸思考:
- 一期和二期的结果差异较大,需要进一步了解公平性机制在不同竞赛环境的差异原因。
- 比较是否存在匹配方式、分组规则、阵营强度差异、奖励结构、活动节奏或竞争压力上的变化。通过规则差异解释数据结果差异。
- 目前公平性主变量主要基于阵营初始强度差异构造,用于衡量赛局开始前的实力均衡程度。但是这个又和匹配规则有很大关系。所以接下来,想通过分析游戏规则再继续探索一下,公平性机制是否存在其他可观测变量。例如阵营人数均衡、头部个体分布差异、强弱分层均衡、匹配组历史强度差异等。