|

因果推断在海外游戏
增长中的应用
张洁
腾讯 IEG Global
 目录 CONTENT

01 游戏中的实验场景 03 实验驱动用户运营

02 实验驱动广告投放 04 总结 & 讨论

|
 |

01 游戏中的实验场景
 游戏中的实验场景
广泛、多样、复杂

生命周期阶段 潜在用户 新手 有效活跃 活跃下降 即将流失 流失

拉新 安装注册 活动任务 PUSH通知 活动任务 流失用户召回

渠道选择 注册流程 活动素材 PUSH频率 活动素材 用户定向
用户定向 注册界面 活动福利数值 PUSH时机 活动福利数值 广告素材
广告素材 安装未注册召回 任务设定 PUSH内容 任务设定 出价策略
研运重点 出价策略 PUSH定向
& APP商店下载 新手引导 UI界面 社交
实验决策点 APP图标 引导长度 图标样式 社交活动效果
APP详情页素 引导信息 导航位置、顺序 社交推荐算法
材 新手英雄 背景图
AI新手局 商城消费 温暖局
AI局难度 道具推荐算法 温暖局时机
AI局数 道具打折力度
新玩法 真人匹配局
新玩法效果 匹配算法
|
 |

02 实验驱动广告投放
实验驱动回流广告投放 行为主体 流程
量化投放效果，优化投放策略
流失玩家
随着游戏运营时间的推移，拉新的难度越来越高，
用户筛选 否
盘活流失玩家成为提升游戏活跃的主要来源。
是

某游戏上线后累计玩家数趋势 广告设置
Target
累计注册玩家 budget
CPA
累计流失玩家

竞价排序
Target
流失玩家占累计注 CPM = 转化 X
率 CPA X 1k
册玩家的78%
是否 否
竞得
上线
6月17日 2周
7月7日 4周
7月27日 6周
8月16日 8周 是

广告曝光 未曝光广告
强势的自有渠道(qq/wx)在海外缺位
否 是否 是
回流
挑战 高昂的用户触达成本 不回流 回流

必须找到真正值得干预的用户 |
 实验驱动回流广告投放
量化投放效果，优化投放策略
分析：高概率回流的用户不需要投放广告也会回流，因此投放与否对这个
方案：训练二分类模型，识别自然回流率最高的玩家，向他们投放
群体影响不大。
广告
各预测概率区间的回流率（干预VS不干预）
训练样本：流失玩家
50% 账号量 不干预 干预 200,000
训练 自然回流
正样本：回流
率

回流率
预测模型 传
负样本：未回流 统
方
0% 案 0
预测样本 预测 向自然回流率高 0-0.1 0.1-0.2 0.2-0.30.3 -0.4 0.4- 0.50.5-0.60.6-0.70.7 -0.8 0.8- 0.9 0.9-1
流失玩家 预测概率区间
的用户投放广告

问题：响应模型越来越准确，但干预未带来显著提升。 基于传统方案的优化：干预中高概率区间的用户（预测概率：0.5～0.9）

回流率(%) 显著性检验
某游戏回流UA投放(回流率) 显著性检验 干预策略
干预 不干预 X2 P
X2 P
26.88% 27.36%
精准包 0.17 0.68 优化后(预测概率0.5～0.9) 8.75% 7.34% 12.25 <0.001
随机包 11.17 <0.001
2.61% 2.91% 优化前(预测概率0.9～1.0) 27.36 26.88 0.17 0.68
99%置信度下，干预对精准
包无显著影响，对随机包有
缺点：依赖强假设：预测为中高概率自然回流的用户，对干预更敏感。实
预

预
预

显著影响
干

干
干

际上不一定成立。
|
包

包
不

不
准

机
包

注：
精

随
准

精准包:预测自然转化率0.9以上的用户
精

随
 实验驱动回流广告投放
量化投放效果，优化投放策略
思路： Meta- Learner Tree Based Deep Learning
调整问题定义：预测干预对用户的影响

S Learner Uplift Tree BNN

Persuadable Sure thing
投 是 投放 不投放 T Learner Causal Forest TARNet
放
是 X Learner Propensity Tree Perfect Match
否
回 Lost cause Sleeping Dog R Learner CEVAE
否
流 不投放 绝不投放
灵活，learner选择不受 Split的时候直接考虑 处理大数据集、多维度特
否 是
限制 treatment与control的 征时embedding有优势
不投放是否回流 模型误差 ≠ 评估误差 差异 数据集size有要求，易过
解释性较强 拟合

效果：回流率under treatment & control

优点：人均干预增益提升从1.4%(7.3%->8.7%)提升至2.0%(5.6%-
Sleeping dog，绝不打扰 No uplift，不干预 Persuadable ，干预
>7.6%)
用户占比4%，p<0.001 用户占比69%，p=0.0207 用户占比27%，p<0.001
7.32% 7.59%

4.18%
5.56%
附：sleeping dog特征分析
1.23% 1.40% 在游戏内花费较长时间，但进展不足的用户对UA广告持负面响应

CATE<0不干预 CATE<0干预 CATE=0不干预 CATE=0干预 CATE>0不干预 CATE>0干预

|
实验驱动回流广告投放
量化投放效果，优化投放策略

问题：uplift model需要通过随机实验获得无偏的控制组和干预组， 难点：广告平台出于隐私政策，不回传用户粒度的曝光数据，如何

才能推断“同质的用户”在干预时的响应 和 不干预时的响应。 知道曝光事件与用户特征的相关性？
海外广告投放环境下，我们获得的样本真的是无偏的吗？

RCT实验设计 真实投放环境
Google隐私政策：
总体 总体
禁止回传用户粒度的数据
随机切分 随机切分 随机切分 随机切分
禁止回传曝光人数50人以下的
控制组 干预组 控制组 干预组 群体的数据
……
广告平台策略
（黑盒）
方案：分组，组内的用户特征尽量相似；组间的用户特征尽量不同
与广告平台（FB/Google）
用户id
的竞价策略强相关，由广告
平台决定向哪些用户曝光广 游戏内特征 广告曝光数据
告
（Tencent） （Google/FB）
不曝光广告 曝光广告 不曝光广告 曝光广告
聚类
无偏样本 是否有偏？ √
|
 实验驱动回流广告投放
量化投放效果，优化投放策略
分析：
1、干预组中，只有13%用户被广告曝光 2、是否曝光广告与用户特征不独立 3、 广告媒体倾向于给原本就会回流的人投放广告

各cluster用户的广告曝光率 各Cluster用户的曝光率与自然回流率
广告曝光率
（预测）强相关
曝光账号量 未曝光用户量 40%
30%
R² = 0.9882
12~16% 30%

曝光率
9% 20%

9%
10%

0%
控制组 干预组
0% 20% 40% 60%
自然回流率（预测）

影响：
控制组 干预组（全体） 控制组 干预组（曝光广告群体） 由于曝光率与特征不独立，预测CATE
cluster cluster
回流率 回流率 CATE 占干预组全
回流率
体
回流率 CATE 值向曝光倾向性高的群体倾斜
7 29.38% 30.51% 1.13% √
0 13.70% 14.74% 1.04%
7
0
29.38%
13.70%
30%
12%
33.13%
22.39%
3.76%
8.69% √ |
 实验驱动回流广告投放
量化投放效果，优化投放策略
思路：预测CATE值之前，先进行样本去偏，使得曝光与特征X独立 凝聚

X与T不独立，即干 继续凝聚
预组内不同样本被 𝑃(𝑇)：干预组内的
X X 𝑃(𝑇) 样本X被曝光的概
曝光的概率不同 率。
T T
物理意义：给定
Y Y
𝑃(𝑇)下, X与T独立 ADH能否返回曝光率 否
(曝光人数是否达50)

是 退出凝聚
𝑃 𝑇 = 𝑃(𝑇 = 1|𝑋)
得到簇的曝光率
" &'"
去偏：样本权重 𝑤! = #(") + &'#(")
效果
如何估计每个玩家的𝑃 𝑇 ？ 干预增益比

方案：把干预组切分成若干Cohort，向Google请求每Cohort的曝 Top50% Tail50%

(越高越好) (越低越好)
光率，作为Cohort内每个用户的𝑃 𝑇
去偏前 0.74% 0.36%
难点：Cohort切分满足以下条件： 去偏后 1.5% 0.13%
1. Cohort内的用户特征尽量相似 基于贪心
2. 不同Cohort的用户特征尽量不同 凝聚的分
注：Google分析平台为ADH(Ads Data Hub)
3. 每个cohort的曝光人数不低于50的条件 层聚类
|
Facebook分析平台为Facebook Advance Analytics
下，size尽量小 两平台隐私政策与服务内容相似，均适用该方法论
 实验驱动回流广告投放
量化投放效果，优化投放策略
问题：通过样本去偏，识别出了更多曝光率低、CATE值高的用户， 思路：从“增益用户”的角度测算流量价值，折算CPA
如何提升这个群体的曝光率？
广告主愿意为这些增量用户付的费用
CATE
cluster 曝光率
去偏前 去偏后
30% 2.11% 7.02% 为广告主带来的增量用户量
30% 1.13% 3.76%
27% -0.08% -0.28% 曝光次数
16% 2.31% 14.36% CPM = 1000 X CATE X CP增量
17% 1.10% 6.40%
12% 1.04% 8.69%
9% 0.32% 3.46%
9% -0.44% -5.10%
𝐶𝐴𝑇𝐸 X CP增量
出价： Target CPA =
分析：广告竞价机制：由广告主设置单个转化（回流用户）的价值 Conversion
rate
（CPA），广告平台依据流量的转化率推算流量价格（CPM）。不
依据用户的Cate值调整CPA
同广告主之间依据CPM竞价。
Conversion CPA
Google算法 cluster rate CATE
原 现
广告主愿意为这些转化用户付的费用 29% 7.02% $4 $4
竞价排序依据 33% 3.76% $4 $2
1000次曝光的价格 为广告主带来的转化用户量 23% -0.28% $4 -
21% 14.36% $4 $10
曝光次数
16% 6.40% $4 $6
Conversion
CPM = 1000 X rate X Target CPA ？ 22% 8.69% $4 $6
11% 3.46% $4 $6
现状：当前出价策略：业务人员依据经验设置统一CPA（$4） 4% -5.10% $4 -

固定CPA（$4）下，竞价竞争力与转化率（回流率）呈正比 |
实验驱动回流广告投放
量化投放效果，优化投放策略

|
 |

03 实验驱动用户运营
 实验驱动用户运营
优化用户体验，提升活跃和留存

实验设计

活跃用户 周活跃用户 平均每个干预预期带

分组 礼包 周留存率
来的留存用户量
流量随机切分 控制组 随机组 算法组
10% 10% 80% 控制组 无礼包 85.6% -
高概率流失用户投放；
投放 不投放 投放 礼包A 90.7% 0.05
低概率流失用户不投放；
随机组
50% 50% 50% 50%
礼包B 89.4% 0.04
礼包 礼 礼 礼 礼
无 包B 礼包A 90.2% 0.35
包A 包A 包B
算法组
效果
留存率 礼包B 88.9% 0.25

|
 实验驱动用户运营
果真如此简单？

Q1 账号如何分流？ Q3 公平性舆情危机？

Q2 实验灵敏度低怎么办？ Q4 用户间互动导致对照组污染？

|
 实验驱动用户运营
Q1: 账号分流：并行实验、前后实验污染（Carry-over Effect)

0 1 2 3 4 5 6 7 8 9

对照组 实验组
实验一
分流方式1:
用户尾号
对照组 实验组
实验二

1. 效果重叠，无法区分效果
2. 前置实验污染，导致后续实验分流有偏

分流方式2: 1. 需存储中间表记录账号的分组情况，容易错乱或丢失，管理难度大，给回溯带来风险
rand生成随机数 2. 伪随机

|
实验驱动用户运营
Q1: 账号分流：推荐分流方式：哈希（Hash）方程

哈希方程 hash(id, seed)

正交性：
并行实验，更换seed,
hash(id, seed1) 0 1 2 3 …… 99
重新打散
对照组 实验组
实验一
易管理：
只需记录每次实验的
seed，无需记录id与分
hash(id, seed2) 组的映射关系表
0 1 2 3 …… 99
对照组 实验组
实验二

|
实验驱动用户运营
Q2: 实验指标灵明度差怎么办
CUPED（微软） Log变换

原始
指标

Log
提升实验灵敏度： 变换

> 增加样本量
增加实验流量
power: 0.574 vs power
增加实验时间 log: 0.871 (+50%)
> 减小指标方差
应用方差削减（CUPED） Power = 0.8 , alpha=0.05
时， 建议样本数： 29060
更换指标（如：金额->超过某金额的比例）
vs 14600 (降低一半)
指标Log变换
|
实验驱动用户运营
Q3: 影响公平性，无法做AB测试怎么办

无法实验的场景 在国家、服务器粒度上分实验组和对
照组

对照组 实验组
无新装备 新装备

同场竞技影响公平性！ Synthetic Control：

通过拟合消除偏差，进而评估实验效果

道具定价差异引起舆情危机

……

|
实验驱动用户运营
Q4: 用户之间相互影响

想像中的AB实验： 实际上的AB实验：
实验组和对照组的用户互相隔离 实验组和对照组的用户互相影响

对照组 实验组 对照组 实验组

分享

分享

|
 实验驱动用户运营
Q4: 用户之间相互影响：不同的产品，会有不同的网络效应

Facebook的网络效应 Uber的网络效应
实验组 实验组
观测到的对照组 观测到的对照组
真实的对照组（未观测到） 真实的对照组（未观测到）

Day0 Day1 Day2 Day3 Day4 Day5 Day6 Day0 Day1 Day2 Day3 Day4 Day5 Day6

under estimate over estimate

|
实验驱动用户运营
Q4: 用户之间相互影响：网络效应的解决

第1步 第2步 第3步

识别网络效应 构建网络 节点聚类

第6步
第4步
大盘ATE估计 按cluster采样下
第5步 发实验
ATE评估

|
 |

04 总结
 总结

> 实验驱动广告投放 > 实验驱动用户运营

Q1 如何选择用户 Q1 账号分流方法

Q2 如何在隐私条款下进行曝光去偏 Q2 实验灵敏度提升

Q3 如何优化出价 Q3 不可实验的场景

Q4 网络效应的解决

|
 谨慎

成本 决策降级

增长曲线 文化

|
非常感谢您的观看
|

联系讲师
张洁
腾讯 IEG Global
资深数据科学家