万亿参数推荐模型预估

架构演进之路

黎江
百度主任架构师
• 推荐系统简介
• 万亿参数模型的技术挑战
• 基于学习的深度学习预估架构
• 进一步展望
典型的推荐系统
典型的推荐模型

模型
典型推荐分阶段实现

稀疏查询累加

数万输入参数

万亿级稀疏参数矩阵
典型的服务架构设计
 推荐模型预估的技术挑战
多个特性不同阶段间的高效串联和协同
高效的大规模稀疏参数查询
多维度架构参数最优化设置
应对大规模算力开销的合理剪枝体系
子任务划分问题
Staged Event-Driven Pipeline
 Staged Event-Driven Pipeline
流水线驱动框架设计难点：TPS = QPS * items * stage

Wait-Free Task Queue

 Staged Event-Driven Pipeline
流水线驱动框架设计难点：TPS = QPS * items * stage

Counting Based 并发完成 运行中并

Wait-Free DAG 结算 发激活
典型参数服务器架构
异构稀疏参数部署
多维度参数最优化
离线参数自动寻优
 在线预估缓存和剪枝
最佳剪枝水位
预估值缓存
重排序预估截断
极智在线预估系统展望
 更好的Query Cache效果拟合

 更强的特征计算能力

 更快和更深入的参数寻优