基于 Ray 和 Byzer，

快速构建以大模型为核心的生产级应用

演讲人：祝海林
1 Ray 底座简介
2 Byzer 开源大模型应用套件
2.1 Byzer-Retrieval 为大模型而生的检索系统
2.2 Byzer-LLM 大模型全生命周期管理
2.3 Byzer-Agent 应用开发框架
3 落地案例：AI数智助理
Ray 底座简介
什么是 Ray：
支持传统语言分布式编程的分布式框架

1. 用 25 行代码创建一个三节点
的分布式应用

2. 和单机版本基本保持一致

3. 支持分布式对象引用和GC

4. 支持分布式内存中数据的引
用
或者拷贝

5. 调度能满足实时性要求，
比如强化学习中的应用
 基于 Ray 的典型分布式应用

1.多机多卡分布式 DeepSpeed 训练

2. 分布式 vLLM 推理 以及多推理实例部署

3. 分布式存储应用构建
多机多卡分布式 DeepSpeed 训练

1. 提供一个 Adaptor,可以让
DeepSpeed 框架分布式运行在
Ray

2. 极度简化 DeepSpeed 的多
机安装和部署

3. 极度简化 DeepSpeed 多机
多卡 训练API
基于 Ray 的大模型效训练API示意图

1. 指定模型结构或者已有模型

2. 指定数据集

3. 指定 卡数

That’s All !

基于 Ray 的大模型训练就是这么简单
 多机多卡分布式 DeepSpeed 训练

OpenAI ChatGPT 就是用 Ray 作为底座进行训

练
基于 Ray 的 Byzer 大模型应用开发套件
Byzer 大模型开发套件一览图
为大模型而生的检索系统：
Byzer-Retrieval
RAG 是一个很重要检索应用场景

• 和微调互补

• 可以实时融入企业数据

• 召回准确率是难点
 RAG 可以实现对大模型更精细的控制

减少幻觉 权限控制 更好的实时性

根据召回内容进行回答，避免模 不同用户可以访问不同召回数据集 召回系统支持实时更新

型自行编织答案 保证数据安全 查询时实时召回context

单纯向量召回效果难以满足要求
我们的解决方案：
内置这些能力到我们检索系统

• 1. 完全分布式运行在 RAY 集群中，可以和

LLM 复用集群

• 2 . 支持多路异构召回

• 3 . 支持融合打分

• 4 . 支持 REST / PYT HON / SQL API

使用例子:
启动一个 2 节点 的检索集群

• 连接 Ray

• 创建检索实例

• 设置集群

• 启动集群
使用例子:
写入数据、实时召回

1. 实时写入 (1s 延迟)

2. 融合查询 （同时进行关键字和向量查询，并且实现了重
排序）
大模型全生命周期管理：
Byzer-LLM
全生命周期是什么含义
预训练/微调一个模型

1. 指定模型结构或者已有模型

2. 指定数据集

3. 指定 卡数

开始训练！
部署一个模型

• 指定资源,实例数

• 指定模型地址

• 指定 backend (vLLM...)
 我们支持的模型列表

开源类的模型（实际上比这更多） SaaS 类大模型

Agent应用开发框架：
Byzer-Agent
传统基于大模型的开发模式

缺点：

1. 实现过程化，大量的IF
Else判断
2. 需要大量的功能封装，但
复用性不高
3. 大模型只是作为一个API
被调用完成非常细小的功能
4. 开发工作量大
基于Byzer-Agent框架开发 - 新模式

1. Agent框架提供了接口供继
承
2. Agent 框架提供了通讯和存
储API
3. 以Agent 组为单位完成一次
用户请求
4.以 Agent组为单位分布式运
行在 Ray 集群之上

5. Agent 组的session 会话管

理
基于Byzer-Agent框架开发 ：
如何开发一个Agent

核心逻辑：

1. 通过 SystemMessage 完成
Agent 角色扮演

2. 实现应答函数完成功能
基于Byzer-Agent框架开发 ：
Agent 创建，通讯

通过 Agents 工具类创建Agent

Agent user 发送消息给

preview_file_agent
基于Byzer-Agent框架开发 ：
交互监控
基于Byzer-Agent框架开发 ：
总结
One More Thing
Byzer-LLM/Retrieval 同时支持
微调： 数据处理 (SQL)
微调/部署 (SQL)
使用 (SQL)
落地案例：
AI数智助理
 Kyligence Copilot

https://kyligence.io/zen 通过自然语言可以完成业务指标
/

1. 洞察
2. 评估
3. 归因
4. 总结
5. more...
 Kyligence Copilot (一代架构)

自研应用层框架

SelectTarget
Byzer-LLM 模型基础设施
MetricsHandler

UserIntention

Handler

CopilotOfGoal SaaS Model

Handler
Rest
Copilot
thirdParty
Agent
ServiceHandler Private Model
DetailDataOf

MetricsHandler

RootCauseAnalysis
Byzer-Retrieval 检索
Handler
 Kyligence Copilot (二代架构,推进中)
Byzer-Agent

SelectTarget
Byzer-LLM 模型基础设施
Agent

UserIntention

Agent

CopilotOfGoal
Saas Model
Agent

thirdParty
Rest
Copilot
Agent
Agent
DetailDataOf
Private Model
Agent

RootCauseAnalysis

Agent

Byzer-Retrieval 检索
 实现多项生产力里程碑：
一周完成私有化模型对接

• 完成开源模型选型 • 完成了公司内网私有化部署 • 完成了和 ZEN COPILOT

同时验证多个SaaS 和开源大模型就 公司采购了GPU服务器后，我们快速 的对接
baseline 完成了部署。只需一行脚本就能安装 Byzer-LLM 系统同时提供了 SQL
好全套依赖，甚至包括显卡驱动。 on HTTP / Python API
比如Llama30B/Falcon 40B 接近
GPT-3.5 70%-80% 的效果。

使用 SQL API 进行验证测试

实际案例：Zen Falcon_40B 效果提升
实际案例：Zen Falcon_40B 效果提升
问题 微调前 微调后

意图识别
PROMPT

实际用户问题
One More Thing
Byzer-SQL,Byzer-Agent,Byzer-LLM, Byzer-Retrieval 都是开源的

1. https://github.com/allwefantasy/byzer-retrieval
2. https://github.com/allwefantasy/byzer-llm
3. https://github.com/allwefantasy/byzer-agent
3. https://github.com/byzer-org/byzer-lang
感谢大家
感谢大家
感谢大家