汇报提纲

第一部分

第二部分

第三部分

第四部分

第五部分
一、背景及意义

• 建设背景
– 近几年，国内外主要城市相继遭受特大暴雨袭击，对城市交通和市民生活造成严
重影响。

– 特别是在城市热岛、极端天气等多重影响下，城市局部地区易发生强暴雨，导致
严重的道路积水，给城市交通及人民生命财产安全造成了极大影响。

– 2010年，上海市开展下立交及道路积水监测系统建设，至2015年，已建成监测点
160多处，有效应对台风、暴雨等灾害天气，确保城市重要地区汛期排水安全。
二、系统需求分析与架构设计

• 总体描述
– 以需求为导向、应用为核心。根据上海构建“智慧城市”总体框
架，围绕实现智能水网目标，结合水务信息系统运行管理特点，
信息资源共享与开发利用的实际需求。

– 系统基于B/S架构的通用服务框架，它实现数据采集、数据存储、
数据处理、数据服务管理等功能，满足各类防汛排水实时数据无
缝接入及服务发布的要求。使得各种应用服务得到有力的数据平
台支撑，加快城市排水防涝信息化的建设。
 二、系统需求分析与架构设计

• 总体架构设计 市防汛 市水务局用户 市排水管理 区县排水 系统运行 系统管理用户

决策用户 用户 管理用户 维护用户
– 感知层 道路积水监测管理服务系统
• 传感器从测量环境或物 浏览器 浏览器 浏览器 浏览器

体中收集数据，并将其 实时监测 查询分析 运行维护 系统管理

应用层 移动终端
转化为有用的数据，物
联网的感知层由各种传
通用服务框架

技术规范及安全体系
感器联网构建而成。
– 传输层 业务应用支撑 降雨量
水
务
• 提供数据流支持和数据
泵站运行
排水行业 共享交换 局
数据库 道路积水监测数据库 数
流控制，并确保消息可 据
集水井水位

中
靠地到达。 数据库接口 心
MQTT消息中间件 规则配置
（ XML ODBC等 ）
– 应用层 基础应用层

• 以通用服务框架作为基
静态IP互联网接入
础应用层，实现本项目 通信传输层 GPRS/GSM

监测点数据统一集成、
导入、发布服务。 控制系统 硬件平台
下立交/道路 水位计、遥测终端、通信模块、供电系统等设备
通讯接口
信息感知层
二、系统需求分析与架构设计

• 通用服务框架需求分析
1. 传统软件企业云计算转型需求
① 竞争激烈。由于全球化信息互联和技术进步，每个行业的公司都面
临着激烈的竞争。

② 软件即服务成为趋势。企业将内部信息系统应用迁移为可动态配置、
自助式服务、互联网访问、按量付费的软件已成为必然的趋势。

2. 数据需求
① 数据海量，物联网节点的数据产生频率远远高于已有的互联网设备，
数据量海量且巨大。根据防汛排水需求，需集成降雨量、道路积水
深度、泵站集水井水位、泵机运行状态等监测数据。

② 数据异构，在不同领域或行业，就会存在不同格式的异构数据

3. 接口需求，允许其他应用通过公共数据接口实现数据接入
二、系统需求分析与架构设计

• 道路积水监测系统功能需求分析
• 丰富的可视化展示。
» 能够以统计图表、过程线、报表、专题图等多种方式，展示监测信
息。当监测数据或设备工况异常时，能够以多种方式进行告警（如
短信、邮件、弹出窗口等），告警的规则用户可自定义。

• 方便快捷的数据检索方式。
» 系统能够支持基于电子地图、基于数据属性进行查询，同时支持基
于全文搜索引擎的检索方式。查询结果应支持文件保存功能。

• 用户可定制的信息发布。
» 能够按照用户选定的图表模版、数据内容、发布方式、更新频次等
条件，进行数据的发布。针对不同的发布信息，可定制不同的发布
方案，并能通过权限进行控制。同时支持用户对相关数据的订阅服
务。
 二、系统需求分析与架构设计
水位传感器 图像监控

• 数据流程分为三个阶段
水位遥测终端 3G视频服务器
1. 第一阶段是在感知设备上进行的初始创
建，启动水位传感器进行测量，然后并 GSM/GPRS终端 遥测终端
将测量结果通过互联网发送。
2. 第二阶段是中心系统收集和组织这些数
据，数据通过专线以IP方式将数据转发 GPRS网络

到通信服务器，中心系统通过通用服务
框架存储数据。 GPRS通信服务器

3. 第三阶段是对数据的持续使用，监测中
心将积水数据进行发布，并提供数据接
口 监测服务器

数据存贮服务器

共享降雨量
数据库 泵站运行等

排水管理处
应用服务器

上海市防汛办
（防汛信息中心）

区县防汛部门 公安部门 路政部门 其他防汛成员单位

三、通用服务框架与关键技术

• 原数据汇集子系统不足
1. 整套系统存储格式多样，没有统一数据存取接口，数据交换困难，
中间数据处理环节过多，实现数据进行统一的存储和管理繁琐。

2. 采用这类系统架构的数据汇集系统，处理数据存在延迟问题。

3. 本期项目开展建设要求整合全市降雨量、道路积水、泵站集水井
水位等监测数据，结合运行方案，监督指导泵站运行情况，辅助
防汛排水决策。
三、通用服务框架与关键技术

• 通用服务框架技术方案
1. 数据采集IBM物联网开发工具Node-Red，设计常用采集数据代理组件，
以搭积木方式实现数据采集代理快速复用，应对原始数据复杂情况。

2. 数据传输基于IBM研发消息队列传输的数据交换服务（MQTT），使用
发布/订阅消息模式，提供一对多的消息发布。

3. 数据存储方面，研究MongoDB数据库基于时间序列数据的云存储机制，
实现数据云存储高可用性和负载均衡，使用其自带交叉复制备份的
方式部署MongoDB数据库集群。

4. 数据分析方面，集成复杂事件处理（CEP）技术用来解耦报警信息发
送规则，提高预警发布灵活可变，适应更多防汛排水应急实时数据
接入。

5. 数据发布服务方面，借鉴物联网软件平台关键技术，基于Sitewhere
物联网应用中间件，构建通用服务框架。
三、通用服务框架与关键技术
通用服务框架
SiteWhere 多租户管理
资 设 用 权 数据服务
产 备 户 限 REST APIS
管 管 管 管 Asset SPIS
理 理 理 理 Integration
虚拟机
数据处理
虚拟机 处理
定时 动作 数据
规则
任务 触发 存储
虚拟机 配置

数据处理通道（网关）
虚拟机

云 EQMTT消息 EQMTT消息
中间件集群 中间件集群
平
台 Node-red
Socket HTTP MQTT File DataBase
采集插件

无线网络
RTU RTU
数据交换
RTU 外部系统
传感器 传感器 外部系统
传感器
三、通用服务框架与关键技术

• 数据存储关键设计
– 本项目数据库采用MongoDB存储时序数据,实现集群存储架构
• 时序数据随时间的变化状态或程度，它们都是在时间尺度上均匀或不
均匀分布的时间数据点对，包含着丰富的信息.

• 时序数据存储，因其类型多样、数据规模巨大等需求,已超出传统的
关系型数据库存储量和计算性能所能承受的范围
三、通用服务框架与关键技术

• 数据存储关键设计
– 数据库建模，对通用服务框架数据库使用ER模型对核心实体进行
建模。包括多租户模式设计、节点管理设计等
三、通用服务框架与关键技术

• 数据存储关键设计
– 时间序列数据存储模型详细设计，本项目把握时序数据的查询频
率、时效性及数据规模三者之间平衡点，把采集时序数据存储分
为近期数据集行存储和历史数据集列存储模式。
{
"_id" : { //主键集合，考虑分片均衡
"source" : "sensor1", //数据来源
"type" : "AutoWater.H", //传感设备监测类型
"date" : ISODate("2015-12-31T16:00:00")//
日期
},
"values" : [ //数组对象包含24个对象代表一天24小时
[
78,
78,
78,
78,
222,
12,
12, 列存储
12,
…,
12,
12 //数组对象包含60个值存储每分钟监测值
],
…,
行存储 [
23,
23,
23,
23,
23,
23,
23,
23,
…,
23,
23
]

}
三、通用服务框架与关键技术

• 数据处理分析关键设计
– 已有数据处理问题分析，提出积水预警存在不足
• 业务逻辑与程序耦合强，可维护和可扩展性及数据共享不高
– 客户要求业务规则经常变化，系统存在业务逻辑与程序强耦合，当需要
修改业务规则时，无法满足客户快速响应及企业低成本的维护更新需要。

• SQL Server代理作业问题
– SQL Server代理作业服务与数据库引擎运行在同一服务器上，无法分布
式部署和动态拓展能力，受系统资源限制问题突出

– 作业计划运行频率最小间隔单位为分钟，监测数据不能被实时处理，存
在滞后性
三、通用服务框架与关键技术

• 数据处理分析关键设计
– 针对上述类似积水预警出现数据处理问题，通过对目前复杂事件
处理技术、事件处理引擎、 CEP 框架的研究，对预警发布模块的
架构进行了重构
三、通用服务框架与关键技术

• 数据处理分析关键设计
– 积水数据处理流程设计，道路及下立交积水预警启用条件分四个等级，每个等级
划分不同角色人员，分区分责任范围单位人员，并按照危害的紧急或重要程度对
应不同报警人员；四个预警等级，消息预警发送原则是“逢变则发，不变不发”。
三、通用服务框架与关键技术

• 通用服务框架实现之数据服务接口
– 数据服务资源的划分
• 将数据资源划分为五个层次，依次是租户资源、物理资产资源、传感
器设备资源、数据事件资源。

– 服务接口操作统一
• 通过服务接口，根据相应的HTTP请求类型对资源进行相应的增、删、
改、查操作，其核心操作只有这四种类型，遵循 CRUD 原则。

– 数据服务接口划分
• 数据接口主要包括租户接口、物理资产接口、传感器设备接口、数据
事件接口。
三、通用服务框架与关键技术

• 通用服务框架实现之数据采集代理实现
三、通用服务框架与关键技术

• 通用服务框架实现之积水预警信息发布
• WSO2 CEP工具积水监测数据处理流程图

事件源接收适配器 事件处理器 事件发布

事件通道 事件通道
接收积水值适配器 存储积水值 值转换等级 存储积水等级
对象 对象

事件通道
等级变化判 积水等级报警发布
存储积水报警对象
三、通用服务框架与关键技术
– 通用服务框架实现之积水预警信息发布

值
转
换
等
级
事
件
处
理
器
三、通用服务框架与关键技术
– 通用服务框架实现之积水预警信息发布

等
级
变
化
判
断
事
件
处
理
器