ｈ

ｔｔｐ：
／／ｗｗｗ．
ｊｓ
ｊｋｘ．
ｃｏｍ
ＤＯＩ： １１８９６／
１０． ｊｓｋｘ．
ｊ ２１０４０００２１

ＤＲＬ－ＩＤＳ：基于深度强化学习的工业物联网入侵检测系统
李贝贝 宋佳芮 杜卿芸 何俊江
四川大学网络空间安全学院 成都 ６１００４１
（
ｌｉ
ｂｅｉ
ｂｅｉ＠ｓ
ｃｕ． ｃｎ）
ｅｄｕ．

摘 要 近年来，工业物联网迅猛发展，在实现工业数字化、自动化、智能化的同时也带来了大量的网络威胁，且复杂、多 样 的 工
业物联网环境为网络入侵者创造了全新的攻击面。传统的入侵检测技术已无法满足当前工业物联网环境下的网络威胁发 现 需
求。对此，文中提出了一种基于深度强化学习算法 近 端 策 略 优 化 （
Ｐｒｏｘ
ｉｍａ
ｌＰｏ
ｌｉｃｙ Ｏｐ
ｔｉｍｉ
ｚａｔ
ｉ ０，
ｏｎ２． ＰＰＯ２）的 工 业 物 联 网 入 侵
检测系统。该系统将深度学习的感知能力和强化学习的决策能力相结合，以实现对工业物联网多种类型网络攻击的有效 检 测。
首先，运用基于 Ｌ
ｉ ｔＧＢＭ 的特征选择算法筛选出工业物联网数据 中 最 有 效 的 特 征 集 合 ；然 后，结 合 深 度 学 习 算 法 将 多 层 感 知
ｇｈ
器网络的隐藏层作为 ＰＰＯ２ 算法中的价值网络和策略网络的 共 享 网 络 结 构；最 后，基 于 ＰＰＯ２ 算 法 构 建 入 侵 检 测 模 型，并 使 用
ＲｅＬＵ（
Ｒｅｃ
ｔｉｆ
ｉｅｄＬ
ｉｎｅ
ａｒＵｎ
ｉｔ）进行分类输出。在美国能源部橡树岭国家 实 验 室 公 开 发 布 的 工 业 物 联 网 真 实 数 据 集 上 开 展 的 大
量实验表明，所提出的入侵检测系统在检测对工业物联网的多种类型网络攻击时，获 得 了 ９９．
０９％ 的 准 确 率，且 在 准 确 率、精 密
度、召回率、
Ｆ１ 评分等指标上均优于目前基于 ＬＳＴＭ， ＲＮＮ 等深度学习模型和 ＤＤＱＮ，
ＣＮＮ， ＤＱＮ 等深度强化学习模型 的 入 侵
检测系统。
关键词：工业物联网；网络安全；入侵检测系统；深度强化学习；
ＰＰＯ２ 算法
中图法分类号 ＴＰ３９３

ＤＲＬ－ＩＤＳ：Ｄｅ
ｅｐＲｅ
ｉｎｆ
ｏｒｃ
ｅｍｅｎ
ｔＬｅ
ａｒｎ
ｉｎｇＢａ
ｓｅｄＩ
ｎｔｒ
ｕｓｉ
ｏｎＤｅ
ｔｅｃ
ｔｉｏｎＳｙ
ｓｔｅｍｆ
ｏｒＩ
ｎｄｕ
ｓｔｒ
ｉａｌＩ
ｎｔｅ
ｒｎｅ
ｔ
ｆＴｈ
ｏ ｉｎｇ
ｓ
ＬＩＢｅ ｉ，
ｉ－ｂｅ ＳＯＮＧＪ
ｉａ－ｒ
ｕｉ，
ＤＵ Ｑｉ
ｎｇ－ｙｕｎａｎｄ ＨＥＪｕｎ－ｊ
ｉａｎｇ
Ｓｃｈｏｏ
ｌｏｆＣｙｂｅ
ｒＳｃ
ｉｅｎｃ
ｅａｎｄＥｎｇ
ｉｎｅ
ｅｒｎｇ，
ｉ Ｓｉｃｈｕａｎ Ｕｎ
ｉｖｅ
ｒｓｉ
ｔｙ，
Ｃｈｅｎｇｄｕ６１００４１，
Ｃｈｉ
ｎａ

Ａｂ
ｓｔｒ
ａｃｔ Ｉ
ｎｒｅ
ｃ ｔｙｅ
ｅｎ ａｒｓ，
ｔｈｅＩ
ｎｄｕｓ
ｔｒｉ
ａｌＩ
ｎｔｅ
ｒｎｅ
ｔｏｆＴｈ
ｉｎｇｓ （
ＩＩｏＴ）ｈａ
ｓｄｅ
ｖｅｌ
ｏｐｅｄｒ
ａｐｉ
ｄｌｙ．Ｗｈ
ｉｌｅｒ
ｅａｌ
ｉｚｉ
ｎｇｉ
ｎｄｕｓ
ｔｒｉ
ａｌｄ
ｉｇｉ
ｔｉｚ
ａｔｏｎ，
ｉ
ａｕ
ｔｏｍａ
ｔｉｏｎ，
ａｎｄｉ
ｎｔｅ
ｌｌ
ｉ ｅ，
ｇｅｎｃ ｔ
ｈｅＩ
ＩｏＴｈａ
ｓｉｎ
ｔｒｏｄｕｃ
ｅｄｔ
ｒｅｍｅｎｄｏｕｓｃｙｂｅ
ｒｔｈｒ
ｅａｔ
ｓ．Ｆｕ
ｒｔ ｒ，
ｈｅ ｔ
ｈｅｃ
ｏｍｐ
ｌｅｘ，
ｈｅｔ
ｅｒ ｏｕｓ，
ｏｇｅｎｅ ａｎｄｄ
ｉｓｔ
ｒｉｂｕ－
ｔ
ｅｄＩ
ＩｏＴｅｎｖ
ｉｒｏｎｍｅｎ
ｔｈａ
ｓｃｒ
ｅａｔ
ｅｄａｂ
ｒａｎｄ－ｎｅｗ ａ
ｔｔａ
ｃｋｓｕ
ｒｆａ
ｃｅｆ
ｏｒｃｙｂｅ
ｒｉｎ
ｔｒｕｄｅ
ｒｓ．
Ｔｒａｄ
ｉｔｉ
ｏｎａ
ｌｉｎ
ｔｒｕｓ
ｉｏｎｄｅ
ｔｅｃ
ｔｉｏｎｔ
ｅｃｈｎ
ｉｑｕｅ
ｓｎｏ
ｌ
ｏｎｇｅ
ｒｆｕ
ｌｆｉ
ｌｌｔ
ｈｅｎｅ
ｅｄｓｏ
ｆｉｎ
ｔｒｕｓ
ｉｏｎｄｅ
ｔｅｃ
ｔｉｏｎｆ
ｏｒｔ
ｈｅｃｕ
ｒｒｅｎ
ｔＩＩ
ｏＴｅｎｖ
ｉｒｏｎｍｅｎ
ｔ．Ｔｈ
ｉｓｐａｐｅ
ｒｐｒ
ｏｐｏ
ｓｅｓａｄｅ
ｅｐｒ
ｅｉｎ
ｆｏｒ
ｃｅｍｅｎ
ｔｌｅ
ａｒｎ
ｉｎｇ
ａｌ
ｇｏｒｉｈｍ （
ｔ ｉ．ｅ．，
ＰｒｏｘｉｍａｌＰｏ
ｌｉｃｙＯｐ
ｔｉｍｉｚ
ａｔｉ
ｏｎ２． ０，
ＰＰＯ２）ｂａｓ
ｅｄｉ ｎ
ｔｒｕｓ
ｉｏｎｄｅｔ
ｅｃｔ
ｉｏｎｓｙｓｔ
ｅｍｆ ｏ
ｒｔｈｅＩＩ
ｏＴ．Ｔｈｅｐｒｏｐｏ
ｓｅｄｉｎｔ
ｒｕｓｉ
ｏｎ
ｄｅｔｅ
ｃｔｏｎｓｙ
ｉ ｓｔｅｍ ｃｏｍｂｉｎｅ
ｓｔｈｅｐｅｒｃ
ｅｐｔｕａｌａｂｉ
ｌｉ
ｔｙｏｆｄｅｅｐｌ
ｅａｒｎｉ
ｎｇ ｗｉｔ
ｈｔ ｈｅｄｅｃ
ｉｓｉ
ｏｎ－ｍａｋｉ
ｎｇａｂｉ
ｌｉ
ｔｙｏ ｆｒ
ｅｉｎ
ｆｏｒ
ｃｅｍｅｎｔｌ
ｅａｒｎｎｇ，
ｉ
ｗｈ
ｉｃｈｃ
ａｎｅ
ｆｆｅ
ｃｔｉ
ｖｅｌ
ｙｄｅ
ｔｅｃ
ｔｍｕ
ｌｔｉ
ｐｌｅｔ
ｙｐｅ
ｓｏｆｃｙｂｅ
ｒａｔ
ｔａｃｋｓｆ
ｏｒｔ
ｈｅＩ
ＩｏＴ．
Ｆｉｒ
ｓｔ，
ａＬｉ
ｇｈｔＧＢＭ－ｂａ
ｓｅｄｆ
ｅａｔ
ｕｒｅｓ
ｅｌｅ
ｃｔｉ
ｏｎａ
ｌｇｏ
ｒｉｔ
ｈｍｉ
ｓ
ｕｓ
ｅｄｔ
ｏｆｉ
ｌｔｅ
ｒｔｈｅｍｏ
ｓｔｅ
ｆｆｅ
ｃｔｉ
ｖｅｆ
ｅａｔ
ｕｒｅｓ
ｅｔｓｉ
ｎＩＩ
ｏＴｄａ
ｔ Ｔｈｅｎ，
ａ． ｔｈｅｈ
ｉｄｄｅｎｌ
ａｙｅ
ｒｏｆｔ
ｈｅ ｍｕ
ｌｔｉ
ｌａｙｅ
ｒｐｅ
ｒｃｅｐ
ｔｒｏｎｎｅ
ｔｗｏ
ｒｋｉ
ｓｕｓ
ｅｄａ
ｓ
ｈｅｓｈａ
ｔ ｒｅｄｎｅ
ｔｗｏ
ｒｋｓ
ｔｒｕｃ
ｔｕｒ
ｅｏｆｔ
ｈｅｖａ
ｌｕｅｎｅ
ｔｗｏ
ｒｋａｎｄｐｏ
ｌｉｃｙｎｅ
ｔｗｏ
ｒｋｉ
ｎｔｈｅＰＰＯ２ａ
ｌｇｏ
ｒｉｔ
ｈｍ．
Ａｔｌ
ａｓｔ，
ｔｈｅＰＰＯ２ａ
ｌｇｏ
ｒｉｔ
ｈｍｉ
ｓｕｓ
ｅｄ
ｔ
ｏｃｏｎｓ
ｔｒｕｃ
ｔｔｈｅｉ
ｎｔｒ
ｕｓｉ
ｏｎｄｅ
ｔｅｃ
ｔｉ ｌａｎｄＲｅＬＵ （
ｏｎ ｍｏｄｅ Ｒｅｃ
ｔｉｆ
ｉｅｄＬ
ｉｎｅ
ａｒＵｎ
ｉｔ）ｉ
ｓｅｍｐ
ｌｏｙｅｄｆ
ｏｒｃ
ｌａｓ
ｓｉｆ
ｉｃａ
ｔｉｏｎｏｕ
ｔｐｕ
ｔ．Ｅｘ
ｔｅｎｓ
ｉｖｅｅｘ－
ｐｅｒ
ｉｍｅｎｔｓｃ ｏｎｄｕｃ
ｔｅｄｏｎａｒ ｅ
ａｌＩＩｏＴｄａｔａｓ
ｅｔｒｅｌｅ
ａｓｅｄｂｙｔｈｅＯａｋＲｉｄｇｅＮａｔｉ
ｏｎａ
ｌＬａｂｏ ｒ
ａｔｏｒｙ，
ｓｐｏｎｓｏ
ｒｅｄｂｙｔ ｈｅＵ．
Ｓ．Ｄｅｐａｒ
ｔｍｅｎ ｔｏ
ｆ
Ｅｎｅｒｇｙ，ｓｈｏｗ ｔｈａ
ｔ ｔ
ｈ ｅ ｒ
ｏ
ｐ ｐｏｓｅｄｉｎ
ｔｒｕｓ
ｉｏｎ ｄｅ
ｔｅｃｔ
ｉｏｎｓｙｓ
ｔｅｍ ａ
ｃｈｉ
ｅｖｅ
ｓ ９９．
０９％ ａｃｃｕｒ
ａｃｙ ｉ
ｎ ｄｅ
ｔｅｃｔ
ｉｎｇ ｍｕｌ
ｔｉｌｅｔ
ｐ ｙｐｅ
ｓ ｏ
ｆ ｎｅ
ｔ ｗｏｒ
ｋ ａｔ－
ｔ
ａｃｋｓｆ
ｏｒｔ
ｈｅＩ
ＩｏＴ，
ａｎｄｉ
ｔｏｕ
ｔｐｅ
ｒｆｏ
ｒｍｓｓ
ｔａｔ
ｅ－ｏ
ｆ－ｔ
ｈｅ－ａ
ｒｔｄｅ
ｅｐｌ
ｅａｒ
ｎｉｎｇ ｍｏｄｅ
ｌｓ（
ｅ．ｇ．，
ＬＳＴＭ，
ＣＮＮ，
ＲＮＮ）ｂａ
ｓｅｄａｎｄｄｅ
ｅｐｒ
ｅｉｎ
ｆｏｒ
ｃｅ－
ｍｅｎ
ｔｌｅ
ａｒｎ
ｉｎｇ ｍｏｄｅ
ｌｓ（
ｅ．ｇ．，
ＤＤＱＮａｎｄＤＱＮ）ｂａ
ｓｅｄｉ
ｎｔｒ
ｕｓｉ
ｏｎｄｅ
ｔｅｃ
ｔｉｏｎｓｙ
ｓｔｅｍｓ，
ｉｎｔ
ｅｒｍｓｏ
ｆｔｈｅａ
ｃｃｕ
ｒａｃｙ，
ｐｒｅ
ｃｉｓ
ｉｏｎ，
ｒｅｃ
ａｌｌ，
ａｎｄ
Ｆ１ｓ
ｃｏｒ
ｅ．
Ｋｅ
ｙｗｏ
ｒｄｓ Ｉ
ｎｄｕｓ
ｔｒｉ
ａｌｉ
ｎｔｅ
ｒｎｅ
ｔｏｆｔ
ｈｉｎｇｓ，
Ｃｙｂｅ
ｒｓｅ
ｃｕｒ
ｉｔｙ，
Ｉｎｔ
ｒｕｓ
ｉｏｎｄｅ
ｔｅｃ
ｔｉｏｎｓｙ
ｓｔｅｍ，
Ｄｅｅｐｒ
ｅｉｎ
ｆｏｒ
ｃｅｍｅｎ
ｔｌｅ
ａｒｎ
ｉｎｇ，
ＰＰＯ２ａ
ｌｇｏ
ｒｉｔ
ｈｍ

到稿日期：
２０２１－０３－３１ 返修日期：
２０２１－０４－２８
基金项目：国 家 重 点 研 发 计 划 项 目 （
２０２０ＹＦＢ１８０５４００）；国 家 自 然 科 学 基 金 （Ｕ１９Ａ２０６８，
６２００２２４８）；中 国 博 士 后 科 学 基 金 （
２０１９ＴＱ０２１７，
２０２０Ｍ６７３２７７）；四川省重点研发项目（
２０ＺＤＹＦ３１４５）；中央高校基本科研业务经费（
ＹＪ２０１９３３）
Ｔｈ
ｉｓｗｏ
ｒｋ ｗａ
ｓｓｕｐｐｏ
ｒｔｅｄｂｙｔ
ｈｅＮａ
ｔｉｏｎａ
ｌＫｅｙＲｅ
ｓｅａ
ｒｃｈａｎｄＤｅｖｅ
ｌｏｐｍｅｎ
ｔＰｒ
ｏｇｒ
ａｍｏ
ｆＣｈ
ｉｎａ（
２０２０ＹＦＢ１８０５４００），Ｎａ
ｔｉｏｎａ
ｌＮａ
ｔｕｒ
ａｌＳｃ
ｉｅｎｃ
ｅＦｏｕｎ－
ｄａ
ｔｉｏｎｏ
ｆＣｈ
ｉｎａ（
Ｕ１９Ａ２０６８，
６２００２２４８），
Ｃｈｉ
ｎａＰｏ
ｓｔｄｏ
ｃｔｏ
ｒａｌＳｃ
ｉｅｎｃ
ｅＦｏｕｎｄａ
ｔｉｏｎ（
２０１９ＴＱ０２１７，
２０２０Ｍ６７３２７７），
Ｐｒｏｖ
ｉｎｃ
ｉａｌＫｅｙ Ｒｅ
ｓｅａ
ｒｃｈａｎｄ Ｄｅ－
ｖｅ
ｌｏｐｍｅｎ
ｔＰｒ
ｏｇｒ
ａｍ ｏ
ｆＳｃｈｕａｎ（
ｉ ２０ＺＤＹＦ３１４５）ａｎｄＦｕｎｄａｍｅｎ
ｔａｌＲｅ
ｓｅａ
ｒｃｈＦｕｎｄｓｆ
ｏｒｔ
ｈｅＣｅｎ
ｔｒａ
ｌＵｎ
ｉｖｅ
ｒｓｉ
ｔｉｓ（
ｅ ２０１９３３）．
ＹＪ
通信作者：何俊江（
ｈｅｕｎ
ｊ ｉ
ｊａｎｇ＠ｓ
ｔｕ．
ｓｃｕ． ｃｎ）
ｅｄｕ．
 ４８ Ｃｏｍｐｕ
ｔｅｒＳｃ
ｉ ｅ 计算机科学 Ｖｏ
ｅｎｃ ｌ．４８， ７，
Ｎｏ． Ｊｕ
ｌｙ２０２１

１ 引言 ２ 相关工作

工业物联网是物联 网 技 术 在 工 业 领 域 的 应 用，其 本 质 是 １ 面向工业物联网的入侵检测系统

２．
工业自动化和物联网技术的融合发展。工业物联网实现了 生 入侵检测系统在传统工业控制系统以及现代工业物联 网
产、监控、管理等子系 统 的 空 前 结 合，不 同 的 系 统 在 控 制 中 心 中均有 着 广 泛 的 应 用 ［６］。２０１８ 年，ＡＬ－Ｈａｗａｗｒ
ｅｈ 等 ７ 提 出
［］

的统一管理下可以更加高效地完成对各类工业数据的处理， 了一种基于深度学习模型的 Ｉ
ＩＣＳ 异常检 测 技 术，该 模 型 可 以
其 高 复 杂 性、开 放 性 的 特 点 增 加 了 工 业 物 联 网 面 临 的 网 络 安 使用从 ＴＣＰ／
ＩＰ 数 据 包 收 集 的 信 息 进 行 学 习 和 验 证。 同 年，
全风险。国家互 联 网 应 急 中 心 ＣＮＣＥＲＴ 发 布 的 《
２０１９ 年 我 Ｒｏｙ 等 ８ 使用 Ｂ
［］
ｉＬＳＴＭ－ＲＮＮ 检测了工业物联网攻击，并采用
国互联网网络安全态势综述》指出，存在高危漏洞隐患的工 业 新型 ＵＮＳＷＮＢ１５ 数据 集 对 多 层 深 度 神 经 网 络 进 行 了 训 练 。
物联网设备占比约 ４１％ 。通过 监 测 发 现，电 力、石 油 天 然 气、 ２０１９ 年，
Ｙａｎｇ 等 ９ 设 计 了 一 种 基 于 ＣＮＮ 面 向 数 据 采 集 与 监
［］

城市轨道交通等重点 行 业 暴 露 的 联 网 监 控 管 理 系 统 有 ２２４９ 视控 制 系 统 （
Ｓｕｐｅ
ｒｖｉ
ｓｏｒ
ｙ Ｃｏｎ
ｔｒｏ
ｌ Ａｎｄ Ｄａ
ｔａ Ａｃ
ｑｕｉ
ｓｉｔ
ｉｏｎ，
套，其中电力有 ６５３ 套、石 油 天 然 气 有 ５８４ 套、城 市 轨 道 交 通 ＳＣＡＤＡ）的网络入侵检测系统，以保护工业物联网免 受 ＤＤｏＳ
有 １００ 套 ［１］。 等常规网 络 攻 击 以 及 针 对 ＳＣＡＤＡ 的 特 定 网 络 攻 击。２０２０
工业物联网是一个 复 杂 的 网 络，系 统 的 一 部 分 出 现 任 何 年，
Ｉｓｍａ
ｉｌ等 １０ 研究了智能电网中的电力盗窃攻击，并针对这
［ ］

故障或异常都可能在短时间内对整个系统造成巨大损害。 因 种网络攻击 提 出 了 一 种 基 于 深 度 学 习 的 入 侵 检 测 系 统 。 同
此，尽早发现 网 络 攻 击 对 于 及 时 有 效 的 网 络 响 应 至 关 重 要 。 年，
Ｌｉ等 １１ 提出了一 种 名 为 Ｄｅ
［ ］
ｅｐＦｅｄ 的 联 邦 深 度 学 习 方 案，
入侵检测系 统 （
Ｉｎｔ
ｒｕｓ
ｉｏｎ Ｄｅ
ｔｅｃ
ｔｉｏｎＳｙ
ｓｔ ＩＤＳ）是 网 络 安 全
ｅｍ， 用于检测和缓解对分布式工业物联网的网络威胁。上述方 法
防护的重要组成部分，能够帮助系统有效发现网络入侵行 为。 在 面 对 当 前 高 实 时、大 容 量 以 及 复 杂 多 维 的 工 业 物 联 网 数 据
然而，近年来，由于工业物联网的运行环境和结构持续变化，传 时，往往需要复杂的训练过程，且准确率有待提高。
统的入侵检测模型（如 基 于 简 单 机 器 学 习 的 入 侵 检 测 模 型 等） ２ 基于深度强化学习的入侵检测技术
２．
往往不具备对网络威胁的自适应调整能力，不能在工业物联网 深度强化学习不仅能够从已知网络环境中获取最大化 的
的网络风险环境发生变化时动态地调整自身的辨识策略，进而 奖励，而且其具备探索功能，能够自动在网络环境中挖掘更 多
无法针对复杂网络攻击提供自适应的检测、响应和防御等。 有价值的信息，模型收敛 速 度 快。２０１８ 年，
Ｋｕｔ等 １２ 提 出 了
ｒ
［ ］

深度 强 化 学 习 （
Ｄｅｅｐ Ｒｅ
ｉｎｆ
ｏｒｃ
ｅｍｅｎ
ｔＬｅ
ａｒｎ
ｉ ＤＲＬ）算
ｎｇ， 一 种 基 于 强 化 学 习 的 入 侵 检 测 系 统 ，用 于 监 视 和 分 析 传 感 器
法 可 有 效 解 决 工 业 物 联 网 环 境 中 存 在 的 不 确 定 性 等 问 题 ，它 网 络，并 将 其 提 出 的 系 统 与 基 于 自 适 应 机 器 学 习 的 入 侵 检 测
通过智能体这一强化学习的载体探索，利用未知环境，并结 合 系统和集 群 混 合 入 侵 检 测 系 统 进 行 了 比 较 。２０１９ 年，
Ｓｅｔ
ｈｉ
自身的经验进行学 习 ［
。深度强化学习将强 化 学 习 的 决 策
２－３］
等 ［１３］提出了一种上下文自适应的入 侵 检 测 系 统，该 系 统 使 用
能 力 和 深 度 学 习 的 感 知 能 力 相 结 合 ，利 用 深 度 学 习 将 大 规 模 分布在网络上的多个独立的深度强化学习智能体来增强针 对
原 始 输 入 数 据 进 行 简 单 且 非 线 性 的 变 换 ，转 换 为 更 高 层 次 的 新型复杂网络攻击的检测准确性。 同 年，
Ｏｔｏｕｍ 等 １４ 提 出 了
［ ］

抽象表达，从而进一 步 发 现 数 据 的 内 在 规 律；利 用 强 化 学 习， 一种基于无模 型 强 化 学 习 的 部 分 可 观 测 马 尔 可 夫 决 策 过 程

基 于 反 馈 信 号 学 习 和 基 于 试 错 学 习 的 模 式 ，在 没 有 指 导 信 息 （
Ｐａｒ
ｔｉａ
ｌｌｙ Ｏｂｓ
ｅｒｖａｂ
ｌｅ Ｍａ
ｒｋｏｖ Ｄｅ
ｃｉｓ
ｉｏｎ Ｐｒ
ｏｃｅ
ｓｓｓ，
ｅ ＰＯＭＤＰｓ）
的情况下，从与环境的交互过程中找到可能的最佳方案 ［４－５］。 在线网络攻 击 检 测 算 法。２０１９ 年 ５ 月，
Ｃａｍｉ
ｎｅｏ 等 １５ 提 出
ｒ
［ ］

针对上述问题，本文 提 出 了 一 种 新 的 基 于 深 度 强 化 算 法 了一种用于入侵检测系统的最新多主体对抗增强学习模型。
ＰＰＯ２ 的面向工业物联网环 境 的 入 侵 检 测 系 统 ＤＲＬ－ＩＤＳ。 该 基 于 深 度 强 化 学 习 的 入 侵 检 测 系 统 在 训 练 效 率 、准 确 率 等 方
系统运用基于 Ｌ
ｉ ｔＧＢＭ 的特征选择算法提取出最有效 的 特
ｇｈ 面还存在进 一 步 提 升 和 优 化 的 空 间 。２０２０ 年 ，Ｈｓｕ 等 ［５］ 提
征集合，可有效减小模型的计算复杂度；用包含 ３ 层隐藏 层 的 出 了 一 种 基 于 深 度 强 化 学 习 的 异 常 网 络 入 侵 检 测 系 统 ，该
多层感知机作为该入侵检测系统中价值网络和策略网络共 享 系 统 具 有 自 我 更 新 的 能 力 ，可 有 效 检 测 新 型 恶 意 网 络 流 量
的深度神经网络结构，构 建 基 于 深 度 强 化 学 习 ＰＰＯ２ 算 法 的 行为。
入侵 检 测 系 统，该 系 统 最 后 用 ＲｅＵＬ 函 数 在 减 少 过 拟 合 的 情
３ 基于深度强化学习的入侵检测系统
况下作为分类输出。本文提出的入侵检测系统在美国能源 部
橡树岭国家实验室公开发布的工业物联网真实数据集上进 行 １ 入侵检测系统总体框架
３．
了大量实验，结果表明，该入侵检测系统在检测对工业物联 网 本文提出的 基 于 ＰＰＯ２ 的 入 侵 检 测 系 统 ＤＲＬ－ＩＤＳ 主 要
的多种类型的网络攻击时，获 得 了 ９９．
０９％ 的 准 确 率，且 在 准 由 ３ 个 部 分 组 成，分 别 为 数 据 处 理 模 块、入 侵 检 测 智 能 体
确率、精密度、召回率、
Ｆ１ 评分等指标上 均 优 于 目 前 基 于 长 短 ｔ）构造模块以及 入 侵 检 测 智 能 体 训 练 模 块 （见 图 １）。 其
ａｇｅｎ
期记忆网络（
ＬｏｎｇＳｈｏ
ｒｔ－Ｔｅ
ｒｍ Ｍｅｍｏ
ｒ ＬＳＴＭ）、卷 积 神 经 网
ｙ， 中，数据处理模块主要包括特征选择和数据预处理；入侵检 测
络（
Ｃｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌ Ｎｅｕ
ｒａｌ Ｎｅ
ｔｗｏ
ｒｋｓ，ＣＮＮ）、循 环 神 经 网 络 智 能 体 构 造 模 块 主 要 包 括 确 定 强 化 学 习 的 环 境 状 态 模 型 、价
（
Ｒｅｃｕ
ｒｒｅｎ
ｔＮｅｕ
ｒａｌＮｅ
ｔｗｏ
ｒ ＲＮＮ）等深度学习模型 和 深 度 双
ｋ， 值函数构造、训练策 略 定 义。 环 境 状 态 模 型 是 环 境 的 私 有 呈
Ｑ 网络（
Ｄｏｕｂ
ｌｅ Ｄｅ
ｅｐ Ｑ－Ｌｅ
ａｒｎ
ｉｎｇ Ｎｅ
ｔｗｏ
ｒ ＤＤＱＮ）、深 度 Ｑ
ｋ， 现，包括了环境用来决定奖惩的规则，对入侵检测智能体不 可
网络（
Ｄｅｅｐ Ｑ－Ｌｅ
ａｒｎ
ｉｎｇ Ｎｅ
ｔｗｏ
ｒ ＤＱＮ）等 深 度 强 化 学 习 模 型
ｋ， 见。训练策略通过评 估 价 值 函 数，来 进 一 步 优 化 入 侵 检 测 智
的入侵检测系统。 能体的动作决 策 策 略，用 环 境 状 态 模 型 反 馈 的 奖 惩 （损 失 函
李贝贝，等：
ＤＲＬ－ＩＤＳ：基于深度强化学习的工业物联网入侵检测系统 ４９

数）来更新训练策略中的参数，入侵检测智能体的训练模块 通 训练步长时得 到 最 终 的 ＤＲＬ－ＩＤＳ 模 型，最 后 用 混 淆 矩 阵 测

过 损 失 函 数 不 断 地 优 化 策 略 ，直 到 模 型 收 敛 或 者 完 成 指 定 的 试来评估该模型的性能表现。

图 １ 入侵检测系统 ＤＲＬ－ＩＤＳ 框架图

Ｆ
ｉｇ．
１ Ｆｒ
ａｍｅｗｏ
ｒｋｏ
ｆｔ ｒ
ｈｅｐｏｐｏ
ｓｅｄＤＲＬ－ＩＤＳ

２ 数据处理模块
３． 态的奖励ｒｔ，ｎ 的 累 积 和 为Ｒｔ ＝ｒｔ，１ ＋ｒｔ，２ ＋ … ＋ｒｔ，ｎ 。 由 于 入 侵
为了减少原始数据 的 噪 声 冗 余，提 高 模 型 的 多 分 类 检 测 检 测 环 境 是 随 机 的 或 者 未 知 的 ，这 意 味 着 下 一 个 状 态 可 能 也
精度，本文的入侵检测系统首先进行特征选择，在保证入侵 检 是随机的，从而使得入侵检测智能体采取的动作具有随机 性，
测性能的前提下有效降低数据的冗余维度。该入侵检测系 统 随着步数的增加，不确定性会随之增大，获得相同奖励的可 能
用基 于 嵌 入 式 的 特 征 选 择 算 法 Ｌ
ｉ ｔＧＢＭ 进 行 特 征 的 筛
ｇｈ 性降低。为了降低不 确 定 性 和 随 机 性，使 用 折 扣 因 子 来 减 小
选 ［１６］，具体策略如下： 步骤之间的强关联性，用 折 扣 未 来 累 积 奖 励Ｇｔ 来 代 替 未 来 奖
１）删去缺失值大于阈值 ６０％ 的 特 征。 根 据 经 验 得 出，当 励。时间步长ｔ的总折扣未来累积奖励表达式为：
一个特征的缺失率大于 ６０％ 时，这 个 特 征 对 于 入 侵 检 测 智 能 "
Ｇｔ＝Ｒｔ＋１ ＋γＲｔ＋２ ＋ … ＋γｋＲｔ＋ｋ＋１ ＝ ∑γｋＲｔ＋ｋ＋１ （
２）
体的训练意义甚微。 ｋ＝０

其中，
γ∈ ［
０，１］是 折 扣 系 数，用 于 提 升 即 时 奖 励 而 不 是 延 迟
２）删去唯一值的特征。
奖励。
３）删除每个强相关特征对中的任意一个特征。定义 强 相
γ 接近 ０，代表更加重视当下的回报。
１）
关特征对的具体阈值（绝对值）为 Ｐｅ
ａｒｏｎ 相关系数 １７ ０．
ｓ
［ ］
９９。
γ 接近 １，代表更加重视未来的回报。
２）
４）删去 Ｌ
ｉ ｔＧＢＭ 算法得出特征的重要性排名较低 的 特
ｇｈ
由于 入 侵 检 测 的 网 络 流 量 之 间 是 离 散 的、相 互 独 立
征。最终特征数量按照特征重要性评分的高低顺序逐步增 加
的 ［
，因此在实验中 γ 应该尽可能接近 ０，使得网络流量之间
１８］

特征，直到模型性能不再提高为止。
的连续性减弱。
５）将所有在不同 区 间 的 变 量 归 一 化，使 用 最 简 单 的 ｍ
ｉｎ－
入侵检测智能体与环境交互反馈的规则如下：
ｍａｘ 函数缩放范围特征值到［
０，１］区间，具体公式如下：
１）当入侵检测系 统 成 功 检 测 出 攻 击，并 且 成 功 分 类 此 攻
ｘ－ｍｉｎ（
ｘ） （
ｘ
′＝ １） 击的类型时，给予正反馈ｒｔ＋１ 。
ｍａｘ（
ｘ）－ｍｉｎ（
ｘ）
其中，
ｘ 为原始值，
ｘ′为规范化值。 ２）当错失了一个 攻 击 或 者 成 功 检 测 出 攻 击，但 是 错 误 地
６）生成特征向量，最后进行独热编码。 分类了该攻击的类型时，给予负反馈ｒｔ－１。

３ 入侵检测智能体构造
３． ３）当流量是正常流量并且没有发出警报时，没有反馈。
本节描述构成入侵 检 测 智 能 体 的 组 成 部 分：环 境 状 态 模 本文用实数的加减 １ 来 定 义 奖 惩 的 规 则，从 而 达 到 入 侵
型、价值函数以及训练策略。 检测智能体训练的目的。所有能够影响环境从而产生奖惩 的
３．
３．１ 环境状态模型 数据都被认为是环境状 态 的 一 部 分，
ＤＲＬ－ＩＤＳ 的 智 能 体 与 环
使用真实的工业物 联 网 数 据 集 来 模 拟 网 络 流 量 环 境 ，构 境 交 互 过 程 中 基 于 网 络 流 量 环 境 的 反 馈 规 则 ，构 成 了 环 境 状
成入 侵 检 测 系 统 的 智 能 体 构 造 所 需 要 的 环 境 ，其 包 括 ３ 个 态模型。
部分： ３．
３．２ 价值函数构造
１）用来接收入侵 检 测 系 统 输 出 的 管 理 员，主 要 体 现 在 环 价值函数是奖励的期望，主要用于评价不同状态的好 坏，
境对智能体的反馈过程中。 指导智能体动作的选择。能够影响智能体做出下一个动作 决
２）普通网络用户，网 络 用 户 的 流 量 是 通 过 现 有 数 据 集 的 策的数据是智能体状态的一部分。用价值函数来评估入侵 检
流量来模拟的。 测智能体在某时间ｔ、状 态ｓ 的 好 坏 程 度。 定 义Ｑπ （
ｓ，ａ）为 动
３）攻击者，制造多种恶意攻击。 作值函数， ｓ）为 状 态 值 函 数，前 者 用 于 评 估 当 前 智 能 体 从
Ｖπ （
入侵检测智能体能 够 感 知 环 境 的 状 态，并 且 根 据 环 境 提 状态 ｓ 开 始，执 行 动 作 ａ 且 服 从 策 略 π 的 期 望 返 回 （见
供的反馈信号ｒｔ（时 间 步ｔ），通 过 学 习 选 择 一 个 合 适 的 动 作， ３）），后者表示智能体在状态ｓ 下，执 行 动 作 ａ 得 到 的 奖 励
式（
来最大化未来积累奖励，即从当前时 间 步ｔ 开 始，直 到 最 终 状 期望（见式（
４））。
 ５０ Ｃｏｍｐｕ
ｔｅｒＳｃ
ｉ ｅ 计算机科学 Ｖｏ
ｅｎｃ ｌ．４８， ７，
Ｎｏ． Ｊｕ
ｌｙ２０２１

Ｑπ （
ｓ， Ｇｔ∣Ｓｔ＝ｓ，
ａ）＝ Ｅ π ［ Ａｔ＝ａ］ （
３） 旧策略的比例；与 Ｑ－Ｌｅ
ａｒｎ
ｉｎｇ 不同，
ＰＰＯ２ 不使用经 验 缓 冲 区
Ｖπ （ Ｇｔ∣Ｓｔ＝ｓ］
ｓ）＝ Ｅ π ［ （
４） 来存储过去的经验，而是在线地从环境中学习。
该入侵检测系统框架中入侵检测智能体的动作空间为 正 策略梯度方法是计 算 策 略 梯 度 的 估 计 量，并 将 其 插 入 到
数离散值，“
０”表示 预 判 为 正 常 流 量，“
１， ｎ”表 示 ｎ 种 类
２，…， 随机梯度提升算法中，通过对策略参数θ 进行 随 机 梯 度 上 升，
型的攻击。马尔可夫决策过程定义了入侵检测智能体在进 行 计算策略梯度损失来更新策略网络的参数。
动作决策过程中的状态值函数和动作值函数，之后，通过贝 尔 ∧ ∧
θ）＝ Ｅｔ［
ＬＰＧ （ ｌ ａｔ∣ｓｔ）
ｏｇπθ（ Ａｔ］ （
１０）
曼 方 程 对 状 态 值 函 数 或 动 作 值 函 数 进 行 形 式 化 表 示 ，完 成 入
Ａ（
ｓ，
π
ａ）＝Ｑ （
ｓ，ａ）－Ｖ （
π
ｓ） π （
１１）
侵检测智能体的动作决策过程。 ∧ ∧
其中，
Ａｔ是时间步长ｔ 的优势函数估计量。 当Ａｔ 是 正 数、梯 度
马尔可夫决策过程具有马 尔 可 夫 性 质，即 在 时 间 步ｔ＋１
为正时，应当增加这 些 动 作 的 概 率，反 之，应 当 降 低 这 些 动 作
时，环境的反馈仅取决于上一 时 间 步ｔ 的 状 态 和 动 作ａ，与 时
∧
间步ｔ－１ 以及ｔ－１ 步之前的时间没有相关性，而系统的下一 的概率。期望Ｅｔ表明 了 有 限 批 次 样 本 的 经 验 平 均，当 采 用 策
个 状 态 只 与 当 前 状 态 有 关 ，因 此 可 以 简 化 入 侵 检 测 智 能 体 的 略πθ 时，一般来说，神经网络把从环境中观 察 到 的 状 态 作 为 输
决策过程。该系统的 马 尔 可 夫 决 策 过 程 是 一 个 五 元 组，
Ｓ为 入，采取的行动作为输出，
ｌｏｇπθ 是策略网络输出的概率对数。
Ａ 为动作空间集，
状态空间集， Ｐｓａ 表 示 状 态 转 移 概 率 （在 状 态 为了防止 入 侵 检 测 智 能 体 训 练 时 震 荡 幅 度 过 大 ，
ＰＰＯ２
ｓ 下执行动作ａ 后，转移到另一个状态ｓ
′的概率分布并带有动 引入了目标函数 （
ｃｌ
ｉｐｐｅｄｓｕ
ｒｒｏｇａ
ｔｅｆ
ｕｎｃ
ｔｉｏｎ ）来 约 束 新 旧 策
作奖励，记作 Ｐ（
′，
ｓ ｓ，
ｒ｜ Ｒ 为奖励函数，
ａ））， γ 为折扣因子。 略的更新比例，实现在多个步 骤 中 小 批 量 更 新。 定 义ｒｔ （
θ）＝
ＭＤＰ＝ （
Ｓ，Ａ，
Ｐｓａ ，
Ｒ，γ） πθ（ ａｔ∣ｓｔ）
为新旧策略比例，保守 政 策 迭 代 （
ＣＰＩ）损 失 的 表
ａｔ∣ｓｔ）
πθｏｌｄ （
Ｓ＝ ｛
Ｓ１ ，
Ｓ２ ，…，
Ｓｎ ｝ ５）
（
达式为：
Ａ＝ ｛
Ａ１ ，
Ａ２ ，…，
Ａｎ ｝
∧ ∧
贝尔曼方程将及时奖励 Ｒｔ和 未 来 状 态 的 折 扣 值γ、时 间 θ）＝ Ｅｔ［
ＬＣＰＩ （ ｒｔ（
θ）Ａｔ］ （
１２）
步ｔ＋１ 的状态值 Ｖ（
Ｓｔ＋１ ）相 加，反 映 了 当 前 状 态 下 的 状 态 值 如果没 有 约 束，ＣＰＩ 的 最 大 化 会 导 致 梯 度 爆 炸，使 用
ｌｍａｎ 等 ２１ 提出的目标可以惩罚那些比例远离 １ 的改变。
［ ］
Ｓｔ）和下一时刻状态值函数 Ｖ（
函数 Ｖ（ Ｓｔ＋１ ）之间的关系。 Ｓｃｈｕ
Ｇｔ∣Ｓｔ＝ｓ］
ｓ）＝ Ｅ ［
Ｖ（ 剪切函数如下：
∧ ∧ ∧
Ｒｔ＋１ ＋γＧｔ＋１ ∣Ｓｔ＝ｓ］
＝Ｅ ［ θ）＝ Ｅｔ［
ＬＣＬＩＰ （ ｍｉｎ（
ｒｔ（
θ）Ａｔ，
ｃｌ
ｉｐ（
ｒｔ（
θ），
１－ε，
１＋ε）
Ａｔ）］
＝Ｅ ［ Ｓｔ＋１ ）∣Ｓｔ＝ｓ］
Ｒｔ＋１ ＋γＶ（ （
６） １３）
（
类似地，可以得出动作值函数 Ｑ（
ｓ，ａ）： Ｔ ∧
ＬθＣｋＬＩＰ （
θ）＝ Ｅ ［∑ ｍｉ
ｎ（ｒｔ （
θ）Ａｔ ，
ｃｌｐ（
ｉ ｒｔ （
θ），
１－ε，
πｋ
１＋ε）
Ｑ（
ｓ，ａ）＝ Ｅ ［ Ｓｔ＋１ ）∣Ｓｔ＝ｓ，
Ｒｔ＋１ ＋γＶ（ Ａｔ＝ａ］ τ～πｋ ｔ＝０
∧
＝Ｅ ［
Ｒｔ＋１ ＋γ Ｅ ａ～πＱ（ ａ）∣ Ｓｔ＝ｓ，
Ｓｔ＋１ ， Ａｔ＝ａ］（
７） πｋ
Ａｔ ））］ （
１４）
贝尔曼方程的递归 更 新，可 分 解 为 动 作 值 函 数 和 状 态 值 通过θｋ＋１ ＝ａ
ｒｇ ｍａｘＬ
ＣＬＩＰ
θｋ θ）对 策 略 进 行 更 新，其 中 ε＝
（
θ
函数。当进行下一个 动 作 时，两 个 值 函 数 分 别 遵 循 策 略 π 更
２ 是超参数，最小值内的第 一 项 是 ＣＰＩ，第 二 项 通 过 剪 切 比
０．
新值函数，其中Ｐｓ
ａ
′ 代表状态转换概率。贝尔曼方 程 的 递 归 更
ｓ
例来修改替代目标，这将保证ｒｔ在对应刺激区间（
１－ε，
１＋ε）。
新公式如下：
ｎ 函数使得最终目标是 ＣＰＩ的下界。当且 仅 当 目 标 改 善 时
ｍｉ
Ｖπ （ ａ ∣ｓ）（
ｓ）＝ ∑ π（ Ｒ（ｓ， ａ
ａ）＋γ∑ Ｐｓ
ｓ′Ｖπ （
′））
ｓ （
８） 忽略比例，当使得目标变差时考虑比例。
ａ∈Ａ ｓ
′∈Ｓ

Ｑπ （
ｓ，ａ）＝Ｒ（
ｓ，ａ）＋γ∑ Ｐ ∑π（
ａ′∣ｓ
ａ
′）
ｓ
ｓ′Ｑπ （
′，
ｓ ′） （
ａ ９） ４ 入侵检测智能体训练
３．
ｓ
′∈Ｓ ａ∈Ａ

入侵检测智能体用状态值函数计算当前策略下每个状 态 图 ２ 给出了入侵检测智能体与环境 交 互 的 过 程，
ｔ＝０，
１，
的 价 值，用 动 作 值 函 数 计 算 每 个 状 态 下 分 别 做 出 不 同 动 作 的 ３，…，智能体观察到环境中的 部 分 或 者 是 全 部 状 态 ，
２， ｓｔ ∈Ｓ，
值。选取当前状态下 使 价 值 函 数 取 得 最 大 值 的 动 作 ，进 行 策 然后做出动作的决策ａｔ∈Ａ（
ｓ），在每一次动 作 完 成 后，会 更 新
略优化。 环境的状态ｓｔ＋１ 和 得 到 一 个 刚 才 完 成 动 作 的 反 馈 结 果ｒｔ＋１ ∈
３．
３．３ 训练策略定义 Ｒ Ｒ ，反馈的好坏会间接影响以后的决策。 在 这 个 入 侵 检 测
入侵 检 测 智 能 体 的 训 练 策 略 是 状 态 到 动 作 的 映 射。 框 架 中，用 数 据 集 中 的 每 条 网 络 流 量 数 据 来 模 拟 真 实 工 业 物
ＤＲＬ－ＩＤＳ 运用的算法 ＰＰＯ２ 由 Ｄｅ ｎｄ 和 ＯｐｅｎＡＩ 提 出。
ｅｐＭｉ １） ２）
联 网 中 产 生 的 网 络 流 量 数 据 ，用 价 值 函 数 模 拟 现 实 生 活 中 的
该 算法源于区域最佳算法 ＴＲＰＯ，相比 ＴＲＰＯ，
ＰＰＯ２ 更简单、 网络管理员，评判入侵检测智能体做出的动作的好与坏。
更通用，复 杂 度 也 更 低。ＰＰＯ２ 的 主 要 贡 献 是 简 化 了 Ｋｕ
ｌｌ－ 入侵检测智能体 训 练 过 程 分 为 ３ 个 阶 段。 第 一 阶 段，入
ｂａ
ｃｋ－Ｌｅ
ｉｂｌ
ｅｒ惩罚系数的 数 学 运 算 过 程。 作 为 一 种 基 于 策 略 侵检测智能体从环境中得到策略，并学习得到环境状态模 型；
梯度的方法，其特性是直接训 练 随 机 模 型 或 者 是 神 经 网 络，相 第二阶段，入侵检测智能体根据策略评估相应的价值函数；第
比于另一种深度强化学习算法 Ａ３Ｃ ［
２０］
的误差函数需要针对目 三 阶 段，入 侵 检 测 智 能 体 根 据 价 值 函 数 判 断 当 前 状 态 应 该 做
标策略取对数后进行优化，
ＰＰＯ２ 的误 差 函 数 则 主 要 是 评 估 新 出的动作，并根据优势函数计算回报，最后进一步优化策略 直

１）
ｈ
ｔｔｐ：∥ｄｅ
ｅｐｍｉ
ｎｄ．
ｃｏｍ／
２）
ｈ
ｔｔｐ：∥ｏｐｅｎａ
ｉ．ｏｍ／
ｃ
李贝贝，等：
ＤＲＬ－ＩＤＳ：基于深度强化学习的工业物联网入侵检测系统 ５１

到 神 经 网 络 的 训 练 收 敛 ，训 练 结 束 后 得 到 成 熟 的 入 侵 检 测 智 的标签函数，错失了攻击则会终止，否则继续选择下一个状 态
能体。 进行动作。ＰＰＯ２ 算法以 Ａｃ
ｔｏｒ－Ｃｒ
ｉｔｉ
ｃＳｔ
ｙｌｅ 呈现 ２１ 。
［ ］

４ 实验与结果

１ 实验环境
４．
本文提 出 的 ＤＲＬ－ＩＤＳ 中 使 用 的 强 化 学 习 的 框 架 基 于
０）２２ ，是 一 套 基 于 ＯｐｅｎＡＩ 基 线 的 强
） ［ ］
Ｓ
ｔａｂ
ｌｅｂａ
ｓｅｌ
ｉｎｅ１ （２．
１０．
化学习算法的改进实现。依 赖 Ｔｅｎｓ
ｏｒｆ
ｌｏｗ （
１． ０）这 一 端
１４．
到端的机器学习开源平台进行神经网络的搭建，使用 ＯｐｅｎＡＩ
２）库来 辅 助 完 成 强 化 学 习 中 自 定 义 的 环 境 ，并
）
Ｇｙｍ２ （０．
１７．
图 ２ ＤＲＬ－ＩＤＳ 入侵检测强化学习过程 使用 ４ 个指标来评 估 模 型 的 性 能，即 准 确 率、精 确 率、召 回 率
Ｆ
ｉｇ．
２ Ｒｅ
ｉｎｆ
ｏｒｃ
ｅｍｅｎ
ｔｌｅ
ａｒｎ
ｉｎｇｐ
ｒｏｃ
ｅｓｓｏ
ｆＤＲＬ－ＩＤＳ 和 Ｆ１ 评分。对于硬件，本次实 验 在 Ｕｂｕｎ
ｔｕ１８． ３ＬＴＳ 系
０４．

本文使 用 的 ＰＰＯ２ 算 法 基 于 演 员 －评 论 家 风 格 （Ａｃ

ｔｏｒ－ 统的机器上完成，实 验 所 采 用 的 硬 件 具 体 如 下： ｌ：
ＣＰＵ Ｍｏｄｅ

Ｃｒ
ｉｔｉ
ｃＳｔ
ｙｌｅ
［
２１］
），入侵检测智能体作为演员（
ａｃｔ
ｏｒ）训练策略网 Ｉ
ｎｔｅ ｏｎ Ｅ５－２６１８Ｌ ｖ３，ＧＰＵ：ＮＶＩＤＩＡ ＧｅＦｏ
ｌ Ｘｅ ｒｃｅ ＲＴＸ

络。以最大化未来累积奖励 Ｇ 为 目 标，预 测 出 目 前 应 当 执 行 ２０８０ＴＩ，

ＲＡＭ：
６４ＧＢ。

的策略。价值函 数 通 过 价 值 网 络 （
ｃｒｉ
ｔｉｃ）来 评 价 策 略 网 络 的 ２ 数据集
４．

输出。为了使神经网 络 更 新 及 时，需 要 融 合 策 略 网 络 和 价 值 本文采用了美国能源部橡树岭国家实验室公开发布的 天

网络，让两个网络的权重 进 行 共 享，同 时 进 行 更 新。ＰＰＯ２ 使 然 气 管 道 运 输 网 络 的 真 实 数 据 集 ［２３］，对 所 提 的 ＤＲＬ－ＩＤＳ 入

用 定 长 轨 迹 段，轨 迹 段 指 一 组 状 态 和 动 作 的 历 史 记 录 形 式 化 侵检测模型进行性 能 评 估 等 实 验。 在 该 数 据 资 源 中，分 别 收

的表示。在每次迭代中， 集了正常网络流量数据和 ７ 种不同类型的攻击数据。该 数 据

Ｎ 个并行智 能 体 收 集 Ｔ 个 步 长 的 数
据。在 ＮＴ 步上构造损 失，并 使 用 小 批 量 梯 度 下 降 或 者 Ａｄ－ 集有 ２６ 个特征和 １ 个标签。在实验中，我们将数据集 划 分 为

ａｍ 优化器对其进行优化，使用在策略网络和价值网络之 间 共 ３ 个 部 分，
６０％ 用 于 训 练，
２０％ 用 于 测 试，
２０％ 用 于 验 证。 对

享 ３ 个隐含层的 ＭＬＰ 网络，第 １ 层 有 １２８ 个 神 经 元，第 ２ 层 于本文所有实验，均 在 相 同 数 据 集 上 进 行 测 试。 每 种 类 别 的

有 ６４ 个神经元，第 ３ 层有 ６４ 个神经元，并在每个隐含 层 后 增 数量情况如表 １ 所 列。 同 时，为 了 尽 可 能 避 免 实 验 结 果 产 生

误差，本文所有实验 均 重 复 进 行 １０ 次，并 对 所 有 计 算 结 果 取
加一个线性单元 ＲｅＬＵ 激活函数。该框架的训练过程如算法
平均值，从而产生最终的实验结果。
１ 所示。
算法 １ 基于 ＰＰＯ２ 的入侵检测系统构建 表 １ 数据集描述

输入：（
ε，θ，
Ｆ） Ｔａｂ
ｌｅ１ Ｄａ
ｔａｓ
ｅｔｄｅ
ｓｃｒ
ｉｐｔ
ｉｏｎ

１．
Ｓ＝Ｓｅ
ｌｅｃ
ｔＦｅ
ａｔ ｅ（
ｕｒ Ｆ）；／／特征选择算法 攻击种类 数量 攻击类型描述
Ｎｏｍａ
ｌ ６１１５６ 正常网络流量
２．初始化入侵检测环境：
Ａ；Ｏ；
Ｒｅｓ
ｅｔ（
Ｓ）；
Ｓｔｅｐ（）；
ＮＭＲＩ ２７６３ 简单的恶意响应注入
３．
ｆｏｒｋ＝１，
２，…，
ｄｏ
ＣＭＲＩ １５４６６ 复杂的恶意响应注入
ｆ
ｏｒａ
ｃｔｒ＝１，
ｏ ２，…，
Ｎ ｄｏ ＭＳＣＩ ７８２ 恶意状态命令注入
用旧策略πθｏｌｄ 在入侵检测环境中运行 Ｔ 个时间步长； ＭＰＣＩ ７６３７ 恶意参数命令注入
∧ ∧ ＭＦＣＩ ５７３ 恶意函数命令注入
用优势函数估计Ａ１，…，
Ａｔ；
ＤｏＳ １８３７ 拒绝服务攻击
ＣＬＩＰ
计算策略更新θｋ＋１＝ａ
ｒｇ ｍａｘＬθｋ （ θ）； Ｒｅ
ｃｏｎｎａ
ｉｓｓ
ａｎｃ
ｅ ６８０５ 侦察攻击
θ

Ｓ
ｔｅｐ（）；
３ 数据预处理
４．
Ｒｅ
ｓｅｔ（
Ｓ）；
该天然气管道运输网络的数据集总共有 ２６ 个特征，我 们
ｅｎｄｆ
ｏｒ
使用 ３．
２ 节提到的特 征 选 择 方 案 去 除 无 用 的 特 征，在 不 降 低
经过 Ｋ 个时间步长用小批量 ＳＧＤ（
Ａｄａｍ）更新，其中：
Ｔ ∧ ∧
性能的前提下减小 运 算 的 复 杂 度。 第 一 步，删 除 ０ 个 缺 失 率
ＣＬＩＰ π πｋ ）
Ｌθｋ （ θ）＝ Ｅ ［∑ ｍｉ
ｎ（ｒｔ（
θ）Ａｔｋ ，
ｃｌ
ｉｐ（
ｒｔ（
θ），
１－ε，
１＋ε）
Ａｔ ］；
τ～πｋ ｔ＝０ 大于 ０．
６ 的特征。第 二 步，删 除 ８ 个 只 有 单 一 值 的 特 征。 第
ｅｎｄｆ
ｏｒ 三步，删去 ４ 对 强 相 关 联 的 特 征 中 的 任 意 一 个 。 第 四 步，用
算法 １ 中，
Ｆ 表示原始数据集；
Ｓ 是特征选择以及数据处 Ｌ
ｉ ｔＧＢＭ 进行特征的重要性排序，选 取 前 １２ 个 特 征 进 行 实
ｇｈ
理后的数据集；
Ａ 为动作空间，
１ 表示发出警报，
０表 示 不 做 任 验。第五步，将 变 量 归 一 化，生 成 特 征 向 量，最 后 进 行 独 热
Ｏ 为观察空间，维度为 Ｓ 的 特 征 个 数，
何事情； ０ 是 正 常 流 量， 编码。
其他代表攻击流量；
Ｒｅｓ
ｅ Ｓ）为 重 置 函 数，随 机 地 从 数 据 集 Ｓ
ｔ（ ４ 基于 ＰＰＯ２ 的 ＤＲＬ－ＩＤＳ性能评估
４．
中选择训练开始的位置；
Ｓｔｅｐ（）为 比 较 动 作 空 间 和 观 察 空 间 实验使用 Ｓ
ｔａｂ
ｌｅｂａ
ｓｅｌ
ｉｎｅ 的 ＰＰＯ２ 接 口 实 现 模 型 训 练。

１）
ｈ
ｔｔｐ：∥ｓ
ｔａｂ
ｌｅ－ｂａ
ｓｅｌ
ｉｎｅ
ｓ．ｒ
ｅａｄ
ｔｈｅｄｏ
ｃｓ．
ｉｏ／
２）
ｈ
ｔｔｐ：∥ｇｙｍ．
ｏｐｅｎａ
ｉ．ｏｍ／
ｃ
５２ Ｃｏｍｐｕ
ｔｅｒＳｃ
ｉ ｅ 计算机科学 Ｖｏ
ｅｎｃ ｌ．４８， ７，
Ｎｏ． Ｊｕ
ｌｙ２０２１

训练过程中的主要参数如表 ２ 所列。 表明，每种攻击检 测 的 精 密 度、

Ｆ１ 评 分、召 回 率 都 较 为 理 想。

表 ２ ＰＰＯ２ 超参数表 所有实 验 使 用 宏 平 均 来 综 合 评 价 模 型 的 综 合 表 现 ，得 到

Ｔａｂ
ｌｅ２ ＰＰＯ２ｈｙｐｅ
ｒｐａ
ｒａｍｅ
ｔｅｒ
ｓｔａｂ
ｌｅ ＤＲＬ－ＩＤＳ 的准确率为 ９９．
０９％ 。

超参数名称 含义 取值 表 ４ ＤＲＬ－ＩＤＳ 入侵检测模型每种类型的表现

ｎ＿
ｅｎｖ 并行运行的环境副本数 １５ｉ
ｎｔ Ｔａｂ
ｌｅ４ Ｃ
ｌａｓ
ｓｉｆ
ｉｃａ
ｔｉｏｎｒ
ｅｐｏ
ｒｔｏ
ｆＤＲＬ－ＩＤＳ
每个环境每次更新运行的步骤数
ｎ＿
ｓｔｅｐｓ ５１２ｉ
ｎｔ 攻击种类 Ｆ１ 评 分 召回率 精密度 准确率
（例 如 ，批 大 小 为 ｎ＿
ｓｔｅｐｓ×ｎ＿
ｅｎｖ）
Ｎｏｍａ
ｌ ０．
９９３０ ０．
９９２４ ０．
９９３６ ０．
９９０９
ｔ＿
ｅｎ ｃ
ｏｅｆ 损失熵系数 ０．
００００１ｆ
ｌｏａ
ｔ ＮＭＲＩ ０．
９５１２ ０．
９４５７ ０．
９５６８ ０．
９９０９
ｌ
ｉｎｅａ
ｒｓ ｃｈｅｄｕ
ｌｅ ＣＭＲＩ ０．
９９４３ ０．
９９８７ ０．
９８９９ ０．
９９０９
ｌ
ｅａｒ
ｎｉｎｇ＿
ｒａｔ
ｅ 学 习 速 率（可 以 是 一 个 函 数） ｆｒｏｍ ０．００２１ ＭＳＣＩ ０．
９６４７ ０．
９５８８ ０．
９７０６ ０．
９９０９
ｔｏ０． ０ ＭＰＣＩ ０．
９７６７ ０．
９７９３ ０．
９７４１ ０．
９９０９
ｍａｘ＿
ｇｒａｄ＿
ｎｏｒｍ 梯度剪切的最大值 ０．
８ｆｌ
ｏａｔ ＭＦＣＩ ０．
９７３７ ０．
９４８７ １．
００００ ０．
９９０９
ｍｉ
ｎｉｂａ
ｔｃｈｅ
ｓ 每次更新的培训小批数量 １６ｉ
ｎｔ ＤｏＳ ０．
９８５５ ０．
９７５５ ０．
９９５７ ０．
９９０９
Ｒｅ
ｃｏｎｎａ
ｉｓｓ
ａｎｃ
ｅ １．
００００ １．
００００ １．
００００ ０．
９９０９
ＤＲＬ－ＩＤＳ 入侵检测智能体 分 别 在 测 试 集、训 练 集 和 验 证
集上进行测试，结果如表 ３ 所列，各项指标均在 ９７％ 以上。 此框架基于 ＰＰＯ２ 的 入 侵 检 测 系 统 ＤＲＬ－ＩＤＳ 在 训 练 中
用 Ｔｅｎｓ
ｏｒＢｏａ
ｒｄ（
Ｔｅｎｓ
ｏｒＦ
ｌｏｗ 可 视 化 工 具 包 ）跟 踪 不 同 的 变
表 ３ ＤＲＬ－ＩＤＳ 入侵检测模型性能表现
量，图３ 中比较了 ＰＰＯ２， ＤＤＱＮ 的“
ＤＱＮ， Ｅｐｉ
ｓ ｅ奖励”，图４－
ｏｄ
Ｔａｂ
ｌｅ３ Ｐｅ
ｒｆｏ
ｒｍａｎｃ
ｅｏｆＤＲＬ－ＩＤＳ
图 ６ 分别展现了 ＰＰＯ２ 的“折现回报”、线 性 学 习 率 以 及“
Ｌｏｓ
ｓ
数据子集 准确率 召回率 精密度 Ｆ１ 评 分
Ｔｅ
ｓｔ ０．
９９０９ ０．
９７１７ ０．
９８５７ ０．
９７８５ 函数”。从“
Ｅｐｉ
ｓｏｄｅ奖励”可 以 看 出，相 比 其 他 两 种 深 度 强 化
Ｔｒ
ａｉｎ ０．
９９０９ ０．
９７６２ ０．
９８４０ ０．
９７９９ 学习算法，基于 ＰＰＯ２ 算 法 的 入 侵 检 测 在 环 境 中 得 到 的 奖 励
Ｖａ
ｌｉｄａ
ｔｉｏｎ ０．
９８９１ ０．
９７１７ ０．
９８３０ ０．
９７７３
在开始训练时 就 得 到 稳 步 提 升。 从 图 ４－ 图 ６ 可 以 看 出，基
表 ４ 列出了 ＤＲＬ－ＩＤＳ 的各类攻击的检 测 结 果，实 验 结 果 于 ＰＰＯ２ 算法的入侵检测框架收敛快且稳定。

（
ａ）ＰＰＯ２Ｅｐ
ｉｓｏｄｅ奖 励 （
ｂ）ＤＤＱＮ Ｅｐ
ｉｓｏｄｅ奖 励 （
ｃ）ＤＱＮ Ｅｐ
ｉｓｏｄｅ奖 励

图 ３ Ｅｐ
ｉｓｏｄｅ 奖励
Ｆ
ｉｇ．
３ Ｅｐ
ｉｓｏｄｅｒ
ｅｗａ
ｒｄ

图 ４ 折现回报 图 ６ Ｌｏ
ｓｓ 函数
Ｆ
ｉｇ．
４ Ｄｉ
ｓｃｏｕｎ
ｔｅｄｒ
ｅｗａ
ｒｄ Ｆ
ｉｇ．
６ Ｌｏ
ｓｓｆ
ｕｎｃ
ｔｉｏ

５ 与主流入侵检测系统的性能对比
４．
将此基于 ＰＰＯ２ 算法的入侵检测系统在相同 的 神 经 网 络
结构下与强化学习领域的另一种算法 ＤＤＱＮ［２４］进 行 对 比，同
时 还 与 基 于 深 度 学 习 的 主 流 学 习 算 法 ＬＳＴＭ［２５］， ［ ］
ＣＮＮ ２６ ，
ＲＮＮ ２７ 的入侵检测系 统 进 行 对 比。 本 文 对 比 算 法 的 参 数 设
［ ］

置分别 参 考 文 献 ［
２５－２７］。 实 验 结 果 表 明 （如 表 ５ 和 图 ７ 所
示），
ＤＲＬ－ＩＤＳ 在准确率、精密度、召回率、
Ｆ１ 评分等方 面 均 优
图 ５ 线性学习率 于其他基准系统（所 有 实 验 均 使 用 统 一 数 据 集）。 同 时，将 基
Ｆ
ｉｇ．
５ Ｌｅ
ａｒｎ
ｉｎｇｒ
ａｔｅ 于深度学习的检测方法和基于深度强化学习的检测方法进 行
李贝贝，等：
ＤＲＬ－ＩＤＳ：基于深度强化学习的工业物联网入侵检测系统 ５３

对比可以看出，基于深度强化学习的检测方法整体表现更好。 Ｖｅｈ
ｉｃｕ
ｌａｒＴｅ
ｃｈｎｏ
ｌｏｇｙ，
２０２０，
６９（
３）：
３０６８－３０７９．
［
４］ ＬＯＰＥＺ－ＭＡＲＴＩＮ Ｍ，
ＣＡＲＲＯ Ｂ，
ＳＡＮＣＨＥＺ－ＥＳＧＵＥＶＩＬＬＡＳ
表 ５ 入侵检测模型对比
Ａ．
Ａｐｐ
ｌｉｃ
ａｔｏｎｏ
ｉ ｆｄｅ
ｅｐｒ
ｅｉｎ
ｆｏｒ
ｃｅｍｅｎ
ｔｌｅ
ａｒｎ
ｉｎｇｔ
ｏｉｎ
ｔｒｕｓ
ｉｏｎｄｅ
ｔｅｃ－
Ｔａｂ
ｌｅ５ Ｐｅ
ｒｆｏ
ｒｍａｎｃ
ｅｃｏｍｐａ
ｒｉｓ
ｏｎ ｗｉ
ｔｈｏ
ｔｈｅ
ｒｄｅ
ｔｅｃ
ｔｉｏｎ ｍｏｄｅ
ｌｓ
ｔ
ｉｏｎｆ
ｏｒｓｕｐｅ
ｒｖｉ
ｓｅｄｐ
ｒｏｂ
ｌｅｍｓ［
Ｊ］．
Ｅｘｐｅ
ｒｔＳｙｓ
ｔｅｍｓ ｗｉ
ｔｈ Ａｐｐ
ｌｉｃ
ａ－
模型 准确率 召回率 精密度 Ｆ１ 评 分
ＣＮＮ ０．
９８８４ ０．
９７６９ ０．
９６９５ ０．
９７３０
ｔ
ｉｏｎｓ，
２０２０，
１４１：
１１２９６３．
ＲＮＮ ０．
９８５４ ０．
９８１７ ０．
９６０２ ０．
９７０５ ［
５］ ＨＳＵ Ｙ Ｆ，ＭＡＴＳＵＯＫＡ Ｍ．
Ａ Ｄｅ
ｅｐ Ｒｅ
ｉｎｆ
ｏｒｃ
ｅｍｅｎ
ｔ Ｌｅ
ａｒｎ
ｉｎｇ
ＬＳＴＭ ０．
９８８４ ０．
９８２９ ０．
９６０４ ０．
９７１２ Ａｐｐ
ｒｏａ
ｃｈ ｆ
ｏｒ Ａｎｏｍａ
ｌｙ Ｎｅ
ｔｗｏ
ｒｋ Ｉ
ｎｔｒ
ｕｓｉ
ｏｎ Ｄｅ
ｔｅｃ
ｔｉｏｎ Ｓｙｓ
ｔｅｍ
ＤＤＱＮ ０．
９９０５ ０．
９８４１ ０．
９７０８ ０．
９７７３
［
Ｃ］∥２０２０ＩＥＥＥ ９
ｔｈＩ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌＣｏｎ
ｆｅｒ
ｅｎｃ
ｅ ｏｎ Ｃ
ｌｏｕｄ Ｎｅ
ｔ－
ＤＱＮ ０．
９９０４ ０．
９８４８ ０．
９６９１ ０．
９７６８
ＰＰＯ２ ０．
９９１０ ０．
９８５６ ０．
９７１７ ０．
９７８５ ｗｏ
ｒｋｎｇ （
ｉ Ｃｌ ｔ）．
ｏｕｄＮｅ ２０２０：
１－６．
［
６］ ＰＥＮＧ Ａ Ｎ，
ＺＨＯＵ Ｗ，
ＪＩＡ Ｙ，
ｅｔａ
ｌ．Ｏｖｅ
ｒｖｉ
ｅｗ ｏ
ｆＲｅ
ｓｅａ
ｒｃｈｏｎ
Ｓｅ
ｃｕｒ
ｉｔｙｏ
ｆＩｎ
ｔｅｒ
ｎｅｔｏ
ｆＴｈ
ｉｎｇｓＯｐｅ
ｒａｔ
ｉｎｇＳｙｓ
ｔｅｍ［
Ｊ］．Ｊ
ｏｕｒ
ｎａｌｏｎ
Ｃｏｍｍｕｎ
ｉｃａ
ｔｉｏｎｓ，
２０１８，
３９（
３）：
２２－３４．
［
７］ ＡＬ－ＨＡＷＡＷＲＥＨ Ｍ，ＭＯＵＳＴＡＦＡ Ｎ，
ＳＩＴＮＩＫＯＶＡ Ｅ．
Ｉｄｅｎ－
ｔ
ｉｆ
ｉｃａ
ｔｉｏｎｏ
ｆ ｍａ
ｌｉｃ
ｉｏｕｓａ
ｃｔｉ
ｖｉｔ
ｉｅｓｉ
ｎｉｎｄｕｓ
ｔｒｉ
ａｌｉ
ｎｔｅ
ｒｎｅ
ｔｏｆｔ
ｈｉｎｇｓ
ｂａ
ｓｅｄｏｎｄｅ
ｅｐｌ
ｅａｒ
ｎｉｎｇ ｍｏｄｅ
ｌｓ［
Ｊ］．
Ｊｏｕｒ
ｎａｌｏ
ｆＩｎ
ｆｏｒｍａ
ｔｉｏｎＳｅ
ｃｕ－
ｒ
ｉｔｙａｎｄ Ａｐｐ
ｌｉｃ
ａｔｏｎｓ，
ｉ ２０１８，
４１：
１－１１．
［
８］ ＲＯＹ Ｂ，
ＣＨＥＵＮＧ Ｈ．
Ａ Ｄｅ
ｅｐＬｅ
ａｒｎ
ｉｎｇ Ａｐｐ
ｒｏａ
ｃｈｆ
ｏｒＩ
ｎｔｒ
ｕｓｉ
ｏｎ
Ｄｅ
ｔｅｃ
ｔｉｏｎｉ
ｎＩｎ
ｔｅｒ
ｎｅｔｏ
ｆＴｈ
ｉｎｇｓｕｓ
ｉｎｇＢ
ｉ－Ｄｉ
ｒｅｃ
ｔｉｏｎａ
ｌＬｏｎｇＳｈｏ
ｒｔ－
图 ７ 与其他模型的对比
Ｔｅ
ｒｍ Ｍｅｍｏ
ｒｙ Ｒｅ
ｃｕｒ
ｒｅｎ
ｔ Ｎｅｕｒ
ａｌ Ｎｅ ｒｋ［
ｔｗｏ Ｃ］∥２８
ｔｈＩ
ｎｔｅ
ｒｎａ－
Ｆ
ｉｇ．
７ Ｃｏｍｐａ
ｒｉｓ
ｏｎ ｗｉ
ｔｈｏ
ｔｈｅ
ｒｍｏｄｅ
ｌｂａ
ｓｅｄＩＤＳｓ
ｔ
ｉｏｎａ
ｌ Ｔｅ
ｌｅｃ
ｏｍｍｕｎ
ｉｃａ
ｔｉｏｎ Ｎｅ
ｔｗｏ
ｒｋｓ ａｎｄ Ａｐｐ
ｌｉｃ
ａｔｉ
ｏｎｓ Ｃｏｎ
ｆｅ－
实验进一步比较了本文提出的基于 ＰＰＯ２ 算 法 的 入 侵 检 ｒ ｅ（
ｅｎｃ ＩＴＮＡＣ）．
２０１８：
１－６．
测系统 ＤＲＬ－ＩＤＳ 和基于 ＤＤＱＮ 的 入 侵 检 测 系 统、基 于 ＤＱＮ ［
９］ ＹＡＮＧ Ｈ，
ＣＨＥＮＧ Ｌ，
ＣＨＵＡＨ Ｍ Ｃ．
Ｄｅｅｐ－Ｌｅ
ａｒｎ
ｉｎｇ－Ｂａ
ｓｅｄ
的入侵检测系统在相同数据量的情况下所需要的训练时间， Ｎｅ ｒｋＩ
ｔｗｏ ｎｔｒ
ｕｓｉ
ｏｎ Ｄｅ
ｔｅｃ
ｔｉｏｎｆ
ｏｒＳＣＡＤＡ Ｓｙｓ
ｔｅｍｓ［
Ｃ］∥２０１９

实验结果表明，
ＤＲＬ－ＩＤＳ 需要 ７４６７．
６０ｓ，基于 ＤＤＱＮ 的入侵 ＩＥＥＥ Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅ ｏｎ Ｃｏｍｍｕｎ
ｉｃａ
ｔｉｏｎｓ ａｎｄ Ｎｅ
ｔｗｏ
ｒｋ Ｓｅ
ｃｕｒ
ｉｔｙ
（
ＣＮＳ）．Ｗａ
ｓｈｉ
ｎｇｏｎ，
ｔ ＤＣ，
ＵＳＡ：
ＩＥＥＥ，
２０１９：
３－５．
检测系统需 要 １９２９０．
８７ｓ，基 于 ＤＱＮ 的 入 侵 检 测 系 统 需 要
［
１０］Ｉ
ＳＭＡＩＬ Ｍ，
ＳＨＡＡＢＡＮ Ｍ，
ＮＡＩＤＵ Ｍ，
ｅｔａ
ｌ．Ｄｅ
ｅｐ Ｌｅ
ａｒｎ
ｉｎｇ
１０ｓ。结果表明，基 于 ＰＰＯ２ 的 工 业 物 联 网 场 景 下 的 入
１８９４５．
Ｄｅ
ｔｅｃ
ｔｉｏｎｏ
ｆＥｌ
ｅｃｔ
ｒｉｃ
ｉｔｙＴｈｅ
ｆｔＣｙｂｅ
ｒ－Ａｔ
ｔａｃｋｓｉ
ｎ Ｒｅｎｅｗａｂ
ｌｅＤｉ
ｓ－
侵检测系统训练的时间成本低，
更适用于真实的入侵检测场景。
ｔ
ｒｉｂｕ
ｔｅｄ Ｇｅｎｅ
ｒａｔ
ｉｏｎ［Ｃ］∥ＩＥＥＥ Ｔｒ
ａｎｓ
ａｃｔ
ｉｏｎｓｏｎ Ｓｍａ
ｒｔ Ｇｒ
ｉｄ，
结束语 本文针对 复 杂 多 样 的 工 业 物 联 网 环 境，提 出 了
２０２０：
３４２８－３４３１．
一种新 的 基 于 深 度 强 化 学 习 算 法 ＰＰＯ２ 的 入 侵 检 测 系 统
［
１１］ＬＩＢ，ＷＵ Ｙ，
ＳＯＮＧＪ，
ｅｔａ
ｌ． ｅｐＦｅｄ：
Ｄｅ Ｆｅｄｅ
ｒａｔ
ｅｄ Ｄｅ
ｅｐＬｅ
ａｒｎ
ｉｎｇ
ＤＲＬ－ＩＤＳ。该系统运 用 了 基 于 Ｌ
ｉ ｔＧＢＭ 的 特 征 选 择 算 法，
ｇｈ ｆ
ｏｒＩ
ｎｔｒ
ｕｓｉ
ｏｎ Ｄｅ
ｔｅｃ
ｔｉｏｎ ｉ
ｎＩｎｄｕｓ
ｔｒｉ
ａｌ Ｃｙｂｅ
ｒ－Ｐｈｙｓ
ｉｃａ
ｌ Ｓｙｓ
ｔｅｍｓ
有 效 提 取 了 工 业 物 联 网 数 据 中 最 有 效 的 特 征 集 合 ；结 合 深 度 ［
Ｊ］．
ＩＥＥＥ Ｔｒ
ａｎｓ
ａｃｔ
ｉｏｎｓｏｎＩ
ｎｄｕｓ
ｔｒｉ
ａｌＩ
ｎｆｏ
ｒｍａ
ｔｉｓ，
ｃ ２０２１，
１７（
８）：
学习算法将多层感知器网络的隐藏层作为 ＰＰＯ２ 算 法 中 的 价 ５６１５－５６２４．
值网络和策略网络的 共 享 网 络 结 构；基 于 ＰＰＯ２ 算 法 构 建 了 ［
１２］ ＫＵＲＴ Ｍ Ｎ，ＯＧＵＮＤＩ
ＪＯ Ｏ，
ＬＩＣ，
ｅｔａ
ｌ．Ｏｎ
ｌｉｎｅ Ｃｙｂｅ
ｒ－Ａｔ
ｔａｃｋ
工业物联网入侵检测模型。在美国能源部橡树岭国家实验 室 Ｄｅ
ｔｅｃ
ｔｉｏｎｉ
ｎ Ｓｍａ
ｒｔ Ｇｒ
ｉｄ：Ａ Ｒｅ
ｉｎｆ
ｏｒｃ
ｅｍｅｎ
ｔ Ｌｅ
ａｒｎ
ｉｎｇ Ａｐｐ
ｒｏａ
ｃｈ
公开发布的工业物联网真实数据集上开展的大量实验结果 表 ［
Ｊ］．
ＩＥＥＥ Ｔｒ
ａｎｓ
ａｃｔ
ｉｏｎｓｏｎＳｍａ
ｒｔＧｒ
ｉｄ，
２０１９，
１０（
５）：
５１７４－５１８５．

明，本文提出的入侵检测系统 ＤＲＬ－ＩＤＳ 在检测 对 工 业 物 联 网 ［

１３］ＳＥＴＨＩ Ｋ，
ＥＤＵＰＵＧＡＮＴＩ Ｓ，
ＫＵＭＡＲ Ｒ，
ｅｔａ
ｌ．Ａ ｃ
ｏｎｔ
ｅｘｔ－

的 多 种 类 型 网 络 攻 击 时 性 能 表 现 良 好 ，相 比 现 有 的 基 于 深 度 ａｗａ
ｒｅｒ
ｏｂｕｓ
ｔｉｎ
ｔｒｕｓ
ｉｏｎｄｅ
ｔｅｃ
ｔｉｏｎｓ
ｙｓｅｍ：
ｔ ａｒｅ
ｉｎｆ
ｏｒｃ
ｅｍｅｎ
ｔｌｅ
ａｒｎ－
ｉ
ｎｇ－ｂａ
ｓｅｄａｐｐ
ｒ ｃｈ［
ｏａ Ｊ］．
Ｉｎｔ
ｅｒｎａ
ｔｉｏｎａ
ｌＪｏｕｒ
ｎａｌｏ
ｆＩｎ
ｆｏｒｍａ
ｔｉｏｎＳｅ－
学习或深度强化学 习 的 入 侵 检 测 系 统，在 准 确 率、精 密 度、召
ｃｕｒ
ｉｔｙ，
２０２０，
１９：
６５７－６７８．
回率、
Ｆ１ 评分方面均 更 胜 一 筹，且 显 著 降 低 了 入 侵 检 测 模 型
［
１４］ＯＴＯＵＭ Ｓ，
ＫＡＮＴＡＲＣＩＢ，ＭＯＵＦＴＡＨ Ｈ．
Ｅｍｐｏｗｅ
ｒｉｎｇ Ｒｅ
ｉｎ－
的训练时间。在今后 的 工 作 中，我 们 将 探 索 基 于 分 布 式 架 构
ｆ
ｏｒｃ
ｅｍｅｎ
ｔＬｅ
ａｒｎ
ｉｎｇｏｎ Ｂ
ｉｇＳｅｎｓ
ｅｄ Ｄａ
ｔａｆ
ｏｒＩ
ｎｔｒ
ｕｓｉ
ｏｎ Ｄｅ
ｔｅｃ
ｔｉｏｎ
的工业物联网入侵检测系统。
［
Ｃ］∥２０１９ＩＥＥＥＩ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌＣｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎ Ｃｏｍｍｕｎ
ｉｃａ
ｔｉｏｎｓ
（
ＩＣＣ２０１９）．
２０１９：
参 考 文 献 １－７．
［
１５］ＣＡＭＩＮＥＲＯ Ｇ，
ＬＯＰＥＺ－ＭＡＲＴＩＮ Ｍ，
ＣＡＲＲＯ Ｂ．
Ａｄｖｅ
ｒｓａ
ｒｉａ
ｌ
［
１］ ＺＨＯＵ Ｗ Ｇ．Ａｎａ
ｌｙｓ
ｉｓｏ
ｆＨｉ
ｄｄｅｎＤａｎｇｅ
ｒｓｏ
ｆＩｎｄｕｓ
ｔｒｉ
ａｌＩ
ｎｔｅ
ｒｎｅ
ｔ ｅｎｖ
ｉｒｏｎｍｅｎ
ｔｒｅ
ｉｎｆ
ｏｒｃ
ｅｍｅｎ
ｔｌｅ
ａｒｎ
ｉｎｇａ
ｌｇｏ
ｒｉｔ
ｈｍｆ
ｏｒｉ
ｎｔｒ
ｕｓｉ
ｏｎｄｅ－
ｏ
ｆＴｈ
ｉｎｇｓａｎｄ Ｅｘｐ
ｌｏｒ
ａｔｉ
ｏｎｏ
ｆＰｒ
ｏｔｅ
ｃｔｉ
ｏｎＳ
ｔｒａ
ｔｅｇ
ｉｅｓ［
Ｊ］．
Ｅｌｅ
ｃｔｒ
ｏ－ ｔ
ｅｃｔ
ｉｏｎ［
Ｊ］．
Ｃｏｍｐｕ
ｔｅｒＮｅ ｒｋｓ，
ｔｗｏ ２０１９，
１５９：
９６－１０９．
ｎ
ｉｃｓ Ｗｏ
ｒｌｄ，
２０１９（
２１）：
１３－１８． ［
１６］ＳＯＮＧ Ｊ，ＬＩ Ｂ，ＷＵ Ｙ，
ｅ ｌ．ＲｅＡＬ：Ａ Ｎｅｗ Ｒｅ
ｔａ ｓＮｅ
ｔ－ＡＬＳＴＭ
［
２］ ＬＩＮＧ Ｍ Ｈ，
ＹＡＵ Ｋ Ｌ Ａ，ＱＡＤＩＲＪ，
ｅｔａ
ｌ．Ａｐｐ
ｌｉｃ
ａｔｉ
ｏｎｏ
ｆｒｅ
ｉｎ－ Ｂａ
ｓｅｄＩ
ｎｔｒ
ｕｓｉ
ｏｎ Ｄｅ
ｔｅｃ
ｔｉｏｎ Ｓｙｓ
ｔｅｍ ｆ
ｏｒｔ
ｈｅＩ
ｎｔｅ
ｒｎｅ
ｔｏｆ Ｅｎｅ
ｒｇｙ
ｆ
ｏｒｃ
ｅｍｅｎ
ｔｌｅ
ａｒｎ
ｉｎｇｆ
ｏｒｓ
ｅｃｕｒ
ｉｔｙｅｎｈａｎｃ
ｅｍｅｎ
ｔｉｎｃ
ｏｇｎ
ｉｔｉ
ｖｅｒ
ａｄｉ
ｏ ［
Ｃ］∥２０２０ＩＥＥＥ４５
ｔｈＣｏｎ
ｆｅｒ
ｅｎｃ
ｅｏｎＬｏ
ｃａｌＣｏｍｐｕ
ｔｅｒＮｅ
ｔｗｏ
ｒｋｓ
ｎｅ ｒｋｓ［
ｔｗｏ Ｊ］．
Ａｐｐ
ｌｉｅｄＳｏ
ｆｔＣｏｍｐｕ
ｔｉｎｇ，
２０１５，
３７：
８０９－８２９． （
ＬＣＮ）．
２０２０：
４９１－４９６．
［
３］ ＬＵ Ｘ，
ＸＩＡＯ Ｌ，
ＸＵ Ｔ，
ｅｔａ
ｌ．Ｒｅ
ｉｎｆ
ｏｒｃ
ｅｍｅｎ
ｔ Ｌｅ
ａｒｎ
ｉｎｇ Ｂａ
ｓｅｄ ［
１７］ ＮＡＨＬＥＲ Ｇ．
Ｐｅａ
ｒｓｏｎｃ
ｏｒｒ
ｅｌａ
ｔｉｏｎｃ
ｏｅｆ
ｆｉｃ
ｉ ｔ［
ｅｎ Ｊ］．Ｄｉ
ｃｔｉ
ｏｎａ
ｒｙｏ
ｆ
ＰＨＹ Ａｕ
ｔｈｅｎ
ｔｉｃ
ａｔｉ
ｏｎｆ
ｏｒ ＶＡＮＥＴｓ［
Ｊ］．
ＩＥＥＥ Ｔｒ
ａｎｓ
ａｃｔ
ｉｏｎｓｏｎ Ｐｈａ
ｒｍａ
ｃｅｕ
ｔｉｃ
ａｌＭｅｄ
ｉｃｎｅ，
ｉ ２００９，
１０２５：
１３２－１３２．
 ５４ Ｃｏｍｐｕ
ｔｅｒＳｃ
ｉ ｅ 计算机科学 Ｖｏ
ｅｎｃ ｌ．４８， ７，
Ｎｏ． Ｊｕ
ｌｙ２０２１

［
１８］ ＷＡＮＧ Ｈ，
ＣＨＥＮ Ｈ Ｙ，
ＬＩＵ Ｓ Ｆ．
Ｉｎｔ
ｒｕｓ
ｉｏｎ Ｄｅ
ｔｅｃ
ｔｉｏｎ Ｓｙｓ
ｔｅｍ ｕｓ
ｉｎｇｓ
ｅｑｕｅｎ
ｔｉａ
ｌＬＳＴＭ Ｎｅｕｒ
ａｌ Ｎｅ
ｔｗｏ
ｒｋｓａｕ
ｔｏｅｎｃ
ｏｄｅ
ｒｓ［Ｃ］∥
Ｂａ
ｓｅｄｏｎＩｍｐ
ｒｏｖｅｄ Ｎａ
ｉｖｅＢａｙｅ
ｓ Ａｌ
ｇｏｒ
ｉｔｈｍ［
Ｊ］．
Ｃｏｍｐｕ
ｔｅｒＳ
ｃｉｅ
ｎ－ ２０１８２６
ｔｈＳ
ｉｇｎａ
ｌＰｒ
ｏｃｅ
ｓｓｉ
ｎｇａｎｄ Ｃｏｍｍｕｎ
ｉｃａ
ｔｉｏｎｓ Ａｐｐ
ｌｉｃ
ａｔｉ
ｏｎｓ
ｅ，
ｃ ２０１４，
４１（
４）：
１１１－１１５，
１１９． Ｃｏｎ
ｆｅｒ ｅ（
ｅｎｃ ＩＵ）．
Ｓ Ｉ ｒ，
ｚｍｉ Ｔｕｒｋｅｙ：
ＩＥＥＥ，
２０１８：
２－５．
［
１９］ ＷＵ Ｙ，ＭＡＮＳ
ＩＭＯＶ Ｅ，
ＬＩＡＯＳ．
Ｓｃａ
ｌａｂ
ｌｅＴｒ
ｕｓｔ－Ｒｅ
ｇｉｏｎ Ｍｅ
ｔｈｏｄ ［
２６］ ＭＥＬＩＢＯＹＥＶ Ａ，
ＡＬＩＫＨＡＮＯＶ Ｊ，
ＫＩＭ Ｗ．
１Ｄ ＣＮＮ Ｂａ
ｓｅｄ
ｆ
ｏｒ Ｄｅ
ｅｐ Ｒｅ
ｉｎｆ
ｏｒｃ
ｅｍｅｎ
ｔ Ｌｅ
ａｒｎ
ｉｎｇ Ｕｓ
ｉｎｇ Ｋｒ
ｏｎｅ
ｃｋｅ
ｒ－Ｆａ
ｃｔｏ
ｒｅｄ Ｎｅ
ｔｗｏ
ｒｋＩ
ｎｔｒ
ｕｓｉ
ｏｎＤｅ
ｔｅｃ
ｔｉｏｎ ｗｉ
ｔｈ Ｎｏ
ｒｍａ
ｌｉｚ
ａｔｉ
ｏｎｏｎＩｍｂａ
ｌａｎｃ
ｅｄ
Ａｐｐ
ｒｏｘ
ｉｍａ
ｔｉｏｎ［
Ｃ］∥Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓｏ
ｆｔｈｅ３１ｓ
ｔＩｎ
ｔｅｒ
ｎａｔ
ｉｏｎａ
ｌＣｏｎ－ Ｄａ
ｔａ［
ＥＢ／ＯＬ］．
ｈｔｐ：∥ａ
ｔ ｒｘｉ
ｖ．ｏ
ｒｇ／ａｂｓ
／２００３．
００４７６ｖ２．
ｆ
ｅｒｅｎｃ
ｅｏｎ Ｎｅｕｒ
ａｌＩ
ｎｆｏ
ｒｍａ
ｔｉｏｎ Ｐｒ
ｏｃｅ
ｓｓｉ
ｎｇ Ｓｙｓ
ｔｅｍｓ．Ｃａ
ｌｉｆ
ｏｒｎ
ｉａ： ［
２７］ＹＩＮ Ｃ Ｌ，
ＺＨＵ Ｙ Ｆ，
ＦＥＩＪＬ，
ｅｔａ
ｌ．Ａ Ｄｅ
ｅｐＬｅ
ａｒｎ
ｉｎｇ Ａｐｐ
ｒｏａ
ｃｈ
Ｃｕｒ
ｒａｎ Ａｓ
ｓｏｃ
ｉａｔ
ｅ ｎｃ，
ｓＩ ２０１７：
５２８５－５２９４． ｆ
ｏｒＩ
ｎｔｒ
ｕｓｉ
ｏｎＤｅ
ｔｅｃ
ｔｉｏｎ Ｕｓ
ｉｎｇ Ｒｅ
ｃｕｒ
ｒｅｎ
ｔ Ｎｅｕｒ
ａｌＮｅ ｒｋｓ［
ｔｗｏ Ｊ］．
［
２０］ ＭＮＩＨ Ｖ，
ＢＡＤＩＡ Ａ Ｐ，ＭＩＲＺＡ Ｍ，
ｅｔａ
ｌ．Ａｓ
ｙｎｃｈｒ
ｏｎｏｕｓ Ｍｅ－ ＩＥＥＥ Ａｃ
ｃｅｓ，
ｓ ２０１７，
５：２１９５４－２１９６１．
ｔ
ｈｏｄｓｆ
ｏｒＤｅ
ｅｐＲｅ
ｉｎｆ
ｏｒｃ
ｅｍｅｎ
ｔＬｅ
ａｒｎ
ｉｎｇ［
Ｃ］∥Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌＣｏｎ－
ｆ
ｅｒｅｎｃ
ｅｏｎ Ｍａ
ｃｈｉ
ｎｅＬｅ
ａｒｎ
ｉｎｇ（
ＰＭＬＲ２０１６）．
２０１６：
１９２８－１９３７． ＬＩＢｅ
ｉ－ｂ
ｅｉ，
ｂｏｒ
ｎｉｎ１９９２， Ｄ，
Ｐｈ． ａ
ｓｓｏ
ｃｉａ
ｔｅ
［
２１］ＳＣＨＵＬＭＡＮ Ｊ，ＷＯＬＳＫＩＦ，ＤＨＡＲＩＷＡＬ Ｐ．
Ｐｒｏｘ
ｉｍａ
ｌＰｏ
ｌｉｃ
ｙ ｒ
ｐｏｆ
ｅｓｓ
ｏｒ，
ｉｓａ ｍｅｍｂｅ
ｒｏｆ Ｃｈ
ｉｎａ Ｃｏｍ－
Ｏｐ
ｔｉｍｉ
ｚａｔ
ｉｏｎ Ａｌ
ｇｏｒ
ｉｔｈｍｓ［
ＥＢ／ＯＬ］．
ｈｔｐ：∥ａ
ｔ ｒｘｉ
ｖ．ｏ
ｒｇ／ａ
ｂｓ／１７０７．
ｐｕ
ｔｅｒＦｅｄｅ
ｒａｔ
ｉｏｎ．Ｈｉ
ｓ ｍａ
ｉｎｒ
ｅｓｅ
ａｒｃｈｉ
ｎ－
０６３４７．
ｔ
ｅｒｅ
ｓｔｓｉ
ｎｃｌ ｒ－ｐｈｙ
ｕｄｅ ｃｙｂｅ ｓｉｃ
ａｌ ｓｙ
ｓｔｅｍ
［
２２］ ＨＩＬＬＡ．
Ｓｔａｂ
ｌｅ－ｂａ
ｓｅｌ
ｉ ｓ［
ｎｅ ＥＢ／ＯＬ］．（
２０２１）．
ｈｔｔ
ｐｓ：∥ｓ
ｔａｂ
ｌｅｂ
ａｓｅ－
ｓ
ｅｃｕ
ｒｉｙ，
ｔ ｉ
ｎｄｕｓ
ｔｒｉ
ａｌｃ
ｏｎｔ
ｒｏｌｓｙ
ｓｔｅｍｓ
ｅｃｕ－
ｌ
ｉｎｅ
ｓ．ｒ
ｅａｄ
ｔｈｅｄｏ
ｃｓ．
ｉｏ／ｅｎ／ｍａ
ｓｔｅ
ｒ／．
ｒ
ｉｔｙ，
ｂｉｇ ｄａ
ｔａ＆ｐ
ｒｉｖａ
ｃｙ ｐ
ｒｅｓ
ｅｒｖａ
ｔｉｏｎ，
［
２３］ ＭＯＲＲＩ
Ｓ Ｔ，
ＧＡＯ Ｗ．
Ｉｎｄｕｓ
ｔｒｉ
ａｌ Ｃｏｎ
ｔｒｏ
ｌＳｙｓ
ｔｅｍ Ｔｒ
ａｆｆ
ｉｃ Ｄａ
ｔａ
ａｎｄａｐｐ
ｌｉｅｄｃ
ｒ ｔ
ｙｐｏｇ
ｒａｐｈｙ．
Ｓｅ
ｔｓｆ
ｏｒＩ
ｎｔｒ
ｕｓｉ
ｏｎ Ｄｅ
ｔｅｃ
ｔｉｏｎ Ｒｅ
ｓｅａ
ｒｃｈ［
Ｃ］∥Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌＣｏｎ－
ｆ
ｅｒｅｎｃ
ｅｏｎＣｒ
ｉｔｉ
ｃａｌＩ
ｎｆｒ
ａｓｔ
ｒｕｃ
ｔｕｒ
ｅＰｒ
ｏｔｅ
ｃｔｉ
ｏｎ．
Ｂｅｒ
ｌｉｎ，
Ｈｅｉ
ｄｅｌ
ｂｅｇ：
ｒ ｉ
ＨＥＪｕｎ－ｊａｎｇ，
ｂｏｒ
ｎｉｎ１９９３， Ｄ，
Ｐｈ． ａ
ｓｓｉ
ｓ－

Ｓｐ
ｒｉ ｒ，
ｎｇｅ ２０１４：
６５－７８． ｔ
ａｎｔｐ
ｒｏｆ
ｅｓｓ
ｏ ｓ ｍａ
ｒ．Ｈｉ ｉｎｒ
ｅｓｅ
ａｒｃｈｉ
ｎｔｅ－
［
２４］ＶＡＮ ＨＡＳＳＥＬＴ Ｈ，
ＧＵＥＺ Ａ，
ＳＩＬＶＥＲ Ｄ．
Ｄｅｅｐ Ｒｅ
ｉｎｆ
ｏｒｃ
ｅｍｅｎ
ｔ ｒ
ｅｓｔ
ｓｉｎｃ
ｌｕｄｅ ｃｙｂｅ
ｒｓｅ
ｃｕｒ
ｉｔｙ，ａ
ｒｔｉ
ｆｉｃ
ｉａｌ
Ｌｅ
ａｒｎ
ｉｎｇ ｗｉ
ｔｈＤｏｕｂ
ｌｅ Ｑ－ｌ
ｅａｒ
ｎｉｎｇ［
ＥＢ／ＯＬ］．
ｈｔｐ：∥ａ
ｔ ｒｘｉ
ｖ．ｏ
ｒｇ／ ｉｍｍｕｎｅ ｓｙ
ｓｔｅｍ，ｄａ
ｔａ ｍｉ
ｎｉｎｇ，ｍａ
ｃｈｉ
ｎｅ
／１５０９．
ａｂｓ ０６４６１ｖ２． ｌ
ｅａｒ
ｎｉｎｇ，
ａｎｄｅ
ｖｏｌ
ｕｔｉ
ｏｎａ
ｒｙｃ
ｏｍｐｕ
ｔｉｎｇ．
［
２５］ ＭＩＲＺＡ Ａ，
ＣＯＳＡＮ Ｓ．
Ｃｏｍｐｕ
ｔｅｒ ｎｅ
ｔｗｏ
ｒｋ ｉ
ｎｔｒ
ｕｓｉ
ｏｎ ｄｅ
ｔｅｃ
ｔｉｏｎ