You are on page 1of 12

农业大数据学报 2023,5(4):1-12

Journal of Agricultural Big Data DOI: 10.19788/j.issn.2096-6369.230401

基于大数据的遥感参数人工智能反演范式理论形
成与工程技术实现
1,2,3* 1 4 5 6 2 5
毛克彪 ,袁紫晋 ,施建成 ,武胜利 ,胡德勇 ,车进 ,董立新
1. 中国农业科学院农业资源与农业区划研究所 北方干旱半干旱耕地高效利用全国重点实验室,北京 100081;2. 宁夏大学电子与电气工程学院,银

川,750021;3. 中国科学院空天信息创新研究院 遥感科学国家重点实验室,北京 100094;4. 中国科学院国家空间科学中心,北京 100190;5. 国

家卫星气象中心,北京 100081;6. 首都师范大学资源环境与旅游学院,北京 100048

摘要:为了解决人工智能(Artificial Intelligence)应用在地球物理参数反演中的“黑箱”问题,使得人工智能应用具
有物理意义和可解释性及普适性,深度学习耦合物理方法和统计方法的理论和技术在各学科领域正在陆续展开。本研究通过
梳理作者 20 余年的相关研究,在前面归纳和演绎得到人工智能地球物理参数反演范式理论和判定条件基础上,分别给出了
遥感参数人工智能反演范式和判定条件。目前大家研究普遍遇到一个问题,很多人工智能参数反演理论模拟数据反演精度非
常高,但实际应用反演精度不理想,因此深度学习如何耦合物理方法和统计方法成为当前亟须解决的工程与技术难题。我们
以被动微波土壤水分和地表温度反演为例进行阐述,分析表明物理模型本身的精度还要很大的提升空间或者模拟数据只代表
现实情况中的少部分情况。因此只利用物理模型模拟数据直接进行反演还存在很大的局限,必须补充大量高精度的多源统计
观测数据。同时可以通过利用模拟数据对深度学习训练和用实际数据检验物理模型的误差。统计方法是人类最直观的描述,
物理方法是对统计方法的归纳演绎总结,但真实世界的信息或能量传输是按量子形式传递,物理模型只是当前人们认识世界
的最高形式,大部分模型并没有刻画好真实信息流。深度学习中的不同神经元更适合描述和表达量子信息的传输方式,以微
积分量子能量信息流认识真实世界需要提高人类的思维认知方式,这才是最高模式。如何采集满足真实情况(量子信息或能
量传输)的数据显得非常重要,当前可以充分利用物理逻辑推理构建物理方法和统计方法,并在范式理论和判定条件框架指
导下利用大数据思维模式提高地球物理参数反演精度。通过物理逻辑推理证明输入变量能唯一确定输出变量是形成具有物理
意义和可解释及通用的反演或分类或预测范式的基本条件,从量子信息(能量)传输真实角度控制采集数据质量是地球物理
参数高精度反演工程与技术实现的关键,提高微积分量子信息流思维认知和甄辨物理模型的局限对实现人工智能高精度反演
具有里程碑意义。
关键词:人工智能;深度学习;反演范式;物理逻辑推理;大数据

变量,形成更加通用的知识(物理模型或物理方法)。
1 引言 一般来说,模型和物理方法的精度要比统计方法精度
人类认识世界通过对物理现象观察(取样),然 要高,适应范围更广。但在很多学科中很多模型的适
后基于观察和思考用大脑粗象构造模式最大程度地 应范围是非常有限的,主要原因是这些模型有很多假
形成知识以达到快速认识世界或者目标的目的。也就 设条件或者做了大量简化或者人们认识还不是非常
是通过归纳总结,形成原始认知统计方法,在这个认 全面,其精度在有些情况下并不见得比统计方法精度
知基础上,人们通过演绎和逻辑推理,定义相关物理 高。因此在我们使用模型前一定要对模型建立的背景

收稿日期:2023-05-28;录用日期:2023-09-13
基金项目:国家重点研发计划项目“全球粮食和病虫害监测与预警(2023YFB3906202)”
联系方式:毛克彪,E-mail:maokebiao@caas.cn。
2 农 业 大 数 据 学 报 第5卷

和应用的条件作深入分析。 确保解的完备性;接着通过物理模型模拟获得物理
近年来,人工智能技术快速发展已经引起各行 方法具有代表性的典型解。为了克服物理模型不足,
业的广泛关注和应用。人工智能方法特别是深度学 同时从多源数据中获取统计方法的代表性解,这些
习神经网络算法是模仿人类大脑认识世界的模式, 解被用作深度学习的训练和测试数据集,从而到达
不同的人对人工智能解读不一样。其实真实世界的 深度学习耦合物理和统计方法的目的。最终利用深
信息或能量传送是基于量子形式,深度学习神经网 度学习技术对求解过程进行优化计算。判定条件是:
络 中的神 经元 与能量 量子 传送的 真实 情况更 加接 (1)输入变量和输出变量之间必须存在因果关系;
近,只是大部分人类的认知还没有跟上。从数学上 (2)输入变量和输出变量之间必须能构造闭合的方
讲,深度学习是一种优化计算方法,如果单从数据 程组(即方程的个数大于或等于未知数)。为了给
采集,然后训练深度学习的过程来讲,深度学习本 遥感参数或地球物理参数反演范式理论提供案例,
质上和统计方法是一致的。如果采集的数据能够覆 本文根据范式判定条件,构建和明确了农业气象遥
盖物理模型刻画的整个空间(具有代表性),并且 感关键参数(土壤水分、地表温度、发射率、近地
物理方法的解曲线理论上具有唯一性,那么通过深 表空气和大气水汽水量)等参数的反演范式,并进
度学习可以重复物理方法,也就是说深度学习可以 一步分析如何解决 AI 在参数反演求解过程中遇到的
重复高精度的物理方法求解过程。因此深度学习的 工程与技术瓶颈问题。
精度某种程度上取决于使用者的认知,以及怎么获
取有代表性的高精度训练和测试数据和如何保证数 2 遥感关键参数人工智能反演范式
据具有代表性。
我们深入研究了地球物理参数反演问题,在归 农业气象热红外遥感过程如图 1 中公式 1 所示,
纳演绎的基础上提出了基于人工智能耦合物理和统 式中 Ts 代表地表温度,Ti 代表波段 i 的星上亮度温度,
计方法的地球物理参数反演范式理论 [1][2]
,此理论针 τi(θ)代表波段 i 的大气透过率,εi(θ)代表波段 i 的在观
对遥感参数反演,也可以称之为遥感参数人工智能 察方向 θ 的地表发射率,Bi(Ts)代表地表辐射强度[2]。
反演范式理论:首先,根据物理能量平衡方程进行 各个参数之间相互影响和纠缠,如果不作简化普通数
物理逻辑推导,从理论层面构建反演方程组,证明 学方法无法求解,但简化则会给不同参数带来不同的
理论上存在和可以构建物理方法且存在唯一的空间 误差。因此,深度学习通过耦合物理方法和统计方法
解曲线;然后基于物理推导建立泛化的统计方法, 的解来优化计算物理和统计方法是参数反演的最佳方

图1 农业气象遥感参数之间的关系(土壤水分、地表温度、发射率、近地表空气温度和大气水汽含量)
Fig. 1 The relationship between agricultural meteorological remote sensing parameters (SM, LST, LSE, NSAT, WVC)
第4期 毛克彪等:基于大数据的遥感参数人工智能反演范式理论形成与工程技术实现 3

式,也能更好地利用不同物理参数之间相互制约的关 频双极化(10 个或以上的通道)反演土壤水分。用 5


系。另外从能量传输的角度来看,物理方法只是描述 个或以上的高频双极化(10 个或以上的通道)反演地
信息能量传输的简化模式,大部分方法并不能完美地 表温度;(2)对于强相关的土壤水分反演可以不将地
刻画整个辐射过程。相反深度学习中的神经元能够更 表温度作为深度学习的先验知识也可以获得很高的反
好地反映或描述辐射能量的量子信息传输过程,更具 演精度;对于弱相关性的地表温度,要获得更高精度
有物理意义和可解释性,只需要保证深度学习输入信 的反演结果,需要将高精度的土壤水分作为先验知识。
息(变量)能够唯一确定输出信息(变量)即可。虽 在土壤水分精度不稳定的区域,也可以不用先验知识,
然深度学习神经元更符合信息或能量在大自然中传输 但地表温度的反演精度有所下降且不稳定。在被动微
过程,但鉴于人们当前的认知和计算机硬件发展水平, 波传感器硬件设计时,至少设置 5 个微波频率(10 个
我们可以认为深度学习是物理方法和统计方法的优化 通道)。
求解模式。通过分析形成地球物理参数反演范式的判 2.2 基于热红外同时反演地表温度和发射率的人工
定条件:(1)输入和输出变量之间必须具有因果关 智能反演范式
系;(2)在理论上,可以建立封闭的方程组来描述 2002 年我们开始研究热红外遥感地表温度反
输入和输出变量之间的关系,也就是说输出参数可以 演,2005 年在国际刊物上发表了针对 MODIS 数据
通过输入参数唯一确定。如果输入参数和输出参数之 的实用劈窗算法,该算法的优点是形式简单,特别
间存在强因果联系,我们可以直接应用深度学习进行 是解决了利用 MODIS 传感器的水汽波段估算大气
反演;如果两者之间关系较弱,我们需要引入先验知 水汽含量直接获取透过率的难题,精度能满足应用
[1-2]
识以提升输出参数的反演准确性 。根据判定条件, 要求 [13-14]。劈窗算法敏感性分析表明算法受地表发
我们分析和给出了遥感关键参数(土壤水分、地表温 射率的影响很大,而发射率是通过地表类型确定,
度、发射率、近地表空气和大气水汽水量)等参数反 中高分辨率尺度的像元大部分都是混合像元,因此
演范式。 所有劈窗算法在地表类型不准确时反演精度存在不
2.1 基于被动微波同时反演土壤水分和地表温度的 确定性[15-17]。
人工智能反演范式 为了消除由于地表类型引起的发射率不确定,从
我们在 2004 年开始研究被动微波反演地表温度 多个热红外波段的测量中同时反演地表温度和发射率
(Land Surface Temperature, LST)和发射率(Land 成为一个重要的研究方向。因为 N 个波段至少拥有
[3-4]
Surface Emissivity, LSE)的机理 ,并进一步构造了物 N+1 个未知数(N 个波段的发射率和地表温度),这
[5]
理统计方法 。微波遥感机理研究还需要进一步加强, 是一个非常典型的病态反演问题。如果不利用任何先
不同的模型适用范围不同,特别是对于混合像元存在 验知识,几乎不可能同时从多个热红外数据中反演地
很大的局限。为了进一步将被动微波地表温度反演推 表温度和发射率。Li 等[18]利用 TISI 技术和白天/晚上
向实用,我们在 2007 和 2009 及 2018 年进一步利用动 的影像数据反演地表温度和发射率,这个反演方法需
[6-9]
态学习神经网络方法反演被动微波地表温度 ,大大 要大气剖面信息。Wan 等[19] 提出了一个多波段算法
提高了被动微波地表温度反演的精度。同时我们从 来同时从 EOS/MODIS 传感器中同时反演地表温度
2008 年开始也对被动微波反演土壤水分(Soil Moisture, 和发射率,这个方法受地面的光学性质和大气状态的
SM)机理也进行了深入研究,提出了相应的地表温度 影响。以上两个方法都假定了白天和晚上同一地点的
[10-12]
反演算法 。通过 18 年的连续分析和研究,我们进 发射率不变,其实白天和晚上的热辐射是不一样的
一步提出了基于人工智能的被动微波地表温度和土壤 (辐射具有方向性),白天地面的辐射受太阳照射角
水分反演范式及判定条件。即通过对不同情况的物理 度的影响,不同方向的发射率不同;另外白天和晚上
机理推导,分析表明单个辐射传输方程中至少有 9 个 并不见得会同时有数据,在季节交叉和天气突变时,
未知数,因此至少需要 9 个方程组,具体推导请参见 中间可能下雨或降雪,甚至在农作物区出现收割等情
文献[2]。加上相对入射角度的变化可以认为有 10 个 况导致地面类型白天和晚上不一致,因此白天/晚上算
未知数,最后经过总结得出被动微波土壤水分和地表 法在实际应用上存在一定的局限性。毛克彪等[20]也针
[2]
温度反演范式和条件如下 :(1)用 5 个或以上的低 对 MODIS/ASTER 数据的特点,通过邻近波段发射
4 农 业 大 数 据 学 报 第5卷

率之间的局部线性关系构建新的方程组,从而减少了 地表类型的信息,从而使得反演算法具有可移植性和
未知数和提出了针对 MODIS/ASTER 数据同时反演 通用性,并进一步利用神经网络耦合物理模型和统计
地表温度和发射率的多波段算法。为提高算法精度, 方法从理论上解决了热红外遥感反演近地表空气温度
接着提出了利用神经网络对物理方法进行优化计算 的难题。2022 年我们针对人工智能反演近地表空气温
[21-22]
的思想 。在进一步详细分析后,我们在 2007 年 度做了一个完整的物理逻辑推理[33],提出了人工智能
和 2008 年利用动态学习神经网络耦合物理方法和统 耦合物理和统计方法反演近地表空气温度范式,既先
[23-24]
计方法 ,这两篇论文的发表在地表温度和发射率 利用深度学习反演地表温度和发射率,然后利用地表
反演史上具有里程碑意义。我们在 2011 年和 2018 温度和发射率作为先验知识进行交叉迭代反演近地表
年对人工智能耦合物理模型和统计方法做了进一步 空气温度。经过物理逻辑推理,基于深度学习反演近
[25-26]
完善 ,2021 年我们继续对前面的研究做了一个 地表空气温度范式和条件如下:(1)至少需要 3 个热
[27]
综述和总结性的概括及提升 。在 2023 年形成了基 红外窗口波段+1 个水汽热红外吸收波段+LST+LSE;
于人工智能的反演范式理论,进一步将 MODIS 地表 或(2)至少 4 个的热红外窗口波段+LST+LSE;或(3)
温度和发射率反演扩展到波段 27、28、29、31 和 32, 至少 2 个以上的热红外窗口波段+2 个热红外水汽吸收
[1]
突破了以往的理论框架 。根据范式理论,经过物理 波段+LST+LSE。
逻辑推理,形成了热红外遥感地表温度和发射率人工 与地表温度反演相似,只是增加了地表温度和发
智能反演范式条件:(1)至少需要 3 个热红外窗口 射率作为先验知识。理论上讲,热红外窗口波段越多,
波段+至少 1 个水汽热红外吸收波段或者大气水汽含 特别是有水汽热红外吸收波段,精度越高而且越稳定,
量参数;或者(2)至少 4 个的热红外窗口波段。 但计算时间就增加,硬件设计难度就加大。
理论上讲,热红外窗口波段越多,特别是有水汽 2.4 基于热红外反演大气水汽含量人工智能反演范式
吸收波段时,精度就越高且越稳定,但计算时间增加, 大气水汽含量(Water Vapor Content, WVC)不
硬件设计难度就加大。因此从平衡角度讲。如果把观 仅是气候变化研究中的关键参数,也是遥感图像校
测角度作为一个未知数,硬件设计 4 个热红外窗口波 正需要的关键参数 [34-35] 。它在不同的时间和空间尺
段+1 个水汽吸收波段或者 5 个热红外窗口波段最佳。 度上扮演着非常重要的角色,它的时空变化可以影
如果硬件设计有难度,保证 3 个热红外窗口波段+1 个 响太阳辐射的空间变化,从而影响许多天气和气候
水汽热红外吸收波段或 4 个热红外窗口波段也可以实 变化。
现高精度的地表温度和发射率反演。 卫星遥感可以快速大面积获取大尺度的大气水汽
2.3 基于热红外反演近地表空气温度人工智能反演 信息。遥感获得大气水汽含量主要包括统计方法、
范式 物理方法和人工智能方法。统计方法的反演依赖于
地表温度反演一直是热红外遥感研究的重点,相 亮度温度(Brightness Temperature, BT)和大气水汽
对而言近地表气温(Near surface air temperature, NSAT) 含量的回归关系。这种方法优点是操作简单,只需
反演的研究不是很多。主要原因是晴空天气条件下, 要几个参数即可完成,但是物理意义不明确,而且
卫星传感器上获得热辐射信息主要来自地表,近地表 模型可移植性差。物理方法基于辐射能量平衡,理
空气温度的信息量不够,这导致利用遥感反演的近地 论反演精度高,但需要的参数较多,而且需要对大
表空气温度精度不高。因此,虽然国内外学者也针对 气的先验知识做出一些假设。由于遥感观测信息不
[28-30]
近地表空气温度的反演方法做了许多研究 ,但还 足,导致未知数数量大于求解方程数量,也常常存
没有形成一种可靠的大范围从遥感数据中直接反演近 在“病态”问题。考虑到统计方法和物理方法的优
地表空气温度的反演算法和产品。 点和缺点,我们提出了利用深度学习耦合物理和统
我们在 2008 年和 2013 年认真分析热红外遥感反 计方法[36-37]。在 2023 年,我们经过物理逻辑推理[1,38],
演近地表空气温度机理后,提出了利用地表温度和 得出基于深度学习大气水汽含量反演范式和条件如
发射率作为先验知识提高近地表空气温度反演精度 下:(1)至少需要 4 个热红外窗口波段+LST+LSE;
[31-32]
模式 。地表温度作为先验知识可以克服星上亮温 或者(2)至少 2 个的热红外窗口波段+2 个热红外
近地表空气温度信息量不足的困难,发射率可以提供 水汽吸收波段;或者(3)至少 1 个热红外波段窗口
第4期 毛克彪等:基于大数据的遥感参数人工智能反演范式理论形成与工程技术实现 5

波段+2 个热红外强水汽吸收波段。与近地表空气温 3.1 物理逻辑推理与物理方法


度反演相似,理论上讲,热红外窗口波段越多,特 在做参数反演之前,要基于第一性原理对物理
别是有强水汽吸收波段,精度越高而且越稳定,但 参数的反演机理进行剖析,必须厘清参数背后的物
计算时间就增加,硬件设计难度就加大。从 3 个条 理机制。首先进行物理逻辑推理。地表热辐射在通
件可以分析得出:当热红外波段都是窗口波段时, 过大气达到卫星传感器的过程中,主要受地表类型
利用地表温度和发射率作为先验知识可以提高大气 和土壤水分、地表温度、近地表空气温度、植被和
水汽含量反演精度。当条件中至少有 1 个强水汽吸 大气水汽含量等其他大气的影响。地表温度和土壤
收热红波段时,可不用地表温度和发射率作为先验 水分反演是基于地表热辐射传导及其通过大气到达
知识,也可以获得高精度的大气水汽含量反演。 传感器的传送物理过程,其辐射方程通常可以简化
2.5 其他地球物理参数反演或分类或预测范式 为公式 2。
上面主要是针对农业和气象遥感参数反演进行了 TBp= Tu+ exp (-τa){rpTd+Ts (1-rsp) exp (-τc)+ Tc
分析,其他参数和利用人工智能方法分类或预测范式 (1-ωp)[1 -exp (-τc)]+ Tc (1 -ωp)[1-exp (-τc)]rsp
也类似,证明深度学习输入变量唯一确定输出变量也 exp (一 τc)} (2)
是形成具有物理意义和可解释及通用分类或目标识 式中:TBp 是星上亮度温度,Tu 和 Td 分别是大气上行
别或预测通用范式的基本条件。目前卷积神经网络 和下行辐射亮温,rp 是地表发射率,τa 和 τc 分别是大
(Convolutional Neural Network,CNN)被认为是最 气光学厚度和植被光学厚度,ωp 是植被单次散射反照
好的分类和目标识别方法之一,其实 CNN 是在传统 率,Ts 是地表温度。其中发射率与发射率是关系如公
神经网络的基础上进一步利用不同的卷积核从不同 式 3。
的尺度(空间分辨率)上提取目标的信息,目的就 esp=1-rsp (3)
是 提取不 同维 度的信 息从 数学上 尽量 唯一确 定目 微波波段的发射率主要由受土壤水分(SM)以及
标,从而减少不确定性和达到提高分类(目标识别) 粗糙度(均方根高度和相关长度)的影响,具体推导
精度的目的。对于气象预测预报也存在类似的结论。 和分析可以参见文献[2]。如果把变化的相对入射角也
理论上讲,如果能从数学上证明输入变量或从不同 当做未知数,单个方程有 10 个未知数,考虑到各个参
维度(不同卷积核)上提取的信息能唯一确定目标 数之间的相互制约关系,也可以减少 1 个未知数。因
(输出参数),那么也可以形成反演或分类或预报 此理论上要解方程必须有 9 个或 10 个以上的通道数据
预测范式。如果能证明输入参数或不同卷积核提取 构建 9 个或 10 个以上的辐射传输方程组。求解方程组
的特征不能唯一确定输出参数,则不能形成通用的 是非常复杂的,为了获得有代表性的物理方法解,我
反演或分类或预测范式,但仍能可以在一定的不确 们可以用高精度的物理模型进行模拟获得方程中对应
定性下(理论上数学方程不闭合且具有一定的理论 的代表性解,然后利用深度学习和代表性的解进行优
误差)进行反演或分类或预测。从量子能量信息流 化计算获得解的曲线方程,同时我们可以反过来通过
的大数据角度构建训练和测试数据将给我们带来一 深度学习应用验证物理模型的精度。
个全新的视角。 3.2 物理逻辑推理与统计方法
不同的物理模型的适应范围不同,很多模型只
3 基于大数据的反演范式工程技术 能模拟真实场景的部分情况,有些遥感模型模拟精
实现 度可能不足 80%的精度,比如中分辨率的分类模型,
由于绝大部分陆地像元是混合像元,这就限制了相
虽然我们从理论上利用人工智能技术解决了农业 关精度。因此必须补充其他的代表性解。我们这里
气象遥感关键参数的反演难题,但离工程技术实现和 的统计方法不是过去构建的具体传统统计方法,我
产品研发还有一段距离。理论解决的思维认知问题, 们构建的统计方法是基于物理逻辑推理和物理方法
算法产品是工程技术问题,需要解决具体的细节问题。 的泛化统计方法。也就是说方程组的未知数和已知
这里我们以被动微波同时反演土壤水分和地表温度为 数与物理方法一样,并且选择的波段和数量与物理
例对工程技术实现存在的问题进行分析。 方法保持一致。
6 农 业 大 数 据 学 报 第5卷

SM = A1T1+ A2T2+ A3T3+A4T4+A5T5+A6T6+ 度。有些传统算法往往固定入射角,但由于地形起伏


A7T7 +A8T8+A9T9+A10T10+C (4a) 导致相对入射角随着地形波动而变化很大,其实几乎
Ts = a1T1+ a2T2+ a3T3+ a4T4+a5T5+ a6T6 + 每个像元相对入射角一直都在变化。
a7T7 + a8T8+ a9T9+a10T10+c (4b)
式中:SM 和 Ts 分别是土壤水分和地表温度,T1-T10
是不同通道的星上亮温,A1-A10(a1-a10)10 个系
数,C(c)是常数。这个统计方法事实上也可以看
作是物理方法解的另外一种表现形式,系数是非线 <55°
55°
性的而且也是变化的,正常求解非常复杂,常规方
法无法求解。这里我们不需要计算不同的系数,只
需要根据解的形式去通过多源数据采集对应的解,
即 10 个通道的星上亮温和同步对应的土壤水分和
地表温度值。
3.3 基于大数据的工程技术实现 图2 AMSR-E 在不同地形条件下的微波扫描观测角度
理论上讲,将物理模型模拟的物理方法代表性解 Fig. 2 Microwave scanning observation angle of AMSR-E
与统计方法采集的代表性解集合构成深度学习的训练 under different terrain conditions
和测试数据,就可以完成深度学习对物理方法和统计
方法的耦合。然而理论和技术应用是有差距的,特别 为了能够更清楚地分析深度学习与物理方法的
是被动微波遥感参数反演。因为目前还没有一个微波 耦合情况,我们先将观测角度保持 55 度,然后使用
模型可以很好地刻画不同植被的辐射传输过程,裸地 AIEM 在大范围的粗糙度中进行模拟。均方根高度
微波辐射传输模型也还有一定的提升空间。为了准确 范围为 0.1-3.1,相关长度为 1-30,土壤水分 0-
理解被动微波反演参数的内在机制,这里我们用大家 0.45 m3/m3,地表温度 273-333 K。如图 3a 在用 10
公认比较好的裸地 AIEM 模型和深度学习对被动微波 个低频通道 反演土壤水 分时,反演 的平均精度 为
反演对土壤水分和地表温度的影响进行简要分析。被 0.02 m3/m3;当把地表温度作为先验知识和 10 个低
动微波的能量辐射受土壤水分、表面温度、粗糙度、 频通道反演土壤水分时(图 3b),反演的平均精度
表面类型和入射角的影响很大。微波传感器的入射角 为 0.018 m3/m3。对比可以发现,地表温度是否作为
是固定的,如图 2 所示,AMSR-E 的微波入射角是 55 先验知识对土壤水分反演精度提高影响不大。

图 3 55°入射角下土壤水分反演值与真实值的比较:(a)10 个亮度温度作为输入值;(b)LST 和 10 个亮度温度作为输入值


Fig. 3 Comparison of soil moisture retrieval value and the true value at an angle of incidence of 55° : (a) 10 brightness temperatures
as input values; (b) LST and 10 brightness temperatures as input values
第4期 毛克彪等:基于大数据的遥感参数人工智能反演范式理论形成与工程技术实现 7

如图 4a 在用 10 个高频通道反演地表温度时,地 高低起伏不一致,导致相对入射角变化很大,特别是
表温度反演的平均精度最高可以达到 1.48 K;当把土 在山区变化更大。我们把观测(入射)角度设为 0-
壤水分作为先验知识和 10 个高频通道反演地表温度 65°,用 10 个低频通道作为深度学习输入时,土壤水
时(图 4b),地表温度反演的平均精度为 0.8 K。对 分最高反演平均精度最高为 0.035 m3/m3(图 5a);
比发现将土壤水分作为先验知识可以大大提高地表温 将地表温度和 10 个低频通道作为输入时,土壤水分
度的反演精度。 平均反演精度最高为 0.027 m3/m3(图 5b),相比之
被动微波遥感像元分辨率低,大部分非像元都是 下比单入射角下,加入先验知识后精度提高的程度幅
混合像元,在 25 km 尺度的单个像元中,不同的地物 度要高不少。

图4 55°入射角下 LST 反演值与真实值的比较:(a)10 个亮度温度作为输入值;(b) SM 和 10 个亮度温度作为输入值


Fig. 4 Comparison of the LST retrieval value and the true value at an angle of incidence of 55° :(a) 10 brightness temperatures as
input values; (b) SM and 10 brightness temperatures as input values

图5 0-65°入射角下土壤水分反演值与真实值的比较:(a)10 个亮度温度作为输入值;(b) LST 和 10 个亮度温度作为


输入值
Fig. 5 Comparison of the soil moisture retrieval value and the true value at an angle of incidence of 0-65°: (a) 10 brightness
temperatures as input values; (b) LST and 10 brightness temperatures as input values

观测(入射)角度设 0-65°,用 10 个高频通道 6b),相比之下比单入射角下,加入土壤水分作为


作为深度学习输入时,地表温度最高反演平均精度 先验知识反演精度提高幅度也要高不少。最关键的
最高为 2.12 K(图 6a);将地表温度和 10 个高频 是加入土壤水分作为先验知识后,反演精度更加稳
通道作为输入时,平均反演精度最高为 1.27 K(图 定。
8 农 业 大 数 据 学 报 第5卷

图6 0-65°入射角下土壤水分反演值与真实值的比较:(a)10 个亮度温度作为输入值;(b) SM 和 10 个亮度温度作为输


入值
Fig. 6 Comparison of the soil moisture retrieval value and the true value at an angle of incidence of 0-65° :(a) 10 brightness
temperatures as input values; (b) SM and 10 brightness temperatures as input values

的数据有关。如果数据集有偏差,那么网络的输出
4 讨论 也会出现偏差。虽然很多模型发表在权威刊物上,
从图 3-图 6 分析可以看出,被动微波土壤水分 其实很多物 理模型不能 精确地描述 能量或信息量
和地表温度反演比较复杂,误差呈矩状分布,理论 子传输的真实情况。很多模型做了很多简化,比如
上讲的空间曲线应该呈现线状分布。这说明可能存 AIEM 模型就没有考虑大气和降雨等的影响 [39] ,因
在两个原因,一是物理模型的构建还存在一定的改 此直接用 AIEM 模拟的数据训练深度学习反演土
进空间,模拟数据不准,特别一些模拟中设定的边 壤水分会出现比较大的误差。这就是为什么我们要
界范围组合的极端情况在真实世界中可能不存在; 补充大量的统计数据,因为 AIEM 模型模拟的数据
二是还可能存在维度(未知数)没有发现,从而导 只代表整个样本空间的一小部分情况。很多模型模
致方程并不闭合。另外 AIEM 模型只适合裸露地表, 拟的只是现 实情况中的 一种,哪怕 是精度很高的
并且 AIEM 模型还没有考虑云和降雨等的影响。因 MODTRAN 模型 [40] ,因为现实情况中都是混合像
此,AIEM 模拟的数据也只是裸露地表情况中的一部 元,同一个像元中的不同地物类型相互影响,而且
分情况,还需要补充大量的其他数据,特别是植被 受地形和太阳照射角度影响很大,模型中没有考虑
和大气等参数影响下的情形。微波植被模型更加复 这些情况。因此利用深度学习解决实际问题时,一
杂,每个模型都有自己的适应范围。有的模型适合 定要对研究的问题了解得非常透彻,也就是我们提
森林、有的适合农作物,而且即使是同一种地表类 到的要先做物理逻辑推理,然后构建物理方法,在
型,模型在植被的不同生长阶段模拟精度差异也很 物理方法的基础上构建统计方法,然后利用大数据
大。这就需要我们以物理逻辑推理为基础构建统计 思维尽可能地获得全面的代表性解,最后训练深度
方法,并利用多源数据,采集大量的其他代表性的 学习网络。切忌简单不加分辨地采集大量的数据,
解,形成大数据并进一步训练和测试。具体分析可 然后进行训练和测试及应用。当然,反过来,我们
以参见文献[2],这里不再细述。 可以用模型模拟的大量数据训练深度学习网络,然
这里要着重提一下,很多人遇到同一个问题, 后用训练好的深度学习进行实际应用,从而检验研
直接利用模 型模拟的数 据训练和测 试深度学习后 究人员提出或构建模型的精度,这是一种非常好的
发现模拟数据精度非常高,然后直接用来反演实际 模型适用范围测试方案。对于高分辨率的热红外或
数据发现结果误差很大,百思不得其解,甚至怀疑 微波遥感数据,可以考虑加入纹理信息、波谱信息、
深度学习。出现这种情况的主要原因是所使用的模 时序信息等 作为辅助信 息提高参数 反演或分类或
型精度并不高,因为训练好的深度学习只与它所学 预测精度。
第4期 毛克彪等:基于大数据的遥感参数人工智能反演范式理论形成与工程技术实现 9

理论和判定条件,对农业气象遥感关键参数(土壤水
5 结论 分、地表温度、发射率、近地表空气温度和大气水汽
2023 年,ChatGPT 再次将人工智能推向高潮。事 含量)等其他参数反演的范式形成及判定条件进行了
实上,人工智能方法是一种描述信息或能量传输更接 阐述,分别给去相关参数反演范式判定条件。针对大
近现实情况的数学方法,其本质与物理方法和统计方 家使用模拟数据反演精度很高,但实际应用反演精度
法是一致的,三种(统计方法、物理方法和人工智能 不理想的问题进行了分析,结论是大家所使用的物
方法)不同的方法是人们用不同认知方式构建不同坐 理模型并不能完美的模拟真实情况,特别是一些遥
标系识别目标的手段。统计方法是人类原始的认知方 感模型的精度本身就不足,只能模拟某些特定的情
法,在经过总结和演绎推理后形成了物理方法。虽然 况。深度学习在使用模拟数据训练后直接应用会出
物理方法便于人们认识世界,但很多物理方法并没有 现较大的偏差。因此在当前大家的认知和计算机硬
完美地刻画真实情况,很多模型只是人们定义了一些 件条件下,如何基于大数据思维构建物理方法和统
数学物理变量进行的简化描述。真实世界的能量或信 计方法代表性解显得至关重要,特别是基于能量或
息流是按照量子的形式进行传输,深度学习神经元以 信息量子传输形式的真实情况进行数据采集控制是
微积分的另外一种形式更加逼近地描述了能量或信息 保证深度学习反演精度的关键。我们用被动微波数
流的真实传输情况,其精度更高。只是大部分人的认 据土壤水分和地表温度反演做了分析,这为其他参
知还没有达到这个高度,主要原因是我们生活中所使 数反演提供了具体的工程与技术实现范例,这套理
用的工具(计算机等硬件)还需要进一步提升,未来 论对于地球物理参数的分类或预测等同样适用。本
量子计算机的实现和应用对提高人们的认知将起到决 研究提出的范式理论和提高微积分量子信息流思维
定性的作用。在量子计算机等芯片硬件技术和深度学 认知及甄辨物理模型的局限对实现人工智能高精度
习神经网络一起辅助下,人类对世界的认知将大幅提 地球物理参数反演或分类或预测具有里程碑意义。
升。理论上在量子计算机的辅助下,深度学习可以无 从理论到工程应用还有很长的路要走,工程需要针
限逼近真实世界,以微积分能量和信息流的认知模式 对具体的不同情况进行细化和处理,特别是如何构
未来将取代当前物理模型的地位。当前确定人工智能 建具有大数据思维的全球大模型和局部区域的小模
方法的物理意义和通用性目的是帮助人们在现阶段理 型提升应用精度。我们希望得到国家科技部和国家
解为什么可以得到这个结果,其实我们需要做的只是 基金委的支持,将研究成果进一步推向实用,构建
证明或确定深度学习中几个输入变量(信息)可以唯 类似 GPT 的全球参数反演大模型,也期望与各相关
一确定输出变量(信息),然后采集满足条件的数据 单位和科技公司合作,使得成果转化,推动国内外
通过训练深度学习微积分的量子信息传输模型,从而 遥感参数反演大模型的理论和工程应用。
逼近真实世界。
在当前的认知条件下,为了解决人工智能应用在 参考文献
地球物理参数反演中的“黑箱”问题,使得人工智能 [1] 毛克彪,张晨阳,施建成,等. 基于人工智能的地球物理参数反演范

应用具有物理意义和可解释性及普适性,我们提出基 式理论及判定条件[J]. 智慧农业, 2023, 5(2): 161-171.

于人工智能耦合物理和统计方法的地球物理参数反演 [2] MAO K B, WANG H, SHI J C, et al. A general paradigm for

范式理论和判定条件,即先基于物理能量平衡方程进 retrieving soil moisture and surface temperature from passive

行物理逻辑推理,从理论上证明理论物理方法存在并 microwave remote sensing data based on artificial intelligence[J].

构造反演或分类或预测方程组。换一个角度,也就是 Remote Sensing, 2023, 15(7): 1793.

从量子信息传输的角度证明几个输入变量能唯一确定 [3] MAO K, SHI J, LI Z, et al. Land surface temperature and emissivity

输出变量,然后基于物理推导构建泛化的统计方法, retrieved from the AMSR passive microwave data[C/OL]. International

最后从量子信息或能量传输的真实情况对采集数据的 Geoscience and Remote Sensing Symposium (IGARSS05), 25-29

控制是形成具有物理意义和可解释及通用的地球物理 July 2005. DOI:10.1109/IGARSS.2005.1525420.

参数高精度反演或分类或预测范式与工程技术解决实 [4] 毛克彪,施建成,李召良,等. 用被动微波 AMSR 数据反演地表温度

现的关键。我们根据人工智能地球物理参数反演范式 及发射率方法研究[J]. 自然资源遥感, 2005(3):14-18.


10 农 业 大 数 据 学 报 第5卷

[5] 毛克彪,施建成,李召良,等. 一个针对被动微波数据 AMSR-E 数据 Environment,1993,43(1): 67-85.

反 演 地 表 温 度 的 物 理 统 计 算 法 [J]. 中 国 科 学 D 辑 ,2006, [19] WAN Z M, LI Z L, A Physics-based algorithm for retrieving

36(12):1170-1176. land-surface emissivity and temperature from EOS/MODIS data[J].

[6] MAO K B, SHI J C, TANG H J, et al. A neural–network technique for IEEE Transactions on Geoscience and Remote Sensing, 1997, 35:

retrieving land surface temperature from AMSR-E passive microwave 980-996.

data[C/OL]. International Geoscience and Remote Sensing [20] 毛克彪,施建成,覃志豪,等. 一个针对 ASTER 数据同时反演地表温

Symposium (IGARSS07), 23-28 July 2007. DOI:10.1109/IGARSS. 度和比辐射率的四通道算法[J]. 遥感学报,2006,10(4):593-599.

2007.44238357. [21] 毛克彪,唐华俊,李丽英,等. 一个从 MODIS 数据同时反演地表温度

[7] 毛克彪,王道龙,李滋睿,等.利用 AMSR-E 被动微波数据反演地表温 和发射率的神经网络算法[J]. 遥感信息,2007,22(4):9-15, 8.

度的神经网络算法[J]. 高技术通讯, 2009,19(11): 1195-1200. [22] 毛克彪,唐华俊,陈仲新,等. 一个用神经网络优化的针对 ASTER 数

[8] MAO K B, ZUO Z Y, SHEN X Y, et al. Retrieval of land-surface 据反演地表温度和发射率的多波段算法[J]. 国土资源遥感,2007,

temperature from AMSR2 data using a deep dynamic learning neural 19(3): 18-22.

network[J]. Chinese Geographical Science, 2018, 28(1): 1-11. [23] MAO K B, SHI J C, LI Z L, et al. An RM-NN algorithm for retrieving

[9] TAN J C, NOURELDEEN N, MAO K B, et al. Deep learning land surface temperature and emissivity from EOS/MODIS data[J].

convolutional neural network for the retrieval of land surface Journal of Geophysical Research: Atmospheres,2007,112(D21): ID

temperature from AMSR2 data in China[J]. Sensors,2019,19(13):ID D21102.

2987. [24] MAO K B, SHI J C, TANG H J, et al. A neural network technique for

[10] MAO K, TANG H, ZHANG L, et al. A method for retrieving soil separating land surface emissivity and temperature from ASTER

moisture in Tibet region by utilizing microwave index from imagery[J]. IEEE Transactions on Geoscience and Remote Sensing,

TRMM/TMI data[J]. International Journal of Remote Sensing, 2008,46(1):200-208.

2008,29(10): 2905-2925. [25] MAO K B, LI S M, WANG D L, et al. Retrieval of land surface

[11] 毛克彪,胡德勇,黄健熙,等. 针对被动微波数据 AMSR-E 数据的土 temperature and emissivity from ASTER1B data using a dynamic

壤水分反演算法[J]. 高技术通讯, 2010,20(6): 651-659. learning neural network[J]. International Journal of Remote Sensing,

[12] 谭建灿,毛克彪,左志远,等. 基于卷积神经网络和 AMSR2 微波遥 2011,32(19):5413-5423.

感的土壤水分反演研究[J]. 高技术通讯,2018,8(5):399 - 408. [26] 毛克彪,杨军,韩秀珍,等. 基于深度动态学习神经网络和辐射传输

[13] 毛克彪,覃志豪,施建成,等. 针对 MODIS 影像的劈窗算法研究[J]. 模型地表温度反演算法研究[J]. 中国农业信息,2018,30(5):47-57.

武汉大学学报(信息科学版), 2005,30(8):703-707. [27] WANG H, MAO K B, YUAN Z J, et al. A method for land surface

[14] MAO K B, QIN Z, SHI J, et al. A practical split-window algorithm for temperature retrieval based on model-data-knowledge-driven and deep

retrieving land surface temperature from MODIS data[J]. International learning[J]. Remote sensing of environment, 2021, 265: ID 112665.

Journal of Remote Sensing, 2005,26:3181-3204. [28] CRESSWELL M P, MORSE A P, THOMSON M C, et al. Estimating

[15] 毛克彪,覃志豪,宫鹏,等. 劈窗算法 LST 精度评价和参数敏感性分 surface air temperatures, from Meteosat land surface temperatures,

析[J]. 中国矿业大学学报,2005(3):318-322. using an empirical solar zenith angle model[J]. International Journal

[16] QIN Z H, DALL'OLMO G, KARNIELI A, et al. Derivation of split of Remote Sensing,1999,20(6):1125-32.

window algorithm and its sensitivity analysis for retrieving land [29] MOSTOVOY G V, KING R L, REDDY K R, et al. Statistical

surface temperature from NOAA-advanced very high resolution estimation of daily maximum and minimum air temperatures from

radiometer data[J]. Journal of Geophysical Research: Atmospheres, MODIS LST data over the state of Mississippi[J]. Mapping Sciences

2001, 106(D19): 22655-22670. & Remote Sensing,2006,43(1):78-110.

[17] WAN Z, DOZIER J. A generalized split-window algorithm for [30] 徐永明,覃志豪,万洪秀. 热红外遥感反演近地层气温的研究进展

retrieving land surface temperature measurement from space[J]. IEEE [J]. 国土资源遥感,2011(1): 9-14.

Transactions on Geoscience and Remote Sensing,1996,34:892-905. [31] MAO K B, TANG H J, WANG X F, et al. Near-surface air

[18] LI Z L, BECKER F. Feasibility of land surface temperature and temperature estimation from ASTER data based on neural network

emissivity determination from AVHRR data[J]. Remote Sensing of algorithm[J]. International Journal of Remote Sensing, 2008, 29(20):
第4期 毛克彪等:基于大数据的遥感参数人工智能反演范式理论形成与工程技术实现 11

6021-6028. in near-infrared bands around 1 μm from MODIS data by using

[32] 毛克彪,马莹,夏浪,等. 用 MODIS 数据反演近地表空气温度的 RM-NN[J]. Optics Express,2010,18(9): 9542-9554.

RM-NN 算法[J]. 高技术通讯, 2013,23(5):462-466. [37] MAO K B, SHEN X Y, ZUO Z Y, et al. An advanced radiative transfer

[33] DU B Y, MAO K B, BATENI S M, et al. A novel fully coupled and neural network scheme and evaluation for estimating water vapor

physical–statistical–deep learning method for retrieving near-surface content from MODIS data[J]. Atmosphere,2017,8(8):ID 139.

air temperature from multisource data[J]. Remote Sensing, 2022, [38] MEI R, MAO K B, SHI J, et al. A novel physics-statistical coupled

14(22): ID 5812. paradigm for retrieving integrated water vapor content based on

[34] MAO K, QIN Z, XU B, et al. The Influence analysis of water content artificial intelligence[J]. Remote Sensing, 2023,15(17):4250. https://

for the accuracy of practical split-window algorithm[C]. International doi.org/ 10.3390/rs15174250.

Geoscience and Remote Sensing Symposium (IGARSS05), 25-29 [39] CHEN K S, WU T, TSANG L, et al. Emission of rough surfaces

July 2005. DOI:10.1109/IGARSS.2005.1526538. calculated by the integral equation method with comparison to

[35] 毛克彪,唐华俊,周清波,等. 实用劈窗算法的改进及大气水汽含量 three-dimensional moment method simulations[J]. IEEE Transactions

对 精 度 影 响 评 价 [J]. 武 汉 大 学 学 报 ( 信 息 科 学 版 ),2008, 33(2): on Geoscience and Remote Sensing, 2003,44(1):90–101.

116-119. [40] 毛克彪,覃志豪,大气辐射传输模型及 MODTRAN 中大气透过率计

[36] MAO K B, LI H T, HU D Y, et al. Estimation of water vapor content 算[J]. 空间与测绘, 2004, 27(2):1-3.

引用格式:毛克彪,袁紫晋,施建成,武胜利,胡德勇,车进,董立新.基于大数据的遥感参数人工智能反演范式理论形成与工程技术实现[J].农业大数据学

报,2023,5(4):1-12.

CITATION: MAO KeBiao, YUAN ZiJin, SHI JianCheng, WU ShengLi, HU DeYong, CHE Jin, DONG LiXin. Theory and Engineering Technology

Implementation of Artificial Intelligence Retrieval Paradigm for Parameters of Remote Sensing Based on Big Data[J]. Journal of Agricultural

Big Data, 2023, 5(4):1-12.

Theory and Engineering Technology Implementation of Artificial


Intelligence Retrieval Paradigm for Parameters of Remote Sensing
Based on Big Data
MAO KeBiao1,2,3*, YUAN ZiJin1, SHI JianCheng4, WU ShengLi5, HU DeYong6, CHE Jin2, DONG LiXin5
1. State Key Laboratory of Efficient Utilization of Arid and Semi-arid Arable Land in Northern China, Institute of Agricultural Resources
and Regional Planning, Chinese Academy of Agricultural Sciences,Beijing 100081; 2. School of Physics and Electronic-Electrical
Engineering, Ningxia University, Yinchuan, 750021; 3. State Key Laboratory of Remote Sensing Science, Aerospace Information
Research Institute, Chinese Academy of Science, Beijing, 100094; 4. National Space Science Center, Chinese Academy of Sciences,
Beijing 100190; 5. National Satellite Meteorological Center, Beijing 100081; 6. College of Resource Environment & Tourism, Capital
Normal University, Beijing 100048

Abstract: In order to solve the "black box" problem of artificial intelligence application in geophysical parameter retrieval, and make
artificial intelligence applications have physical significance, interpretability, and universality, the theory and technology of deep
learning coupling physical and statistical methods are gradually being developed in various disciplinary fields. This study
summarizes the author's more than 20 years of relevant research, and presents the artificial intelligence inversion paradigms and
judgment conditions for remote sensing parameters based on the induction and deduction of the theory and judgment conditions of
artificial intelligence geophysical parameter inversion paradigms. At present, a common problem encountered in many studies is that
many artificial intelligence parameter retrieval uses theoretical simulation data to achieve high retrieval analysis accuracy, but the
actual application retrieval accuracy is not ideal. Therefore, deep learning how to couple physical and statistical methods has become
12 农 业 大 数 据 学 报 第5卷

an urgent engineering and technical challenge that needs to be addressed. We will take passive microwave soil moisture and surface
temperature retrieval as an example to illustrate that the accuracy of the physical model itself still needs to be greatly improved, or
the simulated data only represents a small portion of the actual situation. We believe that there are significant limitations in using
only physical models to simulate data for direct retrieval, and high-precision multi-source statistical data must be supplemented. At
the same time, we can also improve the physical model by directly using deep learning to simulate data training and testing with
actual data to verify the gap between the physical model and the actual situation, determine the errors of the physical model, and thus
improve the physical model. Statistical methods are the most intuitive description of human beings, while physical methods
summarize and generalize statistical methods. However, information or energy transmission in the real world is transmitted in
quantum form, and many physical models have made many simplifications without depicting real physical phenomena well.
Different neurons in deep learning are more suitable for describing and expressing the transmission methods of quantum information.
Understanding the real world through calculus quantum information flow requires improving our cognitive thinking. How to collect
data that meets the real situation (quantum information or energy transmission) is very important. We can fully utilize physical logic
reasoning to construct physical formulas and statistical methods, and use big data thinking mode to improve the accuracy of
geophysical parameter inversion under the guidance of paradigm theory and judgment condition framework. Proving through
physical logic reasoning that the input variable can uniquely determine the output variable is a fundamental condition for forming a
physically meaningful, interpretable, and universal retrieval or classification or prediction paradigm. Controlling the quality of
collected data from the perspective of quantum information (energy) transmission is the key to achieving high-precision inversion
engineering and technology for geophysical parameters. Improving the cognitive understanding of quantum information flow in
calculus and identifying the limitations of physical models are of milestone significance for achieving high-precision inversion in
artificial intelligence.
Keywords: artificial intelligence; deep learning; retrieval paradigm; physical logic derivation; big data

You might also like