本文内容来源于《测绘学报》2021年第10期（审图号GS（2021）6119号）

高光谱影像小样本分类的图卷积网络方法

左溪冰1

, 刘冰1

, 余旭初,1 张鹏强,1 高奎亮,1 朱恩泽2

1. 信息工程大学, 河南 郑州 450001;

2. 武警安徽省总队机动支队, 安徽 合肥 230041

基金项目：国家自然科学基金(41801388)

摘要：现有的基于卷积神经网络的高光谱影像分类方法通常对影像的规则正方形区域进行卷积，无法普遍适应具有不同地物分布和几何外观的影像局部区域，因此在小样本情况下的分类性能较差，而图卷积网络能对图拓扑信息所代表的不规则影像区域进行卷积。为此，本文提出基于图卷积网络的高光谱影像分类方法。该方法在构建拓扑图的过程中考虑了影像的空间光谱信息，并利用图卷积网络聚合邻居节点的特征信息。在Pavia大学、Indian Pines和Salinas 3个数据集上的试验结果表明，该方法能在训练样本较少的情况下取得较高的分类精度。

关键词：高光谱影像分类局部二值模式图卷积网络小样本

引文格式：左溪冰, 刘冰, 余旭初, 等. 高光谱影像小样本分类的图卷积网络方法. 测绘学报，2021，50(10)：1358-1369. DOI: 10.11947/j.AGCS.2021.20200155

ZUO Xibing, LIU Bing, YU Xuchu, et al. Graph convolutional network method for small sample classification of hyperspectral images. Acta Geodaetica et Cartographica Sinica, 2021, 50(10): 1358-1369. DOI: 10.11947/j.AGCS.2021.20200155

阅读全文：
xb.sinomaps/article/2021/1001-1595/2021-10-1358.htm

引 言

高光谱遥感能够同时获取地物空间维和光谱维信息，具有图谱合一的特点。高光谱影像分类是高光谱影像应用的重要环节，其主要任务是为图像中的每一个像元点赋予唯一的类别标识。高光谱影像的分类任务通常需要大量的标记样本，而标记样本的获取是一项费时费力的工作。同时，高光谱影像分类中高维和小样本的特性也容易产生维数灾难问题。

早期的高光谱影像分类方法侧重于探索影像的光谱特征在分类中的作用，在这些方法中，K近邻(KNN)分类器和支持向量机(SVM)因其良好的分类性能而得到了广泛的应用。此外，基于图的方法、极限学习机、基于稀疏表达的方法也被进一步应用于高光谱影像分类。然而，这些像素级分类器没有考虑影像的空间上下文信息，得到的分类结果不尽人意。后续研究表明，综合利用高光谱影像的空间和光谱信息能有效提高分类精度，因此，拓展形态学剖面(EMP)、马尔可夫随机场(MRF)、局部二值模式(LBP)、Gabor滤波器等方法被应用于高光谱影像的空间特征提取，进一步提高了影像的分类精度。虽然早期的分类方法在影像分类中扮演了重要的角色，但是它们在很大程度上依赖于人为设计的特征，具有很强的经验性。

在深度学习时代，基于卷积神经网络的方法能够通过一系列的层次结构从原始影像数据中自动提取抽象的特征，避免了复杂的人为特征设计，因此取得了广泛应用。目前大多数基于卷积神经网络的高光谱影像分类方法大致可以分为光谱特征提取网络、空间特征提取网络和空谱特征提取网络。光谱特征提取网络旨在通过堆叠的层次结构提取影像的深层光谱特征。经典的光谱特征提取网络有堆栈式自编码器(SAE)、深度置信网络(DBN)、一维卷积神经网络(1D-CNN)、一维生成对抗网络和循环神经网络(RNN)。此外，文献利用卷积神经网络探索了高光谱影像像素对的光谱特征。文献利用字典学习来训练卷积神经网络，取得了更好的分类效果。与光谱特征网络不同，空间特征提取网络利用深度网络提取影像的空间信息，并将学习到的空间特征与其他特征提取技术提取的光谱特征进行融合，以获得更高的分类精度。文献将主成分分析(PCA)和二维卷积神经网络(2D-CNN)相结合，提取了影像的空间和光谱信息。文献提出了一种多尺度的空间特征提取网络，并使用权重机制融合了不同尺度的空间结构信息和光谱信息，取得了更佳的分类效果。空谱特征提取网络能够同时提取影像的空谱联合信息。其中，三维卷积神经网络(3D-CNN)利用三维卷积层对高光谱影像立方体进行端到端的空谱特征提取，取得了较好的分类结果。文献利用残差学习模块构建了深层三维卷积网络(Res-3D-CNN)，有效地解决了三维卷积网络的深层退化问题。上述基于卷积神经网络的方法虽然取得了一定进展，但是它们只对影像的规则格网区域进行卷积，在特征提取过程中无法很好地表达影像的不规则局部区域，导致在训练样本较少的情况下出现误分类。

近年来，图神经网络(GNN)引起了越来越多的关注。文献在不动点理论的基础上首次提出了GNN模型，它可以聚合图的节点特征，并将整个图嵌入到新的特征空间中。文献在频谱图理论的基础上提出了卷积神经网络的表述。在频谱图理论的基础上，文献提出了GCN模型，该模型基于非欧几里得数据进行运算，通过隐含层的学习，可以聚合图中每个图节点的邻居特征信息，进而对节点特征和局部图结构进行编码。若将高光谱影像中的每个像素视作一个图节点，则可以将高光谱影像转换为图结构数据，进而利用GCN对影像中的不规则局部区域进行表达，以提高影像在小样本情况下的分类精度。

本文设计了一种基于图卷积网络的高光谱影像分类方法(rotation-invariant uniform local binary pattern and graph convolutional neural network，RULBP GCN)，该方法在纹理特征提取的基础上，通过K近邻方法将影像构建为拓扑图结构，并输入图卷积网络模型进行影像分类，以提高影像在小样本情况下的分类精度。

1 本文方法

本文方法的总体流程如图 1所示，该方法主要由3部分组成：LBP纹理特征提取，K近邻构图和图卷积网络分类。对于原始高光谱影像，首先，通过主成分分析(PCA)将影像降维至3个波段；然后，提取3个波段的LBP纹理特征，并利用K近邻方法对影像进行构图；最后，使用图卷积网络提取图节点的特征，并利用softmax函数生成每个节点的预测标签，进而得到影像的分类结果图。

图 1 基于图卷积网络的高光谱影像分类方法流程Fig. 1 Flow chart of hyperspectral image classification method based on graph convolution network

图选项

文献指出，结合高光谱影像的LBP纹理特征和光谱特征能够显著提升影像在小样本情况下的分类精度。本文方法利用局部二值模式(LBP)提取影像的局部空间特征，并将提取得到的空间特征与影像的光谱特征相结合，综合利用影像的空间信息和光谱信息。另外，在特征提取的基础上，使用K近邻方法将影像构图，充分建立影像不同样本点之间的全局关联。随后，基于样本点之间的关联关系，利用图卷积网络聚合不同样本点的特征，以充分利用影像的样本信息，提高影像在小样本条件下的分类精度。下文将分别介绍图卷积网络、K近邻构图和局部二值模式。

1.1 图卷积网络

图卷积网络是一种可以直接对图结构数据进行操作的特征提取器，它可以通过图卷积操作，充分利用节点之间的依赖关系和每个邻居节点的特征信息。因此，与基于卷积神经网络的深度学习模型不同，GCN可以直接应用于不规则数据。

图是一种非欧几里得数据结构，可以定义为G=(V,E)，其中V和E分别是高光谱影像构图后对应的节点集和边集。图G对应的邻接矩阵记为A∈RN×N，记录影像各像素点之间的邻接关系。度矩阵记为Dii=

，记录影像各像素点的邻居点数量。则图卷积可以定义为傅里叶域中图像信号x∈RN与滤波器gθ=diag(θ)的乘积，计算公式为

(1)

式中，U是归一化图拉普拉斯矩阵的特征向量组成的矩阵；UTx是x的图傅里叶变换。图拉普拉斯矩阵的计算公式为

(2)

式中，L为图拉普拉斯矩阵；Λ是L的特征值组成的对角矩阵。考虑到高光谱影像构图时像素节点较多，为便于在大图中计算L的特征值分解，使用切比雪夫多项式Tk(x)直到第K阶的截断展开来近似式(2)，得到的计算公式为

(3)

式中，

是L的最大特征值；θ∈Rk是切比雪夫系数向量。理论上，图卷积模型是由式(3)所示的卷积层堆叠而成，为进一步避免过度拟合，减少计算量，文献限制K=1, 将λmax近似为2，同时约束参数数量，计算公式为

(4)

随后引入“再归一化”，即

式中，Ã=A IN，

。随后将上述定义推广到高维信号X∈RN×C的情况，在GCN模型的第l 1层有

(5)

式中，H(0)=X为原始高光谱影像构图后的数据；H(l)是第l 1层的输入；W(l)是第l 1层的权值矩阵；σ代表激活函数。GCN的损失函数为

(6)

式中，yL是标记像素点的索引集合；F是输出层的特征图个数，在本文中对应高光谱影像的地物类别数量；Ylf和Zlf分别是真实标签的索引矩阵和预测标签的索引矩阵。在训练过程中，通过反向传播算法对GCN模型的所有参数进行优化，使得损失函数L最小。

1.2 K近邻构图

由于图卷积网络只能直接作用于图结构数据，因此需要将高光谱影像构建为拓扑图结构。这里将影像的每一个像素视作图的节点，通过K近邻方法构建拓扑图。高光谱影像视为特征矩阵X∈RN×C，其中N为像素个数，C为特征向量的维数。两个样本xi与j之间的欧氏距离dij的计算公式为

(7)

所有样本对的距离度量可以构成对称距离矩阵D=dij∈RN×N。例如，矩阵D中的dij表示第i个像素到第j个像素的欧氏距离。为了方便构图，这里选择距离像素xi最近的K个像素作为像素xi的邻居节点，并将它们用边连接起来，最终将高光谱影像构造成一个无向图。

1.3 局部二值模式

为进一步提高影像的分类精度，通过LBP的方法提取影像的纹理特征，并结合光谱特征进行分类。LBP是一种用来描述图像局部纹理特征的算子，具有原理简单、计算复杂度低、旋转不变性和灰度不变性等优势。对于一个给定的中心像素(x,y)，其LBP码的计算公式为

(8)

式中，R表示中心像素的邻域半径；P表示邻域内采样的像素点个数；LBP特征提取的(P,R)一般取值为(8，1)；gc表示中心像素(x,y)的灰度值；g0,g1, …,gP-1表示邻域内像素的灰度值。由式(8)可知，中心像素的LBP码共有2P种，这将会增加特征提取过程中的空间复杂度和时间复杂度，因此考虑采用基于旋转不变性的等价LBP(rotation-invariant uniform local binary pattern，RULBP)，该方法计算出的RULBP码取决于二进制中0和1的跳变次数，中心像素RULBP码的具体计算公式为

(9)

式中，U表示二进制编码中从0到1或从1到0的跳变次数。图 2给出了(P,R)取(8，1)时中心像素RULBP码的两种计算示例，在图 2(a)中，二进制数00011000对应的U值为1，因此中心像素的RULBP码为2，在图 2(b)中，二进制00110011对应的U值为4，因此中心像素的RULBP码为9。由式(9)可知，当以中心像素的8邻域为窗口计算其RULBP码时，中心像素的LBP码由原来的256种减少为10种，因此采用RULBP能够有效地减少LBP码的种类，提高了LBP特征提取的稳定性。

图 2 8邻域窗口内中心像素的LBP码计算示例Fig. 2 Example of LBP code calculation of center pixel in eight-neighborhood window

图选项

对于高光谱影像数据，可以将影响的每个波段视为灰度图像，直接应用RULBP模型获取各波段中每个像素的RULBP码，并采用中心像素图像块的统计直方图作为该像素的RULBP特征。值得注意的是，统计直方图的横轴代表RULBP码的种类，其范围为，纵轴代表图像块内各RULBP码出现的频率。图 3以Pavia大学数据集为例，给出了高光谱影像RULBP特征提取的具体流程，由于高光谱影像具有高维特性，且相邻波段具有高度相关性，因此首先使用主成分分析将高光谱影像降维至3个波段，然后分别对3个主成分进行RULBP特征提取，最终结合3个主成分特征与3个RULBP特征，为影像的每一个像素生成33维的特征向量。最终提取的特征包含了主要的光谱特征及RULBP提取的局部纹理特征，同时利用了高光谱影像的空间信息和光谱信息。

图 3 高光谱影像RULBP特征提取流程(以Pavia大学数据集为例)Fig. 3 Flow chart of RULBP feature extraction from hyperspectral images (taking the University of Pavia dataset as an example)

图选项

2 试验结果及分析

试验的硬件环境为16 GB内存，IntelCorei7-9750H处理器，RTX 2070显卡。本文设计的图卷积网络基于python语言和深度学习库Tensorflow-GPU开发实现。在网络的训练过程中，设置网络的迭代次数为2000次，每隔10次记录测试样本集上模型的分类准确率，并以10次为周期对学习率实施动态衰减，在训练过程中，使用Adam函数对模型的训练损失进行优化。

2.1 试验数据

为验证图卷积网络在高光谱影像分类方面的优势，选取3个常用的高光谱数据集进行分类试验，分别为Pavia大学数据集、Indian Pines数据集和Salinas数据集。

(1) Pavia大学数据集。Pavia大学数据集是由德国的机载反射光学光谱成像仪(reflective optics spectrographic imaging system，ROSIS-03)在2003年对意大利的帕维亚城成像的一部分高光谱数据，光谱覆盖范围为430~860 nm，影像大小为610×340像素，其中包含地物的像素有42 776个，空间分辨率为1.3 m，去除受噪声影响的波段后，剩余103个波段可用于分类。该数据集对9种地物进行了标注。地物类别、选取的训练样本数量、测试样本数量见表 1。

表 1 Pavia大学数据集划分情况Tab. 1 Data set division of Pavia university data set

序号

地物类别

训练集

测试集

1

asphalt

5/10/15/20/25

6631

2

meadows

5/10/15/20/25

18 649

3

gravel

5/10/15/20/25

2099

4

trees

5/10/15/20/25

3064

5

painted metal sheets

5/10/15/20/25

1345

6

bare soil

5/10/15/20/25

5029

7

bitumen

5/10/15/20/25

1330

8

self-blocking bricks

5/10/15/20/25

3682

9

shadows

5/10/15/20/25

947

总计

45/90/135/180/225

42 776

表选项

(2) Indian Pines数据集。Indian Pines数据集是由机载可视红外光谱仪(airborne visible infrared imaging spectrometer，AVIRIS)传感器于1992年对美国印第安纳州一块印度松树区域进行成像获得，光谱覆盖范围为400~2500 nm，影像大小为145×145像素，其中包含地物的像素有10 249个，空间分辨率为20 m，去除受噪声影响的波段后，剩余200个波段可用于分类。该数据集对16种地物进行了标注。地物类别、选取的训练样本数量、测试样本数量见表 2。值得注意的是，第9类地物仅包含20个像素，因此在每类地物选取的训练样本数目超过20时，第9类地物仍选取20个样本。

表 2 Indian Pines数据集划分情况Tab. 2 Data set division of Indian Pines data set

序号

类别

训练集

测试集

1

alfalfa

5/10/15/20/25

46

2

corn-notill

5/10/15/20/25

1428

3

corn-mintill

5/10/15/20/25

830

4

corn

5/10/15/20/25

237

5

grass-pasture

5/10/15/20/25

483

6

grass-trees

5/10/15/20/25

730

7

grass-pasture-mowed

5/10/15/20/25

28

8

hay-windrowed

5/10/15/20/20

478

9

oats

5/10/15/20/25

20

10

soybean-notill

5/10/15/20/25

972

11

soybean-mintill

5/10/15/20/25

2455

12

soybean-clean

5/10/15/20/25

593

13

wheat

5/10/15/20/25

205

14

woods

5/10/15/20/25

1265

15

buildings-grass-trees-drives

5/10/15/20/25

386

16

stone-steel-towers

5/10/15/20/25

93

总计

80/160/240/320/395

10 249

表选项

(3) Salinas数据集。Salinas数据集是AVIRIS光谱仪获取的美国加利福尼亚州萨利纳斯山谷区域的高光谱影像，影像大小为512×217像素，其中包含地物的像素有54 129个，空间分辨率为3.7 m，原始影像共有224个波段，去除受噪声影响的波段后，剩余204个波段可用于分类。该数据集对16种地物进行了标注。地物类别、选取的训练样本数量、测试样本数量见表 3。

表 3 Salinas数据集划分情况Tab. 3 Division of Salinas data set

序号

类别

训练集

测试集

1

brocoli_green_weeds_1

5/10/15/20/25

2009

2

brocoli_green_weeds_2

5/10/15/20/25

3726

3

fallow

5/10/15/20/25

1976

4

fallow_rough_plow

5/10/15/20/25

1394

5

fallow_smooth

5/10/15/20/25

2678

6

stubble

5/10/15/20/25

3959

7

celery

5/10/15/20/25

3579

8

grapes_untrained

5/10/15/20/25

11 271

9

soil_vinyard_develop

5/10/15/20/25

6203

10

corn_senesced_green_weeds

5/10/15/20/25

3278

11

lettuce_romaine_4wk

5/10/15/20/25

1068

12

lettuce_romaine_5wk

5/10/15/20/25

1927

13

lettuce_romaine_6wk

5/10/15/20/25

916

14

lettuce_romaine_7wk

5/10/15/20/25

1070

15

vinyard_untrained

5/10/15/20/25

7268

16

vinyard_vertical_trellis

5/10/15/20/25

1807

总计

80/160/240/320/400

54 129

表选项

2.2 试验参数设置

在GCN正式训练之前，首先需要确定最佳试验参数。试验中需要确定的参数包括每个节点的邻居节点数量K，GCN模型的网络结构以及学习率。

在K近邻构图的过程中，参数K的含义是图中每个节点的邻居数量，在试验过程中，如果K太小, 则无法充分表达节点之间的依赖关系，不利于分类精度的提高；如果K取值过大，则节点会聚合邻居节点中不利于分类的信息，进而降低分类精度。图 4(a)给出了不同K取值情况下3个数据集的分类精度，由图 4(a)可知，随着K的增加，分类精度呈现先上升后下降的趋势。为确定参数K的最佳值，在最高分类精度对应的参数附近进行K值的细粒度查找，如图 4(b)所示。在图 4(b)中，Pavia大学在K值为200时分类精度最高，Indian Pines在K值为30时分类精度最高，Salinas在K值为70时分类精度最高。因此最终在K近邻构图的过程中，Pavia大学、Indian Pines和Salinas的K值分别取为200、30和13。

图 4 不同邻居节点对应的分类精度(%)Fig. 4 Classification accuracy corresponding to different neighbor nodes (%)

图选项

与卷积神经网络类似，GCN的网络结构会影响到网络的学习能力，最终影响影像的分类精度和分类效率。表 4给出了不同网络结构对应的影像总体分类精度和训练时间，本文使用不同的节点组合来表示GCN不同的网络结构，例如，8表示包含8个节点的单个隐藏层；8-16表示分别包含8个节点和16个节点的两个隐藏层；8-16-32表示分别包含8个节点、16个节点和32个节点的3个隐藏层。表 4中加粗的数据为最高的分类精度或最少的训练时间。由表 4可知，对于3组高光谱数据集，不同网络结构对应的训练时间差别不大，因此最终选取总体分类精度较高的节点组合作为最终的网络结构，Pavia大学数据集对应的网络结构为包含32个节点的单个隐藏层，Indian Pines数据集和Salinas数据集对应的网络结构为包含64个节点的单个隐藏层。

表 4 不同网络结构对应的总体分类精度和训练时间Tab. 4 Overall classification accuracy and train time corresponding to different network structures