原文：《HyperViTGAN: Semi-supervised Generative Adversarial Network with Transformer for Hyperspectral Image Classification》

摘要

近年来，生成对抗网络（GAN）在高光谱图像（HSI）分类中取得了许多优异的成果，因为GAN可以有效解决HSI分类中训练样本有限的困境。然而，由于HSI数据的类不平衡问题，GAN总是将少数类样本与假标签相关联。为了解决这个问题，我们首先提出了一个包含Transformer的半监督生成对抗网络，称为HyperViTGAN。 所提出的HyperViTGAN设计有一个外部半监督分类器，以避免鉴别器执行分类和鉴别任务时的自相矛盾。具有跳跃连接的生成器和鉴别器用于通过对抗性学习生成HSI补丁。提出的HyperViTGAN捕获语义上下文和低级纹理以减少关键信息的丢失。此外，HyperViTGAN的泛化能力通过使用数据增强得到提升。在三个著名的 HSI 数据集 Houston 2013、Indian Pines 2010 和 Xuzhou 上的实验结果表明，与当前最先进的分类模型相比，所提出的模型实现了具有竞争力的HSI分类性能。

本文思路

尽管GAN与卷积神经网络（CNN）和RNN相结合在HSI分类中取得了有竞争力的结果，但在针对序列数据的方法仍然存在一些局限性。对于CNN来说，对于类别众多、光谱特征极其相似的HSI，很难很好地捕捉到序列属性，此外，CNN过于关注空间信息，扭曲了频谱上学习特征中的序列信息。以长短期记忆（LSTM）[34]和GRU[35]为代表的RNN是为顺序数据设计的。RNN能够像顺序网络一样从顺序数据中提取丰富的上下文语义。然而，RNN中的有效光谱信息存储在单个碎片神经元中，无法有效保留超长数据依赖性。此外，顺序网络结构使得难以有效地扩展和并行化LSTM和GRUs的计算。Transformer[36]的出现成功解决了CNN在捕获远程信息方面的不足。与 RNN 相比，Transformer允许并行计算，这减少了训练时间和由于长期依赖性导致的性能下降。计算两个位置之间的相关性所需的操作次数不会随着距离的增加而增加，其自注意力模块比 CNN 更容易捕获远程信息，使Transformer成为当今最前沿的模型之一。视觉 Transformer（ViT）[37]表明，Transformer不仅在自然语言处理（NLP）方面表现出色，而且在图像分类方面也取得了出色的性能。当前最先进的Transformer骨干网络在HSI分类领域也表现出了卓越的性能。

本文方法

在本文中，我们首先针对HSI分类任务提出了一种基于半监督GAN的新型模型HyperViTGAN，并结合目前用于 HSI 分类的前沿且有前途的 Transformer。三个精心设计的基于高光谱ViT的级联元素——生成器、鉴别器和外部分类器——构成了 HyperViTGAN。设计一个具有单个判别输出的判别器和一个具有单个分类输出的外部分类器，可以有效消除当判别器执行分类和判别任务时的自相矛盾。此外，由于HyperViTGAN是专门为HSI设计的，它可以更好地保存频谱序列信息，以避免关键信息的丢失。同时，HyperViTGAN通过数据增强可以获得更好的泛化能力。 本文贡献如下：

1. 本文首次提出了一个完全基于Transformer的HSI GAN——HyperViTGAN。HyperViTGAN为单一的判别任务和单一的分类任务分别设计了不同架构的判别器和外部半监督分类器。通过对抗学习和半监督学习，HyperViTGAN可以生成高光谱HSI patch，同时缓解HSI中类别不平衡的挑战。
2. 设计了级联架构和跳跃连接，用于生成器、判别器和分类器，以提供类似于内存的信息，从而避免关键组件的丢失并提高分类性能。

原文：《Semi-Supervised Classification of Hyperspectral Data Based on Generative Adversarial Networks and Neighborhood Majority Voting》

本文思路

GAN 最近已成为一种流行的深度学习方法，并在许多视觉生成任务中取得了更多成功。因为它可以同时利用未标记的数据和标记数据，它在半监督学习方面取得了巨大突破。然而，GANs通常是为二维图像定制的。在文[7]中，设计了一维GAN来训练高光谱像素的光谱信息，可用于半监督HSIs分类。

高光谱生成对抗网络

如图 1 所示，我们通过采用和修改 CNN 架构来设计 GAN。 在一维生成器 G 中，Ful. Con. 是一个全连接层，它以均匀的噪声分布 Z 作为一维输入，但结果被重塑为二维张量，并用作卷积堆栈的开始。 UpSampling 层用于表示反向最大池化以将前层重新缩放到所需的大小。 Conv层是CNN中的卷积层，用于提取输入的特征。 Conv 之后是 Batch Normalization 层，它通过将每个单元的输入标准化为零均值和单位方差来稳定学习。 最后一层将输出生成的样本，该样本将作为“fake”输入提供给 D。 当模型在所有样本上训练后，D 将包含所有样本的特征，我们可以使用这些提取的特征进行光谱分类。

光谱-空间分类

当GAN训练完成后，我们将得到训练良好的G，可以生成像真实数据一样的数据，以及训练良好的D，可以包含所有未标记样本的特征。我们使用来自最后一个 Conv 层的鉴别器的卷积特征并构建一个小的 CNN 来分类这些光谱特征。 CNN的输入是通过D模型获得的一维光谱特征。Conv 层是或的一维卷积。卷积层计算输出特征图。 卷积后，我们可以得到特征图。Maxpooling 层可以减少特征图的尺寸，它独立地对输入的每个深度切片进行操作，并在空间上调整其大小。该层将区域的最大值作为输出，然后输出特征图的下采样。CNN 的最后（顶层）层是一个分类器，例如 Softmax 层，它将输出样本所属类别的概率。 在几个特征提取阶段之后，整个网络使用损失函数（例如经典最小二乘输出）通过反向传播过程进行训练。 在 HSI 中，一个像素极有可能与相邻像素属于同一类。 受[11]的启发，我们的方法设计了多数表决策略。 图 1 的步骤 3 说明了在 3×3 窗口中使用相邻像素进行联合分类的示例。 中央测试像素的最终标签可以通过多数表决策略来确定，该策略将的标签设置为邻域中标签数最大的标签。

模型架构

原文：《Semi-Supervised Learning via Convolutional Neural Network for Hyperspectral Image Classification》

摘要

为了利用高光谱图像 (HSI) 中的未标记数据，提出了一种基于卷积神经网络 (CNN) 的简单但有效的半监督学习方法用于 HSI 分类。 首先，我们通过将未标记数据的聚类损失函数与标记数据的 softmax 损失函数相结合来定义损失函数。 在这里，从 CNN 中提取的标记特征不仅用于训练分类器，还提供锚点以通过 K-means 方法初始化一组聚类中心。 然后，使用所有数据联合训练深度网络进行 HSI 分类。 实验结果表明，我们的方法可以取得与传统的基于 CNN 的监督学习方法相比的结果。 同时，我们的方法网络结构简单，易于训练。

本文方法

在本文中，提出了一种通过 CNN 进行 HSI 分类的简单但有效的半监督学习方法。 不同于传统的半监督深度网络方法先使用未标记数据预训练网络，然后采用标记数据微调网络，我们的方法同时使用标记样本和未标记样本训练深度网络。 本文的主要贡献可归纳如下：

1. 我们开发了一个损失函数，其中包括分别针对未标记和标记样本的聚类损失项和 softmax 损失项，聚类损失项有助于提供类判别函数。
2. 我们采用从标记样本中提取的一些有限特征作为锚来初始化聚类中心，并使用所有样本优化这个深度网络。 因此，我们的方法可以有效地提取强大的特征，并利用有限的标记样本对高光谱图像进行分类。

提出的方法

网络结构

我们方法的网络结构如图1所示，网络输入包括标记和未标记样本，这些样本是从大小为的HSI中裁剪而来的，其中是光谱带的数目，本文将设为9。在卷积过程中，我们可以使用大小为的核作为卷积核，其中是来自最后一层的输出特征地图的数量。设计的CNN结构包括4个卷积层和一个全连通层，每个卷积层后面都有一个整流线性单元 (ReLU) 层作为激活函数。CNN的输出相应地包含已标记和未标记的特征向量。分类步骤采用Softmax分类器，使用K-means完成半监督聚类过程。

原文：《Semi-Active Convolutional Neural Networks for Hyperspectral Image Classification》

本文思路

1. HS图像容易出现昂贵且耗时的标签标注问题，同时在分类过程中有大量的未标记数据。如何在调查场景中选择样本，无论是标记还是未标记的，并充分利用它们来扩大深度分类器的能力正在变得更具不可忽略的。
2. 通过根据当前模型的不确定性测量标准主动采样信息像素，包含AL的先进HSI分类算法总是能够减轻对足够标记的需求，并获得比经典分类算法更好的性能。
3. AL和SSL在HSI分类的背景下整合这两种互补技术并取得了良好的性能，但是一方面，它们对深度分类器的相互影响仍然缺少研究。另一方面，现有的大多数方法都依赖于复杂的特征提取和选择标准设计，这可能会限制它们在更广泛的情况下的实用性和可扩展性。
4. 因此，在本文中，我们提出了一个统一的 SSAL 框架，通过以半主动的方式学习 CNN。

本文贡献

1. 设计了一种新的半主动HSI分类框架工作，通过学习半监督CNNSA-CNN，简称SA-CNN，通过迭代的方式主动选择标记数据和未标记数据，允许CNN在有限的标记数据下学习更具区分性的特征。
2. 展示了三种直观但有效的AL调度，通过逐步添加主动选择的训练样本，可以很好地拟合网络训练，进一步使训练后的深度分类器具有更强的数据自适应能力。

本文方法

方法总览

为了进一步消除深度模型对大量标记训练样本的强烈依赖，我们提出了半主动学习框架，即同时主动选择标记和未标记数据，从而可以利用更多的全局数据结构信息 相互关联的监督和伪监督允许以渐进的方式相互促进，如图 2 中的工作流程所示。 此外，我们将提出的 SA-CNN 与针对训练集和测试集之间的数据分布差异而设计的三个 AL 计划相结合，从而使我们的方法能够更好地泛化处理各种 HSI 数据集。 上图框架：我们的网络通过同时利用监督和伪监督信息以渐进的方式进行训练。 在每次迭代中，我们首先主动选择那些基于 SLIC 产生高标签一致性的样本，如绿色标记的超像素，及其伪标签来构建可靠的伪标签集。 然后，我们根据三个建议的Schedule对其余样本进行 AL 过程，这些样本在红色超像素中构成高度不一致的语义。 通过这种方式，我们的框架有望充分利用未标记部分的知识，进一步提高 AL 的效率和有效性，实现半 AL。

原文：《A Two-Branch Network with Semi-Supervised Learning for Hyperspectral Classification》

主要问题

一维卷积网络的输入是仅由中心像素组成的向量，当它们是噪声或混合像素时，这可能不完全合适。

主要方法

1. 数据重采样：对于不平衡的训练数据，我们引入了一种数据重采样方法，能够在保持数据多样性的同时重新平衡训练数据。
2. 双分支网络：我们提出了一种双分支结构来提取图像块的多尺度特征，以确保更可靠的图像描述符。
3. 半监督学习：我们从我们的网络中选择一些具有高置信度的分类数据，以迭代方式扩充小训练数据。

双分支网络

图1为双分支网络，有两个并行卷积分支，一个全连接层和一个softmax层，输入patch大小为17×17。对于上半部分分支，输入patch大小为16×16。下分支类似于上分支，但是更多的注重多尺度信息。具体的，在不改变中心点的情况下，我们随机剪裁图片到。为了保证输出大小不变，我们在下分支的最后一个池化层采用RoIAlign操作。 这种双分支结构使我们能够从多尺度视图中学习特征，并使网络聚焦于patch的中心，而不是次要边缘。

训练方法

1. 基于级联特征的交叉熵损失函数直接对整个网络进行优化。
2. 针对两个卷积分支各自的特点，分别利用交叉熵函数对其进行优化，同时基于融合后的特征对整个网络进行优化。
3. 首先优化上支路，然后交替优化下支路和最后一层全连接层。

半监督学习

由于训练样本数量较少，许多深度模型容易出现过拟合问题。我们的研究表明，在训练数据中添加某些验证样本可以显著提高整体性能，即使这些添加的样本的标签并不都是正确的。这启发我们在训练过程中引入具有特定数据选择标准的半监督学习。准确地说，我们利用上述三个分类器来预测每个验证样本的标签并输出其置信值。我们只选择具有相同预测标签和至少两个分类器的高置信度的验证样本，对它们进行训练以扩大数据集，并再次使用三种训练方法对网络进行训练。这一策略带来了一个额外的优势，它加强了第三分类器，它做出了不同的决定，学习可信的标签。这个过程反复重复，直到找不到明显的改善。

预测

在训练过程中，下分支的输入大小在的范围内；而在测试过程中，为了减少预测结果的不确定性，我们将下分支的输入大小固定为。最终结果由三个分类器的预测投票决定。如果它们之间的预测不一致，则将置信度最高的标签设置为最终结果。

结果分析

1. 三个模型的结合提高了预测的可靠性
2. 通过半监督学习增加了数据，增加了训练样本的多样性。

原文：《Semi-supervised convolutional generative adversarial network for hyperspectral image classification》

主要问题

1. 获取标记样本既耗时又昂贵，基于深度学习的分类模型包含大量的系数，需要足够的样本进行训练，因此基于深度学习的分类方法将面临过拟合问题。严重的过拟合问题会导致训练过程中训练精度较高，但在测试阶段表现较差的现象。
2. 现有的基于GAN的HSI分类方法没有利用3D深度残差网络（ResNet）的优良分类能力，这些模型也没有综合利用生成样本、标记样本和未标记样本的互补特征进行半监督分类。

解决方法

1. 半监督学习通过生成模型、低密度分离、基于图和基于包装器的方法，同时利用标记样本和未标记样本来提高模型泛化能力。本文提出的方法同时使用生成数据、标记样本和未标记样本来训练鉴别器，有效地提高了模型的泛化能力和分类性能
2. 在GAN框架中，3D全卷积网络和3D深层ResNet可以结合起来，分别利用它们在图像生成和分类方面的能力，将生成的样本、标记的样本和未标记的样本整合在一起，可以提高识别器的分类精度。

GAN

标准GAN是一种新颖的生成模型，它包含一个生成模型和一个判别模型，并同时训练两个模型，生成器捕获真实训练数据的分布并输出伪样本，而鉴别器试图判断输入样本来自生成数据还是真实数据。GAN的训练过程是一个两人对抗性博弈，其中鉴别器学习建立输入样本的概率是数据分布或生成模型分布，而试图最大化出错的概率。对抗训练过程使两个参与者提高了他们的表现，直到他们最终处于纳什均衡。 假设真实训练样本具有分布，并且输入噪声具有数据分布，生成器将输入噪声映射到生成样本空间，而鉴别器估计输入样本来自训练数据而不是的概率。在对抗性训练过程中，我们将最大化来为相应的训练或生成的样本分配正确的标签，同时训练来最小化也就是生成的假数据无限接近真实数据。因此对于生成模型来说，为了尽可能欺骗判别模型。两人极大极小对策的最终函数为：

其中是概率期望值的经验估计。 3D-GAN是为了解决3D立方体样本的生成问题而提出的，它使用体积卷积网络从概率空间生成3D对象[28]。对于半监督学习，已经提出了几种半监督策略来指导遗传算法从未标记数据和生成数据中学习，解决了分类过程中标记样本有限的问题[29，30]。

原文：《Hyperspectral Imagery Classification Based on Semi-Supervised Broad Learning System》

主要思路

深度学习

1. 方法需要复杂的结构调整和大量的网络训练计算。
2. 存在标记样本数量有限的问题。

针对这些问题，Chen和Liu[20]提出了一种新的广义学习系统(BLS)，提供一种可选的学习方法。该方法基于随机向量函数链接神经网络(RVFLNN)。首先，将原始数据通过随机权重映射为映射特征(MF)，并存储在特征节点中。接下来，同样通过随机权重映射MF，得到增强节点(EN)进行广泛展开。最后，用岭回归逼近法求解范数的归一化优化，得到最终网络权值。与DL相比，BLS具有以下优势:(1)BLS仅由三个部分组成，而深度学习需要由多个非线性单元叠加的深层结构。因此，BLS的结构更简单。(2) BLS采用岭回归法求解网络权值，DL采用梯度下降法求解。当权重没有很好地初始化时，DL需要更多的迭代。因此，BLS的训练过程更简单、更快。(3) BLS中从输入数据到MF和从MF到EN的连接权值随机生成，可训练参数仅包括从MF和EN到输出节点的连接权值。因此，与DL相比，BLS一般需要较少的网络参数训练，因此标记训练样本较少。

基于图的SSL方法

1. 算法性能受所构造图的影响较大。
2. 相邻参数具有较高的灵敏度。

考虑数据类结构，Shao, et al.[28]提出了一个类概率(CP)结构，它可以通过类概率矩阵来表示每个样本与每个类之间的关系。本文采用此方法。

本文方法

提出了一种基于半监督BLS(半监督BLS)的HSI分类方法。

1. 这是第一次尝试将BLS应用于HSI分类任务。所提出的SBLS可以获得更高的HSI分类精度和更快的训练速度。
2. 在扩展半监督BLS中引入类概率结构，既能利用有限数量的标记样本，又能利用大量的未标记样本。

原文：《Self-Supervised Assisted Semi-Supervised Residual Network for Hyperspectral Image Classification》

主要问题

1. 由于HSI中标记样本的稀缺，基于dl的策略无法获得令人满意的精度。HSI的采集和标记过程复杂、耗时、成本高。因此，标记训练样本的数量受到很大限制，训练样本的不足是高效HSI分类方法的主要障碍之一。
2. 自训练需要高置信度样本及其“伪标签”来更新训练集，一旦“伪标签”不正确，性能就会变差。基于图的方法应该构建一个结构图，但由于潜在的空间谱结构信息不容易学习，因此比较麻烦。

解决方法

1. 通过设计统一的多任务SSRNet，将自监督学习集成到HSI分类的半监督框架中。SSRNet具有竞争性的性能，特别是在少量标记样本的情况下。
2. 提出了一种半监督数据随机扰动策略。该扰动策略是在HSI特征图上分别沿空间维度随机选择的一些光谱段的双向移动。
3. SSRNet 提出了两种类型的自监督辅助任务。这两个辅助任务，即掩蔽波段重建和光谱顺序预测，可以帮助网络学习判别特征。

本文方法

在半监督分支中，我们用一种随机扰动，即谱特征偏移，对mean-teacher框架进行放大。此外，我们设计了一个残差特征提取网络(RNet)来学习光谱空间特征。在自监督分支中，研究了两个辅助任务：掩蔽波段重建和光谱顺序预测，以帮助训练所提出的SSRNet。图1说明了SSRNet的轮廓。

SSRNet的总体框架

HSI数据立方体用表示。和分别表示恒生指数的宽度和高度。是光谱频带数。中每个像素对应的类别标签集为，其中C为土地覆盖类别数量。首先，在保持空间大小不变的前提下，利用主成分分析(PCA)降低HSI的谱维数；我们用表示主成分分析后的数据立方体，其中是主成分分析后的输入，是主成分分析后的光谱频带数，在我们的框架中设为30。然后将HSI以每个像素为中心分割成重叠的3D小块，用表示。为SSRNet的输入数据，每个3D-patch的标签由中心像素的标签决定。并将，即补丁大小设为11。 图1说明了所提议的SSRNet的示意图。首先，我们利用主成分分析来降低HSI的谱维数。然后以每个像素相邻的立方体为中心，形成新的数据表示。在半监督分支中，恒指数据存在随机扰动：谱特征偏移。基本模块以扰动数据和未扰动数据作为输入。学生模型和教师模型具有统一的模型框架和独特的权重更新策略。RNet由一个基本模块、一个学生模型和一个教师模型组成。自监督分支包括两个附加任务：掩蔽波段重建和光谱顺序预测。最后，研究了多任务优化框架。

原文：《Fine-Grained Classification of Hyperspectral Imagery Based on Deep Learning》

主要问题

1. 传统的分类方法不能很好地处理HSI的细粒度分类。细粒度分类是对类别数量相对较多、差异较小的数据进行分类。
2. 由于标记样本的难度和耗时，标记的训练样本通常是有限的。有必要使用未标记的样本，这可以用来提高分类性能。

解决方法

1. 将密集连接卷积神经网络(DenseNet)应用于HSI的监督分类。此外，将预处理(即PCA和AE)和后处理(即CRF)技术与DenseNet相结合，进一步提高分类性能。
2. 提出了一种用于HSI半监督分类的半监督深度模型semi-GAN。Semi-GAN有效地利用了未标记的样品，提高了分类性能。

原文：《Geologic Body Classification of Hyperspectral Data Based on Dilated Convolution Neural Network at Tianshan_Area》

主要思路

我们采用了一种具有很强特征提取能力的经典神经网络CNN，它有助于在不需要太多人工干预的情况下进行分类任务。但受卷积层核大小的限制，除非CNN模型具有更深层次的结构，否则传统的CNN很难提取高层特征。然而，有了更深层次的架构，该模型将有更高的过度适应风险。针对这一问题，我们采用了一种新的卷积运算，称为膨胀卷积，它最初是为分割任务而提出的。分割需要结合全分辨率输出进行多尺度上下文推理，但传统的分割网络通过连续的池化和子采样层集成多尺度上下文信息，从而降低分辨率，直到获得全局预测。在池化层之后，会丢失有关特征的空间信息，这将影响分类网络的性能。在不使用最大池化层的情况下，我们设计了基于膨胀卷积的一维CNN模型，在不损失分辨率和覆盖率的情况下支持感受野的指数扩展，有效地提高了CNN在高光谱数据分类上的性能。

本文方法

一维膨胀卷积

在二维图像分割中首次提出了扩张卷积算法。与传统卷积相比，扩张卷积的核上存在孔洞，孔洞的大小为膨胀率。但对于高光谱数据，我们在不使用空间信息的情况下处理一维数据。所以我们需要把二维的扩张卷积转换成一维的扩张卷积。一维卷积的公式如下。 其中为输入，为卷积核，当涉及1-D扩张卷积时，其变化如下: 其中类似于膨胀率。当我们对输入数据进行膨胀卷积时，与传统卷积相比，感受野会扩大，而分辨率不会降低。如图1所示。

膨胀CNN的结构

我们设计了一个具有1个传统卷积层和3个扩张卷积层的CNN模型，每个卷积层的内核大小为。根据内核的大小，我们将每个卷积层的膨胀速率设为3。因为我们希望我们的模型可以从原始数据中提取尽可能多的特征，所以我们没有在第一卷积层使用扩张卷积。经过四层卷积，特征图可以得到原始数据包含的所有信息，特征图的接收字段大小将扩展到。但如果不使用膨胀卷积，感受野的大小将下降到。在每个卷积层之后，都有一个激活层，用于为我们的模型添加非线性特征。与传统CNN相比，我们没有在每个卷积层之后使用最大池化层，因为最大池化层会降低特征图的分辨率，从而扩大感受野。而且，这样会损失大量的信息，影响分类的性能。然后有两个完全连通层和两个激活层，用于将提取的特征映射到样本空间。第一个全连接层的大小是1024，第二层是激活层。第二个全连接层的大小是20，这是我们需要分类的类的数量。经过softmax激活层后，模型可以给出样本属于每个类的概率，概率最高的类即为预测结果。我们选择分类交叉熵作为损失函数，广泛应用于图像的多类分类。 其中为样本数量，为需要分类的类数，如果样本属于类，为1，否则为0，为样本属于类的概率。训练的目标是尽量减少损失，从而提高准确率。模型结构如图2所示。