基于深度对称密集连接全卷积网络的高分辨率遥感影像语义分割框架 SDFCN

撰写于 2018-09-27 修改于 2019-04-16 分类 遥感影像分类 标签 深度学习 / 遥感影像分类 / FCN / 语义分割

Symmetrical Dense-Shortcut Deep Fully Convolutional Networks for Semantic Segmentation of Very-High-Resolution Remote Sensing Images 链接
Chen G, Zhang X, Wang Q, et al.
IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018.SCI

针对高分辨率遥感影像语义分割问题，本文提出了基于对称全卷积网络的遥感影像语义分割框架，解决了通用深度全卷积网络在大幅遥感影像中因分块而产生的结果不连续和椒盐噪声的问题，提高了分割分类精度。目前该方法已成功应用于地理国情普查与监测应用中。

1. 简介

近年来，遥感影像空间分辨率越来越高，面向像素的分类方法（PBIC）与面向对象的分类方法（OBIC）成为了两大高分辨率影像分类的主流框架。然而，PBIC与OBIC框架各自均存在着缺陷。随着深度学习（DL）技术的发展，基于全卷积网络（FCN）的端到端（end-to-end）语义分割算法在高分辨率遥感影像取得了比传统框架更优的影像分类成绩。然而，大多数相关研究需要额外的数据（如DSM等）或者用额外的先验知识（ImageNet预训练权重等）。与此同时，大部分研究也没有讨论如何针对大场景的遥感影像优化计算方法与合并策略（overlay policy）。

针对上述问题，本文设计了两种基于FCN的语义分割框架：SNFCN与SDFCN。在训练过程中，这两个框架模型直接在ISPRS的语义分割数据集中从0开始训练（from scratch），并且忽略DSM等额外辅助数据。此外，我们还设计并实施了一系列实验，来分析这些框架与合并策略的效率与有效性。本文的贡献主要有以下三点：

1. 我们设计了SNFCN与SDFCN两个基于密集对称连接结构（dense-shortcut connection structures）的语义分割框架，取得了比传统模型更高的总体分类精度（OA）；
2. 我们在实验中测试了模型中两种基础结构（VGG与shortcut-block结构）；
3. 在框架的后处理算法中，采用了重叠简单投票法，有效的抑制了椒盐噪声和块效应。

2. 方法与框架

本文提出的FCN框架结构图如下：

2.1 编码器与解码器

绝大多数FCN网络都分为编码器（encoders）与解码器（decoders）两部分。编码器部分与传统的CNN网络类似，而解码器通常由转置卷积层或上采样层组成。本文的框架中，我们设计夹了一个对称的编码-解码及结构，类似于二维化的栈式自编码器。

我们框架中编码器由图2中的各种卷积block组成。框架中的解码器采用与SegNet相同的思路,并采用上采样代替转置卷积层，以减少待训练参数数量。

2.2 卷积Block

图2（a）是传统VGG网络中的一个卷积Block，由卷积层、ReLU非线性激活层组成。图2（b）是改进后的结构，它将2个卷积层放到一起，并增加了一个BN（Batch Normalization）层，提高了模型的过拟合能力。而本文采用的图2（c）结构分为主分支与shortcut分支。主分支结构在图2（b）的基础上，进一步减少了参数数量，而分支结构仅为一个1×1的卷积层。最终，两个分支的和就是该block的输出。

2.3 网络结构

基于shortcut-block结构，本文设计了两种密集对称连接的FCN网络，SNFCN（the symmetrical normal- shortcut fully convolutional networks）与SDFCN（the symmetrical dense-shortcut fully convolutional networks），如图3所示。

SNFCN由输入层、解码器、编码器、Softmax层与输出层组成。而SDFCN在此基础上，增加了编码器与解码器之间的shortcut连接。

2.4 模型后处理

在本文语义分割框架中，将原始遥感影像按照一定的重叠度，切成128×128的影像块（patches），通过网络预测（inference）出结果后，再按照投票法进行结果融合。完整过程如图1所示。本文后续实验将根据不同的重叠度来进行定量分析。

3. 实验结果与分析

本文利用ISPRS的2个公开的遥感影像语义分割数据集（Vaihingen数据集和Potsdam数据集）进行实验。本文在实验中采用OA（Overall accuracy）、K（Kappa coefficient）与mIoU（mean intersection over union）作为实验结果的评定指标。

3.1 Vaihingen数据集实验

在Vaihingen数据集实验中，先分别测试基于VGG-block与shortcut-block的SNFCN，训练结果如下：

结果表明，基于shortcut-block的网络训练更换稳定，训练效果也更优异。然后在SNFCN与SDFCN的对比实验中，SDFCN则表现更为优秀：

实验结果也表明，当重叠度达到75%时，已经能够取得较好分类成果。与FCN-8s/16s/32s、SegNet等经典FCN模型相比，SDFCN也表现得更好。

3.1 Potsdam数据集实验

在Potsdam数据集实验中，SNFCN与SDFCN也得到类似结果：

4．结论

综合以上实验结果，本文提出的基于对称全卷积网络的遥感影像语义分割框架在高分辨率遥感影像语义分割任务中，具有可行性，可有效地提高遥感影像分类水平。

如何引用本文：

1
2
3
4
5
6
7
8
9
10
11
12

@ARTICLE{chen2018symmetrical, 
author={G. Chen and X. Zhang and Q. Wang and F. Dai and Y. Gong and K. Zhu}, 
journal={IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing}, 
title={Symmetrical Dense-Shortcut Deep Fully Convolutional Networks for Semantic Segmentation of Very-High-Resolution Remote Sensing Images}, 
year={2018}, 
volume={11}, 
number={5}, 
pages={1633-1644}, 
keywords={computer vision;geophysical image processing;image segmentation;remote sensing;semantic segmentation;symmetrical dense-shortcut deep fully convolutional networks;Convolutional neural networks (CNN);deep learning (DL);fully convolutional networks (FCN)}, 
doi={10.1109/JSTARS.2018.2810320}, 
ISSN={1939-1404}, 
month={May},}