基于改进FCN网络的GOCI绿潮分类研究

来源:用户上传      作者:

　　摘 要：为提高GOCI影像中绿潮分类的精度和速度，并克服传统方法中阈值难以确定的缺点，基于全卷积网络，提出一种新的网络结构用于绿潮和海水分类。首先降低全卷积网络深度，然后加强网络结构中高层特征与底层特征网络的链接，最后通过Softmax层生成高级语义特征进行最终分类。在GOCI数据集上的实验结果表明，改进的网络模型可以取得很好的竞争性，召回率、F1系数和Kappa系数分别达到83.0%、84.4%和83.7%。与传统方法相比，基于深度学习模型的GOCI影像绿潮分类，不仅提供了更加详细的绿潮分布信息，而且缩短了整个绿潮解译图制作流程。
　　关键词：GOCI;绿潮分类;全卷积网络;深度学习;绿潮解译图
　　DOI：10. 11907/rjdk. 192330                                                                  开放科学（资源服务）标识码（OSID）：
　　中图分类号：TP301   文献标识码：A                 文章编号：1672-7800（2020）003-0069-05
　　Greentide Classification for GOCI Based on Improved FCN Network
　　ZHAO Zun-qiang，CHEN Xin，LIU Hui-fang，YANG Guang
　　（School of Computer Science & Engineering，Shandong University of Science & Technology，Qingdao 266590，China）
　　Abstract： In order to improve the accuracy and speed of greentide classification in GOCI images， and to overcome the shortcomings of thresholds in traditional methods， we propose a new network structure for greentide and seawater classification based on a full convolutional network. Firstly， the depth of the full convolutional network is reduced. Secondly， the link between the high-level features of the network structure and the underlying feature network is strengthened. Finally， the generated high-level semantic features are finally classified by the Softmax layer. The experimental results on the GOCI dataset show that the improved network model can achieve good competition， and the recall rate， F1 coefficient and Kappa coefficient reach 83%，84.4% and 83.7%. Compared with the existing traditional methods， the GOCI image greentide classification based on the deep learning model not only provides more detailed greentide distribution information， but also shortens the production process of the entire greentide interpretation map.
　　Key Words： GOCI; green tide classification; full convolutional network; deep learning; green tide interpretation map
　　0 引言
　　在過去的十几年中，高光谱图像（HSI）发挥了重要作用。绿潮（Green Tide）作为一种生存能力和繁殖能力较强的大型藻类[1]，其大规模暴发对我国近海岸生态环境、旅游业和海洋生产都会造成影响[2]。2008奥运会期间黄海海域爆发的绿潮，覆盖面积达到600km2，严重影响了第29届青岛国际奥帆赛的顺利进行[3]。2010年6月韩国发射了世界第一颗地球同步轨道海洋水色卫星（Geostationary Ocean Color Image，GOCI），每天可提供8景空间分辨率为500m、时间分辨率为1小时的多光谱图像[4]。由于GOCI影像能覆盖我国黄海、渤海和东海海域，目前GOCI数据已广泛应用于绿潮的检测和监测[5-6]。 　　绿潮分类是东部沿海绿潮监测的主要任务。目前基于GOCI影像的绿潮分类方法有两种：①基于某一植被指数指标[7-9];②基于特定的遥感图像处理软件直接进行特征分类。比值植被指数（Ratio Vegetation Index，RVI）在1969年首次被提出，之后创新了很多新的植被指数。如今，归一化植被指数（NDVI，Normalized Difference Vegetation Index）和增强型植被指数（EVI，Enhanced Vegetation Index）广泛应用于植被检测。Son等[10]分析了绿潮在不同水质的光谱特点，针对GOCI影像提出了一种浮动绿藻指数（IGAG，Index of floating Green Algle for GOCI）;蔡晓晴等[11]研究了GOCI图像的主流绿潮探测方法，指出NDVI方法明显优于其它植被指数且比IGAG更加稳定。除了基于某一植被指标外，曾韬等[12]采用监督分类的方法结合GIS软件对青岛近海岸进行绿潮分类;潘斌等[13]提出用光谱解混方法对GOCI影像进行绿潮覆盖面积估计，取得了一定的成果;辛蕾等提出用混合像元分解的方法对绿潮进行精细化提取。以上计算某一指数的方法需要一定的专业人士进行阈值选取，如果借助于GIS软件作监督分类，还需要提前设计特征，受限于先验知识。
　　近年基于深度学习的分类研究取得巨大进步，其中也包括遥感图像分类[14-15]，在大规模数据集上的表现往往胜过一些传统方法。作为机器学习中的一项重要技术，深度学习框架提供了一个实用的学习过程，可以自动将低级特征融合在一起，通过组合低级特征获得更高级别的特征[16]。例如可以使用传统的卷积神经网络（CNN，Convolutional Neural Network）作分类，通过对特征图不断进行卷积和池化操作，输出更加详细的高级特征。胡等[17]用CNN对高光谱图像进行分类;牟等[18]利用RNN直接对遥感图像进行特征提取;陈天华[19]等采用改进的DeepLab网络，对遥感图像中的建筑物进行分类，证明该方法对遥感图像建筑物分类有明显优势。使用深度学习模型融合GOCI影像低级特征，可以产生更加抽象的高级特征进行最终分类。与传统方法相比，改进的FCN网络具有以下优点：①不用提前设计特征;②空间信息利用更加充分;③具有良好的迁移能力;④缩短了绿潮分类流程。将深度学习方法应用到绿潮提取与分类领域是一种趋势。
　　1 模型与方法
　　1.1 全卷积神经网络
　　2012年Krizhevsky等[20]提出AlexNet网络，通过droupout方法降低网络结构中的过拟合问题，在ILSVRC比赛中夺得冠军，卷积神经网络从此又受到学术界的普遍关注。之后在AlexNet基础上诞生了很多经典的网络模型，例如Simounyan等提出的VGG和Szegedy等[21]提出的GoogleNet，都在不断创造着新纪录。2014年Jonathan Long等[22]提出全卷积神经网络（Fully Convolutional Network，FCN），其将传统CNN网络模型的全连接层转化为卷积层，然后再上采样原图像大小，即从图像级别分类进一步延伸到端到端和像素到像素级别的分类，对输入图像的尺寸不再限制。以AlexNet为例，传统的FCN模型结构如图1所示，其中包括卷积层、池化层、上采样层和Softmax分类层。
　　卷积层是卷神经网络的重要组成部分，每个卷积单元的参数通过反向传播算法优化得到，主要作用是学习和提取有效特征。以FCN卷积层为例，其计算形式可以表示为：
　　其中，[l]表示层数，[Xlj]表示第[l]层卷积后第[j]个神经元的输出，[Xl-1j]代表第[l-1]层卷积后第[i]个神经元的输出，“[？]”代表卷積操作，[Wlij]表示卷积核，[Blj]表示偏置项。
　　池化层又叫下采样层，获得更加抽象的特征以提高网络鲁棒性，主要有平均池化和最大池化，其中平均池化计算公式为：
　　其中，[n]为局部抽样窗口大小，[Xl-1j]表示第[i-1]层第[j]个卷积神经元输出，[Xlj]表示池化后的输出。
　　上采样层（反卷积）是卷积的逆过程，是一种特殊的卷积。由于经过池化层作用，使得特征图尺寸和分辨率都会小于原输入图像，并且会丢失一部分信息。因此反卷积层的主要作用是恢复到原图像大小，并且弥补一部分信息丢失问题，最后的上采样特征图经过Softmax层再作像素分类。由于FCN采用的是高倍上采样（双线性差值8倍、16倍、32倍），导致分类结果不明晰，缺乏轮廓细节，并且在分类过程中每个像素点独立于周围的像素点，在通过高倍上采样时很容易产生大面积孔洞[23]。绿潮有浓度高低之分，部分海水的颜色和低浓度绿潮极为相似，在低分辨率的GOCI影像中，如果直接使用高倍上采样，很容易把相近区域的海水误分为绿潮。
　　1.2 改进的FCN模型
　　为弥补传统FCN在GOCI影像中的绿潮分类问题，本文通过改进FCN模型，在分类准确度和速度上都得到一定的提升，改进的模型结构如图2所示。去掉原来FCN上采样方式（高倍上采样），采用反池化代替，主要过程如下：①首先输入裁切后的[16×16×8]图像;②经过不断地卷积池化后输出特征图E和特征图F;③对特征图E和特征图F分别进行上采样，再经过在通道维度上相加融合得到特征图G;④特征图G和特征图A在图像空间维度上融合，再经过上采样得到特征图H;⑤将特征图H和特征图B融合并且上采样后得到特征图I;⑥最后得到的特征图经过argmax层进行最终分类。为了弥补池化后信息丢失问题，步骤③、步骤④和步骤⑤分别在通道和空间维度上作进一步融合，以保证整个网络能获取更加完整的全局上下文信息，缓解FCN在绿潮分类边缘不清晰和局部严重分类错误的问题。其中主要包括6个卷积层、4个上采样层和1个分类层，卷积核大小均为3×3。 　　1.3 反池化
　　反池化主要包括反最大池化和反平均池化。反最大池化的前提是网络需要记住池化前各元素的相对位置（池化过程中记录最大激活值的坐标位置），其主要操作是在非相对位置处填充0，这样会丢失大部分信息。针对特定的GOCI图像和绿潮大面积分布不均的特点，上采样方式主要利用反平均池化，其主要原理是平均填充，如图3所示，这样尽可能保全整体绿潮分布信息，避免在特征图像上直接进行多倍反卷积（上采样）而带来的大面积预测错误问题。
　　1.4 通道融合块
　　对于多波段遥感图像，各个波段并不是独立存在而是密切相关的，不同波段间假彩色组合会展现出各种地物分布，所以有效提取和利用遥感图像的多波段信息，对于地物分类非常重要，这也是遥感学界普遍关注的焦点。为防止空间信息过多丢失，本文除采用反池化方式外，还在特征图融合时添加了特定的通道融合块，即通过卷积输出的特征图进一步在通道上融合，这样就有效利用了GOCI图像8个波段的信息，进一步加强了整体信息的融合，提高了模型健壮性，具体流程如图4所示。
　　2 实验
　　2.1 实验数据集
　　本文研究区域主要为我国东部沿海绿潮暴发严重的黄海和山东半岛区域，32°N～37°N，119°E～124°E。确定研究区域后在韩国GOCI官网下载2011-2017年的影像，然后选取少云并且清晰的影像作为本文数据集。
　　数据集处理流程包括陆地掩膜、目标区域选取和标注标签。ENVI作为遥感图像主要的处理软件之一，前两部分主要借助ENVI工具，然后手动标注标签，最后再批量把图像以及对应的标签裁切成小图片输入到模型，如图5所示，每张小图片大小为[16×16]。数据集分為训练集、验证集和测试集，具体分布、大小和数量如表1所示。
　　2.2 模型训练
　　本文实验均采用Keras框架实现，在NVIDIA K80上训练100次，使用Adam作为优化器，其中学习率为   0.000 1，batch size设置为2，采用交叉验证方式训练，即90%的样本用于训练，10%的样本用于验证。上采样方式均采用最邻近插值算法代替原来的反卷积，参数padding设为same，strides设为1。
　　2.3 评价方法
　　基于卷积神经网络的图像分类，主要是对图像进行像素级分类，即对图像的每个像素点进行分类。对绿潮分类的性能评估方法主要有准确率（P）、召回率（R）和F1分数（F1），分类结果如表2所示。
　　其中Lable为图像标签，Predict为分类结果，每个像素点对应一个值，数字1表示为绿潮，数字0表示为非绿潮。每个指标计算如下：
　　式中，TP、FN、FP、TN分别表示真正例、假反例、假正例和真反例。
　　2.4 实验结果
　　传统方法虽然流程繁琐，但在专业人士参与下也会得到令人满意的结果，例如传统的NDVI和SVM等都是比较流行的绿潮提取方法。因此将这两种传统方法进行对比，如图6所示。
　　由图6及表3提供的数据可以清晰地发现，传统RVI、EVI、IGAG、SVM和NDVI算法在绿潮海水分类方面确实有一定的表现能力，但主要是借助了大量先验知识和必要的专业人士参与。其中，RVI和IGAG算法借助近红外和红光波段间的比值，但没有考虑到其它波段带来的影响和空间上的联系，要提高分类准确度需要添加更多先验信息以弥补空间上的不足;EVI增强算法虽然在波段间增加了影响因子等参数，但由于GOCI图像的差异性，难以确定一个有效的参数标准。为了提高精度，SVM分类要提前设计大量特征，并在NDVI算法后期通过不断试验找到合适的阈值。对比传统方法，基于深度学习的方法成功避免了以上参数难以确定的问题。但在使用传统FCN时，由于上采样采用的是高倍上采样（双线性插值），结果在轮廓和局部有大量海水或陆地被错分类为绿潮。由图4的FCN结果显示，综合以上问题以及绿潮影像自身的特点（没有明显的轮廓细节），改进的FCN模型更加适合绿潮海水分类。
　　为了验证模型的普遍适用性，对2014、2017、2018和2019年比较清晰的GOCI图像进行验证，实验结果如图7所示。通过预测图像和真值图对比可以清晰地发现，改进后的模型预测结果实用性更高，能制作比较清晰的绿潮解译图，满足相关部门对绿潮进一步监测的需求。
　　对不同年份的GOCI图像预测准确性进行评估，如表4所示，4幅图像的Kappa系数平均在83%左右，说明模型稳定性良好。
　　由于传统方法注入了大量先验知识，且整个业务流程主要由相关专业人士参与，所以只计算了模型改进前和改进后单张图片的测试时间。通过表5可以看出，改进后的FCN模型在单张图片训练速度上，比改进前的FCN模型有所提升。实验表明，改进后的FCNS模型优于改进前的FCN模型，更加适合本文的GOCI数据集。
　　3 结语
　　本文使用深度学习方法，在全卷积网络基础上加以进一步改进。经过在自建的绿潮数据集上训练和调试，对GOCI影像中的绿潮和海水进行分类，提升了绿潮分类速度和精度。与NDVI、SVM等传统方法相比，不用花费大量时间提前选取阈值和标记样本，缩短了原有基于GOCI影像的绿潮解译图制作流程，在召回率、F1系数、Kappa系数方面优于改进前的方法。但本文方法在细微边缘部分仍存在一定的误差，整个网络模型仍有改进空间。今后将进一步优化模型，满足相关业务部门需求。
　　参考文献：
　　[1]NELSON T A， LEE D J， SMITH B C. Are "green tides" harmful algal blooms？toxic properties of water-soluble extracts from two bloom-forming macroalgae， ulva fenestrata and ulvaria obscura （Ulvophyceae）[J]. Journal of Phycology， 2003， 39（5）： 874-879. 　　[2]BLOMSTER J， B？CK S， FEWER D P， et al. Novel morphology in enteromorpha （ulvophyceae） forming green tides[J]. American Journal of Botany， 2002， 89（11）： 1756-1763.
　　[3]HU C， HE M X. Origin and offshore extent of floating algae in olympic sailing area[J]. Eos， Transactions American Geophysical Union， 2008， 89（33）： 302-303.
　　[4]RYU J H， HAN H J， CHO S， et al. Overview of geostationary ocean color imager （GOCI） and GOCI data processing system （GDPS）[J]. Ocean Science Journal， 2012， 47（3）： 223-233.
　　[5]SON Y B， MIN J E， RYU J H. Detecting massive green algae （ulva prolifera） blooms in the yellow sea and east china sea using geostationary ocean color imager （GOCI） data[J]. Ocean Science Journal， 2012， 47（3）： 359-375.
　　[6]LOU X， HU C. Diurnal changes of a harmful algal bloom in the east china sea： observations from GOCI[J]. Remote Sensing of Environment， 2014（140）： 562-572.
　　[7]HU C， LI D， CHEN C， et al. On the recurrent ulva prolifera blooms in the yellow sea and east china sea[J]. Journal of Geophysical Research： Oceans， 2010， 115（C5）：1321-1330.
　　[8]SHANMUGAM P， AHN Y H， SANJEEVI S. A comparison of the classification of wetland characteristics by linear spectral mixture modelling and traditional hard classifiers on multispectral remotely sensed imagery in southern India[J]. Ecological Modelling，2006，194（4）： 379-394.
　　[9]SHANMUGAM P， SURESH M， SUNDARABALAN B. OSABT： an innovative algorithm to detect and characterize ocean surface algal blooms[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2012， 6（4）： 1879-1892.
　　[10]SON Y B， CHOI B J， KIM Y H， et al. Tracing floating green algae blooms in the yellow sea and the east China sea using GOCI satellite data and Lagrangian transport simulations[J]. Remote Sensing of Environment， 2015（156）： 21-33.
　　[11]蔡曉晴. 基于静止轨道海洋水色卫星数据的绿潮遥感探测方法和逐时变化特征研究[D]. 青岛：中国海洋大学， 2014.
　　[12]曾韬， 刘建强. “北京一号” 小卫星在青岛近海浒苔灾害监测中的应用[J]. 遙感信息， 2009（3）： 34-37.
　　[13]PAN B，SHI Z，AN Z， et al. A novel spectral-unmixing-based green algae area estimation method for GOCI data[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2016， 10（2）： 437-449.
　　[14]ZHU X， TUIA D， MOU L， et al. Deep learning in remote sensing： a comprehensive review and list of resources[J]. IEEE Geoscience and Remote Sensing Magazine， 2017， 5（4）： 8-36.
　　[15]MOU L， BRUZZONE L， ZHU X. Learning spectral-spatial-temporal features via a recurrent convolutional neural network for change detection in multispectral imagery[J]. IEEE Transactions on Geoscience and Remote Sensing， 2018， 57（2）： 924-935. 　　[16]孙志军，薛磊. 深度学习研究综述[J]. 计算机应用研究， 2012， 29（8）：2806-2810.
　　[17]HU F， XIA G， HU J， et al. Transferring deep convolutional neural networks for the scene classification of high-resolution remote sensing imagery[J]. Remote Sensing， 2015， 7（11）： 14680-14707.
　　[18]MOU L， GHAMISI P， XIAO X Z. Deep recurrent neural networks for hyperspectral image classification[J]. IEEE Transactions on Geoscience & Remote Sensing， 2017， 55（7）：1-17.
　　[19]陳天华， 郑司群，于峻川. 采用改进DeepLab网络的遥感图像分割[J]. 测控技术， 2018， 37（11）：40-45.
　　[20]SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[C]. International Conference on Learning Representations，2015：1-14.
　　[21]SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions[C]. Proceedings of the IEEE conference on computer vision and pattern recognition，2015： 1-9.
　　[22]LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation[C].Proceedings of the IEEE conference on computer vision and pattern recognition，2015： 3431-3440.
　　[23]杨朔，陈丽芳，石瑀. 基于深度生成式对抗网络的蓝藻语义分割[J]. 计算机应用，2018，38（6）：1554-1561.
　　（责任编辑：杜能钢）
　　收稿日期：2019-09-20
　　作者简介：赵尊强（1991-），男，山东科技大学计算机科学与工程学院硕士研究生，研究方向为云计算与大数据处理、机器学习;陈鑫（1996-），男，山东科技大学计算机科学与工程学院硕士研究生，研究方向为智能信息处理、机器学习;刘慧芳（1995-），女，山东科技大学计算机科学与工程学院硕士研究生，研究方向为智能信息处理、机器学习;杨光（1995-），男，山东科技大学计算机科学与工程学院硕士研究生，研究方向为智能信息处理、机器学习。本文通讯作者：赵尊强。
转载注明来源:https://www.xzbu.com/8/view-15217389.htm