基于深度学习的地铁隧道衬砌病害检测模型优化

来源:用户上传      作者:薛亚东 高健 李宜城 黄宏伟

　　 摘   要：地铁盾构隧道衬砌病害检测面临的最主要问题是如何获取高质量的病害图片以及如何快速、准确实现病害检测. 基于CCD线阵相机设计制造了地铁隧道病害检测车，并针对上海运营地铁1、2、4、7、8、10、12等线路采集了大量的衬砌图像，通过手工标注建立高质量隧道病害样本库. 基于卷积神经网络Faster R-CNN（Faster Region-based Convolutional Neural Network），构建了病害自动检测深度学习框架. 考虑到裂缝及渗漏水病害的特殊性，采用数据统计分析及K-means聚类算法分析其几何特征，结合病害特征优化VGG-16网络模型中的anchor box相关参数. 结果表明，修正后的模型病害检测准确度有明显的提升（约7%），同时模型的训练时间减少. 经验证，上述方法同样可提高裂缝或渗漏水单一病害识别模型的准确度.
　　关键词：地铁盾构隧道;裂缝 ;渗漏水;深度学习;病害检测
　　中图分类号：U456.3                   文献标志码：A
　　 Abstract：The main problems in the detection of shield tunnel lining defects are how to obtain high quality images of different defects and how to quickly and accurately detect the defects. A device for mobile tunnel inspection （MTI-100） was designed and manufactured based on CCD line array cameras. Using MTI-100， Shanghai Metro Lines 1， 2， 4， 7， 8， 10 and 12 were tested and a large number of lining images were obtained. These images were manually labeled to form a high quality database of lining defects samples. Based on the Faster R-CNN （Faster Region-based Convolutional Neural Network）， a deep learning framework for automatic disease detection was established. Inspired by the existing model VGG16， the CNN detection model of tunnel lining defects was established. Considering the particularity of cracks and leakage defects， statistical analysis and K-means clustering algorithm were used to analyze the geometric features， so as to optimize the related parameters of anchor box in the VGG-16 network model. The results show that the accuracy of the optimizeation is greatly improved（about 7%），and the training time is reduced. It is verified that the method can also improve the accuracy of the defect detection model of crack or leakage singly.
　　Key words：subway shield tunnel;crack;leakage;deep learning;defect detection
　　城市軌道交通是解决城市交通拥堵问题的有效方式. 截至2018年末，中国内地共有35个城市开通城市轨道交通，总运营里程达5 766.6 km，排世界首位. 城市轨道交通多采用地下隧道建设方式. 由于建设条件、运营环境等复杂因素影响，隧道结构，特别是管片衬砌结构，不可避免在运营期间会出现多种病害，如：渗漏水、裂缝、掉块、管片错台、接缝张开、纵向不均匀沉降、管径环向收敛变形等[1-2]. 其中，较为常见的两种病害为裂缝和渗漏水. 为确保隧道结构安全并保障地铁正常运营，传统隧道病害检测方法以人工为主，主要通过人眼或简单仪器检测[3]，虽然技术要求低，但检测效果依赖于检测人员的经验与主观判断，检测效率与可靠性均无法满足现代地铁交通发展的需求[4]. 基于相机拍摄或三维激光扫描的隧道病害检测是发展的技术方向[5]，目前已有国内外厂家研制出用于隧道病害检测的专用设备，可以获取隧道病害的图像. 如何快速处理数量庞大的图像数据成为亟需解决的新问题.
　　传统的图像处理算法，如canny算子、Otsu算法，以及专门针对裂缝病害检测的算法[6-7]等，由于在实际应用中多依赖于手工调节参数，因此往往效率低，周期长，鲁棒性差，且病害检测准确率难以满足需要. 鉴于此，国内外许多学者将深度学习方法应用于病害检测. 深度学习（Deep Learning）是机器学习的一种方式，2013 年被麻省理工学院评为十大突破技术之一. 深度学习模型在隧道结构病害检测任务上表现出优良的泛化能力和鲁棒性. 　　2017年加拿大Cha 等[8]采用深度卷积神经网络对混凝土裂缝的识别进行了研究，在检测中结合滑动窗口可以检测任意大小的图像，并与Canny、Sobel 两种边缘检测算子进行比较，验证了深度学习在混凝土裂缝识别上的优势. 2017年黄宏伟等[9]基于全卷积网络进行盾构隧道渗漏水病害图像识别，可有效消除干扰物的影响. 2018年薛亚东等[10]建立隧道衬砌特征图像分类系统，在现有的CNN模型GoogLeNet基础上，改进其inception模块与网络结构，获得了准确率超过95%的网络模型，且对背景复杂条件下的图像处理更具鲁棒性.
　　已有研究成果表明，采用深度学习方法实现隧道病害检测相比传统图像处理方法高效且稳定，是未来发展的方向. 但现有研究所采用的病害检测模型，均未结合隧道病害的特性. 隧道结构病害具有其显著特征，如渗漏水有渗流效果，在重力作用下，常常会向下发展，而裂缝由于受力原因，多沿管片结构边缘发展. 本文基于自主研制的快速移动式隧道扫描检测系统，采集了上海地铁1、2、4、7、8、10、12等线路区间的大量衬砌图像，建立了裂缝及渗漏水病害样本库，并利用K-means聚类方法，从统计学上分析裂缝及渗漏水特征，基于定量分析结果对病害检测模型及参数进行优化.
　　1   病害特征
　　1.1   样本库的建立
　　深度学习模型训练过程，需从特定样本库中提取数据信息供网络训练学习. 深度学习中常用的几类数据集，如Microsoft COCO、PASCAL VOC、ImageNet、SUN Database等，这些数据集均由复杂的生活场景中获取，种类多，数量大，具有代表性. 然而，在隧道病害检测领域，裂缝和渗漏水有其独特的特征，且目前这一研究领域还未建立成熟的专属于裂缝和渗漏水的病害数据集.
　　通过自主研发的基于CCD线阵相机的快速移动式地铁隧道结构病害检测系统（MTI），进行隧道衬砌表面病害图像采集. MTI系统如图1所示，由6台CCD线阵相机和12个LED光源组成，其環向扫描长度可达13 m，可实现高精度衬砌表观图像连续、快速扫描. 目前为止，已针对上海市地铁1、2、4、7、8、10、12号线等进行了多次检测，采集了大量的隧道衬砌灰度图像. 采集后的图像经过人工裁切、标注等一系列处理工作，构成了深度学习模型训练的数据集.
　　 目前整理的数据集包含4 139张图像，每张图像大小为3 000像素×3 724像素. 病害检测任务中，需对样本库中每张图片进行标注，标注信息包括两部分：病害类别（裂缝、渗漏水）和位置信息. 位置信息的标定采用一个长方形框（边界框，bounding box），长方形框要求完整地包含整个病害，同时要求非病害区域尽可能小. 病害边界框采用左上角和右下角的两个坐标进行标定.
　　用LabelImg工具完成病害图像标注. 在数据集中，一张图像可能包含多个病害的标签图（ground truth）. 图2展示了此类标签的部分示例. 共得到5 496组裂缝和渗漏水病害的ground truth信息，其中裂缝2 946组、渗漏水2 550组. 据经验，样本库中的4 139张图片，3 000张用于训练样本，其余的1 139张作为测试样本.
　　1.2   样本库特征分析
　　隧道衬砌裂缝和渗漏水与其它类型目标相比有其特定特征. 为分析病害特征，首先针对样本库中的所有图片做定性分析，并基于病害标记得到的ground truth信息对病害进行定量分析. 图3为采集的部分裂缝及渗漏水病害示例图.
　　首先对裂缝及渗漏水病害的尺度特征进行分析. 经统计，裂缝及渗漏水标记的ground truth面积（像素）分布结果见表1. 其中，83.0%的病害面积处于（0，1 × 106）区间内. 裂缝和渗漏水面积在区间（0，1 × 106）上的分布如图4所示，大致呈对数正态分布. 病害面积处于区间（0，4 × 105）的约占（0，1 × 106）区间的67%.
　　 裂缝和渗漏水分别统计：2 946个裂缝面积全部处于（0，4 × 106）区间内，其中约90%的裂缝处于（0，3 × 105）区间内（表2）; 2 550个渗漏水面积处于（0，8 × 106）区间内，其分布直方图见图5. 渗漏水面积主要分布于（0，3 × 106）区间内，其中区间（0，1 × 106）内渗漏水占64.2%，（1 × 106，2 × 106）区间内渗漏水占22.0%.
　　 高宽比同样是裂缝及渗漏水的重要特征之一. 对样本集中裂缝及渗漏水的高宽比进行统计，处于（0，1）区间内的病害居多，大于10的病害占比较小（图6）. 图7为（0，1）区间内病害分布直方图，可知整个区间内病害高宽比分布较均匀，区间两端的病害占比较小. 由此可以得出，隧道衬砌病害相比生活中的常见物体，其几何表现相对细长，后续分析中将考虑病害的几何特征与分布规律.
　　2   模型构成
　　2.1 Faster R-CNN模型
　　在病害检测任务上，输入图像为完整的大尺度图像，文中采用的图片大小为3 000 × 3 724像素. R-CNN[11]系列算法核心思想是基于建议区域在整张图片上检测，选择可能为病害区域的候选框，进而通过卷积神经网络（Convolutional Neural Network，CNN）对每个区域提取特征，并利用分类器预测此区域中包含感兴趣对象的置信度，将问题转化为图像分类问题.
　　Faster R-CNN[12]模型可分为两部分. 一部分为骨干结构（backbone architecture），另一部分为头结构（head architecture）. 骨干结构负责对整张图像进行处理，获得其特征图像（feature maps）;头结构处理特征图像，获得候选区域并进行分类和定位. 　　如图8所示，首先将整张图片送入CNN，进行特征提取，在最后一层卷积层生成卷积特征图，在此之后增加两个额外的卷积层，构造区域建议网络（RPN，Region Proposal Network）;RPN网络可直接预测出候选区域建议框，候选框数量限定为300个. Faster R-CNN是RPN和Fast R-CNN相结合的结构，同时共享了RPN和Fast R-CNN卷积层的参数，支持端到端的训练.
　　2.2   区域建议网络及Anchor Box
　　区域建议网络是预测目标建议区域候选框的一种方法，它可以接受任意大小的图像作为输入，输出一系列的矩形候选框，每一个候选框都附带一个目标得分（object score），目标得分的大小反映了每个矩形候选框中涵盖的内容属于检测目标的概率. 通过设定某一目标得分阈值，可获得一定数量的矩形候选框.
　　要处理的图像首先经过卷积神经网络骨干结构，运算得到卷积特征图像，其大小和维度为p × q ×n，其中p、q分别为卷积特征图像的高和宽，n为卷积特征图像的维度，如图9所示.
　　 在提取的卷积特征图像上，采用一个矩形图框（anchor box，图10）进行滑动完成目标检测. anchor box包含两个属性，高宽比和尺度，它们决定了anchor box的个数. 对于n维的卷积特征图像，k个不同的anchor box，每一次滑动都会产生k个n维的低维向量（图10）.
　　He等[12]在Faster R-CNN物体检测模型中给出了建议的9类anchor box. 其中，包含3类不同大小的尺度（1282，2562，5122），和3类不同的高宽比（1 ∶ 1，1 ∶ 2，2 ∶ 1）. anchor box参数设置受检测目标特征影响，并对后续的分类和回归两个过程的计算精度及速度均有一定影响. 本文的处理对象主要针对隧道衬砌表面病害，即裂缝和渗漏水. 由前文分析结果可知，病害样本库中病害的形态与尺寸具有统计特征，可以据此改进模型以提升效果.
　　3   模型改進
　　3.1   区域建议网络与anchor box
　　区域建议网络的任务包含两部分，前景或背景的分类以及边界框的回归. 如图11所示，虚线矩形框代表一个前景目标的anchor box，实线矩形框代表目标的真实值，边界框回归处理即是寻找一种映射关系，使得anchor box与真实窗口尽量接近.
　　其中x，y，w，h 分别为矩形区域中心的横纵坐标、宽及高. 变量x，xa，x*分别指网络预测的边界框、anchor box的边界框、目标的真实边界框（y，w，h类同）的x坐标.
　　若anchor box的边界框与目标的真实边界框越接近，即wa、ha与w*、h*的值相差越小，由公式（7）（8）可知，尺度因子tw、th趋近于0，损失函数会更小，说明拟合程度也越好.
　　3.2   anchor box尺度参数修正
　　根据前文对裂缝、渗漏水样本库的定量分析可知，裂缝及渗漏水病害面积分布基本可由三个区间覆盖，分别为（0，4×105）、（4×105，1×106）、（1×106，8×106）. 由此，可以得到病害面积所处量级的主要分布区间.
　　通常图像检测所用数据集的图片比病害数据库中图片（ 像素）要小得多，如PASCAL VOC数据集中，图片的像素尺寸大小不一，尺寸大约在512×512，像素偏差不超过100. 因此，在做病害检测前，需根据病害数据库中的图片信息，对图像检测模型中的anchor box尺度这一参数作出修正，由原先的（1282，2562，5122）修正为（5122，1 0242，2 0482），分别与前文所述的三个区间相对应. 为验证参数修正的准确性及有效性，下文通过控制变量的试验方法进行模型试验.
　　3.3   anchor box比例值修正
　　采用K-means聚类算法，基于裂缝及渗漏水病害的高宽比数据库进行聚类分析，以聚类结果为基础对病害检测模型中的anchor box比例值进行修正.
　　K-means算法[13]属于硬聚类算法，它是根据数据类别中心的目标函数进行聚类，其中，目标函数是数据点到类别中心广义距离和的优化函数.
　　基于标记得到2 946组裂缝和2 550组渗漏水病害的ground truth信息，采用K-means聚类算法进行聚类分析.
　　采用两种聚类方案. 一种是对训练样本中的裂缝和渗漏水数据分别聚类分析，另一种是对训练样本中的裂缝和渗漏水同时进行聚类，即由5 496组裂缝及渗漏水数据聚类分析得到接近两种病害目标真实值的anchor box. 聚类分析结果见表3.
　　4   深度学习软硬件配置
　　4.1   深度学习硬件配置
　　本研究的深度学习硬件配置为：核心处理器：Intel Core i7-5820K CPU;图形处理器：三块GeForce GTX 1080，每块显卡的显存8 GB，总共24 GB;内存：64 GB.
　　4.2   深度学习软件配置
　　深度学习的软件环境配置为：编程语言python2.7.12、并行计算架构 CUDA8.0、基于GPU的加速库cuDNN5.0 和深度学习框架Caffe[15].
　　5   病害检测实验设计与模型训练
　　5.1   实验设计
　　实验设计主要考虑两个方面：一是评价利用 K means 聚类算法对anchor box参数的修正对检测效果的影响;一是考虑裂缝与渗漏水几何形态特征差别较大，将裂缝和渗漏水分别独立建立样本库，比较分析混合训练与独立训练的利弊. 共设计了6类不同的检测模型方案，（见表4）. 　　5.2   训练方法
　　本文所用的模型采用两条计算路线，骨干结构卷积层内的卷积核在不同的计算路线上可能存在不同损失函数梯度方向，导致无法共享网络权重. 在模型的训练中，采用交替训练方法，即先训练区域建议网络，而后用区域建议网络得到的候选区域训练病害检测方法，并交替训练，不断迭代.
　　在病害检测模型训练中，使用已训练好的卷积神经网络模型对骨干结构进行权重初始化. 模型迭代训练过程中采用动态学习率策略. 优化采用随机梯度下降算法.
　　5.3   模型评价标准
　　5.3.1   检测结果的评价
　　检测率（detection rate）：表示测试集中检测得到的正确结果数量和实际的结果数量的比值. 在最终的结果检测中，设定0.8作为阈值，当检测结果得分超过阈值则输出该检测结果.
　　检测准确度（detection accuracy）：表示病害检测结果得分的平均值. 检测准确度反应了该方法的识别能力.
　　5.3.2   检测效率的评价
　　训练时间（training time）：表示检测模型整个训练过程所用的时间.
　　检测效率（detection efficiency）：指检测每张图像需要花费的时间.
　　5.4   模型检测结果
　　模型训练完成后，对测试数据集上含有裂缝和渗漏水的目标进行检测. 测试集包含1 139幅图像，其中病害目标共有1 867个.  表5是Model1～Model6各模型的训练测试过程中各指标的结果对比.
　　图16展示了部分病害检测结果（矩形框）.
　　由Model1&2检测结果对比可知，优化后的VGG16网络在同一数据集上的准确率为80.91%，高于优化前的VGG16（75.81%），提升了6.73%. 此外，训练时间缩短了10 min，平均单张图片测试时间也有略微缩短，一定程度上加快了检测效率.
　　由Model2&4&6检测结果对比可知，优化后的裂缝检测模型对裂缝平均检测率为77.28%，优化后的渗漏水检测模型对渗漏水平均检测率为85.25%，与同时进行裂缝和渗漏水检测的模型（分别为71.8%，84.28%）相比较均有提升.
　　Model1&5、Model2&6的检测结果对比，渗漏水和裂缝单一检测模型较两种病害同时检测的模型检测率更高，效果更佳. 因此如果工程对检测准确度要求很高时，可以考虑对裂缝和渗漏水分别独立检测. 这一方案的不足之处在于需要训练两个模型，会增加一定时间成本.
　　5.5   模型鲁棒性检验
　　鲁棒性和适应性代表了模型的泛化能力. 为了验证本文模型的泛化能力，对衬砌图像做出如下处理：病害位置的变化、病害尺度的变化、病害图像的高斯模糊以及病害的不规则变形.
　　在图17所示的图像中，图像大小均为3 000 ×3 724像素，包含了两条裂缝，通过提取不同裂缝病害位置的图像进行验证. 结果表明，无论病害位置如何移动，本方法均可正确检测.
　　 在圖18所示的图像中，图像大小经过了不同尺度的图像变换，图像大小从左到右分别为3 000 ×3 724像素、1 700 × 2 000像素、1 200 × 1 450像素，每张图像含有一处相同的渗漏水病害. 检测结果表明，在不同尺度的图像中，本方法均可正确检测，同时其检测率均较高.
　　 在图19所示的图像中，对图像进行高斯模糊处理，图像从左到右模糊半径分别为0、5、8. 可以发现，每张图像都包括了两条裂缝，一条裂缝宽度较宽，相对明显，另一条裂缝宽度较窄，相对模糊. 经过模糊半径为5的高斯模糊后，窄裂缝几乎肉眼难以分辨，本方法仍然可以将其检测出来，而经过模糊半径为8的高斯模糊后，本方法仅检测出一条裂缝. 检测结果表明，在相对模糊图像中，本方法具有良好的适应性.
　　 在图20所示的图像中，图像从左到右分别为原始图像，纵向拉伸图像和横向拉伸图像，从视觉效果上看，经过变形的病害特征图像具备了不同的形态特征，对于本方法，均可正确检测. 检测结果表明，对于不规则变形的图像，本方法具有良好的适应性.
　　5   结   论
　　本文利用快速检测盾构隧道衬砌病害的深度学习方法，在现有的卷积神经网络物体检测模型VGG-16基础上对模型进行修正，根据手动建立的裂缝、渗漏水病害数据集，并设计了6种不同试验条件下的Faster R-CNN检测模型，分别进行病害检测计算，以此验证模型参数修正的正确性与必要性，并对模型的鲁棒性进行验证. 得出结论如下：
　　1）在现有Faster R-CNN检测模型基础上进行修正，并对修正后模型的有效性、准确性和训练难易程度进行了评估;通过控制变量法，对3组参数修正前后的模型检测结果进行比较. 结果表明参数修正后的模型检测准确度有明显提升.
　　2）通过对不同检测模型计算结果对比分析得出，裂缝和渗漏水的单一检测模型比同时检测两种病害的模型准确度更高，但会增加一定时间成本.
　　3）此外，本文计算所采用的数据集仅有4 139张图片，图片数量略少，参数修正后对隧道衬砌病害的检测效果仍不能真正达到高准确度，仅有80.91%. 可以考虑扩充病害数据库，增加模型的鲁棒性及准确度.
　　参考文献
　　[1]    叶耀东，朱合华，王如路. 软土地铁运营隧道病害现状及成因分析[J]. 地下空间与工程学报，2007，3（1）：157—160，166.
　　YE Y D，ZHU H H，WANG R L. Analysis on the current status of metro operating tunnel damage in soft ground and its causes[J]. Chinese Journal of Underground Space and Engineering，2007，3（1）：157—160，166. （In Chinese） 　　[2]    张明海，张乃涓. 盾构隧道常见病害及其影响分析[J]. 城市道桥与防洪，2009（9）：182—187.
　　ZHANG M H，ZHANG N J. Analysis on common disease and its influence on shield tunnel[J]. Urban Roads Bridges & Flood Control，2009（9）：182—187. （In Chinese）
　　[3]    杨玲芝，方恩权. 轨道交通隧道结构病害检测技术综述与发展趋势[J]. 都市快轨交通，2017，30（1）：20—25，76.
　　YANG L Z，FANG E Q. Review and developing trend on technology for detecting metro tunnel structure diseases[J]. Urban Rapid Rail Transit，2017，30（1）：20—25，76. （In Chinese）
　　[4]    YUAN Y，JIANG X，LIU X. Predictive maintenance of shield tunnels[J]. Tunnelling & Underground Space Technology Incorporating Trenchless Technology Research，2013，38（3）：69—86.
　　[5]    LEE S Y，SANG H L，DONG I S，et al. Development of an inspection system for cracks in a concrete tunnel lining[J]. Canadian Journal of Civil Engineering，2007，34（8）：966—975.
　　[6]    劉晓瑞，谢雄耀. 基于图像处理的隧道表面裂缝快速检测技术研究[J]. 地下空间与工程学报，2009，5（S2）：1624—1628.
　　LIU X R，XIE X Y. Rapid crack inspection of tunnel surface based on image processing[J]. Chinese Journal of Underground Space and Engineering，2009，5（S2）：1624—1628. （In Chinese）
　　[7]    王平让，黄宏伟，薛亚东. 基于图像局部网格特征的隧道衬砌裂缝自动识别[J]. 岩石力学与工程学报，2012，31（5）：991—999.
　　WANG P R，HUANG H W，XUE Y D. Automatic recognition of cracks in tunnel lining based on characteristics of local grids in images[J]. Chinese Journal of Rock Mechanics and Engineering，2012，31（5）：991—999. （In Chinese）
　　[8]    CHA Y J，CHOI W，B？譈Y？譈K？魻ZT？譈RK O. Deep learning based crack damage detection using convolutional neural networks[J]. Computer Aided Civil & Infrastructure Engineering，2017，32（5）：361—378.
　　[9]    黄宏伟，李庆桐. 基于深度学习的盾构隧道渗漏水病害图像识别[J]. 岩石力学与工程学报，2017，36（12）：2861—2871.
　　HUANG H W，LI Q T. Image recognition for water leakage in shield tunnel based on deep learning[J]. Chinese Journal of Rock Mechanics and Engineering，2017，36（12）：2861—2871. （In Chinese）
　　[10]  薛亚东，李宜城.基于深度学习的盾构隧道衬砌病害识别方法[J]. 湖南大学学报（自然科学版），2018，45（3）：100—109.
　　XUE Y D，LI Y C. A method of disease recognition for shield tunnel lining based on deep learning[J]. Journal of Hunan University （Natural Sciences），2018，45（03）：100—109. （In Chinese）
　　[11]  GIRSHICK R，DONAHUE J，DARRELL T，et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]// IEEE Conference on Computer Vision and Pattern Recognition. Washington DC：IEEE Computer Society，2014：580—587.
　　[12]  REN S Q，HE K M，GIRSHICK R，et al. Faster R-CNN：towards real-time object detection with region proposal networks[C]// International Conference on Neural Information Processing Systems. Massachusetts：MIT Press，2015：91—99.
　　[13]  王菲菲. K-means聚类算法的改进研究及应用[D]. 兰州：兰州交通大学，数理学院，2017.
　　WANG F F. Research and application of the improved K-Means clustering algorithm[D]. Lanzhou：School of Mathematics and Physics，Lanzhou Jiaotong University，2017. （In Chinese）
　　[14]  王建仁，马鑫，段刚龙. 改进的K-means聚类k值选择算法[J]. 计算机工程与应用，2019，55（8）：27—33.
　　WANG J R，MA X，DUAN G L. Improved K-Means clustering K-Value selection algorithm[J]. Computer Engineering and Application，2019，55（8）：27—33. （In Chinese）
　　[15]  JIA Y，SHELHAMER E，DONAHUE J，et al. Caffe：Convolutional architecture for fast feature embedding[C]// ACM International Conference on Multimedia. Orlando：ACM，2014：675—678.
转载注明来源:https://www.xzbu.com/4/view-15279348.htm