基于先验点的影像图斑提取技术设计与实现
 |
基于先验点的影像图斑提取技术设计与实现基于先验点的影像图斑提取设计首先要进行深度学习高分辨率遥感影像语义分割，语义分割是计算机视觉的一项基本任务。此次设计从效果表现最稳定、精度较高的三种语义分割网络分别进行分析，ICnet网络、、Segnet、DeepLabV3网络，设计主要对遥感影像进行五类分析，分别是：农田、建筑、河流、道路、其他。对最后的结果进行对比，并提出改进之处。在进行DeepLabV3+网络模型训练时，将多种模型进行融合，实现最优模型的设计。
2、python gdal+skimage实现基于遥感影像的传统图像分割及合并外加矢量化，基于边缘检测的图像分割方法的基本思路是先确定图像中的边缘像素，然后再把这些像素连接在一起就构成所需的区域边界。
目录
难点分析
1、基于先验点的影像图斑提取设计首先要进行深度学习高分辨率遥感影像语义分割，语义分割是计算机视觉的一项基本任务。此次设计从效果表现最稳定、精度较高的三种语义分割网络分别进行分析，ICnet网络、、Segnet、DeepLabV3+网络（MobileNetV3特征提取器）。
2、python gdal+skimage实现基于遥感影像的传统图像分割及合并外加矢量化，基于边缘检测的图像分割方法的基本思路是先确定图像中的边缘像素，然后再把这些像素连接在一起就构成所需的区域边界。
需求描述
1、任意给定一幅影像并在该影像上指定若干参考点位，自动识别出经过这些参考点位的线状地物或包含这些参考点位的面状地物；
2、任意给定一幅影像和一个面状作业区域，自动识别出区域内的肉眼可见的线状、面状地物，并矢量化；
3、提取的地物要求几何位置准确率优于85%，漏提率低于5%，几何数据在保证准确的前提下尽可能美观，地物属性不做要求；针对不同时像、区域，提取算法的普适性较好，结果允许±5个百分点；
方案论证
以人工智能[1]（AI）的方式能自动识别特定目标，但对图形边界的描绘还不够准确、美观，期望通过给定参考点位的方式，实现自动提取影像图斑，并在此基础上实现高精度、高准确度的有约束条件的自动化提取图斑功能。
基于先验点的影像图斑提取设计主要从三方面进行实现，一是深度学习高分辨率遥感影像语义分割，语义分割是计算机视觉的一项基本任务。其中此次设计从效果表现最稳定、精度较高的三种语义分割网络进行分析，ICnet网络、、Segnet、DeepLabV3+网络（MobileNetV3特征提取器）。二是python gdal+skimage实现基于遥感影像的传统图像分割及合并外加矢量化，基于边缘检测的图像分割方法的基本思路是先确定图像中的边缘像素，然后再把这些像素连接在一起就构成所需的区域边界。三是矢量和图像重叠显示，对于图像重叠采用的是python代码。最终实现基于先验点的影像图斑提取技术，此功能能够极大提高遥感影像解译的生产效率，为土地利用、自然资源监测等快速提供基础图斑数据。
系统架构设计
深度学习高分辨率遥感影像语义分割
深度学习在计算机视觉领域取得了很大的成功，在遥感影像[2]自动解译方面，同样带来了快速的发展。语义分割是计算机视觉的一项基本任务。其中基于先验点的影像图斑提取设计从效果表现最稳定、精度较高的几种语义分割网络进行分析，一是ICnet网络；二是Segnet，三是 DeepLabV3+网络（MobileNetV3特征提取器）。
遥感影像的传统图像分割及合并外加矢量化
图像传统分割算法及图像块合并方法：基于边缘检测的图像分割方法的基本思路是先确定图像中的边缘像素，然后再把这些像素连接在一起就构成所需的区域边界。图像边缘：图像边缘，即表示图像中一个区域的终结和另一个区域的开始，图像中相邻区域之间的像素集合构成了图像的边缘。所以，图像边缘可以理解为图像灰度发生空间突变的像素的集合。图像边缘有两个要素，即：方向和幅度。沿着边缘走向的像素值变化比较平缓；而沿着垂直于边缘的走向，像素值则变化得比较大。因此，根据这一变化特点，通常会采用一阶和二阶导数来描述和检测边缘。综上，图像中的边缘检测可以通过对灰度值求导数来确定，而导数可以通过微分算子计算来实现。在数字图像处理中，通常是利用差分计算来近似代替微分运算。
python gdal + skimage 实现图像分割及合并外加矢量化：基于先验点的影像图斑提取设计用python gdal + skimage实现基于遥感影像的传统图像分割及合并外加矢量化。用网络模型预测出来的标签图进行图像分割，并且进行适量化。
矢量和图像重叠显示
图像融合，实际上也是加法，只不过是按比例混合起来，有不同的权重。此设计在显示方面脱离了专业遥感图像的软件，对于图像重叠采用的是python代码撰写，可以对cv2.addweighted函数进行对图像融合的透明度进行调整。因从arcgis遥感软件中导出的矢量地图temp.shp和原始的遥感图像占比非常小，大片的白色背景，以及四周存在很多白边，为了使重叠显示速度更快以及质量越高，则需要实现图片白边的去除，然后进行同一大小的两张图像叠加显示。
深度学习高分辨率遥感影像语义分割
深度学习在计算机视觉领域取得了很大的成功，在遥感影像自动解译方面，同样带来了快速的发展。语义分割是计算机视觉的一项基本任务。其中此次设计从效果表现最稳定、精度较高的几种语义分割网络进行分析，一是ICnet网络；二是Segnet，三是 DeepLabV3+网络。设计主要对遥感影像进行五类分析，分别是：农田、建筑、河流、道路、其他。
首先，准备数据集，因此次只给了遥感的影像图，没有给出对应的标签图，所以需要进行自行绘制标签图，在制作标签图时，主要运用的是数据包1中的E119D3_N34D2_20180409_GF2_DOM_4_fus文件下的.tif图片进行遥感图像切割，然后利用labelme快速标注软件制作标签图，在制作时主要标注出了农田、建筑、河流、道路、其他这五类，因是纯手工标注，所以存在一定的误差。然后进行模型训练，训练的网络在时间上各不相同，精确度也有一些分别，具体在第四章体现。最后进行预测，并进行预测出的图形合并成语义分割后的完整图像。
ICnet网络
ICnet网络是一种新颖而独特的图像级联网络，有效地利用了低分辨率图的语义信息和高分辨率图的细节信息，实现了图像的实时语义分割，级联特征融合单元与级联标签指导相结合，可以在较低计算量的情况下逐步恢复和细化分割预测。
图像级联网络(ICNet)使用了级联的图像输入(即低、中、高分辨率图像)，采用了级联的特征融合单元，训练时使用了级联的标签监督。新的架构如下图所示。全分辨率的输入图像，下采样2倍和4倍后，形成级联输入的中分辨率和低分辨率分支。
ICnet网络核心思想是将图像分为高中低三层。性能大幅提升的根本原因就是让低低分辨的图像经过语义分割网络产生粗糙的分割结果；之后特征级联混合单元与标签引导的级联策略将中分辨率和高分辨率的特征整合，逐步地优化之前生成的粗糙分割结果。