1、“面向对象+深度学习”遥感信息提取技术在水利行业应用水利部遥感技术应用中心水利部防洪抗旱减灾工程技术研究中心中国水利水电科学研究院2017.10报告内容1.业务需求2.解决方案3.应用案例1.业务需求-水利行业水源地监测水源地水体范围是水源地管理重要方面，自动化快速提取很重要水土保持监管生产建设项目、动土、水保措施识别是水保的重要方面，对快速解译、变化检测要求高水政执法取证河湖管理范围的违建监测是水政执法取证的重要方面，对准确变化检测要求高洪涝灾害监测洪涝灾害也是防洪减灾的重要方面，及时、快速获取淹没范围很重要灌区信息监测作物识别对灌区农业用水管理很重要，需要精准的识别水利遥感应用领域自动快速2、准确水利信息遥感解译像元面向对象遥感解译方法1.业务需求-现状及问题1）基于“像元+传统分类”的分类优点：优点：充分利用遥感影像光谱特征的的分布规律，即自然聚类的特征，进行分类缺点缺点：由于地球表面许多地物存在着“同谱异物、同物异谱”现象，利用基于像元的方法进行分类会导致“椒盐现象”1.业务需求-现状及问题2）基于“面向对象+传统分类”的分类尺度1尺度2尺度3优点：优点：将不同的地物分割到不同的对象之中，这对分类起了至关重要的作用。缺点：缺点：对象的特征，如光谱、形状、纹理等。但对于形状、纹理特征认识描述的不够全面，信息量还不足以支撑地物分类、识别。1.业务需求-现状及问题3）基于“面向对象+3、深度学习”的分类遥感影像训练样本学习结果优点：优点：可以来掌握不同对象的形状、纹理特性，反过来指导对象分类。缺点：缺点：样本代表性不确定和训练成本高。1.业务需求-解决思路 解决思路解决思路:结合“面向对象结合“面向对象+深度深度学习”学习”方法方法来进行地物识别分类来进行地物识别分类1）解决地物分不开问题：）解决地物分不开问题：通过多尺度对象完全融合实现不同尺度对象上同时编辑。因为自然界的地物本身就是在不同尺度上的，在不同尺度上切换编辑，提高了解译精度，减少后期人工矢量编辑工作2）解决）解决地物地物分类不准确问题分类不准确问题：通过 深度学习来学习不同对象的纹理、环境等高级特性，形成深度学习4、模型来进行对象分类，这是目前分类问题最好的解决方案2.解决方案-总体思路基于“面向对象基于“面向对象+深度学习”实现信息提取及变化监测深度学习”实现信息提取及变化监测遥感影像自动处理遥感影像自动处理地类信息提取地类信息提取变化监测变化监测规则库建设规则库建设基于对象后编辑基于对象后编辑构建规则库构建规则库长时间序列长时间序列遥感影像遥感影像深度学习深度学习模型模型模型库自动模型库自动构建构建样本提取样本提取模型训练模型训练辅助文件辅助文件训练样区文件训练样区文件(shpshp)典型地类描述文典型地类描述文件件(clfclf)1 12 23 3基于基于 面向对象面向对象+深度学习深度学习 方法构5、建方法构建遥感影像自动获取及预处理地物分类目标识别变化监测水利行业应用业务流程123规则库建设包括基础数据的准备及分类规则库建设遥感影像自动解译实现遥感影像的信息自动提取及变化监测基于对象矢量后编辑及成果导出对分类后结果进行对象编辑及栅格、矢量导出2.解决方案-总体思路1）辅助文件准备）辅助文件准备地类描述文件地类描述文件文件1：参与训练样本的自动提取、模型训练文件2：参与信息的自动提取及变化监测准备两个地类描述XML文件，文件格式如下：XML文件制作人机交互界面3.1信息提取及变化监测方案2.解决方案-规则库建设方法方法2 2：基于面向对象法基于面向对象法方法方法1 1：基于已有矢量基于已有6、矢量矢量数据格式转换矢量数据格式转换监测区域监测区域遥感影像遥感影像输入输入典型地类信息提取典型地类信息提取典型区域典型区域AOIAOI(shpshp)典型地类描典型地类描述文件述文件(clfclf)方法方法3 3：基于深度学习规则法基于深度学习规则法基于面向基于面向信息提取信息提取人工编辑人工编辑基于已有基于已有规则提取规则提取人工编辑人工编辑训练样区训练样区文件文件(shpshp)输出输出1）辅助文件准备）辅助文件准备训练样区文件训练样区文件训练样区矢量文件格式如下：3.1信息提取及变化监测方案2.解决方案-规则库建设1）辅助文件准备）辅助文件准备训练样区文件训练样区文件第一步：设置样区范7、围第二步：训练样区制作方法方法3 3：基于深度学习规则制作：基于深度学习规则制作方法方法2 2：基于面向对象法制作：基于面向对象法制作方法2、方法3训练样区制作步骤3.1信息提取及变化监测方案2.解决方案-规则库建设2）构建规则库）构建规则库训练样本提取训练样本提取第一步：自动提取第二步：人工编辑删除有云区域或提取错误样本，并重新导出.3.1信息提取及变化监测方案2.解决方案-规则库建设2）构建规则库）构建规则库模型训练模型训练模型训练结果模型训练3.1信息提取及变化监测方案2.解决方案-规则库建设123规则库建设包括基础数据的准备及规则库建设遥感影像自动解译实现遥感影像的信息自动提取及变化监8、测基于对象矢量后编辑及成果导出对分类后结果进行对象编辑及栅格、矢量导出2.解决方案-总体思路业务流程信息提取结果信息提取1）信息自动提取）信息自动提取1）基于已有规则的信息提取2）基于训练样区信息提取遥感影像自动分类结果3.1信息提取及变化监测方案2.解决方案-遥感影像自动解译分析结果展示信息提取结果分析1）信息自动提取）信息自动提取1）分类结果混淆矩阵2）错分数据分析空间展示3.1信息提取及变化监测方案2.解决方案-遥感影像自动解译利用面向对象遥感影像分割优势实现基于控制边界的变化监测利用面向对象遥感影像分割优势实现基于控制边界的变化监测2）变化监测）变化监测3.1信息提取及变化监测方案2.9、解决方案-遥感影像自动解译2）变化监测）变化监测基于控制边界的变化监测变化监测1）基于控制边界的信息提取2）变化监测3.1信息提取及变化监测方案2.解决方案-遥感影像自动解译123规则库建设包括基础数据的准备及规则库建设遥感影像自动解译实现遥感影像的信息自动提取及变化监测基于对象矢量后编辑及成果导出对分类后结果进行对象编辑及栅格、矢量导出2.解决方案-总体思路业务流程2.解决方案-基于对象矢量后编辑及成果导出基于面向对象分割后的对象进行对象编辑并将结果到出为栅格或矢量3.应用案例应用案例水保监测水政执法种植结构水源地监测洪涝监测3.应用案例应用案例水保监测水政执法种植结构水源地监测洪涝监测3.10、应用案例-水源地水体遥感监测业务目标以全国重要湖泊和水库等水源地作为监测目标，进行地表水体范围和水域面积的连续动态监测，自动地监测地表水体变化情况，揭示其时空变化规律。3.应用案例-水源地水体遥感监测水体自动提取水体自动提取水体自动提取水体自动提取目录监听目录监听图像校正图像校正水体提取水体提取数据入库数据入库水体规则水体规则自动检索自动检索自动获取高分数据自动获取高分数据处理流程处理流程单个文件选择单个文件选择批量文件选择批量文件选择数据检索数据检索图像校正图像校正影像分割影像分割分类分类规则规则提取规则编辑提取规则编辑影像分割影像分割图像校正图像校正水体提取水体提取影像分割影像分割水体提取11、水体提取水体矢量生成水体矢量生成是否需要是否需要再编辑再编辑矢量编辑矢量编辑是是处理文件选择处理文件选择成果入库归档成果入库归档否否水体提取结果后处理水体提取结果后处理水体提取水体提取结果检查结果检查满足满足不满足不满足水体规则编辑水体规则编辑水体提取水体提取水体矢量生成水体矢量生成是否需要是否需要再编辑再编辑矢量编辑矢量编辑是是成果入库归档成果入库归档否否本机磁盘存储本机磁盘存储数据入库数据入库否否水体提取结果后处理水体提取结果后处理水体提取水体提取结果检查结果检查满足满足不满足不满足水体规则编辑水体规则编辑水体提取水体提取水体矢量生成水体矢量生成是否需要是否需要再编辑再编辑矢量编辑矢量编辑12、是是水水面面积积提提取取水水面面积积提提取取信信息息后后处处理理人工获取高分数据处理流程人工获取高分数据处理流程应急模式应急模式批量文件处理批量文件处理水体面积遥感监测系统业务流程设计水体面积遥感监测系统业务流程设计专题分析及专题分析及产品制作产品制作人工录入人工录入数据库检索数据库检索人工选择人工选择数据库检索数据库检索专题分析专题分析指定水体水面积指定水体水面积变化时序分析变化时序分析指定空间水面积指定空间水面积变化时序分析变化时序分析专题分析及成果导出专题分析及成果导出产品制作产品制作按行政区查询按行政区查询按流域查询按流域查询自定义查询自定义查询水体提取信息矢量合并水体提取信息矢量合并13、专题图制作专题图制作报告制作报告制作人工批量导入人工批量导入根据系统业务需求分析成果，通过对常规业务处理和应急业务处理两类业务流程分析，系统业务流程归纳为系统数据自动推送、水面积信息提取、水面积提取信息后处理和专题分析产品制作等四个阶段处理过程。业务流程3.应用案例-水源地水体遥感监测成果展示3.应用案例应用案例水保监测水政执法种植结构水源地监测洪涝监测3.应用案例-水土保持业务目标以生产建设项目的地表动土监测为目标，进行北京市生产建设项目分季度、分年度监测，支撑北京市水土保持监测和监管。3.应用案例-水土保持卫星遥感数据源首期遥感数据多期遥感数据现场调查结合解译建立解译标志现场调查结合解译建14、立解译标志土地利用变化监测分析动土专题信息图土地利用生产建设项目位置图动土空间分布要素解读地表动土遥感监测生产建设项目动土提取业务流程3.应用案例-水土保持业务流程面向对象分割及深度学习土地利用信息提取3.应用案例-水土保持业务流程变化检测的动土提取3.应用案例-水土保持成果展示3.应用案例应用案例水保监测水政执法种植结构水源地监测洪涝监测3.应用案例-湖北水政执法为加强湖泊保护，保障湖泊功能，使千湖之省碧水长流，建设湖泊卫星遥感监测系统，利用遥感影像和识别技术，实现全省755个湖泊及湖泊水体管理范围内违建情况的变化监测和分析，用来指导当地水政部门违建取证。业务目标3.应用案例-湖北水政执法湖15、泊影像裁切湖泊影像入库湖泊影像查询湖泊水体提取湖泊违法侵占提取水体成果入库违法侵占信息入库制图统计遥感影像预处理数据管理湖泊水体信息提取制图统计业务流程3.应用案例-湖北水政执法成果展示湖泊监测系统的开发及管理范围内违建提取3.应用案例-湖北水政执法成果展示3.应用案例应用案例水保监测水政执法种植结构水源地监测洪涝监测3.应用案例-洪涝灾害遥感监测洪涝灾害事件发生基于遥感影像的洪涝灾害信息提取洪涝灾害评估报告快速、准确东华软件股份公司2012年12月业务目标3.应用案例-洪涝灾害遥感监测业务流程3.应用案例-洪涝灾害遥感监测成果展示洪涝灾害监测系统3.应用案例-洪涝灾害遥感监测成果展示3.应用16、案例应用案例水保监测水政执法种植结构水源地监测洪涝监测3.应用案例-灌区作物种植结构业务目标为满足灌区干旱监测需求，快速、准确识别灌区作物种植信息，利用面向对象和深度学习的方法，提取作物覆盖情况，以河北省冬小麦地提取为例，进行方法研究。3.应用案例-作物种植结构以提取冬小麦种植空间分布结构为例，梳理农作物种植空间分布提取技术。选择高分一号卫星,分辨率16m的遥感数据作为主要数据源之一。此外还包括的数据源有：（1）河北省土地利用分类栅格数据（2）河北省县级行政区划矢量数据（3）河北省农作物种植物候信息（4）中国种植业信息网以河北省冬小麦为例种植结构提取方法3.应用案例-作物种植结构由河北省主要作17、物物候表可以看出，3月中上旬耕地内只有冬小麦生长，因此选取3月中上旬GF-1遥感影像作为提取冬小麦源数据。1）影像选取GF-1号卫星2017年3月8日河北地区遥感影像图3.应用案例-作物种植结构面向对象方法是以影像对象“Image object”为处理单元，而不是遥感影像的单个像元，该方法的基本处理对象是通过多尺度分割产生的，即按照一定的均质性条件对原始影像中的像元进行区域合并形成同质相邻像元的集合体。面向对象的信息提取方法是在利用遥感影像光谱信息的基础上，还综合的考虑影像对象的空间信息、纹理信息以及领域对象的关联信息等。面向对象影像分割示意图如下所示：影像分割前影像分割后2）面向对象分割3.18、应用案例-作物种植结构2）基于NDVI阈值样本筛选具体面向对象分割参数选择3个分割尺度，分别为50、30、18，平滑度选择0.5。然后进行NDVI阈值提取。在NDVI阈值过程中发现，无法完全将冬小麦与山林区分开来，因此将冬小麦与山林一起提出，而后利用深度学习分类方法进行分类。左图为NDVI阈值提取结果图（图内右上黄色部分为山林，右下大面积黄色部分为冬小麦种植区）3.应用案例-作物种植结构基于NDVI阈值提取出的对象挑选样本并分类，分为冬小麦和非冬小麦两类，此处深度学习分类方法主要是基于卷积神经网络对样本进行学习从而对图像进行分类。下图为分类结果展示。上图中橘色代表林地黄色代表冬小麦种植区上图为分类结果中冬小麦种植区细部图3.应用案例-作物种植结构最终将【面向对象分割+NDVI阈值+深度学习分类】的方法分别应用于全覆盖河北省的14幅影像，获得矢量并进行拼接，从而完成整个河北省的冬小麦种植提取。河北省冬小麦种植空间分布结果如下图所示。4）结果展示谢谢大家