智慧水利建设项目解决方案2020(258页).docx
下载文档
上传人:十二
编号:941528
2024-06-18
255页
12.43MB
1、 智慧水利建设项目解决方案 摘 要为深入贯彻习近平新时代中国特色社会主义思想和党的十九大精神,积极践行“节水优先、空间均衡、系统治理、两手发力”的治水方针,水利部2019年1月14日组织召开了2019年水利部全国水利工作会议,会议指出:中国特色社会主义进入新时代,水利事业发展也进入了新时代。我国治水的主要矛盾已经发生深刻变化,从改变自然、征服自然为主转向调整人的行为、纠正人的错误行为为主。各级水利部门要准确把握当前水利改革发展所处的历史方位,清醒认识治水主要矛盾的深刻变化,加快转变治水思路和方式,将工作重心转到“水利工程补短板、水利行业强监管”上来。这是当前和今后一个时期水利改革发展的总基调。2、为准确把握全国水利信息化发展方向,贯彻党中央、国务院和水利部、省委省政府关于信息整合共享的相关要求,有效解决水利信息资源整合不足、共享困难、整体效益不明显的问题,进一步加快提升新时代水利信息化水平,从全省水利信息化全局出发,按照先急后缓、先易后难的原则,整合水利信息化资源,建设省、市、县三级信息集成和共享的大数据中心,部署水利应用服务支撑平台,实现数据与应用管理的信息共享、应用协同、基础支撑和安全保障。在此基础上建设和部署业务系统;建立和健全标准规范体系和安全体系,初步建成 “一个平台,六大体系”为核心的“智慧水利”项目。目 录摘 要21 客户痛点及发展趋势41.1 水利发展存在的问题41.13、.1 水利信息化基础设施建设尚待完善41.1.2 水利数据中心尚未达到一数一源,数据标准化不足41.1.3 水利大数据中心尚未建立,数据开放、开发利用程度不高51.1.4 水利信息资源共享、交换困难,管控力度不够51.1.5 缺乏数据共享及水利大数据分析能力61.2 发展的趋势61.2.1 开展融合平台建设,实现资源的共建共用61.2.2 建立全省范围内的水利物联网工程61.2.3 建立全省范围的精细化水文预报预警工程71.2.4 开展水利专业与大数据、“互联网+”融合工程71.2.5 开展数据共享服务82 解决方案的价值主张92.1 实现水利数据“一数一源的”92.2 解决数据隔阂,实现水利4、大数据多维分析92.3 实现数据整合共享92.4 保证数据的鲜活性,节约项目建设维护成本102.5 提升水利管理水平102.6 统一数据汇聚,避免重复采集102.7 加快数据分析,强化决策管理112.8 统一物联网平台,优化运维管理112.9 创新驱动,推动水利科技发展113 针对性的解决方案123.1 解决方案概述123.1.1 项目建设背景123.1.2 项目建设目标153.1.3 项目建设任务153.1.4 项目建设范围163.1.5 项目建设依据与遵循标准173.2 解决方案架构设计233.2.1 项目总体设计原则233.2.2 项目总体设计思路233.2.3 项目总体架构设计253.5、2.4 项目数据架构设计273.2.5 项目平台架构设计303.2.6 项目安全架构设计323.2.7 技术路线353.3 详细解决方案413.3.1 建设充分共享的水利基础根平台413.3.2 物联网感知体系建设1613.3.3 应用支撑体系建设1693.3.4 智能应用体系建设1803.3.5 智能服务体系建设2313.3.6 标准规范体系建设2433.3.7 安全保障体系建设250智慧水利建设项目解决方案1 客户痛点及发展趋势1.1 水利发展存在的问题1.1.1 水利信息化基础设施建设尚待完善受项目投资来源不同、建管分散、建设期不同、技术差异等因素影响,水利信息化基础设施区域发展尚不平衡6、。在信息采集方面,分属各业务系统的信息采集点内容单一、相互独立,时间空间布局尚存在部分交叉和空白,移动采集能力不足,工情信息采集相对滞后,采集网络整合力度不够,尚未形成“采集多元、布局合理、手段互补、业务共享”的智能感知信息采集综合体系;在通信网络建设方面,网络覆盖和网络融合程度不够,移动互联能力不足,满足水利特殊需求的专用网络仍需完善,网络安全体系不够完善,尚未形成结构优化、灵活接入、安全可靠的先进水利通信网络体系;计算、存储资源共享程度不高,适应业务发展的能力仍不足,尚未形成功能互补、资源共享的基础设施平台,距离集约化管理的要求还有差距,不能有力支撑水利改革发展的要求。1.1.2 水利数据7、中心尚未达到一数一源,数据标准化不足通过系统建设现状我们看出,受项目投资来源不同、建管单位不同、建设期不同各业务都分别建设了自己的数据库,尚未真正形成水利数据中心。同时受采用技术差异、分属于各业务系统汇聚口径不一致、维护更新缺乏规范化流程管理等因素影响,数据尚未形成“一数一源”。1.1.3 水利大数据中心尚未建立,数据开放、开发利用程度不高 目前省级水利信息化数据主要分散在省水利信息中心机房及厅直各单位机房等各个部门。为了实现具体的功能目标,各自开发建设业务数据库和空间数据库,由于任务和资金渠道不同,系统独立、数据重复建设,呈现条块分割的特征,且大多数数据库与具体应用软件紧密绑定,业务部门分别8、管理,形成以地域、专业、部门等为边界的信息孤岛,因此未形成统一的大数据中心,无法实现数据的横向贯通、纵向共享,及数大据碰撞分析。1.1.4 水利信息资源共享、交换困难,管控力度不够目前围绕防汛抗旱、水资源管理、电子政务、水文应用、水利管理、水利规划、水利建设、水政执法等工作需要,建成一批业务应用系统,水利业务应用系统的分散建设和局部应用,使得水利信息资源分散局未打破,缺乏统一的信息资源管控,信息孤岛依然存在、数字鸿沟持续扩大,严重影响了水利业务协同。不同业务系统积累的数据资源,在业务活动和要素覆盖程度上存在差异,部分要素缺失、数据冗余和不一致想象仍未根本扭转,数据来源多且不统一,数据权威性不够9、,事关全局的信息资源得不到及时的共享利用,全面信息资源规划力度不够,尚未形成服务全局的信息资源服务体系,缺少大数据处理能力,信息资源的开发利用程度不够,严重影响了综合决策能力的提升,无法满足政府“用数据说话、用数据管理、用数据决策”的要求。1.1.5 缺乏数据共享及水利大数据分析能力近年来,由重点工程带动,信息化应用基本覆盖了水利业务,水利业务应用取得显著成绩。同时,重业务轻管理局面尚未扭转,对加强水利管理的支撑力度不够,不同应用系统的业务支撑能力不一,与业务活动的深入结合程度不一,已建和部分在建的水利信息系统普遍侧重基本业务处理需求,在适应业务协同发展和信息资源深度开发利用等方面考虑不够,面10、向全局的数据分析、决策支持能力仍不足,不利于信息化建设整体优势和规模效益的充分发挥,不能有力支撑水治理和水管理能力的提升。1.2 发展的趋势1.2.1 开展融合平台建设,实现资源的共建共用统一设计各类资源,统筹整合各级水利系统、相关部门的现有网络资源、基础资源、数据资源、应用资源,依托“数字政府”或“电子政务”构建的统一融合大平台,着力打破信息孤岛,畅通资源整合渠道,实现跨地域、跨平台、跨系统的涉水相关信息资源共享交换与互联互通。最终做到“横向一盘棋,纵向一条线”的实施目标。1.2.2 建立全省范围内的水利物联网工程利用现有成果,补齐水文站网短板,利用物联网、遥感、智能视频等现代化手段加快水利11、现代化建设的步伐,感知手段要从传统的以传感器直接监测为主的方式转变为传感、定位、视频、遥感等综合技术的空天地一体化监测模式,大力提升水文测报自动化和智能化水平。1.2.3 建立全省范围的精细化水文预报预警工程通过联合气象、水利、自然资源、遥感院、水利专业公司、知名院校,开展基于全省范围自然资源空间数据,利用气象部门提供的气象预报,地矿工程勘察院水文地质等资料,充分利用大数据技术集成网格化分布式水文预报模型,在重点江河湖库、中小河流、山洪易发区以及城市等重点区域建立精细化的影响预报和风险预警模型,建设省级水文预报预警业务系统;结合BIM技术和三维实景模型实现洪水模型构建与动态展示,从而达到大幅提12、高洪水模型构建精度、洪水淹没演进展示高度逼真效果。1.2.4 开展水利专业与大数据、“互联网+”融合工程以新一代技术为依托,搭建大平台、形成大数据、组建大系统、提供大服务,构建全厅一个“大数据平台”,实现水利数据省、市、县的“一库”共治共享,实现基于水利厅“一图”的共建共用,在此基础之上,重点开展大数据喂养相关模型,提高模型精度,积极开展泛在互联、服务整合和智慧应用,推进中小河流、水资源调度、水资源监控、地下水管理、水土保持等业务系统的整合,推进“互联网+水利”公众服务,实现预报、预警的同步发布。1.2.5 开展数据共享服务完善水利信息化数据共享交换管理制度,逐步实现水利行政部门内部及不同市直13、部门之间的数据共享。对内通过大数据中心的统进统出方式实现水文局各业务部门内部数据的共享交换;对外通过大数据资源中心与政务共享交换平台数据交换实现与气象、自然资源、生态环境、农村农业等部门的数据资源共享和交换。2 解决方案的价值主张针对客户痛点,推进水利信息化资源整合共享和开发利用,强化信息化技术与水利业务深度融合。建设省、市、县三级信息集成和共享的大数据中心,部署水利应用服务支撑平台,实现数据与应用管理的信息共享、应用协同、基础支撑和安全保障,在此基础上建设和部署业务系统;建立和健全标准规范体系和安全体系。通过“智慧水利”项目的建设,实现该项目以下价值:2.1 实现水利数据“一数一源的” 健全14、水利数据资源体系,形成水利数据资源目录,解决庞大数据的存储、管理、更新等问题,实现数据资产的统一管理。通过水利数据模型对各种水利数据资源进行整合,赋予各类水利对象统一的“身份标识”,经数据与对象以及对象间多方关联,形成有机联系的水利数据体系。建设水利信息基础平台、逐步实现水利数据的“一数一源”。2.2 解决数据隔阂,实现水利大数据多维分析充分解决数据之间存在相互隔阂的问题,依托知识图谱技术形成水利数据链条及网状知识图谱,实现数据之间的碰撞,实现数据之间关联性的分析;开展水利数据挖掘分析平台建设,对水利数据进行深度钻取,为水利大数据分析打下基础。2.3 实现数据整合共享梳理整合水利厅及目前已有水15、利数据形成内容全面、标准统一的数据资源目录,开展数据共享的重要手段和途径,建立有序共享、适度开放、安全可靠的水利数据共享应用新机制,形成水利数据在系统内、政府部门间有序共享和向社会适度开放的新格局。2.4 保证数据的鲜活性,节约项目建设维护成本由于数据目前存储在各个数据库中,相同的数据在系统间分别存储在不同的表中,无法实现数据的集中更新,也无法实现数据的统一接口调用,通过建设数据目录可解决数据源不统一,实现数据的集中更新,通过数据目录体系的建设,同时也为未来系统建设提供基础资源,未来系统建设只需要要通过接口调用基础数据,不在单独进行数据库建设,大幅节约项目建设成本。2.5 提升水利管理水平水利16、作为传统的行业之一,技术与管理创新的任务是日趋繁重。加强水利信息化建设,将逐步改善水资源的监测、评价、管理等,提升管理效率,增加科技含量,促进技术和管理创新。面对当前推进农业供给侧结构性改革、提升水资源和江河湖库管理水平和科学决策能力的要求,解放人力资源,实现自动化监控、监控,必须加快推进水利信息化建设工作。2.6 统一数据汇聚,避免重复采集强化信息资源库的共建共享,建立信息采集、更新、维护、共享等制度规范,遵循“一数一源”的原则,明确信息收集、发布、维护的规范和程序,不得重复采集、多头采集,确保信息真实、可靠、完整、及时。2.7 加快数据分析,强化决策管理基于数据资源中心的信息资源,对典型民17、生领域相关数据进行分析,并将分析出的数据推送给相关部门并以可视化的方式呈现,为政府决策和社会管理提供有力支撑。2.8 统一物联网平台,优化运维管理建立全省统一的水利工程全覆盖、全时空、全天候、全数字化的“大数据”网络体系。通过统一建设,高速互联,逐步完善,达到平台能力及应用的可成长、可扩充、创建面向未来的现代化水利信息系统框架,最终实现水利工程管理和使用(包括安全监测、自动控制、统计分析等等)的全面感知和智能应用。2.9 创新驱动,推动水利科技发展以大数据技术、数据共享技术为支撑,建设“智慧水利”项目,充分运用“云物移大智”(云计算、物联网、移动互联网、大数据、人工智能)和卫星遥感、导航定位等18、先进信息技术构建全新的广东省水利信息化省级共享平台服务体系,逐步实现感知透彻、安全高效、决策智能、服务主动的“大水利”3 针对性的解决方案3.1 解决方案概述3.1.1 项目建设背景水利是经济社会发展的重要基础设施,根据中共中央关于制定国民经济和社会发展第十三个五年规划的建议国民经济和社会发展第十三个五年规划纲要,以及国家关于“十三五”规划编制工作的总体要求,2015年以来,国家发展改革委、水利部、住房城乡建设部共同组织编制了水利改革发展“十三五”规划。规划是“十三五”水利改革发展的顶层设计,是指导今后五年水利改革发展的重要依据,经国务院同意,2016年12月20日,三部委联合印发了规划,规划19、指出,“十三五”期间,要全面贯彻落实党中央、国务院决策部署,深入学习贯彻习近平总书记系列重要讲话精神,坚持“节水优先、空间均衡、系统治理、两手发力”,以全面提升水安全保障能力为主线,突出目标和问题导向,以落实最严格水资源管理制度、实施水资源消耗总量和强度双控行动为抓手,全面推进节水型社会建设;以全方位推动水利体制机制创新为突破口,深化水利改革、强化依法治水、加强科技兴水;以推进重大水利工程建设、增强防汛抗旱减灾和水资源配置能力为重点,加快完善水利基础设施网络;以江河流域系统整治和水生态保护修复为着力点,把山水林田湖作为一个生命共同体,大力推进水生态文明建设,为经济社会持续健康发展、如期实现全面20、建成小康社会目标提供更加坚实的水利支撑和保障。党的十八届五中全会明确提出实施国家大数据战略,国民经济和社会发展第十三个五年规划纲要将实施国家大数据战略作为“十三五”时期坚持创新驱动发展、培育发展新动力、拓展发展新空间的重要抓手。水利在国民经济和社会发展中发挥着重要作用,是大数据产生和应用重要领域之一,历年来,水利结合重大信息化建设项目、资源调查与普查专项工作以及日常工作等产生和积累了海量水利数据,对认识水利规律、强化水利管理、谋划水利未来均具有重要价值。为贯彻落实国务院关于印发促进大数据发展行动纲要的通知(国发201550号精神,推动数据资源共享开放,促进水利大数据发展与创新应用,水利部网络安21、全与信息化领导小组办公室组织编制了关于推进水利大数据发展的指导意见,于2017年5月正式颁布,建设主要目标:一是健全水利数据资源体系。梳理整合水文水资源、防汛抗旱、水利工程、水土保持、农村水利、水库移民与扶贫、水行政执法、水利安全监管与水利规划等各类数据,形成内容全面、标准统一的数据资源目录,健全水利数据资源体系,全面提升水利数据支撑能力。二是实现水利数据有序共享开放。构建水利数据共享应用平台,建立有序共享、适度开放、安全可靠的水利数据共享应用新机制,形成水利数据在系统内、政府部门间有序共享和向社会适度开放的新格局。三是深化水利数据开发应用。在做好水利数据采集与管理的基础上,重点做好水利大数据22、的深度挖掘、分析研究及产品加工,支撑水资源、水环境、水生态和水灾害等水利应用。不断创新发展模式,探索运用市场机制,拓宽投融资渠道,积极引导社会力量参与,逐步形成水利大数据开发服务。为深入贯彻习近平总书记网络强国战略思想和中央关于网信事业发展重大部署,认真落实国务院关于积极推进“互联网+”行动的指导意见国务院关于印发促进大数据发展行动纲要的通知国家信息化发展战略纲要等文件要求,积极践行五大发展理念和新时期水利工作方针,进一步加强水利行业信息化建设与管理,保障水利网信事业协调健康发展,水利部在2016年12月26日印发了关于进一步加强水利信息化建设与管理的指导意见意见工作目标指出:围绕水利中心工作23、,整合资源、优化配置,强化融合、深化共享,在全国范围内建成协同智能的水利业务应用体系、有序共享的水利信息资源体系、集约完善的水利信息化基础设施体系、安全可控的水利网络安全体系及优化健全的水利信息化保障体系,实现互联互通、信息共享、应用协同和安全保障,全面提升水利信息化水平,推动“数字水利”向“智慧水利”转变,推进水治理体系和水治理能力现代化。为准确把握全省水利信息化发展方向,贯彻党中央、国务院和水利部、省委省政府关于“互联网+政务”、信息系统整合共享的相关要求,有效解决水利信息资源整合不足、共享困难、整体效益不明显的问题,进一步加快提升新时代水利信息化水平,从全省水利信息化全局出发,按照先急后24、缓、先易后难的原则,拟先开展数据治理项目建设,实现水利信息资源整合共享,带动业务系统建设应用跨越发展,全面支撑全厅核心业务应用,实现全厅水利信息化建设“一盘棋”。3.1.2 项目建设目标根据中央建设网络强国、数字中国、智慧社会的战略部署,深入贯彻落实习近平总书记提出的“节水优先、空间均衡、系统治理、两手发力”的新时代水利工作方针。对照鄂竟平部长提出的“补短板、强监管”的水利改革发展新要求和XX省十三五水利发展规划要求,以“前端一体化、数据资产化、服务价值化、管控可视化、展示现代化”为建设抓手,加强云计算、物联网、移动互联、大数据、人工智能等新技术的应用;搭建大平台、形成大数据、组建大系统、提供25、大服务;积极开展泛在互联、服务整合和智慧应用,开展惠民服务,通过建设“一个平台,六大体系”全面推进省水利的现代化进程,使省水利信息化建设走在全国最前列。3.1.3 项目建设任务依托省政务云平台;建立水利专业数据的汇集、共享、交换和水利数据库、数据仓库、数据资源目录与大数据服务等;建立水利大数据分析技术和决策支持模型平台框架;建立微服务架构的水利业务服务资源库,统一水利信息服务访问接口;通过一张图进行接入与集成整合各种数据资源、模型资源、服务资源和应用资源;对基础资源、数据资源、模型资源、服务资源进行统一的开发、注册、发布与管理。最终实现省“智慧水利” “前端一体化、数据资产化、服务价值化、管控26、可视化、展示现代化”。促进省水利信息的深度改革与发展。图1 项目建设内容3.1.4 项目建设范围(1)项目建设范围:本实施方案适用于本省水利信息化资源整合与共享工作,涉及在省水利厅机关、省防办、水利厅直属单位及市(州)水务局等在水利工作中积累起来以信息为核心的各类信息活动要素集合,涵盖了数据资源、业务应用、基础设施、安全体系和技术保障条件等范畴。(2)数据整合共享范围:从行政审批、行政监管、行政执法、应急管理等职能出发,围绕防汛抗旱、水资源管理、工程建设管理等省水利厅核心业务需要,重点摸清、梳理数据需求和数据成果,整合的数据类型包括但不限于水利工程、河流湖泊、水文、饮水安全、取用水、入河排污口27、水行政执法等。包括本项目建设期间新增的各类数据资源。 (3)应用系统整合范围:集中全厅各单位已建核心业务应用系统,包括本项目建设期间新建的各业务应用系统。3.1.5 项目建设依据与遵循标准项目建设依据水利部水利信息化发展“十三五”规划(水规计2016205 号)、根据国民经济和社会发展第十三个五年规划纲要、中共委关于集中力量打赢扶贫开发攻坚战确保同步全面建成小康社会的决定(川委发201510号)、中共委办公厅、人民政府办公厅关于创新机制推进水利支持幸福美丽新村建设的意见(川委办201618号)等规划。项目建设遵循国家相关标准的基础上,遵循水利部水利信息化资源整合共享顶层设计(水信息2015128、69 号)、水利网络安全顶层设计(2017 年)、水利对象分类与编码总则、水利数据目录服务规范、水利工程代码编制规范(SL 213-2012)、水利数据中心建设指导意见和基本技术要求(水文2009192 号)等行业标准,执行水利部水利信息网身份认证系统和数字身份证书管理办法等制度。3.1.5.1 项目建设原则依据水利部、水利厅信息化建设所颁发的政策、标准和指南等文件,根据水利厅业务特点,在开展“水利厅数据治理”项目建设中,应坚持以下基本原则:依据特点,服务未来;加强领导,统筹规划;统一标准,各负其责;融合创新,整合共享;一数一源、一源多用;安全优先,稳定可靠;急用先建,有序推进;健全机制,明确29、责任。一、依据特点,服务未来:以大数据技术、数据共享技术为支撑,建设水利厅数据治理项目,充分运用“云物移大智”(云计算、物联网、移动互联网、大数据、人工智能)和卫星遥感、导航定位等先进信息技术构建全新的水利信息化省级共享平台服务体系,逐步实现感知透彻、安全高效、决策智能、服务主动的“大水利”。二、加强领导,统一规划:从顶层设计入手,对项目进行统一规划,制定科学的实施方案、技术标准和数据规范,实现“统一技术架构、强化资源整合、促进信息共享、保障良性运行”目标的实现,解决项目建设过程中出现项目各自为政、低水平重复建设、信息资源分散、开发利用效率低、信息资源整合共享不足等全局性问题。三、统一标准,各30、负其责:坚持标准先行的建设理念,遵循“一国标,二部标,三省标,四自建”的四部曲原则,标准的制定既要考虑到目前的信息技术水平,也要对未来信息技术的发展有所预见,建立联系紧密、相互协调、层次分明、构成合理、相互支持、满足需求的标准体系,并严格贯彻实现,使标准体系成为项目建设过程中统一指导唯一原则。四、融合创新,整合共享:数据治理项目需要将不同的资源按照系统集成来实现,实现的关键在于解决系统之间的互连和互操作性问题,需要协调多厂商、多协议和面向各种应用困难问题。这需要解决各类设备、子系统间的接口、协议、系统平台、应用软件等与子系统、组织管理和人员配备相关的一切面向集成的问题。最终做到“横向一盘棋,纵31、向一条线”的实施目标。五、一数一源,一数多用:按照“一数一源、一源多用”的原则,制订水利厅数据整合共享标准,建立水利信息资源目录,建立具有智能性、开放性、可扩展性的市级水利数据融合架构。按照统一的数据标准、统一的接入服务,整合全省范围内的水利业务数据。从而建成以各类水利业务数据为基础的水利数据交换数据库,提供纵向贯通、横向互联的网络化数据交换共享体系和水利数据交换系统,明确数据管理的职权,建立数据全生命周期的采集、存储、交换、更新、共享以及安全等管理办法。六、急用先建,有序推进:水利厅数据治理项目是一项复杂的工程,涉及大数据服务、数据整合、标准制定、GIS地图建设等各个层面,涉及面多、广,在顶32、层设计、标准先行的指导下可以进行分布实施,做到重点系统优先建,急用系统优先建,采用分步实施的策略,分期、分批完成建设任务。七、健全机制,明确责任:水利厅数据治理项目建设要求迫切、任务繁重、技术要求高、推进难度大,需要水利厅统一规划,各部门及市县水利局协力推进,加强组织领导,项目开始后,应当与承建单位共同成立专门的领导小组,健全项目管理组织机构,指定项目专人,落实相关任务,明确相关责任。3.1.5.2 建设遵循的规范和标准一、【重要法律法规】1、中华人民共和国水法;2、中华人民共和国计算机信息系统安全保护条例。二、【重要政策文件】1、关于积极推进“互联网+”行动的指导意见(国发201540号)(33、2015年7月);2、促进大数据发展行动纲要(国发201550号文)(2015年8月);3、国家信息化发展战略纲要(中办发201648号)(2016年7月);4、水利信息化资源整合共享顶层设计(水信息2015169 号);5、关于进一步加强水利信息化建设与管理的指导意见(水信息2016459号)(2016年4月);6、全国水利信息化发展“十三五”规划(水规计2016205号);7、关于推进水利大数据发展的指导意见(水信息2017178号);8、水利数据中心建设指导意见和基本技术要求(水文2009192 号);9、“十三五”水利发展规划(水利厅);10、政务信息资源共享管理暂行办法(国发201634、51号);11、信息分类编码的基本原则和方法GB/T7027-2002 ;12、政务信息资源目录体系 第1部分:总体框架 GB/T21063.1-2007;13、政务信息资源目录体系 第3部分:核心元数据 GB/T 21063.3-2007。三、【标准规范】1、信息分类和编码的基本原则与方法 GB/T 7027-20022、文献保密等级代码与标识 GB/T 7156-20033、数据元和交换格式 信息交换 日期和时间表示法 GB/T 74084、分类与编码通用术语 GB/T 10113-20035、信息技术 信息交换用汉字编码字符集基本集的扩充 GB 18030-20006、电子政务主题词表编35、制规则 GB/T 19486-20047、水利数据目录服务规范8、水利对象分类与编码总则9、水利工程代码编制规范(SL 213-2012)10、水文情报预报规范SL250-2000;11、水文自动测报系统技术规范SL61-2003;12、水文站网规划技术导则SL34-92;13、水利水电工程水情自动测报系统设计规范SL276-2002;14、降水量观测规范SL21-2006;15、水情信息编码标准SL330-2005;16、实时水情数据库表结构及标识符标准SL323-2011;17、水文测站编码SL330-2003。18、水利网络安全顶层设计(2016年)19、水利信息公用数据元标准(SL4736、5-2010),水利部;20、实时雨水情数据库表结构与标识符(SL323-2011),水利部;21、基础水文数据库表结构与标识符标准(SL324-2005),水利部;21、水质数据库表结构和标识符标准(SL325-2005),水利部;22、水利科技信息数据库表结构及标识符(SL4582009),水利部。23、信息分类及编码规定(SZY102-2013)24、监测数据库表结构及标识符(SZY302-2013)25、空间数据库表结构及标识符(SZY304-2013)26、基础数据库表结构及标识符(SZY301-2013)30、多媒体数据库结构及标识符(SZY305-2013)31、用户权限管理规定37、(SZY501-2014)32、信息流程(SZY503-2014)33、信息交换内容及方式(SZY502-2014)3.2 解决方案架构设计3.2.1 项目总体设计原则遵循水利部水利信息化顶层设计和关于推进水利大数据发展的指导意见、水利部关于印发加快推进新时代水利现代化的指导意见的通知及XX省“十三五”水利发展规划,省水利厅智慧水利设计方案采用松耦合的分层架构,每层功能相对集中和独立,能够为上一层提供很好的支撑服务,层与层之间具有明确的边界划分,易于未来软硬件及应用服务的调整与扩展。通过不同应用在同类层次上共用基础功能模块,实现不同应用之间更好的信息共享和协同,达到整合已有的信息化成果,可持续38、发展的长期建设目标。同时加强云计算、物联网、移动互联、大数据、人工智能等新技术的应用;搭建“大平台、形成大数据、组建大系统、提供大服务”;积极开展泛在互联、服务整合和智慧应用。3.2.2 项目总体设计思路构建“智慧水利”技术支撑体系,打造一体化高效运行的“整体水利”。打破各部门内部业务壁垒,以全局、整体的思路整合资源、优化流程,提高跨部门协同能力;以一体化、便捷化、智能化的管理和服务,进一步提升企业和群众获得感。以“智慧水利”改革的“整体思维”,借鉴“用户思维、流量思维、平台思维、跨界思维”等互联网思维,形成“水利服务互联网思维”。一是坚持“以人民为中心”,从用户体验角度优化政务服务流程和应用39、设计;二是以群众“来不来用、爱不爱用”的结果检验政务服务成效;三是通过“大平台、小前端、富生态”集约建设新模式,改变系统分散、烟囱林立的局面;四是改变传统建设运营管理模式,在“智慧水利”建设中引入互联网文化,吸收“快速迭代”、“小步快跑”等互联网发展理念,提高“智慧水利”建设效率;五是整体考量,从技术革新到业务创新、从管理创新到体制机制改革,成体系推进“智慧水利”改革建设。推进“智慧水利”改革建设要注重处理好“五个关系”: 一是上与下的关系。服务机构改革要求,按照国家相关标准规范,与国家相关平台、系统对接,打通从上至下的信息通道。 二是左与右的关系。把握全省机构改革的窗口期,着力解决机构改革后40、的系统整合、数据共享标准等问题,大力开展业务协同,提升整体政府的效率效能。 三是前与后的关系。对各部门现有信息基础设施和应用系统进行整合、优化、提升,实现对已有资产的充分利旧和应用,最大化发挥财政投资的价值。 四是内与外的关系。建立政府内部运作和对外服务一体化的运行模式,以对外服务能力提升倒逼内部运作效率提高,实现对外服务水平上台阶。 五是统与分的关系。科学合理划分省与市、业务部门与技术部门等的责任主体关系,明确建设运营中的“统”“分”关系,确保全省“智慧水利”建设上下协同、步调一致。3.2.3 项目总体架构设计根据智慧水利建设的总体目标,面向各层级水利业务智能化,以天地一体化的智慧监测体系为41、基础,以水利基础共享平台和水利大数据中心为核心、以智能应用为标志、以安全体系、标准规范和运行维护体系为保障,形成水利信息化顶层设计架构,顶层架构设计示意图如下所示。图2 顶层架构设计示意图第一层:基础数据层:主要包括智慧监测体系、水利高速互联信息网。 终端感知层,天地一体化智慧监测体系既是未来感知信息的采集端,也是智能应用的终端。为适应信息化和全面感知、智能应用要求,必然倒逼、引领应用终端设备的科技创新和技术革命,以此为动力,足以催生水利产业的新发展。重点河段、重点工程、重点应用统一规划、统一设计、统一建设、统一投资。大量面上终端设备,在规范化、标准化、产品化的基础上,列入今后水利工程新建、扩42、建、除险加固、维修项目解决。 网络层,水利高速互联信息网水利信息网是连接“智慧水利”中各种主客体,为“智慧水利”各类数据在主客体中提供传输服务。根据不同环境条件,采用依托政务网络、租赁的公共网络、自建专用网络等多种方式构建,联通流域机构、省、地市、区县等各级水行政主管部门、各类水利企事业单位及相关单位。水利信息网包括水文业务网和工控网,水利业务网覆盖各级水利部门,承载各类水文信息系统,水利工控网覆盖水利工程及其各级管理单位,承载各类水利工程控制系统,两个网络相对独立,仅根据需要在同级节点强受控连接。第二层:云支撑能力层与大数据中心“智慧水利”建设是深化“改革开放”和进一步“解放思想”的重要实现43、途径。系统建设必须充分考虑与省“政务云”融合与共享。实现与水利部、流域、省、市、县五级“纵向一条线”实现与省“政务云”横向一盘棋。通过提升数据资源获取能力、整合集成各类水利数据、建立水利数据资源目录、完善数据更新机制,形成标准统一、持续更新的水利数据体系,后期,通过系统感知、迁移、录入、共享获得,或系统融合生产的所有信息,都必须按新的规则存储。真正实现大数据充分共享。第三层:智能应用体系水利智能应用包括水资源、水灾害、水生态/水环境、水工程、水行政、水公共服务七大类,在云支撑平台和大数据中心的支撑下本次“智慧水利”规划建设水文水资源智能应用、网格化监测预警、“互联网+监管服务”、水工程防灾联合44、调度、公共服务智能应用等智能应用体系。第四层:智能展示主要建设数字水利展示中心、移动应用中心和现代水利运管中心,以水为媒,探寻历史轨迹、彰显现代文明远古智慧与当今科技相统一,展示厚重历史与现代文明相融合。通过省“水利一张图”展示省水文信息的全貌、特性、参数、功能、效益等。3.2.4 项目数据架构设计据架构描述数据全生命周期管理的流程、参与流程的功能组件及数据间相互关系。数据架构从数据汇聚、数据整理、数据存储到数据服务、数据应用围绕大数据和水文业务应用进行逐级流转。通过数据调度、数据监控、元数据管理、数据质量、数据标准,完善数据更新机制,形成标准统一、持续更新的水文数据体系,面向数据资源应用与服45、务,让数据真正活起来。水利水利业务应用数据和大数据通过数据资源池的全域数据采集、标准规范数据架构,深度萃取数据价值,统一数据资源管理和主题式服务,支持水利业务应用和管理决策,为省水利厅信息化建设向大数据、智能化方向发展提供强有力的支撑。数据架构图如下所示。图3 数据架构示意图(1) 数据汇聚数据汇聚是“智慧水利”数据流程的起点,也是主体化汇聚核心能力的体现。真实物理世界中涉水对象和环境信息被观测、感知和记录,产生大量数据,水利行业数据从业务方面可以划分为江河水系数据、水利工程数据、地下水数据、水质监测数据等,通过传感、定位、遥感、视频、人工填报等方式对其进行观测、感知和记录。传统应用数据是支持46、传统水利业务应用的主体数据源。行业外数据是由政府其他部门、各企事业单位等有效运行的业务系统长期积累的数据,服务于水利业务需要并融合贯通的综合新型数据,这些位置、导航数据、互联网数据可以通过交换、购买、爬取等方式引进来,是智慧应用“大数据”的重要组成部分。在数据汇聚过程中,对已在数据库中的数据可按照业务需求对需要汇聚的数据项进行梳理,以不出库联合建模的方式形成数据共享。(2) 数据整理数据整理旨在对汇聚后的多源异构数据进行统一规范的整理,主要是完成数据间逻辑关系的梳理,从而提升数据的规范性和可用性,避免数据冗余和重复,打破数据烟囱和不一致的现象。面向水利行业数据,主要是基于一定的数据处理规则,实47、时批量地完成空间坐标、数据格式、数据编码等方面的统一、规范转换,同时建立对象实体关系,按照时空一致性原则将不同数据进行关联,实现对象空间信息和对象关系信息的挂接。面向复杂、多变、创新新强的大数据,通过数据抽取、清洗、规范、除重、加载等流程,连接不同领域数据,完成数据整理,保障数据的活力。(3) 数据存储数据存储承担着时空一体化水利全域数据的存储和管理任务。数据存储从逻辑上构建基础库、业务库、主题库、共享库、决策库等五大库,面向水资源、水环境、水工程、水公共服务等主题,支持更新、检索、统计分析等操作。大数据存储分别按照结构化、非结构化、半结构化等进行数据存储,将水利水文行业、气象、自然资源等其他48、行业、位置、导航、视频等各种混杂的数据,按照时空特性重构数据关系,为数据共享、信息服务和决策支持提供支撑。(4) 数据服务数据服务是从存储层抽取出来的标准化、可共享的服务。“智慧水利”需要以服务的方式把自己的核心业务资产贯通整理并开放给应用层,或由第三方应用整合,以便发掘业务模式、提高服务水平、拓展合作空间。统一服务能实现水利行业多业务应用之间实现跨系统、跨协议服务能力互通。对于水文数据模型,可以按照数据组件和业务需求重构,以统一服务方式提供专业模型分析能力,更好地支撑数据应用。(5) 数据应用数据应用层是“智慧水利”面向水利水文业务领域所有应用的最终体现,核心涵盖水利业务构建业务应用系统、公49、共服务系统、智能决策系统等。通过智能应用的建设支撑政府监管、工程运行、便民服务等,提升公众感水知水能力、提升社会节水护水人文素养、提升政府管水治水服务水平。3.2.5 项目平台架构设计综合服务管理平台遵循“平台是基础、数据是核心、应用是目的”的原则,以“平台+数据+应用”的模式进行设计,平台主要包括门户、管理中心和应用中心三部分。平台架构示意图如下。图4 平台架构示意图(1) 应用支撑平台门户面向最终的业务管理人员,是所有信息化成果的集中展示,是数据、服务和应用的一站式入口。应用支撑平台门户主要包括工作区和信息区,工作区是日常业务办理的主要区域,设计应用的访问入口、我的日常待办、我的备忘、文件50、协同和个人收藏等功能;信息区主要是获取机构内外的通知公告、新闻动态等内容。(2) 应用中心面向资源和服务的使用者,为系统开发人员提供按需申请的服务,通过对应用从注册、资源申请、开发、上线的全生命周期管理,实现业务与资源隔离,达到应用上云、资源共享、信息互通和业务协同的目的。(3) 管理中心面向资源和服务的管理者,为应用提供管理和运行的支撑,为管理者提供资源和服务的全局视图,实现资源的管控、服务的审核与授权、应用的监控。管理中心实现对应用整个建设生命周期的无死角管理,使应用的开发、测试、部署、上线及升级透明化,将信息化系统开发的主动权交给业主。3.2.6 项目安全架构设计3.2.6.1 项目安全51、架构设计针对项目环境所面临的安全风险,提出如图所示的安全架构。该安全架构以平台安全服务为核心,包含五个层次的安全设计:图5 项目安全架构(1)基础层实施安全从物理安全(设备冗余、容灾备份、RAS、HA)、存储安全(数据加密、密钥管理、备份恢复)、网络安全(下一代防火墙、IDS/IPS、DDoS、攻击检测)、安全芯片(TPM/TCM)等为上层提供坚实可靠的硬件基础设施;系统安全:对操作系统进行安全加固,采用增强的身份鉴别,提供可信软件、安全审计功能本部分由水利厅原有安全设备与现有设备进行集成。(2)数据层安全基于数据全生命周期,从数据安全和隐私保护、密钥分配及管理、灾难备份与恢复等方面,采用数据52、隔离、数据防护、数据备份等技术,根据平台业务数据的重要性,进行分级加密保护和硬件透明加密,保护平台业务数据的可用性、保密性和完整性。(3)软件安全从身份和访问管理(支持双因子身份鉴别、单点登录)、应用安全、内容安全、客户端接入安全、配置安全、多租户隔离以及云应用监控等方面,保障软件的安全性。(4)平台安全从安全开发环境、中间件安全、编程接口安全、分布式安全等着手,基于轻量级的进程隔离技术,为应用开发提供安全环境,并通过应用上线体检(静态代码审核和动态模拟运行)提高平台安全性。(5)终端接入从终端自身安全防护、终端行为监控以及终端安全接入等方面,保证终端的安全及接入。3.2.6.2 安全保障体系53、组织本项目信息安全保障体系切实落实“同步设计、同步建设、同步运行”的信息安全建设原则,为保障本项目的信息安全,将建设统一的总体信息安全保障体系。本项目安全组织架构设计如下:图6 项目安全架构信息安全保障体系建设包括:安全管理组织、安全管理体系和安全技术体系三部分的内容。1、安全管理组织根据国家信息安全等级保护制度相关要求,水利厅需设立统一的信息安全领导小组,监督管理本项目的信息安全工作,决策信息安全总体策略。信息安全领导小组下设信息安全工作组,负责组织、协调和落实各项信息安全工作,负责落实总体的信息安全策略和各项信息安全工作。安全管理组织机构应由信息安全领导小组、信息安全工作组、信息安全责任部54、门共同组成。2、安全管理体系本项目安全管理体系将按照国家信息安全等级保护第三级的相关要求进行设计,包括安全管理制度、安全管理机构、人员安全管理、系统建设安全管理和系统运维安全管理五个方面。3、安全技术体系安全技术是信息安全控制的重要手段,信息系统的安全性保障必须依靠技术手段来实现。安全技术体系的建设主要包括:基础设施安全、平台及应用安全、安全服务交付三个方面。3.2.7 技术路线3.2.7.1 遵循国家法律、法规及信息技术、安全标准系统设计遵循国家相关法律、法规,参照国家信息化建设标准,尤其是计算机信息系统安全的有关标准、要求,并遵循前期已制定的水利信息化相关标准和规范。3.2.7.2 基于J55、2EE技术架构及三层结构开发应用系统J2EE技术是目前业界使用最为广泛的技术之一,它为按照基于组件的应用模型设计分布式应用提供了一个简单而统一的标准。J2EE体系架构拥用Java语言所带来的一切优秀特性,包括平台无关性、安全特性以及组件化开发模式的特性,都为基于J2EE开发的企业级应用高效、健壮的运行提供了有力的保证。合理集成以J2EE为标准的软件产品构建应用系统,可以得到较好的稳定性、高可靠性和扩展性。基于J2EE技术架构,保证系统具有跨平台性,支持UNIX、LINUX和Windows操作系统。3.2.7.3 基于SOA理念,采用面向服务和基于总线的架构面向服务的体系结构(service-o56、riented architecture,SOA)是一个组件模型,它将应用程序的不同功能单元(称为服务)通过这些服务之间定义良好的接口联系起来。接口是独立于实现服务的硬件平台、操作系统和编程语言的。这种具有中立的接口定义(没有强制绑定到特定的实现上)的特征称为服务之间的松耦合。对松耦合的系统的需要来源于业务应用程序需要根据业务的需要变得更加灵活,以适应不断变化的环境,比如经常改变的政策、业务级别、业务重点、合作伙伴关系、行业地位以及其他与业务有关的因素,这些因素甚至会影响业务的性质。面向服务的体系结构是面向对象的模型的替代模型,面向对象的模型是紧耦合的。虽然基于 SOA 的系统并不排除使用面向57、对象的设计来构建单个服务,但是其整体设计却是面向服务的。由于它考虑到了系统内的对象,所以虽然 SOA 是基于对象的,但是作为一个整体,它却不是面向对象的。3.2.7.4 支持分布式计算,支持集群管理与任务调度,实现本项目的平滑扩展本项目利用云计算、大数据和虚拟化技术进行建设,系统支持分布式部署,提供对集群系统的管理服务,实现本项目各子系统的平滑扩展。3.2.7.5 智能全文检索挖掘技术随着技术的进步,用户已不再满足于分析数值型的数据了,那些埋藏在门户网站各类服务中的文本信息,如果能够自动由计算机识别出来,对于管理、决策者的支持作用无疑要胜过前者。由此可见,对海量信息的有效处理和深层次综合利用离58、不开文本挖掘技术。文本挖掘是以半结构(如Web网页)或者无结构(如纯文本)的自然语言文本为对象的数据挖掘。它是从海量仓库数据集中发现隐藏的、重要的、新颖的、潜在有用的规律的过程。文本挖掘是采用计算语言学的原理对文本信息进行抽取的研究和实践。文本挖掘的关键领域包括:自动分类、检索行为感知、相似性检索、自动校对、自动过滤、自动转换、自动摘要、相似推送等,通过合理使用,可大大提高信息检索的效果。3.2.7.6 可视化检索可视化数据检索过程可看做是假设产生的过程:可视化的数据是用户能深入了解数据,并得到新的假设。通过可视化数据挖掘、自动数据统计或机器学习完成验证假设的工作。除用户可直接参与检索过程外,59、可视化数据检索在特定场景下甚至优于基于统计的自动数据挖掘技术或机器学习技术。主要体现在:可视化数据检索可以轻松地处理高度不均匀的、含噪声的数据;可视化检索过程直观,用户无需掌握复杂的数学或统计学算法和参数。因此,可视化数据检索需求不断上升,同时也使得可视化数据检索技术与自动检索技术密不可分。3.2.7.7 大数据存储Hadoop家族中的Hbase最适合存储的数据是非常稀疏的数据(非结构化或者半结构化的数据)。Hbase之所以擅长存储这类数据,是因为Hbase是列模式的存储机制,而我们熟知的关系数据库RDBMS都是row-oriented行模式的存储机制。在列导向的存储机制下对于Null值得存储60、是不占用任何空间的。比如,如果某个表中有10列,但在存储时只有一列有数据,那么其他空值的9列是不占用存储空间的。另外使用Hbase进行存储,还可以利用Hadoop中的Hive进行数据的分析处理,使用分布式计算技术,提高数据处理的能力。3.2.7.8 框计算框计算是以语义分析、行为分析、智能人机交互和海量计算为基础高度智能的互联网需求交互模式。框计算是一种“最简单可依赖”的信息交互实现机制与过程,用户只需在搜索“框”中输入需求,然后由“框”进行计算,通过需求识别与挖掘用户查询的蕴含含义,搜索特定类优质资源,并将该需求分配给最优的内容资源或应用提供商处理,最终精准高效地返回给用户相匹配的结果。3.61、2.7.9 高速服务框架高速服务框架对于应用组件化、分布式部署和动态扩展提供了良好的支持,是一种良好的云计算环境下的高性能、高可用性服务框架。采用高速服务框架后,前后端部署单元、各个业务组件之间都可灵活的、高性能的实现集成或者分布式部署,帮助应用系统实现服务化、高效化。3.2.7.10 推荐引擎推荐引擎可以向用户推荐用户可能感兴趣的或是对用户具有潜在使用价值的资源和服务。推荐引擎是利用用户浏览网站时产生的操作行为,结合用户基本信息等多种数据进行分析,主动挖掘用户偏好,发现用户当前或潜在需求,进而主动向用户推送信息的技术。高效、智能的推荐引擎可以增加用户对系统的粘性,增强系统的智能化与友好度。362、.2.7.11 中间件技术中间件是先进技术和技术标准的载体,采用中间件使得平台的先进性、可靠性得到保证。中间件是一种独立的系统软件或服务程序,分布式应用软件借助这种软件在不同的技术之间共享资源。中间件软件管理着客户端程序和数据库或者早期应用软件之间的通讯。中间件在分布式的客户和服务之间扮演着承上启下的角色,如事务管理、负载均衡以及基于Web的计算等。中间件具有以下的一些特点:满足大量应用的需要;运行于多种硬件和OS平台;支持分布式计算,提供跨网络、硬件和OS平台的透明性的应用或服务的交互功能;支持标准的协议;支持标准的接口。程序员通过调用中间件提供的大量API,实现异构环境的通讯,从而屏蔽异构63、系统中复杂的操作系统和网络协议。针对不同的操作系统和硬件平台,它们可以有符合接口和协议规范的多种实现。由于标准接口对于可移植性和标准协议对于互操作性的重要性,中间件已成为许多标准化工作的主要部分。对于应用软件开发,中间件远比操作系统和网络服务更为重要,中间件提供的程序接口定义了一个相对稳定的高层应用环境,不管底层的计算机硬件和系统软件怎样更新换代,只要将中间件升级更新,并保持中间件对外的接口定义不变,应用软件几乎不需任何修改,从而保护了中国科学技术信息研究所在应用软件开发和维护中的重大投资。3.2.7.12 消息中间件技术消息中间件是系统之间、服务之间数据信息安全、高效、可靠交换传输的最佳平台64、和通道。消息中间件为数据交换各方建立了一个安全、稳定的传递通道。通过消息中间件,应用程序可以工作于多平台或 OS 环境,实现跨平台、跨系统、跨语言的通讯和数据传输。在SOA架构的系统中,服务之间可以采用消息中间件技术和消息机制进行可靠数据传输和通讯保障。3.2.7.13 数据集成技术数据集成技术是实现资源共享交换的核心技术。交换集成技术必须首先具有完全的开放性和兼容性。考虑到需要接入各种不同的系统和数据接口,本项目需要满足多种国际工业标准,能够与现有的常见数据载体进行对接,支持XML标准数据交换并提供数据访问的定制能力。通过数据集成技术,我们可以通过累加软件模块的方式,完成数据集成和交换流程的65、定义,并可以根据业务的需要进行逐步更改。3.3 详细解决方案3.3.1 建设充分共享的水利基础根平台“智慧水利”是省水利厅现代水利建设的基础,是也省水利厅深化“改革开放”和进一步“解放思想”的重要实现途径。系统建设必须充分考虑与省与“数字政府”或省“电子政务云”融合与共享,与水利部“智慧水利”建设的融合与共享。实现与水利部、流域、省、市、县五级“纵向一条线”实现与省“数字政府”或省“电子政务云”横向一盘棋。3.3.1.1 大数据中心建设1) 建设思想水利数据资源是水利大数据发展基础,通过提升数据资源获取能力、整合集成各类水利数据、建立水利数据资源目录、完善数据更新机制,形成标准统一、持续更新的66、水利数据体系,面向数据资源应用与服务,通过建设水利信息数据资源标准化与管理,实现数据资源横向集成、纵向贯通、全局共享的运转模式。为水利厅信息化建设向大数据、智能化方向发展提供强有力的支撑。2) 数据资源构建遵照水利部水利信息化资源整合共享顶层设计总体架构和方法、对水利厅核心业务需要的水利信息资源进行梳理分析,建立统一的水利数据模型、数据目录、数据库,收集现有数据,纸质信息资源数字化,整合入库,实现数据资源的统一集中存取,按责权分工管理和有序共享。(1) 数据模型设计采用面向对象的统一水利数据模型对基础、业务和政务等数据进行整合,实现水利数据空间、属性、关系和元数据的一体化管理,统一对象编码,统67、一数据字典,为各类业务应用提供规范、权威和高效的数据支撑。l 对象分类水利对象分类体系应遵循水利对象分类与编码总则,共划分四个层级,其中 2 个大类、4 个中类和 8 个小类,并形成完全闭合体,基础类留有扩展余地,基础类可根据需要按照一定规则无限制地进行扩充,但扩充的新类应维持水利对象分类的完全分类(所有基础类对象集合的并集为全集,任何两个基础类对象集合的交为空集)特征不变。表1水利对象分类规则大类中类小类基础类级别自然地表集储水单元流域w 一级流域、二级流域、三级流域、四级流域、五级流域、六级流域、七级流域湖泊w w 输水通道河流(段)w 未确定、干流、第1级支流、第2级支流、第3级支流、第68、4级支流、第5级支流、第6级支流、第7级支流、第8级支流侵蚀沟道w w地下集储水单元水文地质单元w w 输水通道暗河w w 非自然设施独立工程观测站w 水库大坝w 大(1)型、大(2)型、中型、w 小(1)型、小(2)型水闸w 大(1)型、大(2)型、中型、w 小(1)型、小(2)型橡胶坝w 水电站w 大(1)型、大(2)型、中型、w 小(1)型、小(2)型泵站w 大(1)型、大(2)型、中型、w 小(1)型、小(2)型渠道w 堤防(段)w 1级、2级、3级、4级、5级淤地坝w 水井w 塘坝w 窖池w 倒虹吸w 渡槽w 涵洞w w 组合工程水库w 灌区w 引调水w I等、II等、III等、IV69、等农村供水w w 非设施行为主体水利行业单位w w 行为客体流域片区w 水资源分区w 一级水资源分区、二级水资源分区、三级水资源分区、水功能区划w 一级水功能区划、二级水功能区划地表水水源地w 地下水水源地w 取水口w 排污口w 取用水户w 退排水户w 主体功能区w 取水许可证w w 采用线分类法,将水利对象划分为大类、中类、小类和基类四级分类。大类为一级分类,按水利对象是否经人力干预形成划分为自然和非自然2类。中类为二级分类,是在大类基础上的进一步细分,自然大类按照水利对象是否处于地表以上,划分为地表和地下2个中类;非自然大类按照是否为工程建筑,划分为设施和非设施2个中类。小类为三级分类,是70、在中类基础上的进一步细分,地表和地下2个中类均按照水利对象的集输水特征,划分为集储水单元和输水通道2个小类;设施中类按工程是否独立,划分为独立工程和组合工程2个小类;非设施中类按管理行为的施受关系,划分为行为主体和行为客体2个小类。基类是在小类的基础上划分的具体可实例化的四级对象类。大类、中类、小类为固定分类,基类为可扩展分类。采用层次码编码方法对水利对象分类进行编码,代码由5位阿拉伯数字组成。大类、中类、小类的代码分别为1位阿拉伯数字,基类代码由2位阿拉伯数字组成。水利对象分类代码结构如图所示:图7水利对象分类代码结构图l 水利对象编码规则(1)总体编码规则水利对象代码由18位阿拉伯数字或英71、文大写字母构成。除自然人对象代码按GB 11643的规定执行、水利行业单位对象按GB 32100-2015中第4章的规定执行以外,其余水利对象的代码由水利对象分类代码、水利对象短代码和校验码3个代码段组成,代码结构如图所示:图8水利对象编码规则结构图其中:TTTTT5位阿拉伯数字,表示水利对象分类代码,代码值详见水利对象分类代码表。CCCCCCCCCCCC12位阿拉伯数字或英文大写字母,表示水利对象的短代码,即在同一水利对象基类下可唯一标识某个具体水利对象实例的代码。根据水利对象的隶属特征不同,水利对象短代码按照流域水系隶属型、行政区划隶属型、特有层级型管理区划3种编码规则编制。X1位阿拉伯数72、字或英文大写字母,表示校验码,用以检验代码的正确性,其值根据TTTTT和CCCCCCCCCCCC计算得出。(2)流域水系隶属型水利对象的编码规则1)适用范围适用于流域、湖泊、河流、侵蚀沟道、地下湖、地下河等6类水利对象。2)编码规则采用组合码编码方法进行编码。短代码由2个代码段构成,包括6位所属流域(水系)分区代码和6位顺序码。代码结构如图所示:图9 流域水系隶属型水利对象短代码结构图其中:CbCbCbCbCbCb6位英文大写字母(I、O、Z舍弃),表示水利对象所属的流域(水系)分区代码,第1、2位分别表示一级流域(水系)代码和二级流域(水系)代码,取值按附录A的规定执行。第3、4、5、6位依73、次表示三、四、五、六级流域在相应上一级流域(水系)内的顺序编号,按从上游至下游、从北向南依次编码,取值范围为AY(I、O、Z舍弃)。跨流域(水系)分区的采用上一级流域(水系)分区代码。跨一级流域(水系)分区的,约定使用“XXXXXX”。CbsCbsCbsCbsCbsCbs6位阿拉伯数字,表示水利对象在所属流域(水系)分区下的顺序码。取值范围为000001999999间的顺序码,该顺序码按注册登记的先后次序递增。对“流域”对象自身编码时,约定使用“000000”。(3)行政区划隶属型水利对象的编码规则1)适用范围适用于测站、水库大坝、水闸、橡胶坝、水电站、泵站、堤防、渠(沟)道、淤地坝、地下水取74、水井、塘坝、窖池、圩垸、倒虹吸、渡槽、涵洞、治河工程、水库、灌区、引调水、农村供水、蓄滞洪区、地表水水源地、地下水水源地、采砂分区、取水口、退水排污口、取用水户、退排水户、污水处理厂、自来水厂、河道断面、河段、堤段、险工险段、重点水事矛盾敏感区、项目、事件等38类水利对象。2)编码规则采用组合码编码方法进行编码。短代码由2个代码段构成,包括6位所属行政区划代码和6位顺序码。代码结构如图所示:图10 行政区划隶属型水利对象短代码结构图其中:CdCdCdCdCdCd6位阿拉伯数字,表示水利对象空间位置所在的县级行政区划代码,跨行政区划的采用上一级行政区划代码,按GB/T 2260中第3章的规定执行75、。跨省级行政区划的约定使用“000000”。CdsCdsCdsCdsCdsCds6位阿拉伯数字,表示水利对象在所属行政区划下的顺序码。取值范围为000001999999间的顺序码,该顺序码按注册登记的先后次序递增。(4)特有层级型管理区划水利对象的编码规则1)适用范围适用于水资源分区、地表水功能区、地下水功能区、水土保持区划等4类水利对象。2)编码规则采用组合码编码方法进行编码。短代码由6个代码段构成,包括2位一级码、2位二级码、2位三级码、2位四级码、2位五级码、2位六级码。代码结构如图所示:图11 特有层级型管理区划水利对象短代码结构图其中:BB2位阿拉伯数字,表示第一层级管理区划的代码,76、取值范围为0199间的顺序码。CC2位阿拉伯数字,表示某个第一层级管理区划下划分的第二层级管理区划的代码,取值范围为0199间的顺序码。DD2位阿拉伯数字,表示某个第二层级管理区划下划分的第三层级管理区划的代码,取值范围为0199间的顺序码。EE2位阿拉伯数字,表示某个第三层级管理区划下划分的第四层级管理区划的代码,取值范围为0199间的顺序码。FF2位阿拉伯数字,表示某个第四层级管理区划下划分的第五层级管理区划的代码,取值范围为0199间的顺序码。GG2位阿拉伯数字,表示某个第五层级管理区划下划分的第六层级管理区划的代码,取值范围为0199间的顺序码。无下级层级时均用“00”补齐。l 水利对77、象数据模型为减少数据冗余、提高结构灵活性和数据间的易关联能力,将对象划分为标识和属性,标识仅表达对象的存在性和唯一性,属性则是对象的特征信息,如基本属性、业务属性、空间属性和时相特征等。水利对象数据包括基础数据、业务数据和政务数据,以及描述这些数据的元数据。梳理对象间的关系,如依赖关系、相关关系、空间关系。本项目对以下基础类水利对象间建立全集关系,针对相关关系建立对象类级的关系映射规则表,通过技术手段实现动态关联,空间关系通过空间分析算法计算而得,不单独建立表存储。考虑水利厅的数据资源情况及实际需求,本项目拟选取以下基础类进行数据建模,包括但不限于:流域、湖泊、河流、测站、水库大坝、水闸、橡胶78、坝、水电站、泵站、堤防、渠(沟)道、淤地坝、地下水取水井、塘坝、圩垸、倒虹吸、渡槽、涵洞、治河工程、水库、灌区、引调水、农村供水、蓄滞洪区、水利行业单位、水资源分区、地表水功能区、水土保持区划、采砂分区、地表水水源地、地下水水源地、取水口、水排污口、取用水户、退排水户、河道断面、河段、堤段、险工险段。l 对象关系梳理(1)对象确定及描述本项目拟选取以下基础类进行数据建模,包括但不限于:流域、湖泊、河流、测站、水库大坝、水闸、橡胶坝、水电站、泵站、堤防、渠(沟)道、淤地坝、地下水取水井、塘坝、圩垸、倒虹吸、渡槽、涵洞、治河工程、水库、灌区、引调水、农村供水、蓄滞洪区、水利行业单位、水资源分区、地79、表水功能区、水土保持区划、采砂分区、地表水水源地、地下水水源地、取水口、水排污口、取用水户、退排水户、河道断面、河段、堤段、险工险段。(2)对象标准化梳理对象标准梳理提供基于水利对象可视化数据建模,主要包括定义对象类型管理、对象标识管理、对象属性管理、关系类型管理等功能。1)对象类型定义主要是对一个对象详细信息的定义,如对象名称、对象URI、对象属性、子对象的定义等。2)对象数据管理属性类型主要是对象的基本属性定义,包括定义属性类型标题、URI、数据格式、数值类型、同义词、检索方式等。数据格式主要包括列表、集合和简单数据格式。3)关系类型管理:关系类型用于定义关系分类、关系类型、关系的属性信息80、等。关系信息中可以定义多个关系分类,每个关系分类中可以有多个关系类型。每个关系类型都包括源对象类型和目标对象类型,以及多个属性。l 完善对象之间关系在不同数据集中找出同一个对象记录,主要目的是对不同数据源的实体信息进行整合,形成更加全面的实体信息。主要内容包括异构系统数据映射及数据抽取整合两大部分。从而进一步完善异构系统之间的对象关系。l 对象实体关系图将对象所包含的关联关系进行组织。分析不同数据库中存在相关性的信息,然后将实体包含的对象进行构建,创建相关关系,进而构建对象所包含的事件,然后将实体与对象关系、对象所包含的事件,形成相应的模型关系,存入关系库。主要包括:实体识别、概念抽取、关系抽81、取、事件抽取。(1)模型视图创建模型视图直观展示动态本体模型中配置的所有对象类型、关系类型。节点代表对象类型,实线连接代表对象类型之间的关系类型。也可以选择具体的领域查看该领域内的对象关系模型。系统通过界面操作实现图12 模型视图(2)取用水户关系构建示例对每个取水户所包含的数据元素进行关联,关联的信息包括:取用水户基本信息管理、取用水户水资源论证报告管理、取用水户取水许可证管理、取用水户取水量(年度、月度、每日、实时)、取用水户取水口、取用水户测站、取用水户测点、入河排污口排入水功能区、排污量、考核结果、奖惩记录、取水口所在超采限采区、节水技术与节水产品、节水情况等功能。图13 取用水户模型82、(3)地表水功能区关系构建示例对每个水功能区所包含的数据元素进行关联关联的信息包括:水功能区基本信息、水功能区断面、水功能区测站、水功能区水质、水功能区达标情况、水功能区入河排污口建设、水功能区与水源地关系管理、水功能区应急预案管理等功能。图14 水功能区(4)地表水水源地关系示例对每个水源地所包含的数据元素进行关联所关联的信息包括:饮用水源地基本信息、饮用水源地断面、饮用水源地测站、饮用水源地水质监测数据、饮用水源地达标率、水源地与水库的关系、水源地与引调水工程的关系、水源地应急预案、水源地应急调度等功能。图15 水源地数据ER模型设计数据库设计可分为以下步骤需求分析-概念设计-逻辑结构设计83、-物理结构设计-数据库的建立和测试-数据库的运行和维护。其中核心部分为概念设计、逻辑结构设计、物理结构设计。本次项目建设需要对38 个基础类进行数据建模。对象及属性的关系模型如下图所示:图16 对象关系模型(1)测站ER模型设计示例图17 测站模型设计(2)取用水户数据ER模型设计示例图18 取用水户(3)水库数据ER模型设计示例图19 水利ER模型l 对象编码编制本项目拟在整合范围内的所有对象采用唯一代码做主键标识,另外建立具有一定语义的对象编码作为候选键(业务主键)。对于候选键,现行对象编码比较完整、可满足要求的可继续使用,对目前没有统一编码规则的对象则结合分类体系码、流域分区码和行政政区84、码,在一定区域范围编排顺序码,形成对象编码。考虑到编码的统一性及数据交换共享需求,对于水利部已编码的对象,沿用其定义编码,对于未包含的对象,则按照编码规则进行编码,并作出标记,便于未来的追溯和更新。l 数据字典编制标准代码字典数据是云平台数据标准的核心要素之一,其内容建设主要纳入国家相关标准、水利部部颁标准、其他行业相关标准等标准文件规定的代码字典信息项。根据数据资源整合需要,本项目将充分利用已有标准,同时参考在用系统数据字典,编制本项目数据库数据字典。图20 字典分类(2) 水信息基础平台构建水信息基础平台,按照水利部水利对象基础数据库表结构与标识符(征求意见稿)要求,全面梳理省水利厅存在于85、各数据库中的基础信息(水库、河流、测站等),经过规整后,存入水信息基础平台,未来新开发的服务,原则上不再单独建设数据库,只准以服务的方式调用水信息基础平台数据,同时目前开发的系统经过全新大整合后也只准调用水信息基础平台数据,真正实现数据运用的“一数一源”。l 基础对象名录建设遵循水利部水利对象基础数据库表结构与标识符建设基只含数据属性不含业务属性的础对象名录。本次建设全面梳理基础对象包括但不限于以下:表2 水利基础对象序号中文表名1流域2湖泊3河流4侵蚀沟道5地下湖6地下河7测站8水库大坝9水闸10橡胶坝11水电站12泵站13堤防14渠(沟)道15淤地坝16地下水取水井17塘坝18窖池19圩垸86、20倒虹吸21渡槽22涵洞23治河工程24水库25灌区26引调水27农村供水28蓄滞洪区29水利行业单位30自然人31水资源分区32地表水功能区33地下水功能区34水土保持区划35采砂分区36地表水水源地37地下水水源地38取水口39退水排污口40取用水户41退排水户42污水处理厂43自来水厂44河道断面45河段46堤段47险工险段48重点水事矛盾敏感区49项目50事件51行政区划52桥梁53管线54涉水组织机构l 对象基础信息挂接遵循水利部水利对象基础数据库表结构与标识符建设业务数据与基础对象的挂接。l 对象空间信息挂接遵循水利部水利对象基础数据库表结构与标识符建设空间数据与基础对象的挂接。87、l 对象关系信息挂接遵循水利部水利对象基础数据库表结构与标识符建设对象关系与基础对象的挂接。(3) 数据资源整合数据资源整合是大数据平台建设的基础。基于水利部制定的信息资源标准、代码字典标准、其他行业相关标准对数据资源所使用的代码和信息资源进行统一的规范、完善和管理。从数据整合、数据预处理、资源入库、资源监控、资源利用等数据处理流程环节入手,建立完善的数据生命周期管理与数据质量管控机制,是对数据从获取、清洗、转换、关联、存储、使用等生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、度量、监控、预警等一系列质量管理的活动。l 数据整合标准服务数据标准是数据资源标准化处理建设的基础。在项目88、建设时,数据资源标准化处理在使用过程中以2001年5月水利部正式发布水利技术标准体系表及标准体系建设中建设的标准为依据,主要包括基础设施标准、数据资源标准、应用支撑标准、业务应用标准等标准,其中数据资源标准是核心,我们会严格遵循国家、水利部发布的数据标准对数据中心进行建设,同时本项目建设依据水利标准规范进行数据整合。本项目数据库建设及数据整合标准参见附表一、水利信息化标准规范。本项目需要遵循的技术标准如下图所示:图21 技术标准国家、水利部标准:(1)信息资源规划标准数据和交换格式信息交换日期和时间表示法电子政务数据元 第1部分:设计和管理规范(2)元数据标准地理信息 数据水利地理空间信息元数89、据标准水利信息核心元数据(3)信息分类与编码标准信息分类和编码的基本原则与方法水利政务信息编码规则与代码水情信息编码水文数据GIS分类编码标准实时雨水情数据库表结构及标识符标准水利信息分类(4)数据库标准实时雨水情数据库表结构及标识符标准基础水文数据库表结构及标识符标准水利信息数据库表结构及标识符编制规范水利工程建设与管理数据库表结构及标识符历史大洪水数据库表结构及标识符水利政务信息数据库表结构及标识符(5)地理信息标准基础地理信息要素分类与代码国家基本比例尺地形图分幅和编号基础地理信息标准数据基本规定l 数据整合分析及实施方法论经过分析目前水利厅建设了大量的前端采集设备并分散在不同的系统中,90、数据库主要是oracle、sqlserver、mysql等数据库,数据存放的标准不同,年份不同,需要制定详细的数据整合方案,对数据进行整合。(1)数据梳理分析通过调研,梳理纳入到数据中心存储管理的各类数据的来源、类型、格式、存储管理方式、数据应用需求、数据更新方式等基本情况,以及数据存在的问题。(2)技术设计根据数据梳理分析结果,结合数据整合建库技术要求,设计形成数据整合技术路线、工作流程,明确各类数据整理加工内容、方法、流程、步骤、技术要求、服务方式,指导数据整合建库。(3)数据整合依据数据库设计成果,对基础空间数据进行整合加工的数据,形成满足技术要求的数据成果。将数据整合成果装载入库,并对91、数据库成果运行检查,同时建立数据备份与恢复机制。l 数据整合技术路线图22 数据整合路线(1)已建库数据准备(2)已建库数据分析分析原始提交数据质量,查看已处理的数据情况,分析数据如何进行利用,提出原始数据和已处理的数据存在的问题。(3)数据问题反馈数据生产单位将原始数据存在的问题反馈数据汇交单位,由其进行修改。(4)数据生产单位修改问题数据数据汇交单位根据各类数据库标准修改数据,在数据修改过程中,技术承担单位可指导或辅助数据汇交单位修改数据。(5)问题修改后数据重新汇交数据生产单位提交修改后的数据,技术承担单位进行质量检查,不合格数据返回数据生产单位继续修改,直至数据质量合格。l 数据整合流92、程图图23 数据整合流程本次项目采用二级数据整合方式,一级数据流程图是从全局的高度,综合、整体地观察每一个职能域数据流的进出概况;通过一级数据流将一些职能域联结起来,使分析人员形成对全局数据流的整体认识。二级数据流程图是某一职能域内部业务过程和数据流的进一步调查的记录,关键是业务过程的识别与定义,以及存储类用户视图的定义与规范化。本系统数据流程的实现将以水利为基础,通过数据整合处理平台整合水利各类业务数据及监测数据,同时依托知识库建设实现数据资源的关联、分析,在外部数据整合方面实现与气象、国土、公安、民政等数据的整合,形成水利数据整合应用分析中心,通过水利数据资源目录实现与电子政务云及部、市、93、县三级数据的共享,同时为水利应用提供数据支撑。l 数据整合范围本次数据整合范围主要包括内部数据整合、外部数据整合。数据整合范围见附表三、数据整合范围附表。表3 内外部整合整合对象整合范围整合方式省水利厅水利厅各业务处室接口获取、数据抽取各地市水利局水利局各业务处室接口获取、数据抽取各业务处室接口获取、数据抽取气象数据气象云图、雷达图、降雨预报成果等共享国土数据山洪灾害数据、空间地理数据等共享民政数据社会经济数据、人口数据、受灾面积数据等共享l 数据整合调查整编对照水利厅权责清单和厅机关处室、厅直单位职能,对全厅进行信息资源调查和收集整编,摸清全厅核心业务及其实际需要的数据资源、现有信息资源、已94、建信息系统数据资源应用情况。调查采用填报调查表、现场访谈等多种形式,根据需要采用多轮。资料收集整编入库应遵循“标准化、规范化、完整性、正确性、实效性、易操作性”等原则。数据收集整编入库流程主要分为:前期准备工作、水利数据收集、水利数据的整编、资料审查与汇编、水利数据入库、复审、评审等阶段。 1)前期准备工作 按照水利数据收集整编的范围和要求,对各种水利数据进行分类,列出完成本项目所需的水利数据详细清单,编制水利数据收集整编入库工作大纲。确定水利数据收集整编入库名单。根据水利数据收集整编入库名单,按照类别分别打印水利数据收集表。 数据详细详单见数据整合范围见附表三、数据整合范围附表。2)数据收集95、 编制水利数据收集整编表,进行现场资料收集登记和填表,汇集省水利数据中心建设所需要的信息,包括收集工程图纸、工程实景图及工程位置地图;对水利空间数据的收集,如水闸、水文控制站、机电排灌站、险点险段等。 3)数据整编 对收集到的信息资料,进行验证、审核和必要的考证,并整理成册,形成水利数据收集整编成果,同时包括对工程图纸的电子化和按照标准进行整编。 4)审查和汇编 对水利数据收集整编单位通过联机审查和脱机审查等方式,对水利数据收集整编成果进行审查和核对,并分类汇编成果。 5)水利数据入库 对水利数据收集及考证成果按要求进行整理,形成水利数据收集整编录入成果。通过成批导入或逐条输入等方式进行。 696、)复审 通过邀请水利专家对所有整编成果和录入数据库的数据进行审查,可以采用抽查的方式进行。7)评审 由水利厅组织相关专家以座谈评审、评审等方式,对资料收集整编入库的最终成果进行严格评审。l 数据整合方式和流程对调查收集的信息资源和数据资源,采用基于面向对象的数据模型,通过将离散、多元、异构、分布的数据资源进行整合管理和利用,并对存量的纸质文件进行数字化,提取重要信息,整合入库。具体数量已实际为准。采用原有业务系统和数据更新子系统相结合的方式为各类数据源的长效更新和维护提供支撑。整合方式主要为物理集中和逻辑集中。l 数据整合方式 物理集中物理集中指将数据资源按面向对象模型转换后,统一语义空间集中97、存储在数据中心形成中心数据库,整合形成面向对象、统一语义、易于共享、易于关联、易于管理、易于挖掘的有机数据体系,同时抽取元数据,并生成数据资源目录。物理集中细分为归并数据源物理集中和维持数据源物理集中两类。归并数据源物理集中:主要针对数据来源不唯一、缺乏统一更新维护、有广泛共享应用需求的数据资源,即数据存在多个版本并被多单位更新维护,如:水利工程、河湖水系等。将数据源由多源合并为单源后再共享,并确定唯一的数据责任单位负责更新维护。数据共享服务由中心数据库统一提供,原生产库可维持正常运行(利用中心数据库提供的接口按需抽取最新数据)。 维持数据源物理集中:主要针对数据来源唯一、能伴随业务部门的日常98、业务工作更新维护、具有共享应用需求的数据资源。进行维持数据源物理集中整合后,数据源维持不变,即数据的长效更新维护仍然由原数据责任单位完成。整合后,数据共享服务由中心数据库统一提供,原生产库维持正常运行,需提供接口供中心数据库抽取数据。 逻辑集中逻辑集中是指只将数据资源对应的数据资源目录统一存储在中心数据库,数据资源本身仍存储在原有数据库中或以非数据库的形式存在,并由原数据所有者更新维护,需将数据资源目录进行共享。整合后原生产库(业务应用系统)维持正常运行,数据资源目录的共享使用需求由中心数据库承载。l 物理集中数据整合流程物理集中整合流程主要包括 9 个方面,具体是数据收集与预处理、解耦与对象99、抽取、业务属性扩展、空间属性挂接、时相特征整理、对象关系挂接、数据入库、数据校验与质量控制、元数据采编与资源目录编制。l 数据收集与预处理 数据预处理水利数据中心仓储采集的数据既包含结构化数据,也包含图片、影像等非结构化数据因此需要根据业务系统的实际情况,分别处理。 数据清洗数据清洗(data cleaning)是数据准备过程中最花费时间、最乏味的,但也是最重要的一步。该步骤可以有效地减少学习过程中可能出现相互矛盾的情况。数据清洗的目的不只是要消除错误、冗余和数据噪音。其目的是要将按不同的、不兼容的规则所得的各种数据集一致起来。数据清洗处理过程通常包括填补遗漏的数据值,平滑有噪声数据、识别或除100、去异常值,以及解决不一致问题。(1)空缺值处理删除该记录。除非无法填补遗漏数据,一般不要轻易删除属性值缺失的记录。手工填补。工作量大,可操作性差。采用默认值、平均值或者同类别平均值填补。这种方法有可能对数据挖掘产生误导。使用最可能的值填充空缺值,比如通过回归分析、贝叶斯方法或决策树推断该记录特定属性的最可能取值。目前最常用的方法是使用最可能的值填充空缺值。这类方法依靠现有的数据信息来推测空缺值,使空缺值有更大的机会保持与其他属性之间的联系。如果空缺值很多,这些方法可能误导挖掘结果。(2)噪声数据处理噪声是一个测量变量中的随机错误或偏差,包括错误的值或偏离期望的孤立点值。可以用以下的数据平滑技术101、来平滑噪声数据,识别、删除孤立点。分箱:将存储的值分布到一些箱中,用箱中的数据值来局部平滑存储数据的值。具体可以采用按箱平均值平滑、按箱中值平滑和按箱边界平滑;回归:可以找到恰当的回归函数来平滑数据。线性回归要找出适合两个变量的“最佳”直线,使得一个变量能预测另一个。多线性回归涉及多个变量,数据要适合一个多维面;计算机检查和人工检查结合:可以通过计算机将被判定数据与已知的正常值比较,将差异程度大于某个阈值的模式输出到一个表中,然后人工审核表中的模式,识别出孤立点;聚类:将类似的值组织成群或“聚类”,落在聚类集合之外的值被视为孤立点。孤立点模式可能是垃圾数据,也可能是提供信息的重要数据。垃圾模式102、将从数据库中予以清除。(3)不一致数据处理通过数据与外部的关联手工处理,比如与原稿校对,或者采用软件工具来发现违反约束条件的数据。数据集成数据集成(data integration)就是将来至多个数据源的数据合并到一起,形成一致的数据存储,如将不同数据库中的数据集成入一个数据仓库中存储。之后,有时还需要进行数据清理以便消除可能存在的数据冗余。模式集成。主要是实体识别,即如何将不同信息源中的实体相互匹配。通常借助于数据库或数据仓库的元数据定义来帮助模式集成。在集成时应尽量选择占物理空间较小的数据,以节省系统存储开销。冗余问题。若一个属性可以从其它属性推演出来,那么它就是冗余属性。数据集成往往导致103、数据冗余,如同一属性多次出现、同一属性命名不一致等。利用数理统计中的相关性分析方法可以检测数值属性是否相关(正关联、负关联或者相互独立)。除检查属性冗余之外,还要检测元组(记录)是否冗余。数据冲突检测以及语义整合。现实世界中的同一实体,由于表示方式、度量单位以及编码的不同,导致不同数据源的属性值可能有差异。数据语义上的模糊性、歧义性是数据集成的难点,比如:同名异义、异名同义等,目前还没有很好的自动解决办法。数据转换数据变换(data transformation)主要是将数据转换成适合于挖掘的形式,如将属性数据按比例缩放,使之落入一个比较小的特定区间。这一点对那些基于距离的挖掘算法尤为重要。包104、括平滑处理、聚集处理、数据泛化处理、规格化、属性构造。数据转换就是将数据转换成适合数据挖掘的形式。通过寻找数据的特征表示,用维变换方式减少有效变量的数目或找到数据的不变式。数据变换主要涉及如下内容:光滑:去掉数据中的噪声。这种技术包括分箱、回归和聚类等。聚集:对数据进行汇总或聚集。例如,可以聚集日销售数据,计算月和年销售量。通常,这一步用来为多粒度数据分析构造数据立方体。数据泛化:使用概念分层,用高层概念替换低层或“原始”数据。例如,分类的属性,如街道,可以泛化为较高层的概念,如城市或国家。类似地,数值属性如年龄,可以映射到较高层概念如青年、中年和老年。规范化:将属性数据按比例缩放,使之落入一105、个小的特定区间,如-1.01.0或0.00.1。属性构造(或特征构造):可以构造新的属性并添加到属性集中,以帮助挖掘过程。解耦与对象抽取数据同步机制是从数据源中收集数据到目标所使用的方法过程。实际应用中,一般有以下几种方式:1)全量抽取全量收集类似数据迁移或数据复制,它将数据源中的表或视图的数据原封不动的从数据库中收集出来,并转换成可以识别的格式。全量收集比较简单。通过DI 引擎获取某一时刻源数据库不目标数据库的数据快 照,然后逐一进行对比,找出新增、删除、修改的数据后 进行相应操作。图24 全量抽取2)增量抽取增量收集只收集自上次收集以来数据库中要收集的表中新增或修改的数据。在使用过程中,增106、量收集较全量收集应用更广。如何捕获变化的数据是增量收集的关键。对捕获方法一般有两点要求:准确性,能够将业务系统中的变化数据按一定的频率准确地捕获到;性能,不能对业务系统造成太大的压力,影响现有业务。目前增量数据收集中常用的捕获变化数据的方法有:3)触发器抽取:在要收集的表上建立需要的触发器,一般要建立插入、修改、删除三个触发器,每当源表中的数据发生变化,就被相应的触发器将变化的数据写入一个临时表,收集线程从临时表中收集数据,临时表中收集过的数据被标记或删除。触发器方式的优点是数据收集的性能较高,缺点是要求业务表建立触发器,对业务系统有一定的影响。图25 触发器抽取全表比对抽取:典型的全表比对的107、方式是采用MD5校验码。事先为要收集的表建立一个结构类似的MD5临时表,该临时表记录源表主键以及根据所有字段的数据计算出来的MD5校验码。每次进行数据收集时,对源表和MD5临时表进行MD5校验码的比对,从而决定源表中的数据是新增、修改还是删除,同时更新MD5校验码。MD5方式的优点是对源系统的倾入性较小(仅需要建立一个MD5临时表),但缺点也是显而易见的,与触发器和时间戳方式中的主动通知不同,MD5方式是被动的进行全表数据的比对,性能较差。当表中没有主键或唯一列且含有重复记录时,MD5方式的准确性较差。收集处理的数据源除了关系数据库外,还可能是文档,例如TXT文档、EXCEL文档、XML文档等108、。对文档数据的收集一般是进行全量收集,一次收集前可保存文档的时间戳或计算文档的MD5校验码,下次收集时进行比对,如果相同则可忽略本次收集。业务属性扩展数据整合流程中同时将对象所关联的业务进行扩展。空间属性挂接数据整合流程中同时将对象所对应的空间属性进行挂接,并进行关联。时相特征整理数据整合流程中同时将对象及所对应的特征值按照时间顺序进行整理,并按照时间顺序存入数据库。对象属性挂接数据整合流程中同时将对象所对应的对象属性进行挂接,并进行关联。数据入库对数据中心仓储采集的数据进行抽取、清洗、转换的之后将标准化的数据存入数据仓储中明细数据库(数据相对稳定、不会经常变动的数据存入基础数据库;数据经常增109、加、删除等操作,如水质监测数据、水量监测数据存入详细数据库)。对于形成的统计类信息存入主题数据库,用于水利系统分析统计系统的应用。数据校验与质量控制数据质量管理,是指对数据从获取、清洗、转换、关联、比对、标识、存储、应用等生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并通过改善和提高组织的管理水平使得数据质量获得进一步提高。数据质量管理是循环管理过程,其终极目标是通过可靠的数据,提升数据在水利内部水利外部的使用价值。数据质量检测工具由五大构件构成,包括信息收集、质量规则管理、数据质量诊断、数据质量报告和数据质量处理,其相互关系如下:图26 质量监控110、信息采集构件负责收集质量规则管理和数据质量诊断所需要的各种原始信息,这些信息包括涉及的数据对象和应用对象的统计摘要信息、运行状态信息等粗粒度信息,也包括某个具体数据对象的统计抽样明细数据,也可能是某个数据源的某个指标的数据。初粒度数据将被直接存储到对象摘要表中,明细数据将存放到对象临时表中。质量规则管理负责管理所有对象在五大质量度量(准确性、一致性、完整性、及时性、可获取性)方面应遵循的质量规则,这些规则可以手工维护,也可以通过信息采集构件传递的样本数据进行统计分析和数据挖掘获得。除维护这些规则之外,质量规则管理构件还应维护对每一个规则的违例预警级别、建议的后续处理策略等。数据质量诊断构件是数111、据质量管理的核心构件,该构件根据信息采集构件传递的数据、质量规则管理构件的质量规则定义和具体的数据质量诊断任务、定时进行数据质量诊断并生成质量诊断结果。数据质量报告构件负责将数据质量诊断的结果信息以不同用户容易使用的方式传递给它们,这些方式包括:电子邮件、短消息、问题列表式网页、图表等,也包括汇总的质量报告。数据质量处理构件负责根据数据质量报告所列的待处理质量问题清单,按照级别高低处理质量问题。构件负责记录质量问题处理过程,记录相关知识等。数据质量指标体系数据质量指标体系功能是对数据质量指标体系进行定义和描述的模块,包括数据质量指标的新增/删除,编辑/详情和查询功能。图27 数据质量指标查询图112、28 数据质量指标评估标准新增数据质量检查与评估数据质量检查与评估是对具体的数据设置检查字段和质量指标,包括任务的新增删除,编辑查看功能。图29 数据质量检查任务列表数据合规性检查数据合规性检查模块主要实现对入库数据的自动合规性审核、异常数据筛选及纠正,主要包括系统自动合规性审核、人工数据筛查、数据纠正及恢复等功能。(1)合规性审核合规性审核主要是系统自动针对采集入库的数据表进行合规性审核,审核通过的数据写入正式库表,对于异常数据写入异常数据表,并发出异常告警。(2)人工数据筛查对自动审核隔离的数据进行人工复核,对于其他数据进行人工筛查。(3)数据纠正及恢复对临时库表中标注无效或者可疑数据、修113、正附件进行纠正和恢复。可以按照以下几个方法进行检查与纠正。标准符合性检查数据完整率检查包括数据项完整率检查和数据内容完整率检查。数据项完整率主要检查按照数据库标准汇总各地数据时各方提供数据项的情况,检查主要依据为各单位交换过来的数据和国家数据库标准进行比对,从而计算得出相应的数据项完整率。数据内容完整率主要检查各单位在具体数据项上的内容完整情况,特别是不可或缺的重要数据项的完整率。数据准确率检查数据准确率主要指具体数据内容的准确程度。其中,对于计算机逻辑可判断的数据项,软件系统将通过程序自动检查其内容的规范性。数据规范性检查数据规范性检查主要检查数据冗余及数据关联性情况。如,数据冗余率将检查数114、据记录的重复率,数据中心的质量管理系统将选择部分关键字段为条件,对各单位的共享数据进行自动检查。(4)数据出错处理回溯在数据导入层中整个采集、转换、装载过程都可能出现异常,因此,对常见的异常情况要能够及时进行出错处理及回溯。出现异常大体上有五种情况:硬件、OS、网络导致的异常:通常由外部环境造成的,并且往往是不可控的,主要关注以下几个方面:网络中断:由于网络原因导致导入中断,要能够重新装载;系统崩溃:服务器不稳定,如果是非程序原因生成的崩溃,要能够重新装载;资源不足:对处理大数据量造成资源耗尽而造成的导入中断,应优化过程后重新装载;连接故障:可能是开放给目标系统的时间窗没有按时打开、或外围系统115、本身的故障而造成连接异常,应可采取反复尝试的方法;数据源数据的异常:包括源数据质量与传输,主要是数据源的变动造成的接口没有按照约定的数据周期进行供数:如在约定的周期,实际接口没有提供数据,应提交错误报告给接口方修正;数据源系统表结构或接口规格变动而没有同步:接口无法访问,建议对源表结构进行检测,一旦发生变化就终止装载;接口数据在约定的时间窗内没有完全获取数据:建设调大时间窗、优化导入过程以缩短时间;接口数据内容不规范:源数据缺乏空值、外键等一致性检查,造成转换错误,建议在不影响数据逻辑的前提下,应尽量最大限度接收而不是拒绝数据,并及时修正导入过程进行适当处理。收集过程处理导致的异常:主要是在开116、发过程中产生的相关规则错误:数据源到目标数据的映射关系的理解或表述错误,导致数据装载异常,应修改规则并实现;收集实现错误:在正解的引擎规则下,具体实现没有按照规则设计或出现细节疏漏,应重新修改实现并重新装载;目标数据模型导致的异常:主要是因为数据结构发生变更造成引擎不可用,针对这种情况,应能够检测到结构变更并终止装载;开发、维护阶段人工干预导致的异常:原则上收集不允许手工操作,但是有许多异常的处理却需要手工干预,所以不可避免会发生此类异常。数据质量报告数据质量报告功能是任务检测结果的列表展示和详细信息记录的查看模块,分为按任务、按数据表和按质量指标。图30 数据质量报告展示图31 数据质量报告117、详情展示逻辑集中整合流程逻辑集中是指只将数据资源对应的数据资源目录统一存储在中心数据库,数据资源本身仍存储在原有数据库中或以非数据库的形式存在,并由原数据所有者更新维护,需将数据资源目录进行共享。整合后原生产库(业务应用系统)维持正常运行,数据资源目录的共享使用需求由中心数据库承载。目录的收集编制定义逻辑对象对于不能采用物理集中数据整合的对象数据以逻辑的方式进行整合。首先要梳理那些对象需要进行逻辑整合。梳理异构数据功能参见已建数据库梳理,可直接利用梳理成果,然后进行逻辑构建。注册入库将整理好的逻辑对应关系存入数据库,并形成注册目录,方便后期修改与更新。l 数据更新根据数据更新机制和技术标准要求118、,按照“谁生产谁负责”的原则,以“时点变更为基础,实时变更为目标”,水利资源数据中心数据库数据更新应该在上述数据资源更新的基础上,通过数据库管理系统的技术支撑,开展数据更新工作。在数据整合中主要有物理集中数据整合和逻辑整合,对于物理集中的数据整合数据更新方式采用批量更新、增量更新等多种方式,原数据更新后,目前存在大数据中心的数据也会被更新;对于逻辑集中整合的数据,无论是源数据被更新还是整合后的数据被更新,都不会改变源数据的值。进行维持数据源物理集中整合后,数据源维持不变,即数据的长效更新维护仍然由原数据责任单位完成。整合后,数据共享服务由中心数据库统一提供,原生产库维持正常运行,需提供接口供中119、心数据库抽取数据。物理整合数据更新在技术层面,数据更新包括批量更新、增量更新、数据同步、实时更新多种方式。应根据各类数据的特点,选择合适有效的更新方式。1)批量更新是指数据源更新时,将整套数据(库)重新提交,原有数据作为历史数据保留。例如基础地理、遥感影像数据,可以采用这种更新方式。批量更新方式从技术上与数据汇交相同,管理应上保留多个更新周期的历史数据,提供分析、对比使用。2)增量更新是指数据更新时,只进行增量部分的更新。在与原有数据叠加、拓扑重构后形成更新数据。增量更新技术上要求高,要求水利资源数据中心数据库管理系统具备空间数据处理能力和时态数据管理功能,但更新数据量小,数据更新速度快。3)120、数据同步对于可通过网络连接到水利资源数据中心数据库的专业数据库,可采用数据同步的方式,每隔一段时间,由水利业务应用系统自动(或手动)完成变更数据传输、更新,实现数据同步。4)实时更新支持本系统与各类数据源的原始数据库的数据交换、更新与同步;支持历史数据的回溯与分析;提供数据交换接口,能够通过网络实现数据与其他应用系统的数据交换。数据更新功能模块包括:1)批量更新任务定义选择待更新的数据集,经数据状态检查合格后,保存批量更新的任务信息。2)批量更新读取批量更新任务信息,获取更新数据列表,按分县、多县、分市、多市数据更新。操作人员可以将多个县数据库以及多种数据源数据进行更新,如实现自动批量更新入多121、个县数据,包括矢量数据、栅格数据、扫描数据、报表数据、元数据等。3)批量更新报告批量更新需要自动生成批量更新报告统一存储到数据库中。4)增量包更新任务定义选择待更新的增量包,经数据状态检查合格后,保存增量包更新的任务信息。5)增量包更新读取增量包更新任务信息,获取增量包更新数据列表,按数据表更新。6)增量包更新报告增量包更新需要自动生成增量包更新报告统一存储到数据库中。7)实时推送更新任务定义选择待更新入库的增量包,经数据状态检查合格后,保存实时推送更新的任务信息。实现数据采集的采集数据源到目标数据源的映射关系,配置数据字段映射的类型与结构,通过集成开发脚本建立对数据的转换、清洗和质检,配置数122、据转换的规则等。8)实时推送更新任务调度主要实现ETL任务、空间ETL任务的调度管理。增加日常数据、初始数据和历史数据ETL更新,实施不同的任务调度策略。支持多任务的并发运行,支持任务间的同步;支持任务的定时(可基于日、工作日、时、分、秒等)触发;提供HTTP、FTP等文件传输功能;支持任务的异常处理。9)实时推送更新任监控支持多个作业的并发运行,可以限制最大运行作业数;支持作业的启动、暂停、恢复和停止控制;支持作业的优先级设置,支持作业的定时启动;完整的作业进度及状态显示。10)实时推送更新日志管理实现实时推送更新任务的运行日志查看浏览,查询任务运行状态和查询对应的日志,查看数据采集任务执行123、过程的详细日志,将日志进行归档备份等。实时推送更新需要自动生成实时推送更新日志统一存储到数据库中。11)逻辑集中数据更新因逻辑集中是指只将数据资源对应的数据资源目录统一存储在中心数据库,数据资源本身仍存储在原有数据库中或以非数据库的形式存在,并由原数据所有者更新维护。所以更新原数据并不会对逻辑数据造成影响,同样逻辑数据的更新也不会对源数据造成影响。(4) 纸质资源数字化对归并数据源物理集中的数据,部分来源于电子文件甚至是纸质资料,如:档案与文献、标准规范与规章制度、规划设计成果的各类项目成果报告文档。对有迫切需要的纸质报告类资料,需要采取集中新建的方式,辅助使用图像文字识别技术,把重要的纸质报124、告文档扫描形成非结构化数据,并进行结构化数据的提取,设计新增数据库表,数据入库。l 处理原则纸质档案数字化的基本原则是使档案信息资源准确方便快捷地提供利用,使可以公开的 档案信息资源得到共享,以满足社会对档案利用的需求。属于归档范围且应永久或长期保存的、社会利用价值高的档案可列入数字化加工的范围,并按照中华人民共和国行业标准(DA/T 312005)纸质档案数字化技术规范对纸质档案进行数字化。根据档案幅面的大小(如A4、A3、A0等)选择相应规格的扫描仪或专业扫描仪, 如工程图纸采用0号图纸扫描仪进行扫描。纸张状况较差,以及过薄、过软或超厚的档案,应采用平板扫描方式;纸张状况好的档案可采用高速125、扫描方式以提高工作效率。扫描过程中,确保不对档案原件造成破坏,保证档案扫描图像与原件一致、整洁、清晰。加强对纸质档案数字化各环节的安全保密管理机制,确保档案原件和数字化档案信息的安全。l 处理流程纸质档案数字化的基本环节主要包括:档案整理、档案扫描、图像处理、图像存储、目录建库、数据挂接、数据验收等。具体流程如下:l 档案整理在扫描之前,根据档案管理情况,按下述步骤对档案进行适当整理,并视需要作出标识,确保档案数字化质量。1、目录数据准备按照档案著录规则(DA/T18)等的要求,规范档案中的目录内容。包括确定档案目录的著录项、字段长度和内容要求。如有错误或不规范的案卷题名、文件名、责任者、起止126、页号和页数等,应进行修改。2、拆除装订拆除文件中的装订物,拆除装订物时应注意保护档案不受损害;在不去除装订物情况下,影响扫描工作进行的档案。3、区分扫描件和非扫描件按要求把同一案卷中的扫描件和非扫描件区分开。普发性文件区分的原则是:无关的重份的文件要剔除,有正或件的文件可以不扫描原稿。4、页面修整 对破损严重、无法直接进行扫描的档案,应先进行技术修复、裱糊; 折皱不平影响扫描质量的原件应先进行相应处理(压平或烫平等)后再进行扫描。5、档案整理登记制作并填写纸质档案数字化加工过程交接登记表单,详细记录档案整理后每份文件的起始页号和页数。l 档案扫描1、扫描方式(扫描前必须准备一台专业的高速扫描仪127、,并带平板) 根据档案幅面的大小(A4、A3、AO等)选择相应规格的扫描仪或专业担描仪,如工程图纸可采用0号图纸扫描仪进行扫描。 普通A4纸质文件,采用高速扫描仪的自动进纸方式扫描; 纸质过薄、透明的(如信纸、便签纸)采用高速扫描仪的平板扫描; 纸质过厚、照片等档案采用高速扫描仪的平板扫描; 对文件页面贴有附属小页面、纸张时,将大小页面单独在平板中扫描;2、扫描模式(纸质档案扫描一般采用黑白、灰度和彩色三种模式) 页面为黑白两色,字迹清晰的、不带图片的档案材料,采用黑白方式; 页面为黑白两色,清晰度较差或者带有图片的档案材料,以及页面多为彩色文字的档案,采用彩色或灰度模式(因情况而定); 页面128、中有红头、印章或插有黑白照片、彩色照片、彩色插图的档案,采用彩色模式扫描。3、分辨率选择 采用黑白、256级灰度模式扫描的文件,其分辨率选择为200DPI; 采用24位为彩色模式扫描的文件,其分辨率选择为100DPI;(以上模式分辨率的设定以A4纸张为标准,其他规格纸张酌情调理) 扫描的线数、阀值、亮度、灰度、对比度等值可根据所扫描文件材料的清晰度进行适当的调整; 需要时可根据原件的清晰度适当调整扫描分辨率。如原件质量较差且尺寸较小,可适当提高分辨率;反之也可相应减少分辨率,增减的多少以扫描后图像按原尺寸显示后是否清晰为准; 粘贴折页与表格,对于粘贴折页,可用大幅面扫描仪扫描,或先部分扫描后拼129、接;对部分字体很小、字迹密集的情况,可适当提高扫描分辨率,选择灰度扫描或彩色扫描,采用局部深化技术解决;对字迹与表格颜色深度不同的,采用局部淡化技术解决。l 图像深处理将扫描后的文档一一保存,保存为TIFF格式,再针对每份影像页面进行深处理,以获得最好的图像质量,保证图像完整、端正、无扭区、版面无暗影、无干扰信息,主要完成影像深处理包括:去黑边、去污点、纠偏等,处理完的图像保存格式为PDF。 纠偏:对扫描过程中出现的偏斜图像进行整体纠正,包括自校和手校,保证数字图像的偏斜角度小于1度(图像偏斜不超过页面内半个文字); 旋转:按方字方向将图片旋转至正确方向,没有文字的图片,判断其方向后进行左旋、130、右旋、翻转、旋转等工具; 去污:对图像页面中出现的影响图像质量的杂质,去除数字图像中影响可懂度的杂质,如去除黑边、多余边、污点,文字中的黑点不用考虑; 载边:采用彩色模式扫描的图像应进行裁边处理,去除多余的白边,以有效缩小图像文件的容量,节省存储空间。 删除空白页:将扫描后页面之间的空白页进行删除; 断字修补:对部分文字不清楚可进行修补; 反白字修正:将部分反白文字可进行描述; 分割:将A3幅面的文件分割为两份A4幅面的文件; 拼接:对大幅面档案进行分区扫描形成的多幅图像,应进行拼接处理,合并为一个完整的图像,以保证档案数字化图像的整体性。l 图像处理质检主要对完成图像深处理的检查,不合要求的131、返回上一环节重新处理,如以下问题: 由于操作不当,造成扫描的图像文件不完整或无法清晰识别时,应重新扫描; 对图像偏斜度、清晰度、失真度等进行检查。发现不符合图像质量要求时,应重新进行图像的处理; 图像处理的是否得当,严重的应重扫,处理不当的应重新处理; 扫描图像页码顺序是否与原文件一致,有无漏扫、多扫(重复)、纸张倒置等情况; 顺序:如果页码不连续,与原文不一致,需对页面进行排序; 漏扫:将漏扫的页面重新扫描,并插入到正确的位置; 多扫:将多扫页面删除; 倒置:不符合要求的需进行调整,保持与原文一致。l 图像存储纸质档案目录数据库中的每一份文件,都有一个与之相对应的唯一档号,以该档号为这份文件132、扫描后的图像文件命名。多页文件可采用该档号建立相应文件夹,按页码顺序对图像文件命名。文件的保存格式为TIFF,图片的保存格式为JPG,保存到指定的路径,便于准确挂接入库,与档案管理软件中的目录建立一一对应的关系。再对数字化后的文档进行批量处理,处理完将保存为PDF格式;最后将所有文档批量转换为可以复制、检索利用的双层PDF格式,然后进行光盘刻录,确保刻录好的光盘能正确地读出,并做好标识标签。l 目录建库按照档案著录规则(DA/T18)的要求进行著录,建立档案目录数据库。目录建库应选择通用的数据格式。所选定的数据格式应能直接或间接通过XML文档进行数据交换。注:采用人工校对或软件自动校对的方式,133、对目录数据库的建库质量进行检查。核对著录项目是否完整、著录内容是否规范、准确,发现不合格的数据应要求进行修改或重录。l 数据挂接1、挂接前的数据关联检查以纸质档案目录数据库为依据,将每一份纸质档案文件扫描所得的一个或多个图像存储为一份图像文件。将图像文件存储到相应文件夹时,要认真核查每一份图像文件的名称与档案目录数据库中该份文件的档号是否相同,图像文件的页数与档案目录数据库中该份文件的页数是否一致,图像文件的总数与目录数据库中文件的总数是否相同等。通过每一份图像文件的文件名与档案目录数据库中该份文件的档号的一致性和唯一性,建立起一一对应的关联关系,为实现档案目录数据库与图像文件的批量挂接提供条134、件。2、汇总挂接档案数字化转换过程中形成的目录数据库与图像数据库,通过质检环节确认为合格后,通过网络及时加载到数据服务器端汇总。通过编制程序或借助相应软件,可实现目录数据对相关联的数字图像的自动搜索、加入对应的电子地址信息等,实现批量、快速挂接。3、数据提取入库对有迫切需要的纸质报告类资料,需要采取集中新建的方式,辅助使用图像文字识别技术,把重要的纸质报告文档扫描形成非结构化数据,并进行结构化数据的提取,设计新增数据库表,数据入库。l 数据验收一个全宗的档案,数字化转换质量抽检的合格率达到95%以上(含95%)时,给予以验收“通过”。 目录数据库与图像文件挂接错误,或目录数据库、图像文件之一出135、现不完整、不清晰、有错误等质量问题时,抽检标记为不合格。验收通过的结论,必须经分管领导审核、签字后方有效。l 纸质化成果管理本项目建设期间将完成近期部分重要文档的扫描识别工作,包括公文、会议纪要、工程档案、规划设计报告、规章制度、工作方案、工作总结、工作报告等。(5) 数据资源目录建设遵照政务信息资源目录体系(GB/T 21063)、政务服务信息资源目录编制指南(国家发改委、中央网信办)水利数据目录服务规范(水利部),水利信息分类(SL701-2014)的分类规则等标准规范,在水利数据资源调查的基础上,对水利数据资源进行网状组织,制定水利数据资源目录。目录编制范围应包括全厅核心业务产生所有信息136、资源,涉及全厅各部门各单位范围。在数据资源开发的的过程中,对这些数据按照统一的标准规范进行梳理,建立对水利厅全厅业务和数据资源全面整体的认识,建立业务与数据之间的对应关系,形成一个统一的数据资源总目录,为上层应用服务体系提供数据资源发现和定位服务,实现不同部门、不同业务数据资源的共享和管理。按照政务信息资源目录分类,本次数据资源目录分类包括资源属性分类、涉密属性分类、共享属性分类和层级属性分类等。资源属性分类主要由基础信息资源目录、主题信息资源目录、部门信息资源目录;共享属性分类主要包括数据接口目录、数据共享目录、数据开放目录等目录组成,其中数据共享目录、数据开放目录按共享类型分为无条件共享、137、有条件共享、不予共享等三种类型。数据资源目录编制的主要任务:梳理业务。即对水利厅的各项业务的流程、职责、内容进行调查、定义,形成业务目录。梳理数据。即对水利各项业务形的数据进行调查、收集、整理,形成数据目录。根据数据库建库设计要求,建立业务目录与数据目录的一一对应关系,形成对应关系目录。对各单位、各部门需要共享利用的数据进行调查、梳理,形成接口目录、共享目录等。l 数据数据目录梳理 目录梳理目标数据资源梳理是否成功能建成“一数一源”及数据资源目录关键工作。要做到水利数据资源目录建设,就要统一对已有各类水利数据进行系统、全面梳理,摸清家底,梳理整合内容主要包括水文水资源、防汛抗旱、水利工程、水土138、保持、农村水利、水库移民与扶贫、水行政执法、水利安全监管、水利规划、水利管理等各业务的基础数据收录情况、监测数据收录情况、监测设施建设情况、业务系统建设情况、业务开展情况、外部数据接入情况等几大部分进行梳理。 目录梳理范围目前按照业务部门划分,基本建设了水文水资源、防汛抗旱、水利工程、水土保持、农村水利、水库移民与扶贫、水行政执法、水利安全监管、水利规划、水利管理等业务系统。因此本次梳理主要按照业务属性进行梳理。表4 目录梳理范围序号数据库名称资源概况1水利工程各类水利工程的基本信息2水利空间基础空间和专题空间数据3水文水资源测站基本信息及水文监测数据4社会经济各行政区划社会经济信息5水利法规139、政策水利相关法律和规章制度6水行政管理水行政机构信息以及行政许可信息等7水资源管理取用水户、水功能区、水源地、供水、排水计量信息,取水许可证管理、水资源论证管理等业务数据8水质监测水质监测站信息、水质监测记录、水质评价信息等9实时水雨情实时水雨情及预报调度系统产生的预报信息10历史大洪水场次洪水水情、形成条件、量级和成灾程度等描述11实时工情水利工程实时工情信息12气象天气预报、云图雷达、气象预警、冰冻信息13灾情旱涝灾情以及防洪物料信息14热带气旋热带气旋基本特征、路径、预警等15水土保持水土保持基本情况、水土流失治理等16水利工程建设管理水利工程建设市场行业信息、工程审批信等17农田水利灌140、区信息、农村饮水安全信息18农村水电及电气化水电站基础信息、机电排灌工程信息等19水利工程移民移民安置、移民后期扶持、移民工作监督管理等20水利规划水利项目前期工作管理、水利项目计划工作管理等21人才人员基本信息以及人员任免、考核、培训等信息22水利科技科研人员及机构信息、科研项目管理、水利技术标准等23河道管理采砂管理、岸线管理等24地下水地下水基本信息、开采、超采情况监控等25水政监察水政监察队伍信息、巡查信息、执法信息等26河(湖)长制业务数据主要指河(湖)长制办公产生的巡河管理、事件处置、抽查督导、考核评估等数据27山洪灾害防治山洪灾害影响、小流域信息等28视频数据包括工程、供水、河道141、管理、城市内涝等已经建设的视频设备29水利空间数据基础地理数据、空间属性数据等30水务数据按需整合相关供排水数据 梳理技术路线综合考虑并兼顾水利信息化实际情况及水利行业信息化标准现状,制定数据梳理技术路线,将整个工作按照纵横两个维度展开,纵向按照时间轴,分为总体调研、详细调研、领域分析和设计及总结四个阶段。横向将整个工作分为标准线、业务线和数据线三个主要线条展开。数据梳理在横向上采取标准线、数据线、业务线三条线同步进行,纵向上边调研边分析,多个成果相互印证的工作模式。 数据梳理技术方法1.资料搜集首先搜集水利资源数据梳理所需的标准规范资料、数据库资料、档案资料、文档资料等,资料要求具有权威性,142、内容全面,现势性满足应用要求。搜集的资料包括:(1)标准规范资料:包括国家或水利部颁布的相关数据库标准规范、数据整理及处理规程、数据汇交和报备要求、统计报表制度等。(2)数据库资料:搜集省级各类水利资源数据库设计方案、数据库建设方案,部下发数据库设计以及各市(县)数据库设计方案等。(3)档案资料:搜集省级各类水利资源档案数据及档案数据的说明资料,包括水文、水资源、防汛抗旱、水利管理类等档案。(4)其它文档资料:搜集其它数据相关的纸质资料,包括图纸、表格、文档资料等。2.资料整理和预处理资料整理:针对搜集的各类标准规范、数据库、档案资料和文档资料,对图层、表格、指标或者字典、数据类型等不一致的地143、方,进行预先处理,统一空间数据图层划分,统一表格对象,统一数据指标或字典项,统一数据类型要求等。统一预先分析现有数据库、纸质数据与图层、表格、指标、字典项、数据类型等映射关系。数据预处理:预先对样本数据进行预处理,包括格式转换、投影转换、坐标转换、指标或字典项转换、数据类型转换等。对样本数据中缺失图层、表格对象、指标项、字典项及数据字段进行补录。3.需求分析需求分析包括业务需求分析和数据需求分析。 业务需求分析:即建立业务模型,按职能域业务过程业务活动的层次结构来进行描述。通过业务需求分析,可以获取业务过程中可能产生的数据,以及当前业务过程所使用的用户视图。数据需求分析:根据业务需求分析获取的144、用户视图(用户常用的数据承载方式如表单、应用系统用户界面、甚至一份规划中的相关数据等),对其内容按照业务概念进行分类及规范化,并对用户视图中的数据完成以下两个方面分析:建立业务模式、数据流分析。(1)建立业务模式职能域模型:职能域(Function Area)或称职能范围、业务范围,是指一个组织中的一些主要业务活动领域。业务过程:业务过程或业务流程(Process)是指一些联系紧密的业务活动的总称。业务活动:业务活动(Activity)是组织功能分解后最基本的、不可再分解的最小功能单元。(2)用户视图分析用户视图(User View)是一些数据的集合,它反映了最终用户对数据实体的看法。换言之,145、我们可以把管理过程的各种统计报表、审批手续等统称为用户视图。(3)数据流分析一级数据流程图是从全局的高度,综合、整体地观察每一个职能域数据流的进出概况;通过一级数据流将一些职能域联结起来,使分析人员形成对全局数据流的整体认识。二级数据流程图是某一职能域内部业务过程和数据流的进一步调查的记录,关键是业务过程的识别与定义,以及存储类用户视图的定义与规范化。4)数据编目信息分类及编码是根据信息的属性或特征把信息按一定原则分类并赋予规律性符号。在信息化建设中,信息分类编码标准是信息快速检索、自动处理和传输的基础,便于管理和使用信息,属于信息化高层标准。对于水利资源数据分类及编目,通过以下四方面来分类:146、(1)行政区划。可以根据所在行政区划的不同,对水利资源数据服务进行分类;采用国标行政区划代码(GB/T 2260-2007)中对应的6位代码来命名。(2)专业类型。可以根据所属的国水利专业的不同,对水利源数据服务进行分类。(3)数据(集)名。可以根据水利资源数据所属的数据集不同,对水利资源数据服务进行分类。(4)年份。可以根据不同的年份对水利资源数据服务进行分类。5)领域建模首先,依据水利资源数据分类及编目进行水利资源领域划分。业务分类及领域划分是数据资源规划的第一步。对业务进行分类,在保证业务完整的前提下;对业务过程进行梳理分析,可以搜集业务过程中产生的完整数据信息,经过分析明确业务概念,为147、领域模型的建立提供基础。其次,进行领域建模。领域建模是数据资源规划和数据梳理的重头戏,其目的是建立领域模型,为数据模型的建立奠定基础。领域模型(Model Model)是对用户信息需求的科学反映,是规划系统的信息组织框架结构。领域模型按照业务领域划分,每个职能域基本对应一个主题数据库。在领域建模过程中,领域对象的确定是关键。我们采用面向对象的分析方法,分析业务过程中获取的用户视图,完成领域对象的抽象。6)数据集成及关联处理数据集成及关联关系处理包括水利资源数据的空间关系、图属关系、图档关系、业务关系、更新关系的梳理和分析。其中:1、空间关系梳理针对水利资源样本数据,梳理各类数据之间的图层划分,148、统一空间参考系,厘清不同业务之间管理等数据之间的空间关系。2、图档关系梳理针对水利资源样本数据,梳理空间图层与业务档案数据之间的关联字段及关联关系,梳理业务管理数据表与业务档案数据之间的关联字段及关联关系。3、业务关系梳理针对水利资源样本数据,梳理水利管理各业务图层、业务表格数据之间的关联字段和关联关系,包括水文、水资源、防汛抗旱等业务之间的关联关系。4、更新关系梳理针对水利资源样本数据,梳理更新源与数据中心数据库之间的数据更新关系,包括图层映射、字段映射、ETL映射等。7)数据建模数据模型分为全域数据模型和子系统数据模型。其建立过程分成概念数据模型和逻辑数据模型。前者是以用户的视角对数据存储149、的看法,反映了用户的综合性信息需求。后者则是系统分析人员的视角出发,对概念数据库进一步分解和细化。 其表达方法采用实体框表示法(简化ER实体关系图)。 数据建模的过程就是从用户视图到主题数据库,从数据流程图到ER图,从数据实体到基本表的研究开发过程。(这部分涉及到数据元素及基本表的规范化,ER图,主键和外键等概念)。数据建模的基本工作包括:首先,识别定义业务主题,按主题将用户视图分组定义为实体大组,提出概念数据模型;其次,按业务需要进一步分析实体的属性,规范化数据结构产生基本表,提出逻辑数据模型;最后,数据元素规范化,进一步审核数据图层和表格对象组成。8)数据梳理成果水利资源数据梳理及数据资源150、规划的主要成果包括:(1)水利政策及水利国标等:文本文档、图片等;(2)信息框架模型:包括水利数据资源分类及编码标准,成果格式:word文档;(3)数据组织规范:在信息框架数据分类体系下,划分数据集体系,定义基础数据实体类型、实体构成元素类型、并在基础数据实体和元素定义的基础上完成各类数据集的构建,形成能够指导水利资源管理信息化建设的数据组织规范,成果格式:word文档;(4)元数据模型:是为了方便信息管理对水利信息框架、数据组织规范进行建模,它与领域无关,而与数据的分类方法和组织方式有关。元数据实体和元素实例化后,形成具体数据集的数据模型。成果过格式:EA中的ER图,并在数据组织规范中完成说151、明;(5)业务调研报告:包含业务职能域的定义、业务过程、业务活动的说明以及业务活动过程中产生的用户视图(业务数据成果),成果格式:word文档;(6)业务分析模型:根据业务调研成果,划分职能域,并针对每个职能域完成业务过程和业务活动图的编制,成果格式:EA用例图、EA时序图、EA活动图文档;(7)数据流程图:将业务过程与用户视图相结合进行分析,完成数据在业务过程中的流动关系的表达。成果格式:visio文档;(8)领域模型:每个职能领域包含的领域对象类及对象类关系,以及对象类所包含的数据元素。成果格式:EA领域模型图;(9)领域模型说明文件,成果格式:word文档。l 数据资源目录分类按照政务信152、息资源目录分类,本次数据资源目录分类包括资源属性分类、涉密属性分类、共享属性分类和层级属性分类等。资源属性分类主要由基础信息资源目录、主题信息资源目录、部门信息资源目录;共享属性分类主要包括数据接口目录、数据共享目录、数据开放目录等目录组成,其中数据共享目录、数据开放目录按共享类型分为无条件共享、有条件共享、不予共享等三种类型。l 资源属性分类政务信息资源目录按资源属性分为基础信息资源目录、主题信息资源目录、部门信息资源目录等三种类型。水利资源目录按照政务信息资源进行分类,同时结合目前水利信息化以业务系统建设为主的实际情况,第一步将目录划分为业务资源目录、部门信息资源目录、信息需求目录、数据接153、口目录、数据共享目录、数据开放目录,梳理清楚部门所包含的数据资源,在此基础之上继续扩展为政务部门需要的基础信息资源目录、主题信息资源目录、部门信息资源目录及水利部门要求得2 个大类、4 个中类和 8 个小类,分类建设。业务资源目录业务资源目录是对水利业务的编目。按照梳理范围本次共编目大目录30个,小目录400余个,业务目录参见附表四、业务资源目录。部门信息目录部门信息资源目录是对水利厅各部门进行编目。部门信息资源包括如下:表5 水利厅业务处室序号部门部门编码1水利厅办公室100012水利厅规划计划处100023水利厅水资源处100034水利厅基本建设处100045水利厅水利管理处100056水154、利厅农村水利处100067水利厅水土保持处100078水利厅财务处100089水利厅科技处1000910水利厅人事处1001011水利厅综合减灾处1001112水利厅防汛调度处1001213水利厅抗旱调度处1001314水利厅河长制工作处1001415水利厅10015信息需求目录为进一步支持防汛抗旱需要对省气象局、省公安厅、省交通运输厅、省国土厅、省民政厅。表6 外部共享需求序号部门数据需求1气象天气预报、云图雷达、气象预警、冰冻信息2公安警力出动、部署3民政人员伤亡、受灾经济损失、救灾减灾、物资调度4国土国土空间数据l 涉密属性分类政务信息资源目录按照信息资源涉密属性,分为涉密政务信息资源目155、录和非涉密政务信息资源目录。按照涉密政务信息资源目录和非涉密政务信息资源目录的梳理、编制、管理、应用等,应分别依托国家数据共享交换平台(政务内网)、国家数据共享交换平台(政务外网)开展。因涉密信息处理要求较高,本次项目对涉密信息的处理完全按照客户要求进行处理。l 共享属性分类共享属性分类主要包括数据接口目录、数据共享目录、数据开放目录等目录组成,其中数据共享目录、数据开放目录按共享类型分为无条件共享、有条件共享、不予共享等三种类型。数据接口目录对内服务主要采用数据接口的方式进行,因此建设数据接口目录十分必要:主要分为水利空间数据信息服务、水文信息服务、防汛抗旱信息服务、工情信息服务、水资源信息156、服务、水环境信息服务、水土保持信息服务图片视频信息服务接口,相关部门分层级按权限获取相关数据表7 数据共享接口服务目录服务子目录目录说明水利空间数据信息服务空间数据访问接口提供水利空间数据服务的访问防汛抗旱信息服务水文基础数据查询系统中与查询水文基础表数据的相关操作实时数据查询系统中与查询某测站某个时间段内实时降雨量、时间段内水库水情、河道水清、以及地下水情的操作查询定制时段累计雨情查询、时段内水库水文、河道水文、平均雨量查询操作数据增加与系统中添加水文数据相关的操作数据修改与系统中修改水文数据相关的操作数据删除与系统中删除水文数据相关的操作防汛抗旱基础数据查询与系统中查询防汛抗旱数据相关的操157、作防汛抗旱实时数据查询与系统中查询防汛抗旱数据相关的操作水环境信息服务水环境数据查询系统中查询水质水环境数据的操作水环境数据增加在增加水环境数据时需要调用的操作水环境数据修改修改气象数据时需要调用的操作水环境数据删除删除水环境数据时需要调用的操作水土保持信息服务水土保持数据查询系统中查询水土保持数据的操作水土保持数据增加在增加水土保持数据时需要调用的操作水土保持数据修改修改水土保持数据时需要调用的操作水土保持数据删除删除水土保持数据时需要调用的操作图片视频信息服务图片查询系统中查询图片数据的操作视频查询系统中查询视频数据的操作水资源信息服务水资源基础数据查询与系统中查询水资源数据相关的操作水资158、源实时数据查询与系统中查询水资源数据相关的操作对内主要分为水利空间数据信息服务、水文信息服务、防汛抗旱信息服务、工情信息服务、水资源信息服务、水环境信息服务、水土保持信息服务图片视频信息服务接口,相关部门分层级按权限获取相关数据。数据共享目录水利信息资源目录建设应符合水利部加快推进水利信息化资源整合与共享指导意见(2008)和水利信息化资源共享目录(第一批)(2011)的要求。水利信息共享和交换目录应绑定数据块、数据库、数据提供者(人、机构或程序)、数据提供方式、数据使用者(人、机构或程)、数据使用方式等内容。表8数据共享目录共享数据目录共享单位用途共享内容主管部门数据传输频率及发送方式数据存159、放地址雨情信息水情信息气象数据.数据开放目录为了更好地提供政府信息公开服务,水利厅主动向社会免费公开的信息范围参见水利厅编制的水利厅信息公开目录(以下简称目录)。公民、法人和其他组织可以在水利信息网上查阅目录,也可以到水利厅办公室查阅。公民、法人和其他组织需要水利厅主动公开以外的政府信息,可以向水利厅申请获取。水利厅依申请提供信息时,根据掌握该信息的实际状态进行提供,不对信息进行加工、统计、研究、分析或者其他处理。l 目录代码编制l 编码规则参照GB/T21063.4-2007 政务信息资源目录体系第4部分:政务 信息资源分类的代码结构规则,建设水利目录代码编制,代码结构由前段码、 后段码组成160、。前段码由“类”、“项”、“目”、“细目”组成,作为信息资源的分类码;后段码为信息资源的顺序码。(1)信息资源“类”,即信息资源的一级分类,用1位阿拉伯数字 表示。采用“政务信息资源目录的资源属性分类”规定的分类方 法, “1”代表基础信息资源类,“2”代表主题信息资源类,“3”代表部 门信息资源类。 (2)信息资源“项”,即信息资源的二级分类,共2位,原则上用 阿拉伯数字表示。如,01水资源管理、02水文管理、03防汛抗旱管理。(3)信息资源“目”,即信息资源的三级分类,共3位,原则上用 阿拉伯数字表示。 (4)信息资源“细目”,不定长度,原则上用阿拉伯数字表示,供 信息资源提供方进行具体的161、信息资源分类。“细目”可根据需要设置多级分类。l 信息资源顺序编码水利信息资源顺序码,采用不定长度,原则上以1为起始、连续的 阿拉伯数字表示。信息资源分类码与信息资源顺序码的组合,形成完整的信息资源代码。编码规则l 目录分类实施过程信息资源目录编制流程实施过程主要包括:前期准备、目录编制与报送、目录汇总与管理、目录更新、资料存档等过程。l 前期准备调查组织结构数据整合和分类涉及的部门较多,涉及的业务人员也较多,本次项目建设水利厅各责任部门应明确信息资源目录编制工作的领导机构和工作机制,负责信息资源目录的组织规划、编目审查、目录报送等工作。各责任部门应明确信息资源目录的组织实施机构,负责具体目录162、规划制定、信息资源调查、信息资源目录编制和维护更新等工作。最终由实施结构完成目录调查、目录编制等工作。数据资源调查首先搜集水利资源数据梳理所需的标准规范资料、数据库资料、档案资料、文档资料等,资料要求具有权威性,内容全面,现势性满足应用要求。搜集的资料包括:标准规范资料:包括国家或水利部颁布的相关数据库标准规范、数据整理及处理规程、数据汇交和报备要求、统计报表制度等。数据库资料:搜集省级各类水利资源数据库设计方案、数据库建设方案,部下发数据库设计以及各市(县)数据库设计方案等。档案资料:搜集省级各类水利资源档案数据及档案数据的说明资料,包括水文、水资源、防汛抗旱、水利管理类等档案。其它文档资料163、:搜集其它数据相关的纸质资料,包括图纸、表格、文档资料等。表9 数据调查表l 目录编制与报送各责任部门应按要求配合收集各部分资料,同时协助对业务类、共享类和部门类数据资源目录进行复核、审查后,由编制单位及时报送数据资源报送业主。报送的信息资源目录为目录编制工具导出的统一格式文件,或者 xlsx电子表格文件。l 目录汇总与管理在审核汇总过程中,如发现数据资源目录不符合要求,则退回编制单位整改;如发现有重复采集的数据内容,由数据调查组决定使用谁为基本目录。l 过程文档经过分析,本项目过程中主要生成以下文档。1、数据资源目录调查表;2、数据资源调查表分析报告;3、业务数据资源目录;4、部门信息资源目164、;5、数据接口目录;6、数据共享目录;7、数据开放目录;8、数据资源目录评审报告;9、数据资源目录实施报告;10、数据资源目录总结报告。l 数据资源目录发布l 目录注册将整理后的数据资源目录按照目录数据库要求注册到数据库中。l 目录审核再次审核注册的目录。如有错误可按照定版的数据资源目录修正后继续注册。l 目录发布将审核后的目录进行发布,供各业务处室查看、查询、使用,同时为数据服务接口提供基础依据。l 目录更新各责任部门应对本单位发布的政务信息资源目录进行及时更新维护。l 与电子政务对接本项目目录编制及目录编码遵照政务信息资源目录体系(GB/T 21063)、政务服务信息资源目录编制指南(国家165、发改委、中央网信办)水利数据目录服务规范(水利部)相关规范进行建设,可以与电子政务通过接口实现数据目录对接或者采用导入的方式将数据资源目录导入到省政务信息资源共享平台。3) 数据资源管理数据管理系统主要包括对象管理功能、数据更新管理功能、元数据管理功能、数据资源目录管理功能、数据运行监测与评价统计功能等。(1) 对象管理子系统对象管理子系统主要用于管理面向对象的数据模型,是模型中对象标识、对象类、对象类属性和对象类关系的基本维护工具。l 对象标识管理管理对象标识的唯一编码,包括编码规则定制、编码自动生成、编码发放等功能。所有对象需采用全球唯一码(GUID)做物理主键标识,另需根据对象唯一性特点166、将相关属性作为联合主键(业务主键)。编码根据规则由系统自动生成并分配给所属的对象。l 对象类管理对象类型定义主要是对一个对象详细信息的定义,如对象名称、对象URI、对象属性、子对象的定义等。目前动态本体主要有三种基本对象类型:实体(Entities),事件(Events)和文件(File)。实体:就是物体,任何名词都能标识一个实体。实体下面对象类型URI命名规则可以是“data.object.entity.”+“对象类型英文名”的方式,整个URI只能由大小写英文字母加“.”组成。事件:一个时间地点发生的动作,动词能很好的表示。事件下面对象类型URI命名规则可以是“data.object.eve167、nt.”+“对象类型英文名”的方式,整个URI只能由大小写英文字母加“.”组成。文件:文件主要包括文档、图片、视频,其中文档是指非结构化的文本数据,图片就是代表图片,视频代表音视频。文档下面对象类型URI命名规则可以是“data.object.file.document.”+“对象类型英文名”的方式,整个URI只能由大小写英文字母加“.”组成。对象类型编辑器用于创建和修改对象类型,并为对象类型定义相关的属性类型。l 对象属性管理对象数据管理属性类型主要是对象的基本属性定义,包括定义属性类型标题、URI、数据格式、数值类型、同义词、检索方式等。数据格式主要包括列表、集合和简单数据格式。图32 对168、象属性管理l 数据关系族谱知识图谱是基于图的数据结构,其存储方式主要有两种方式: RDF存储和图数据库(Graph Database)。全文索引库主要包括标签数据和索引数据。对于各类关系通过存储后,通过切词处理、语义标注分析等操作后,通过提取关键字和关键信息建立形成标签数据。通过对数据资源建立索引关系形成索引数据,实现对特定信息快速检索与定位。图33 数据图谱(2) 数据更新管理子系统实现对数据库的每一个结构化数据表的查询、修改、新增、删除、导出 EXCEL 的功能,同时记录用户的操作日志。数据新增、更新自动生成新的数据版本号,以便对整个数据库数据形成版本管理。l 数据库管理数据库的建库管理主169、要是针对数据库类型,建立数据库管理档案,包括:数据库的分类、数据库主题、建库标准、建库方案、责任单位、服务对象、物理位置、备份手段、数据增量等内容。l 数据库状态监控监控数据库进程,随时查看、清理死进程,释放系统资源。 监控和管理表空间的容量,及时调整容量大小,优化性能。 数据存储空间、表空间增长状况和剩余空间检查,根据固定时间数据的增长量推算当前存储空间接近饱和的时间点,并根据实际情况及时添加存储空间,防止因磁盘空间枯竭导致服务终止。图34 运维监控l 数据库表操作管理数据库表操作管理主要是针对数据库表的管理,包括数据库表的新建、修改、删除等操作。图35 数据库表配置管理图36 数据库表批量170、设置图37 新建表结构l 数据操作管理l 数据录入提供一套数据录入界面,并设置数据有效性检查、数据完整性和一致性检查等功能,防止不合理的、非法的数据入库,保证省、市数据的一致性。图38 数据录入l 数据修改主要完成对已入数据库的各类数据进行修改更新功能,并同步更新相关数据库。图39 数据修改l 数据删除对已入数据库的各类错误数据和无效数据进行删除,删除时分两种方式,即物理删除和逻辑删除两种操作,物理删除将错误或无效的数据从数据库中清除,逻辑删除则将当前要删除的数据加上无效标志,使其只可作为历史数据的查询条件。图40 数据删除l 数据查看提供各类数据的查询操作和显示界面,用于查询数据库中的数据。171、在查询界面中预先设置常用的查询条件,提高输入查询条件的速度,同时为用户临时确定查询条件(较复杂的条件)提供输入操作窗口。数据输出的主要功能包括屏幕显示、不同格式的文件输出等。l 数据导出提供各类数据的导出操作和显示界面,用于导出数据库中的数据。导出格式为EXCEL。l 数据库安全管理数据库安全管理只要包含以下几个方面:用户授权。采取用户授权,口令管理,安全审计。通过访问控制以加强数据库数据的保密性,数据库用户设置角色有:干线公司领导、处、科领导等,也可以由系统管理员设定;对各种角色有不同访问控制:拒绝访问者、读者、作者、编辑者、管理者等;每种访问控制拥有相应的权限,权限有管理、编辑、删除、创建172、。完整的容错机。支持联机备份与恢复,由独立的后台进程完成的产品。使联机备份能保证在做备份时,不影响前台工作进行的速度,并且该后台进程能保证对整个数据库做出完整的备份。当局部发生故障时,进行局部修复,不影响同一数据库中其他用户的工作,更不影响网络中其他节点的日常工作。还能将整个数据库恢复到某一时间,还原数据库的某一历史状态。数据库完整性控制机制。选用数据库系统软件时考虑采用具有完整性控制机制的产品。以能做到完整性约束、自动对表中字段的取值进行正确与否的判断、自动的引用完整性约束、可自动对多张表进行相互制约的控制等。以能保证数据库中数据的正确性和相容性。l 数据库备份恢复制定合理、可行的备份策略(173、定时备份、增量备份),配备相应的备份设备,做好数据备份工作,数据库备份中心的功能是:备份数据库的全部内容,并保持与源数据库的数据一致,在源中心出现故障无法进行管理时,由数据库备份中心接管管理工作,将整个数据库恢复到某一时间,或者还原数据库的某一历史状态。l 日志管理查看数据库操作日志、人员日志等。l 数据版本管理记录数据操作日志,实现数据版本及时记录及变更。(3) 元数据管理子系统数据元模块用于维护通过定义、标识、表示以及允许值等一系列属性描述的标准数据单元,并可查看标准数据元在数据源中的数据表、数据资源以及标准目录的引用情况。该模块默认包含经过梳理的科技数据元初始数据。数据元又称数据类型,通174、过定义、标识、表示以及允许值等一系列属性描述的数据单元。在特定的语义环境中被认为是不可再分的最小数据单元。在本系统中数据元在应用系统数据表的数据列中起到对标作用,在数据目录标准的数据项中起到描述作用。在项目实施之前,系统包含默认初始化的数据元,用户可根据实际情况对于数据元分类、数据元内容进行自定义设计及调整,使其成为实际可执行的数据标准化依据。元数据管理子系统主要包含元数据获取管理、元数据发布管理、元数据访问管理、元数据变更管理、版本管理和元数据全文检索等。l 元数据获取管理通过元数据获取模块获取各数据库的元数据,并进行统一存储管理,获取方式包括自动导入和手工录入。l 元数据发布管理元数据发布175、管理是针对于新版的元数据的发布,实现元数据的提交、审核、发布等流程管理。实现数据集、数据实体的数据服务注册、填写元数据,并实现元数据的发布。元数据发布格式可以是XML、HTML,并提供标准的WCS元数据服务接口。l 元数据编目根据数据集、数据实体的元数据,提取数据资源目录相关信息,对数据资源进行分类、编码。l 云数据访问管理实现元数据访问权限的授予,以及元数据搜索、分析和交换功能。支持通过树形结构、动态图集方式浏览查看数据资源目录。通过核心元数据字段,可任意组合查询、定位目录名称、数据集及数据实体的统一资源定位符(URL)地址,并提供标准的W*S接口,功能应用系统调用。l 元数据变更管理当数据176、库结构或业务含义发生变化时,需要对元数据进行更新,针对业务元数据的调整包括申请、修改、审核、发布功能;针对于技术元数据的调整包括更新和维护功能。l 版本管理记录元数据的每次变更,支持查询元数据版本变更历史,查看每次变化的具体内容;可恢复到指定版本,便于差错回退,支持录入变更原因(版本日志)、指定新版本状态和版本号。l 元数据全文检索实现对元数据的全文检索,实现精确匹配或模糊查询,对检索到的元数据可以显示各类属性信息。(4) 数据资源目录管理子系统数据资源目录主要功能包括元数据管理、目录管理、目录服务、目录节点管理和系统管理等功能。元数据管理是结合目录管理的需要在管理流程中调用元数据管理子系统功177、能。目录管理主要包括目录编制、注册、审核、发布、查询等功能。目录服务是将目录封装成目录服务供应用系统调用。目录节点管理是与水利部、流域机构、省政府、各市县建立的目录系统对接,实现可选择性逐级上报数据资源的功能,接收市县水利部门上报的数据资源目录。系统管理对目录用户的权限进行管理、对目录使用情况进行日志统计分析。l 目录生产目录生产包括目录分类管理、目录生成、元数据关联。 目录分类政务信息资源目录按资源属性分为基础信息资源目录、主题信息资源目录、部门信息资源目录等三种类型。水利资源目录按照政务信息资源进行分类,同时结合目前水利信息化发展的实际情况,将目录划分为业务资源目录、部门信息资源目录,梳理178、清楚部门所包含的数据资源,后期在此基础之上可扩展为基础信息资源目录、主题信息资源目录、部门信息资源目录。 目录生成水利部门向目录中心申请水利信息资源标识符前段码,制定后段编码方案,并对本部门的水利信息资源标识码自动或人工赋码;对水利信息资源元数据中的分类信息进行赋值。 元数据关联元数据管理是对数据目录对应的表结构的定义,包括元数据基本信息和字段级详细信息,元数据基本信息由数据的类型、分类、数据的来源、数据更新周期、数据使用范围等信息构成,元数据字段详细信息是对数据表的详细描述,主要是中文名称、英文名称、数据类型、长度、是否为空、元数据关联等信息。l 目录管理对生产后的目录进行在线编制、注册、审179、核、发布、维护。 目录编制水利部门向目录中心申请水利信息资源标识符前段码,制定后段编码方案,并对本部门的水利信息资源标识码自动或人工赋码;对水利信息资源元数据中的分类信息进行赋值。 目录注册编辑完成后,进行目录注册登记到系统,完善目录注册相关信息,并对目录对于的数据资源进行挂接。支持数据库、数据接口服务、文本等多种方式挂接数据资源。将整理后的数据资源目录按照目录数据库要求注册到数据库中。选择目录注册填写要注册的数据目录,选择归属的数据资源目录,选择相应的数据资源表系统自动获取表内属性,完成数据目录编制 审核发布对注册后的目录资源进行审核,审核合格后即可发布。 目录维护 对目录的进行修改更新、导180、出导入、备份与恢复等维护操作。维护过程要形成不同的目录版本。目录查询对发布后的目录,可以提供基于组织机构、水利对象分类等树形多层级目录展现形式,直观地展现信息资源目录;提供信息资源元数据信息的集中展现;提供主题分类、专项业务分类、自定义分类等多种灵活的信息资源分类方式的浏览与查询。可以基于标签进行查询,基于对象关系图谱查询。支持水利信息资源核心元数据的查询;提供信息资源目录内容的查询功能。目录资源共享对查询到的目录资源进行共享调用时,需进行资源使用申请、审批。依据资源形态的不同,可以通过接口服务调用、数据交换、介质交流等多种共享方式。数据运行监测与评价子系统提供数据来源、类型、利用、评价、搜索181、调用、迁移、交换等运行监测和统计分析报表。能够对成功交换数据量、累计接入数据量、成功获取数据量、成功交换数据量、交换速率等指标进行监控,实现对数据质量、数据一致性等指标监控。作为数据管理系统中的一个子系统,数据运行监测与评价子系统需提供固定模板的综合统计分析报表,支持在每一类报表中定义、扩展分析条件。建立运行情况评价基准,依据基准进行评价,进行横向、纵向对比分析。l 数据整合共享一张图提供数据来源、类型、利用、评价、搜索、调用、迁移、交换等运行监测和统计分析报表。能够对成功交换数据量、累计接入数据量、成功获取数据量、成功交换数据量、交换速率等指标进行监控,实现对数据质量、数据一致性等指标监控182、。图40 数据整合共享监控一张图l 数据资源注册情况数据资源注册情况是将资源管理平台中已经注册的数据资源按照数据种类、所属区县、注册时间、所属应用系统、数据资源属性、行业分类等多个属性维度进行展现。实现对数据资源注册情况的实时掌握。l 数据资源量情况对水利数据资源中心中的数据资源种类、数据资源总量、数据资源增量进行可视化展现,数据资源总量和数据资源增量情况包括按照每天、每周、每月进行汇总,按照数据资源业务分类、所属区县等多个属性维度进行划分。l 数据资源动态情况对接入的水利数据利用图形化方式描绘各级单位及水利部门的业务系统之间数据资源动态流转情况。主要包括流转数据资源种类、流转数据量、数据流转183、方向、数据资源流转是否正常等内容。数据资源动态全境地图包括三级视角对数据资源动态流转情况进行展现。l 数据整合情况对整合的数据资源种类、数据资源总量、数据资源增量进行可视化展现,整合的数据资源总量和数据资源增量情况包括按照每天、每周、每月进行汇总,按照数据资源业务分类、所属区县等多个属性维度进行划分。l 综合统计分析表报作为数据管理系统中的一个子系统,数据运行监测与评价子系统需提供固定模板的综合统计分析报表,支持在每一类报表中定义、扩展分析条件。建立运行情况评价基准,依据基准进行评价,进行横向、纵向对比分析。4) 数据集成交换系统(1) 数据集成系统数据标准化处理是从数据整合、数据预处理、资源184、入库、资源监控、资源利用等数据处理流程环节入手,建立完善的数据生命周期管理与数据质量管控机制,是对数据从获取、清洗、转换、关联、存储、使用等生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、度量、监控、预警等一系列质量管理的活动。l 数据组件系统组建主要由数据抽取组件、数据转化组件、数据装载组件三部分组成。实现从数据的抽取到数据的入库等功能。 数据抽取组件数据抽取组件主要包括:生成记录、XML输入、表输入、数据库查询、excel输入、获取文件名称、ACCESS输入、文本文件输入等八个子模块。 数据转化组件数据转换组件主要由拆分字段、值映射、字段选择、增加常量、增加序列、排序记录、过滤记185、录、去除重复记录、比对记录、合并记录等12个子模块。 数据装载组件数据装载组件主要由插入、更新等8个子模块组成。l 数据整合功能数据采集主要实现对水文水资源、防汛抗旱、水土保持、水利执法及视频监控数据、水利数据以及其他相关实时数据的入库存储功能,分类、分项按照相应标准存入暂存表中。 数据源配置在资源库配置界面中用户可以配置所要链接的资源库。 创建工程创建需要采集的数据工程。 模型绘制创建采集数据的输入、输出。同时定义采集的周期,有小时、天、周、月,可以共设置,同时设置数据抽取规则,数据删除规则等数据转换规则。 绘制连线当用户需要在绘制模型时表明组件中数据的流向的情况下,就需要在组件之间绘制连线186、。 模型运行配置好数据采集后,可以执行模型配置,来完成数据的抽取、转换、清洗、入库等工作。 数据同步数据同步机制是从数据源中收集数据到目标所使用的方法过程。实际应用中,一般有以下几种方式:l 数据整合监控平台通过数据整合标准化平台可以完成对各种类型数据的访问、过滤、清洗、转换、加载等ETL过程,通过不同模式,如:基于触发器、基于时间戳、基于全文比对、基于日志的数据同步,最终实现异构数据的有机整合,在数据整合过程中实现开发过程的规范化、代码自动化、代码和质量可控化、调度管理统一化和监控可视化。l 作业管理作业管理是作业管理员用户对系统各类作业及作业相关资源进行统一管理的界面,包括:目录、作业|作187、业流、翻牌规则、翻牌作业以及作业流触发条件。l 节点管理该功能模块包括了交换节点管理,节点作业关系配置。其中交换节点的管理中可以新增和配置节点信息,为节点作业关系配置提供相应的节点基础性信息。数据源管理。交换节点配置:交换节点配置中可以新增、修改、删除、查询节点配置信息。数据来源管理:主要实现对数据来源渠道进行管理,根据实际需要定制数据入口,设置数据传输参数,监视数据通道传输状态。l 调度管理调度管理实现数据采集的频率、计划、消息设置等调度管理功能。l 监控管理提供作业流和作业总体监控、作业流和作业的执行日志。在作业流总体监控中,可执行启动、停止、断点续跑和重置状态等作业流干预动作。主要包括:188、整体监控、计划监控、事件监控、节点监控、报警监控、资源监控六大部分。l 文件传输统计分析统计文件采集传输的情况。(2) 数据共享交换系统本项目构建统一的交换和共享平台,形成标准的数据交换共享体系,内部实现水利系统各子系统之间的数据交换,外部实现水利部门与环保、农业、住建等各部门之间的数据交换,保证各个业务系统之间数据的互联互通与交换共享。数据交换是对所有数据交换服务的集成,主要为实现数据交换而配备的各类工具软件以及利用工具软件做的二次开发定制服务。通过数据交换子系统的建设,构建统一的数据交换框架,规范交换流程和方法,形成统一数据交换机制,实现数据交换共享。支持常规数据、大文件数据、同构数据库等189、数据的交换。各业务应用仅需在该数据交换平台基础上,开发各自的业务应用适配器。水利数据交换平台的整合与建设方案充分借鉴现实生活中的邮局模式来进行建设,满足统一数据交换平台的建设需求。其中,数据交换平台充当“邮局”的角色,数据发送方可理解为货物的“邮寄方”,数据接收方可理解为货物的“接收方”。建设思路如下:1)数据发送方:相当于现实生活中的“货物邮寄人”,按照邮局的要求将货物打包、选择邮寄方式、填写邮寄单,并将货物及邮寄单送达到当地邮局的接收柜台。映射到水利数据交换平台的信息化模型,然后数据发送方(如防汛抗旱指挥系统)按照数据交换平台的规范要求开发发送适配器,通过该适配器将待发送的数据打包,并按照190、约定的标准接口调用数据交换平台的数据交换接收服务,将待交换的数据送达到数据交换平台。2)数据交换平台:相当于现实生活中的“邮局”,主要将接收到的数据按照发送方的要求、选择可靠的网络路由、送达到接收方,承担数据交换和传输的核心作用。映射到水利数据交换平台的信息化模型,则在发送节点,数据交换接收服务具体将负责接收待发送的数据,同时平台本身会提供数据临时存储及数据的传输与交换;在接收节点,数据交换平台通过底层的数据传输机制接收到发送过来的数据、并由数据交换发送服务对接收到的数据进行解包、并按照数据交换要求调用接收方所提供的数据接收适配器,由数据接收适配器最终将数据送达给数据接收系统。3)数据接收方:191、相当于现实生活中的“货物收件人”,它接收到邮局的邮寄单后,按照邮寄单去邮局取货或者由邮局送货上门。映射到水利数据交换平台的信息化模型,数据交换平台的数据交换发送服务会按照约定的标准接口调用数据接收方的数据接收适配器,将交换过来的数据发送给数据接收适配器,由数据接收适配器做后续处理后传递给接收系统。数据交换与共享服务要求完成部门间的数据共享交换服务设计开发。实现通道管理、节点管理、控制管理、消息管理、交换路由管理、监控管理等功能模块的设计与开发。数据交换系统是水利数据共享交换平台提供的关键服务。数据交换系统在水信息基础平台整合数据所提供的服务基础之上,通过对业务系统提供标准的数据交换服务调用,并192、确保整个数据交换过程的安全性、可靠性,最终实现整个水利内部自由的数据交换。通过数据交换系统,实现数据跨平台、跨系统、跨应用、跨地区的互联互通和信息共享。省、市、县三级的水利资源数据的汇交与交换,通过数据交换系统,实现县级数据向市级数据和省级的数据汇交、市级数据向省级数据的汇交以及省级数据向市级和县级分发的过程,按照每类水利资源数据的更新特点,充分考虑更新周期、更新频度、更新包大小等因素,制定每类数据汇交交换的数据包格式规范,在省级节点、市级节点、县级节点,主要负责对更新包的数据编码、数据组包并传送给数据交换系统,在接收端,将数据解包后,根据数据包类型,根据数据资源类型,对解包的数据进行检查和质193、检并同步更新到上级节点数据中心中。功能架构数据交换系统功能架构图如下:图41 数据交换系统设计l 数据发送与接收数据发送与接收子模块,主要是数据交换系统与外界系统之间的接口连接所在,包括源数据端的数据打包发送和目的数据端的数据解包接收功能,并且提供对交换工作的数据转换协议和映射规则,保障异构数据间的交换标准的统一性,并实现交换系统与其他系统之间的有机交互和无缝集成。1)数据抽取按照一定条件实现对数据库和文件库中数据信息的提取和过滤,数据元数据信息和数据访问接口分别由数据目录服务提供方和数据库平台建设方提供。2)数据转换对抽取的数据进行XML格式转换,并对其Schema进行有效性验证。3)数据打194、包将转换后的数据按照自定义的可解析规则进行打包处理,比如增加传输协议头等相关信息。4)数据解包数据接收方进行打包数据的解包工作,保证前后数据包内容的一致性和正确性。5)数据还原将解包数据中的XML进行还原处理,转换为自定义的通用数据对象。6)数据加载通过访问数据平台的数据存储接口实现上述数据对象信息的入库操作。7)数据表字段映射在只有数据库交换的情况下,支持对交换节点两端的数据表之间的字段关系进行映射处理,包括字段顺序的不一致、字段名称的不一致、字段数目的不一致等情况。8)数据包结构映射若交换数据同时包含文件和数据库,需要定义数据包交换规则,除了上述的数据库表字段之间的映射处理之外,还需要对数195、据包中的文件结构进行映射处理,比如文件类型、文件名称的对应等。l 数据传输管理数据传输子模块是数据交换系统中最核心的引擎模块,主要是确保水利资源数据在分布式网络环境下的交换传输的可靠性、安全性和稳定性,并能对传输过程中出现的各种异常进行捕获,提供相应的补救方案。整个数据传输是交换系统的数据流通渠道所在,与其他各模块之间关系密切相联。1)数据压缩对交换信息中的大数据采取压缩技术,保证信息传输的可靠性。2)数据加密采用目前最先进的加密技术进行交换数据的信息加密,保证信息传输的安全性。3)数据完整性检验对传输前数据和传输后数据进行对比分析和检验,保证信息传输的完整性,不丢失数据包,也不增加数据包。4196、)数据正确性检验对传输前数据和传输后数据进行对比分析和检验,保证交换数据传输前后数据内容的一致性。5)海量数据交换支持对海量数据的传输交换处理。6)断点续传如果因网络堵塞或其他原因导致数据交换失败,能恢复交换任务进行重新传输,同时传输点能从上次中断处接着开始,而不是从头开始。7)增量交换提供增量交换功能,当进行新数据包交换传输时,若以前已传输过类似数据包,可以自动检查数据包变化,能实现只交换变化部分的数据,而不是全部数据的交换。8)异步通讯数据传输支持异步通讯机制,即在数据交换目标节点离线状态下,数据交换源节点能缓存交换任务,等目标节点在线后继续执行该交换任务。9)消息队列基于成熟的消息中间件197、提供的消息队列技术,将数据交换任务进行队列化管理,以便进行有效控制,同时确保数据传输过程的可靠性。10)点对点传输支持数据交换节点之间的点对点传输,通过建立直接的高效传输通道以提高交换的性能。11)中心转发传输对交换节点之间的任务进行转发调度,实现交换节点不能直接连接状况下的数据传输。l 交换节点管理通过动态地对交换节点进行配置管理,保证了交换系统的可维护性,同时也提供了更加灵活的可伸缩机制,能够满足后期系统不断扩展的业务要求。1)增删改交换节点在数据交换中心实现对交换节点的注册管理,提供对数据交换节点的维护工作,包括节点的增加、删除和修改等,保证节点之间的变更是松耦合关系,某节点具体的修改不198、能影响到其他节点的正常运行。2)节点编码管理建立唯一识别的编码规则进行节点命名和组织管理,保证节点之间通讯和交换对象的不二性和正确性。3)节点流向规则管理对于数据交换中心管理的可控交换节点,提供节点之间的流向规则的可定义性,包括流向的单向性、双向性和不可达性。l 交换任务管理通过动态地对交换任务进行配置管理,保证了交换系统的可维护性,同时也提供了更加灵活的可伸缩机制,能够满足后期系统不断扩展的业务要求。1)启停交换任务在执行交换任务的过程中,可根据具体情况取消、暂停或重新启动交换任务,提供相应的运控管理。2)增删改交换任务提供对交换任务的增加、删除和修改等操作,保证交换任务的可维护性。3)交换199、任务优先级调整对于存储在交换队列中的交换任务,能进行优先级别的重新调整,保证重要任务能够提前执行。4)定期执行交换任务通过定义交换时间计划,对于固定的交换任务实现定期执行模式,尽量减少管理员的工作量。l 交换资源管理通过动态地对交换资源进行配置管理,保证了交换系统的可维护性,同时也提供了更加灵活的可伸缩机制,能够满足后期系统不断扩展的业务要求。1)注册数据采集服务将数据采集服务封装,并注册在水利资源服务总线上,便于通过总线进行服务调度。2)注册数据传输服务将数据传输服务封装,并注册在水利资源服务总线上,便于通过总线进行服务调度。3)注册数据接收服务将数据接收服务封装,并注册在水利资源服务总线上200、,便于通过总线进行服务调度。l 数据交换监控调度数据交换监控调度管理为数据交换系统提供监督控制与调度管理的功能,是整个平台运行的业务驱动所在,通过对交换流程信息的监控能够随时了解系统平台运行的情况,并及时调整相关的参数,从而不断优化系统,让系统运行更加稳健和顺畅。调度管理为数据交换提供了在业务方面上的需求定制,通过各种时间计划和属性条件上的触发机制,实现数据交换工作的自动化和智能化。1)系统运行状况监控对系统整体运行状况、网络负载情况、资源占用状况、系统性能状况、系统异常状况等进行监控,提供数字化和图形化的表现方式。2)交换数据信息监控对交换数据类型、数据量、传输速率、数据传输质量等进行监控,201、提供数字化和图形化的表现方式。3)交换路由监控针对当前交换情况监控整体路由信息,包括路由通道的占用节点、占用周期等,提供数字化和图形化的表现方式。4)交换日志管理对系统操作和运行中所形成的日志文件进行转存、备份,包括数据交换的发送日志、接收日志和系统日志等,记录系统的交换活动,并能对日志进行查询,以便进行审核和分析。5)信息统计分析通过多种操作方式,按照年月日等不同时间尺度或节点组织关系对数据传输情况进行统计和查询,提供报表和图形输出,从而分析出交换节点的使用情况。l 数据交换权限管理实现对数据交换各种资源的访问及使用权限控制。管理员可以通过平台的管理控制台为数据源、订阅发布源、任务设置访问权202、限。该模块在被任务管理模块调用时通过接收的权限信息(包括访问者、访问的资源:数据源、订阅发布源、任务)调用平台提供的统一权限服务接口获取平台对相应资源的访问权限,并将结果返回任务管理模块。(3) 数据接口服务为实现“一数一源”共享数据服务要求,为上层应用提供统一的数据服务,需要进行信息共享服务系统的建设,以供现在和未来业务系统调用来访问内部数据。对内主要分为水利空间数据信息服务、水文信息服务、防汛抗旱信息服务、工情信息服务、水资源信息服务、水环境信息服务、水土保持信息服务图片视频信息服务接口,相关部门分层级按权限获取相关数据。5) 大数据分析应用大数据分析的主要建设内容包括大数据分析基础框架、203、大数据分析试点应用、大数据可视化应用等。(1) 大数据建设思路根据对水利厅现有信息化资源系统和需求进行梳理,基于水利厅业务的“一个平台、一个中心、一张图、一套标准、多种应用服务”的“智慧水利”应用模式为建设目标。实现多源异构PB级数据采集、存储、计算、分析、服务融合等功能。l 采用分布式采集技术构建数据采集环境采用“调度中心+决策中心”相结合的分布式数据采集处理架构,通过分布式ETL工具实现ETL任务的并行分布式采集任务处理,能够完成对水利机关系统数据、第三方涉水数据、互联网水利数据以及日常管理情报数据等结构化和非结构化数据的全量、增量、实时采集任务。l 采用分布式大数据技术构建数据存储和计算204、环境建设水利服务总线、ETL工具、数据汇集系统等采用自主研发且经过众多项目实践的大数据产品来搭建水利的数据存储和计算环境,存储水利机关系统数据、第三方涉水数据、互联网水利数据以及日常管理情报数据的全量数据。l 采用机器学习和数据挖掘技术构建数据分析环境数据挖掘和机器学习是要从大量的历史数据中,发现数据之间的关联关系,需要借助相关的挖掘算法,通过数据计算来得到数据中隐含的知识,如数据回归的公式、关联规则、分类规则等。采用流程化、可视化的设计思路为水利搭建可交互性的数据挖掘分析环境,用户在平台中通过拖拽和配置即可实现对海量数据的挖掘分析。采用微服务架构构建数据开放和应用环境微服务是一种简单的轻量级205、应用,那就是微服务通常都是很小的,甚至是微型的。从物理角度来说,这些服务都很小,你可以在同一台机器上运行大量服务,不必担心内存或是资源等问题。采用一组服务的方式来构建一个应用,服务独立部署在不同的进程中,不同服务通过一些轻量级交互机制来通信,例如RPC、HTTP等,服务可独立扩展伸缩,每个服务定义了明确的边界,不同的服务甚至可以采用不同的编程语言来实现,由独立的团队来维护。微服务架构应用的成功经验近年已越来越多,例如国外的Amazon,Netflix,国内如阿里都采用微服务架构取得了很多正面的成功案例。(2) 大数据架构设计为解决水利信息孤岛、海量数据结构化和非结构化数据的存储等问题,遵循水利206、部水利数据中心建设基本技术要求部署模型,建设水利大数据中心。水利数据中心建设的目的是全面整合分散的各类水利信息资源,实现信息共享,并对数据进行深度挖掘,以满足水利业务和事务发展需要。其中解决的主要问题包括:分布各处的水利数据到水利数据中心的实时汇集,海量水利数据的集中存储,结构化数据和非结构化数据的统一管理,以及有效的数据分析和挖掘等。水利大数据中心架构图如下所示:图42 大数据架构设计基于自顶向下的分层设计思路,采用分布式的架构设计模式构建安微省水利大数据中心。整个大数据中心分为采集层、存储层、处理层、服务层、应用层。其中采集层通过数据迁移与转换子系统、数据交换子系统将结构化和非结构化的水利207、数据采集到数据中心中。存储层采用Hadoop体系的开源大数据组件,在此基础上进行封装及优化。包括分布式文件系统HDFS、NoSQL数据库HBase、数据仓库Hive、索引数据引擎Elasticsearch/Solr,提供非结构化、结构化数据存储能力。处理层包含批量数据处理框架、内存计算框架、流处理引擎、多源异构数据访问等工具,并通过分布式资源管理工具yarn进行计算资源的调度,提供数据汇总及统计功能。服务层提供水利主题库、数据分析模型、数据资源管理等功能。应用层提供交互式分析(BI工具)、可视化建模、分布式检索、SQL/MQL统一查询、数据访问接口等功能。(3) 大数据分析试点应用利用水利数据208、应用分析系统建设、电子政务提供的大数据分析平台、人工智能分析等建设,利用天地一体化动态监测数据,结合社会与经济、基础地理、网络舆情等数据,重点开展集雨水情趋势预测、山洪灾害预警、旱情监测评估、险情监测预警和灾情评估等功能于一体的水旱灾害预测预警新服务。根据城市防洪排涝特点,重点考虑城市地表微地形及主要设施、地下管网、监控视频、网络舆情等数据,开展城市防洪排涝预测预警示范的等创新应用。l 数据可视应用开发大数据可视化应用依托大数据基础框架软件,基于多种图表,通过多种不同条件的组合、多维分析,形成提供围绕核心业务需要的多个主题,适应多种尺寸的大屏幕,向用户全面展示大数据中心各类基础数据和专题数据建209、设成果。设计开发可视化展示主题包括但不限于:水利工程信息可视化水利工程建设管理信息可视化水资源信息可视化水文信息可视化水土保持信息可视化水旱灾害防御信息可视化水利规划信息可视化农村水利信息可视化水政监察信息可视化河湖管理信息化,提供和图表展示等多种直观量化展现方式。水利工程信息可视化(1)水利工程早八点每天早晨8点通过对水利工程安全监测、运行监测、视频监控及日常巡查采集的数据进行分析处理和安全风险预警,并生成工程运行报告,为各级值班人员及领导提供工程的运行情况及预警情况提供最新的数据。(2)水利工程一张图基于GIS平台,利用水利空间数据库及专题图层的数字线划图数据、数字正射影像数据、数字高程模210、型数据和数字栅格地图数据、多角度现场图片等,在虚拟现实技术、计算仿真技术支持下,形成水利工程三维虚拟现实模型,通过与数据库连接,利用数学模型和空间分析功能,建立基于空间分析模型的水利工程专题图,为河湖管理、洞庭湖水利工程建设与管理、防洪减灾决策、水资源利用和水生态保护、科学研究等提供可视化支持。(3)水资源调度按照水功能区与行政划分、土地利用情况,根据社会经济情况分析,依据用水定额与模型,进行工业需水、生活需水、农林用水、生态用水等分析、报表生成。主要根据来水、需水、水环境情况,结合湖区各类调水、引水等控制性工程调度规程,依据水量调度方案进行水资源调度。管理各类工程调度过程的运行信息。水利工程211、建设管理信息可视化主要展示工程建设项目规划、立项、招投标、工程进度、资金支付、监理、施工、竣工验收等建设管理信息及工程运行信息。图43 水利工程建设管理可视化水资源信息可视化基于水资源大数据,以专业分析为导向,引入数据挖掘理念,为用户提供多角度、多层次、多维度的水资源数据在线分析功能;数据涉及用水总量、用水效率、限制纳污、水质、建设运行管理等数据。数据报表可采用趋势图、地图、柱图、气泡、线性图、折线图等多种可视化图形进行直观展现,实现“一数多图”任意图表混搭的分析模式。数据专题涉及用水总量主题、用水效率主题、限制纳污主题、水质主题、建设运行主题。此外,用户可以根据自身需求灵活定义数据、可视化展212、现、指标维度参数,使数据信息内容丰富,直观的传达抽象的数据信息,对大量的数据也能用多维度组合解读数据背后的价值,成一份可读性强的数据报告。图44 水资源数据可视化水文信息可视化利用天地一体化动态监测数据,结合社会与经济、基础地理、网络舆情等数据,重点开展集雨水情趋势预测、山洪灾害预警、旱情监测评估、险情监测预警和灾情评估等功能于一体的水旱灾害预测预警新服务。根据城市防洪排涝特点,重点考虑城市地表微地形及主要设施、地下管网、监控视频、网络舆情等数据,开展城市防洪排涝预测预警示范应用。图信息综合展示 提供从实时数据可视化展现、数据分析决策、现场联动指挥到辅助生成灾情、险情处置方案等全流程的支撑服务213、。45 测站数据可视化面向汛期值班工作的各项要求,整合气象、工情、雨情、水情、灾情、险情等各类数据,为防汛值班提供预警数据可视化展现。 图46 气象数据可视化图47 测站预警可视化水土保持信息可视化展示土壤侵蚀定量分析专题图、土壤侵蚀强度分级图、水力侵蚀类型图、水土流失评价图。站点水土流失状况监测,包括水土流失类型、面积、强度和流失量等;可生成水土流失专题信息的各种统计图表。水旱灾害防御信息可视化汛期要害部位、灾害部位、危险区域重点监视及实时信息回传、数字化;为防汛日常、洪峰过境、受灾情况提供大数据分析、模拟、预报。旱灾受灾面积、受灾人口、受灾作物等提供数据分析。图48 农村水利信息可视化主要214、展示农村饮水安全、大型灌区续建配套与节水改造、中型灌区节水改造、大型灌溉排水泵站更新改造、小型农田水利建设管理、规模化节水灌溉增效示范、牧区水利节水示范、农田水利基本建设等数据可视化信息。河湖管理信息化以“互联网+”的模式,整合河湖治理资源,融合受理、协调、监督、考核四大机制,建立“人”为对象的行政管理系统、以“河”为载体的业务应用系统、以“网”为基础的智能服务系统。展示内容包括河湖治理总览、日常工作管理、水资源保护、水域岸线管理、水污染防治、河湖采砂管理、水环境治理、水生态修复、行政执法监管。l 数据分析应用水资源精细管理与评估以三条红线管理为重点,利用水文水资源、社会与经济、基础地理、网络215、舆情等数据,研制水资源开发、利用、保护等预警预报大数据模型,初步开展智能、综合、高效的水资源大数据信息服务。基于跨业务、跨行业、跨层级的数据综合,实现水资源精细管理、红线复核、风险预警和效益评估等大数据应用。近期目标:开展大数据水资源分析模型研制及示范应用,逐步推广水资源大数据分析信息服务。取水许可审批与区域用水总量红线动态分析取水许可审批与区域用水总量红线动态分析:区域取水许可水量审批不得超过区域用水总量红线,系统通过对本年度已经审批取水许可水量统计并与区域用水总量红线进行对比。当取水许可审批水量接近用水总量红线时,系统给予相关提醒。取用水户与取水许可、取用水计划动态分析对重点水资源区取水水216、量进行在线监测,并按月、季、年等进行汇总,生成省(市)、县实际取水总量的汇总表;汇集省、市、县上报的取水总量,并与监测总量进行对比分析。分析结果以图表的方式显示、打印和输出。对取用水户取水量进行实时监测,并按照日用水量、月累积量进行汇总,生成汇总表。将实时监测的取用水户取水量与计划用水量及许可用水量进行统计对比,分析得出超许可用水量和超计划用水量的取用水户,并对这些取用水户实现信息预警。水环境监测监管能力以长江流域为试点,开展流域水环境信息服务。通过天地一体化采集和集成多源社会监督数据,提升水环境监测能力。利用大数据技术,加强对水环境数据的关联分析,实现对流域重要水功能区、规模以上入河排污口、217、重要饮用水源地等监测信息评估,增强水环境趋势分析和预警能力,支撑水环境精细化分析和监管。近期目标:开展水环境信息服务试点应用,并逐步推广应用,全面支撑和服务水环境监测与监管等工作。水质趋势分析将2008年到2018年的水质数据导入到大数据平台,通过大数据模型进行分析,分析水质的变化趋势,同时导入社会信息,分析城镇化进程对水质的影响。取排水量与区域限制纳污红线动态分析依据区域限制纳污红线及排污量监测对区域将要批复的排污口数量及排污总量进行动态分析,系统通过对区域限制纳污红线及区域排污总量进行对比分析。当排污总量接近区域限制纳污红线时,系统给予是否进行排污口批复的提示。水旱灾害监测预测预警利用天地218、一体化动态监测数据,结合社会与经济、基础地理、网络舆情等数据,重点开展集雨水情趋势预测、山洪灾害预警、旱情监测评估、险情监测预警和灾情评估等功能于一体的水旱灾害预测预警新服务。根据城市防洪排涝特点,重点考虑城市地表微地形及主要设施、地下管网、监控视频、网络舆情等数据,开展城市防洪排涝预测预警示范应用。近期目标:构建天地一体化水旱灾害预测预警新服务体系,有序开展业务应用,提升天地一体化水旱灾害预测预警新服务能力。降水量频率分析将1960年到2017年的雨量数据导入到大数据平台,通过大数据模型进行分析,分析区域降水量频率,了解区域的降水年份的平水年、偏丰水年、枯水年等,通过对降水量频率分析,了解其219、中的数据价值关系。降雨量与降水预报成果图验证分析在历史经验数据库中提取网格化后降水预报图成果数据,包括预报的时段,不同降雨量所对应的降雨范围。然后提取验证范围内的雨量站及降雨量,对两个成果进行对比分析,分析其中的差异及关联性。降雨量与降水预报数据差异性分析可以按照分地域、分时间对数据进行拟合回归对比分析,分析其中的差异性。并形成结果历史经验库,对未来降雨预报的准确性提供历史经验分析。按照水利新型智库建设的有关要求,依托决策支持系统,构建水利智库信息化平台,连接相关大专院校、科研机构和资深专家,汇聚和管理各类研究成果,建立水利战略研究成果库和专家库,形成决策知识推送、研究理念与成果分享的开放型机220、制,逐步形成信息化条件下的新型“互联网+”智库运行体系,提高水利综合研判、战略谋划能力以及重点领域决策支持能力。智慧水利数据创新服务建设依托于水利数据生态链建设,是水利数据生态链建设的终极目标,总体建设目标可以分为以下四个阶段:第一阶段即数据目录体系建设阶段,基于水利数据中心,通过元数据管理将物理上分散的数据按照业务进行分类建立统一的数据资源目录清单。实现为知识库供可靠的数据及为上层应用提供数据服务。第二阶段即关联图谱阶段,基于动态本体技术,打造以对象为中心的统一数据模型,实现在语义层次的数据融合和数据关联。第三阶段即知识图谱阶段,扩展领域概念本体,支持构建通用领域和专业领域知识图谱,实现面向221、领域的知识层次的知识融合和知识关联。第四阶段数据应用阶段,通过知识图谱建设,建设水利垂直业务检索入口,智能搜索为用户提供业务数据检索、文档搜索、图片搜索、专题数据检索等功能。6) 知识标注系统知识标注提供文档上传,文档搜索,基于本体、属性以及关联关系的标注等功能,与本体库关联使用,通过标注持续更新和扩充知识库,为图谱构建提供基础能力。7) 关联图谱建设现在水利上已经使用了不少系统,各系统都有自己的数据库,每个系统只能查询自己的数据,对数据进行了分隔,现有系统对非关系型数据的查询支持不好,也没有进行数据的异构整合,查询起来很不方便。基于水利资源数据目录的建设已经对数据进行了整理,也为关联图谱建设222、打下了基础。建立局部环境语义到全局环境语义的表述和映射机制,在异构数据源不同的语义环境下,完成基于本体论进行统一数据集成的相同和相似语义之间的映射定义,然后根据模型组织中实体与对象关系、对象所包含的事件,形成相应的实体画像。如仅在“水库数据画像”项中,就包含水库一般信息、水库水文特征数据、洪水计算成果、入库河流数据、出库河流数据、水库特征数据、水库水位面积、库容、泄量关系、水库主要效益指标、淹没损失及工程永久占地、大坝数据、泄水建筑物、单孔水位泄量、水库防洪调度、水库运行历史记录、水库出险年度记录、水库汛期运用主要特征、水库下游情况在内的庞大的数据关系及事件。我们根据这些关系和事件来对水库进行223、画像。(1) 阶段划分第一阶段:以实体为主体目标,实现对不同来源的数据进行映射与合并。(知识融合)第二阶段:利用属性来表示不同数据源中针对实体的描述,形成对实体的全方位描述。(知识抽取)第三阶段:利用关系来描述各类抽象建模成实体的数据之间的关联关系,从而支持关联分析。(知识建模)第四阶段:使用事件机制描述客观世界中动态发展,体现事件与实体间的关联;并利用时序描述事件的发展状况。(知识关联)第五阶段:通过实体链接技术,实现围绕实体的多种类型数据的关联存储。(知识存储)(2) 术语抽取术语抽取是本体构建的第一步。术语是知识图谱中的概念、实体或属性的语言学上的表示形式,术语抽取的目标是找到用于表示概224、念、实体或属性的标记集合。比如爬行动物、性别等都可以作为一个术语。术语抽取的实现方法有多种,主要包括下面几类。基于字典的方法通过定义一些包含术语的字典,从待处理文本查找字典中定义的术语;基于规则的方法则通过定义术语在语法上的一些规则,从待处理文本中找到匹配规则的术语;基于统计的方法一般是通过统计术语出现的次数来对待处理文本中的潜在术语进行预测。简单属性类型:用于单个、不需要解析的属性值定义,如:民族、组织机构名称等。复合属性类型:用于由离散的语义单元组成的属性值定义,如:Name (first & last), Address (city, state, zip, etc.)。原始属性类型:格225、式灵活;允许使用解析器对属性进行解析;允许改变原始属性格式;属性类型编辑器用于创建属性类型并定义属性类型的标题、名称、URI等元素。(3) 异构系统数据映射知识图谱中的知识融合是一件非常复杂的工作,包括数据模式层(概念、概念的上下位关系、概念的属性的融合与数据层的融合。指在不同数据集中找出同一个实体描述记录,主要目的是对不同数据源的实体信息进行整合,形成更加全面的实体信息。主要内容包括异构系统数据映射及数据抽取整合两大部分。(4) 数据模型组织动态本体数据组织模型包括动态本体和关联图谱数据库两个部分。动态本体存储数据模型的信息,关联图谱数据库存储数据对象的属性值和关联数据。动态本体存储的信息为226、存储在关联图谱中的数据提供一个统一的数据模型。动态本体可以由一个或多个对象类型定义,其中每一个对象类型可以与一个或多个属性类型相联系。图49 关联图谱将实体所包含的关联关系进行组织。分析不同数据库中存在相关性的信息,然后将实体包含的对象进行构建,创建相关关系,进而构建对象所包含的事件,然后将实体与对象关系、对象所包含的事件,形成相应的模型关系,存入关系库。主要包括:实体识别、概念抽取、关系抽取、事件抽取。(5) 数据模型存储知识图谱是基于图的数据结构,其存储方式主要有两种方式:RDF存储和图数据库(Graph Database)。全文索引库主要包括标签数据和索引数据。对于各类关系通过存储后,通227、过切词处理、语义标注分析等操作后,通过提取关键字和关键信息建立形成标签数据。通过对数据资源建立索引关系形成索引数据,实现对特定信息快速检索与定位。8) 知识图谱建设知识图谱阶段,扩展领域概念本体,支持构建通用领域和专业领域知识图谱,实现面向领域的知识层次的知识融合和知识关联,知识图谱的建设与关联图谱的建设同样,是对关系图谱的升级(由业务内部知识关联扩展到互联网数据如舆情数据、政府其他部门数据如:气象、国土)。(1) 互联网数据接入用户选择上传类型为网页,输入url,选择文档类型后,点击载入后,平台会爬取网页的内容进行上传。上传成功后自动跳转到标注页面。(2) 数据模型组织动态本体数据组织模型包228、括动态本体和关联图谱数据库两个部分。动态本体存储数据模型的信息,关联图谱数据库存储数据对象的属性值和关联数据。动态本体存储的信息为存储在关联图谱中的数据提供一个统一的数据模型。动态本体可以由一个或多个对象类型定义,其中每一个对象类型可以与一个或多个属性类型相联系。将实体所包含的关联关系进行组织。分析不同数据库中存在相关性的信息,然后将实体包含的对象进行构建,创建相关关系,进而构建对象所包含的事件,然后将实体与对象关系、对象所包含的事件,形成相应的模型关系,存入关系库。主要包括:实体识别、概念抽取、关系抽取、事件抽取。(3) 数据模型存储知识图谱是基于图的数据结构,其存储方式主要有两种方式: R229、DF存储和图数据库(Graph Database)。全文索引库主要包括标签数据和索引数据。对于各类关系通过存储后,通过切词处理、语义标注分析等操作后,通过提取关键字和关键信息建立形成标签数据。通过对数据资源建立索引关系形成索引数据,实现对特定信息快速检索与定位。3.3.2 物联网感知体系建设针对水利目前物联感知类别少、覆盖不全面、监测手段落后等问题,建立全要素动态感知的水利物联感控体系,充分应用物联网、卫星遥感、视频监控等手段,以全面支撑“防汛抗旱、用水管理、供水服务、工程管理”等业务为目标,形成监测类型丰富、监测手段多样、信息转输稳定、控制安全可靠、天地一体化的全覆盖立体感控体系。3.3.2230、.1 物联网态势感知体系架构水利物联感知体系是”智慧水利”与大数据智能应用一体化融合工程数据源基础,涵盖雨情、水情、工情、墒情、水量、水质、闸门运行远程控制、视频监控、无人机巡查、智能机器人等信息采集,前端设备采集的相关数据统一集成接入水利物联网管理平台,并统一存入水利大数据基础平台,并实现对设备的感知、态势预测分析。物联网态势感知架构如下:图50 物联网感知平台架构物联网态势感知体系主要分为五个部分,主要包括万联网感知终端、物联网网络建设、物联网控制平台建设、物联态势感知平台建设。物联网终端建设完全采用新一代物联网终端设备进行建设,保障设备的先进性、稳定性、安全性,物联网网络体系建设可以采用231、目前比较流行的LoRa及NB-IOT、北斗等技术实现物联网数据的高效、安全传输。3.3.2.2 物联网态势感知建设内容1) 物联网感知体系前端通过视频监控、图像监控、人工巡测、3S技术、无人机、无人船、智能巡查终端、工程物探、水下机器人巡测、三维激光建模及可视化、管道机器人、卫星遥感等技术。建设水库、水闸、堤防、泵站、引调水工程、灌区、水电站等水利工程的全面感知体系,按工程类别对水雨情、流量、视频(图像)、水质、工程安全、工程运行状况等要素进行感知。建设水资源监控、江河水系监测、地下水监测等水资源全面感知体系。建设水土保持、水生态保护、水污染防治等水生态全面感知体系。建设河湖管理、水政执法、安232、全生产等水管理全面感知体系。未来建设建议采用新一代的“物联感控体系”终端,如视频监控采用视频智能分析和人工智能方式,去感知,探测场景的变化,采用无人机进行河道巡查,即时了解河道侵占建筑物及河流水位变化情况。图51 智能入侵检测图52 无人机河道巡查2) 物联网网络运行管理随着通信技术的发展,可供物联系统选择的组网方式越来越多,目前常用的信道有:公用交换电话网PSTN、超短波VHF、卫星(包括海事卫星、北斗卫星等)、GSM短信、GPRS、LoRa、NB-loT等。根据项目的实际情况选择不同的网络。目前选择比较多的为LoRa、NB-loT等。LoRa是LPWAN通信技术中的一种,一种基于扩频技术的233、超远距离无线传输方案。这一方案改变了以往关于传输距离与功耗的折衷考虑方式,为用户提供一种简单的能实现远距离、长电池寿命、大容量的系统,进而扩展传感网络。目前,LoRa 主要在全球免费频段运行,包括433、868MHz等。NB-IOT是低速率业务市场的新兴技术,支持低功耗设备在广域网的蜂窝数据连接。待机时间长、实现对网络连接要求较高设备的高效连接。相较于传统2G网络具有覆盖广、连接多、速率低、功耗低、架构优等特点。同时还能提供非常全面的室内蜂窝数据连接覆盖。3) 物联网感知管理平台水利物联网管理平台是水利数据利用承上启下的重要一环,本项目使用的前端感知和控制设备类型较多,各设备的通讯协议有所不同234、,通过构建省统一的水利物联网管理平台,适配设备的异构性,整合基础感知控制设备资源,实现数据的高效传输,防止数据的丢失、重传,最终实现“链路切换自动化、协议解析通用化、参数调节动态化、健康检查智能化”,为上层业务系统开发提供基础支撑。数据采集终端接入:通过协议适配接入不同厂家、不同品牌的物联网终端,主要包括物联网数据接收、数据存储,数据处理。需要接入的设备主要包括雨量、水位、水质、流量、闸控、压力、无人机、智能机器人、视频等不同层面的物联网设备;采用的设备一般包括采集控制器、适配器、边缘计算控制器、物联网核心板;建设范围为平台与APP端,通过APP也可调配物联网设备的接入与参数调整。设备管理与监235、控:设备完成对接后,在物联网控制平台中可以实时监控所有设备的运行状态、数据、信息,完成设备管理、设备远程控制、生命周期管理等,从设备运维转为设备运营。实现设备的添加、删除,同时可查看设备运行历史数据,设备运行统计数据,对设备异常产生的告警进行提醒、查看、管理,建设范围为平台与APP端,通过APP也可对物联网设备运行的各参数进行查看及监控。设备控制与监控:通过设备控制功能可以实现设备参数调整、配置,通过配合工控系统也可以实现对远程设备的操作如闸门的启闭,摄像头调整姿势拍照及录像,数据的传输及应用不再局限在有限的应用场景或工厂空间,任何一台PC、手机APP都可以辅助设备实现远程管、控。运行参数可视236、化展示:采用数据可视化技术实现不同设备运行情况,分为设备运行参数板块、设备运行异常告警板块、设备维护情况板块、态势分析预测板块等,并能够实现到具体设备运行情况查看,可根据不同业务,不同人员、不同场景需要将运行情况展示到1楼大屏上。4) 物联网态势分析平台通过对物联网前端的信息收集,实现对信息的理解、学习和映射,通过理解当前设备、网络等的运行情况,并且学习历史的经验,对设备未来可能出现的情况及发展的态势进行判断。简单举例,如某区域地下水监测中采用了多个厂家的水位传感器,经过运行后发现某家设备,3-5个月设备需要更换一批,基本上可以推论厂家产品寿命为3-5个月,同时分析监测设备的运行态势,预测未来237、损坏的设备,提前准备相关备品、备件,或未来不再采购此厂家设备。如果多家设备都是3-5个月换一批,基本可判定是受环境影响,同时可以预测某些设备损坏的时间,提前备品备件。运行数据历史整编:整编不同设备历史运行参数,并输出不同厂家,不同设备运行的态势,为未来设备运行分析提供经验参数值。运行态势预测分析:对设备运行状态进行进行大数据分析和边缘计算,通过历史经验值对比、历史设备运行情况对比等经验值算法,输出设备运行稳定性、风险和优化的分析报告等,对设备运行状况、稳定性、未来趋势、运行风险等进行深入分析。建设范围为平台与APP端,通过APP也可对物联网设备态势分析情况进行查看。3.3.2.3 物联网智能应238、用在低层实现AI智能应用分析技术是实现视频自动智能分析的重要手段。通过影像自动识别,实现从大量视频资源中挖掘有价值的信息,实现水利多项目自动监测功能水尺自动读取、入侵监测、水面漂浮物、闸门启闭监测、盗采河沙等视频的自动分析,解除人工判读视频费时、费力实现视频分析场景的智能应用。在中层通过无人机群作业实时采集实景影像及空间数据构建中低层空间监控体系,在高空通过卫星监控及定位技术采集卫星影像,并结合国土空间数据,将卫星图像与国土空间数据进行叠加构建高空监控体系。最终实现全省统一的水利业务“全覆盖、全时空、全天候、全数字化”自动化智能分析应用体系。1) 水尺数据自动读数及预警通过采用智能化物联网视频239、设备,实现了水尺刻度数据自动分析读取,并关联水库、河道的警戒水位、保证水位等预警指标,实现数据的自动预警。不需要工作人员对着屏幕先读出刻度,然后与水库、河道的警戒水位、保证水位等预警指标进行对比。解除了劳动力,提高了高作效率与精度。2) 图像全景自动拼接全景拼接,是以画面拼接技术为基础,将周围相邻的若干个摄像机画面拼接成一幅画面。用户实时监控一片连续的大范围区域,形成画面整体感,同时也连续追踪整个区域内的某个目标。3) 非法入侵自动监测预警根据不同的场景,使用视频智能分析和人工智能方式,去感知,探测场景的变化,代替人工值守的方式,构建了一个智能化、大纵深、多层次的虚拟电子信息围网,实现水源地非240、法入侵、河道非法破坏自动分析及预警。4) 无人机自主巡河及执法建设无人机调度指挥中心,分别在重点水库、湖区建立无人机作业群,配置专业技术人员及管理人员,通过省级统一调度,市级优先自调度的模式在汛期及日常巡查工作中发挥效益,汛期时通过调度指挥中心进行江河巡查,并实时将全景影像返回调度指挥中心,然后通过图像分析技术,分析重点部位安全情况、坝体维护情况等,当发生洪灾时指挥无人机对受灾区域进行巡视,将受灾情况,人员撤离情况、受灾发展等情况实时会传到指挥调度中心。在日常工作中可以使用无人机对河道进行巡查,实现无人机巡查、拍摄及自动播报,威慑违法行为。5) 多时相对比执法采用高光谱卫星及高分辨率卫星,通过241、多时相影像图斑叠加对比实现对岸线破坏、河道侵占、僵尸船、采砂船进行图像自动分析,并对存在的岸线破坏、河道侵占等破坏行为实现自动选取及标注实现无人现场执法巡查。6) 水下机器人混合动力水下机器人是一款采用仿生鱼尾与无刷螺旋桨混合驱动的水下平台。标配无缆,使用远距离射频遥控及水下自治运行。支持搭载多种不同外设,例如实时在线水质传感器、水质采样舱、水声通信和水声定位等模块。出厂时混合动力水下机器人平台可选配水中氨氮检测仪及多点采样舱。 实现水质、地下水等监测。3.3.3 应用支撑体系建设3.3.3.1 统一用户管理主要完善用户信息管理、机构信息管理、部门信息管理、岗位信息管理、统一授权管理、统一用户242、服务接口等功能,开发统一的用户注册审批功能、用户行为日志审计功能。实现信息系统中的用户身份、用户属性、用户行为、用户生命周期的集约化管理。进行集群部署,登录界面自适应布局等。对用户信息进行加密存储和传输等安全功能改造,满足国家相关政策要求。1) 用户信息管理(1) 用户信息管理在水利厅统一用户管理系统基础之上,继续完善用户的接入,并扩展构建用户的关系模型,除了管理用户账户信息和用户资料信息外,还将统一维护用户与用户之间的关系信息,包括用户关注信息、关注分组信息、用户黑名单信息、用户所属群组信息等。(2) 用户注册注册是申请成为系统用户的主要途径,也是开展平台内业务的基础。申请成功的用户将享有平243、台提供的各种应用和服务。注册功能基于简单并易操作的原则进行设计,提供登录用户名、手机号、登录邮箱的唯一性验证,引入验证码,防止恶意注册。(3) 用户审批由系统管理员根据实际情况对申请进行审批。2) 组织机构信息管理组织机构信息管理模块功能在满足复杂的组织管理模式以及从不同角度对组织结构进行组织管理的基础上,提供各类组织机构信息项的灵活拓展管理及开放接口管理,实现各类应用系统之间的组织机构管理的集成整合,保障各类应用系统之间的组织机构之间的集中分级管理。组织机构是大部份应用系统构建的基础。本项目的系统管理也将提供一套实用性强、可扩展的组织机构管理模块,统一防汛抗旱指挥部办公室内部的各类组织机构管244、理源端,并为各类水利应用服务提供管理功能及数据服务支撑。实现信息系统中的用户身份、用户属性、用户行为、用户生命周期的集约化管理。(1) 描述1、机构机构是指在社会生活中,人们为实现某种职能所建立的、由人财物和信息等若干因素有序地联结起来的、相对稳定的社会实体单位的抽象,通常指机关、团体或其他工作单位及其内部组织,例如:防汛抗旱指挥部办公室。2、部门部门是根据行政划分而实际存在的实体部门的抽象,例如:防汛抗旱指挥部办公室。3、人员人员是部门内的实体人员及类似实体的抽象,例如:张三。4、角色角色是指在处理特定业务时设定的具有特定工作范围或工作职责,用于解决特定业务问题的实体抽象,例如:办公室文件管245、理员。5、用户组用户组是为满足特定业务需求而组建的,不受机构或部门限制的人员集合的抽象,可以是临时的或长期的,如:信息化领导小组。6、岗位岗位是根据部门编制实际存在的工作岗位的实体抽象,如人事科科长。(2) 组织身份模型实体关系设计组织身份模型实体关系是组织身份模型中各个实体之间的关联关系的统称。机构和部门的关系:一对多关系,一个机构可以包含多个部门,一个部门只能被一个机构包含。3) 统一权限管理为提高应用管理与支撑平台的安全性,系统管理建立单独的用户权限控制体系,支持以应用级、角色级及功能页面级的权限集成控制,与本项目门户管理中的用户云中心相互独立,只供应用管理与支撑平台的管理和维护人员使用246、,确保应用管理与支撑平台的安全隔离。实现对应用管理与支撑平台内部用户权限管理、功能URL管理、操作管理、角色管理及权限分配管理等。(1) 权限管理为提高系统的安全性,系统管理中心建立单独的用户体系,和平台的用户中心相互独立,只供平台管理和维护人员使用。(2) URL管理对系统中需要授权才能访问URL进行注册管理,注册后的URL,只有明确取得授权后,用户才能访问。如“增加用户”URL“sysright/userAdd.htm”注册前,所有登录用户都可以访问,注册后,则只有被明确授权的用户才能访问。(3) 操作管理对系统中所有的操作进行定义和管理,操作是一系列URL的组合,如定义“用户管理”操作,247、就可以由增加URL、保存URL、修改URL、删除URL组成。(4) 角色管理根据业务需要进行角色的定义,并将一系列的操作分配给某个角色。拥有该角色的用户将获得这些操作的权限。如定义“分站管理员”角色,则可以将“发布公告”操作分配给该角色,拥有“分站管理员”角色的用户则可以进行公告发布了。(5) 权限分配创建、维护后台管理系统的用户,通过给用户分配角色设定用户的功能权限、通过给用户分配所属站点设定用户的数据权限,使用户能维护所属站点的数据。4) 用户审计与监控管理平台内置监控管理模块,监控管理基于ITIL服务治理的理念进行开发,监控记录可根据用户管理员配置实现动态保存。能够对门户的运行情况进行监248、控,监控各集成信息、数据和功能的运行情况3.3.3.2 统一身份认证管理本项目需要构建围绕用户为中心的服务体系,实现各类应用、数据之间的统一用户管理及认证,建立统一身份认证中心,将系统使用者根据四种不同类型的用户主体,建立个性化的个人空间,并实现用户在各类业务系统的统一用户名称和密码的单点认证登录,统一用户资料认证,统一权限认证,统一服务认证。统一身份认证支持用户认证方式,如 PKI/CA 等的设定。其他系统可以通过接口传入认证信息,返回认证结果,实现系统的单点登录。需要对水利厅待集成的应用系统做适当改造。完善认证管理和授权管理功能,实现与水利部统一用户认证系统、省电子政务统一认证系统对接互认249、,实现与厅互联网 VPN 网关系统、微信企业号对接。1) 单点登录单点登录技术的核心思想是通过一定的方式使得提供服务的各网站之间建立联系,用户只需要在其中一个认证网站登录即可实现全局登录,用户再访问其他成员站点则不需要再次登录,点击退出前其身份始终处于已验证状态。单点登录集成功能设计详细内容”。系统管理中心支持SAML等标准单点登录方式,各种单点登录方式示意图如下所示,分别适应于不同的场景。平台提供统一的身份验证功能,实现一站式登录,即用户只需在一个成员站点登录,其他成员站点将自动登录。2) 统一认证统一身份认证为各类用户提供统一身份认证功能,保证用户的统一身份认证。完善认证管理功能,进一步开250、发手机扫码认证和短信认证功能。3) 统一授权统一授权管理实现集中统一的业务信息系统授权,权限管理内容只涉及平台用户使用业务系统的权限以及平台组件功能的权限,业务系统内部的业务权限由业务系统自己维护。采用基于角色和基于业务权限的授权模型,在统一平台上实现各个应用系统的“应用级访问控制权限”粗粒度和“系统功能调用权限”细粒度的资源权限控制,解决“用户能访问哪些系统”的问题。完善授权管理功能,开发手机扫码认证和短信认证功能。统一授权管理实现功能如下:l 能够集中管理系统级粗粒度的权限,也可以管理各业务信息系统功能、操作、数据级细粒度的权限;l 能够基于角色或群组的用户授权;l 支持批量授权操作;l 251、以日志的形式记录所有授权操作,用于审计,并支持采用数字签名技术保护日志的完整性;l 支持用户授权信息的报表统计查询,支持多角度图形化的展现用户、角色、功能对应关系;l 通过单独的可视化管理界面实现授权管理的功能和操作;l 支持手机扫码认证和短信认证功能。4) 实现与水利部统一用户认证系统对接统一认证系统升级后,能提供基于标准协议的用户身份认证接口,实现与水利部统一用户认证系统的对接互认。5) 实现与省电子政务统一认证系统对接统一认证系统升级后,能提供基于标准协议的用户身份认证接口,实现与省电子政务统一认证系统对接互认。6) 实现与厅互联网 VPN 网关系统对接统一认证系统升级后,支持对其他身份252、认证方式的接口扩展,可以实现与水利厅互联网 VPN 网关系统对接。7) 实现微信企业号对接统一认证系统升级后,工作人员可以通过微信企业号认证直接进入数据治理平台。3.3.3.3 综合管理服务构建统一的水利数据、应用、业务规则、模型、公共支撑综合管理服务平台,一是为未来系统整合提供数据模型支撑、公共支撑组建支撑、业务规则支撑等,二是可实现服务的自动装配与卸载,未来应用生态链建设可根据不同的需求,实现服务的随取随用,三是实现服务的统一管理,实现所有公共支撑服务的监控及操作。1) 业务规则服务建设统一的业务规则引擎服务,为快速开发业务系统、应用系统资源调用、系统复杂功能维护提供灵活、定制、弹性的服务253、资源。业务规则梳理:全面梳理水利厅各业务公共业务规则,提取相关指标,形成业务规则库。业务规则配置服务:由业务人员、管理人员和软件开发人员共同梳理、开发和修改与水利业务相关的操作规范、管理章程、规章制度、行业标准等业务规则,形成一套水利专题的业务规则资源,向软件开发人员、业务管理人员提供业务规则配置服务,能够快速提取出业务过程或业务流程中适合使用业务规则。业务规则流程组件服务:为软件开发人员、业务管理人员提供丰富的业务规则流程组件服务,实现通过拖拽方式配置流程,也可通过多层的规则树结构自动生成业务规则执行流程。业务规则函数集服务:为软件开发人员提供丰富的业务规则函数集服务,实现函数功能快速调用。254、业务规则批量调试服务:为软件开发、测试人员、管理人员提供提供便捷的批量测试服务,自动化标记系统测试不符合项,支持Excel文件形式对测试结果值及结果导出。2) 公共支撑服务全面梳理水利目前在用的公共支撑组件,如工作流引擎、表单、建立基础的中间件服务库,主要提供服务装配与管理,如果存在多种同一类服务,研发时可以选取。原则上未来应用服务建设直接从服务超市配置,不在单独购买,对于下发的公共支撑组件,并入公共支撑服务超市。应用引擎服务:应用引擎服务为水利系统提供多语言、弹性的服务端运行环境,支持版本化管理,包括应用系统发布、上线、下线等,支持根据业务系统的资源使用情况进行实例的弹性扩展。搜索引擎服务:255、搜索引擎服务提供一种稳定可靠、弹性伸缩、开箱即用的全文搜索服务, 支持搜索服务的快速部署、监控、调优能力,支持多种形式的智能搜索,高级搜索,导航式搜索。消息队列服务:消息队列服务提供稳定可靠、可弹性伸缩的在线消息队列服务,实现针对消息的创建、发布、订阅和监控。消息队列服务支持多种不同规格的集群模式,提供包含消息传递、监控、账号管理、策略管理等的全面消息队列能力。统一用户服务:实现全厅一个用户服务体系,实现人员的一码一户。统一认证服务:实现全厅统一认证服务,可实现CA认证等。并实现统一授权。统一短信服务:实现全厅短信的统一服务,实现预警等信息的统一发送。其他服务适配:能够实现水利厅目前已经建设的256、正在建设的公共支撑组件自动适配到公共支撑服务超市,实现全厅公共支撑组件的统一接入、管理、卸载等功能。3) 水利模型超市建立统一的水利模型超市,实现水文预报模型、水资源调度模型、地下水数值模型、中小河流预报模型、产汇流模型的统一接入,逐步开展政企合作模型研究实验室,主要研究大数据与水利模型大数据喂养,提高预报、预测精度。4) 超市服务中心超市服务中心面向开发厂商提供应用的全生命周期管理,面向业务应用提供服务。通过管理应用从注册到服务申请,从开发到上线的全生命周期,实现了应用管理、资源共享、信息互通和业务协同。服务注册:平台对开发厂商提供已有应用的接入和新建应用的注册功能,将开发厂商已开发应用和257、新建设应用纳入到平台统一管理,享受平台的资源,使用平台提供的服务。在应用注册页面,可看到所有的建设应用,并可根据应用的建设状态进行快捷跳转操作。资源申请:平台对应用提供开发资源、业务共享资源和数据资源的申请,供开发厂商申请相关服务。在资源申请页面,可以看到所有平台可提供的资源,开发厂商根据应用的需要,进入到到相应类别进行申请,对已申请的资源进行管理。同时,可以查看申请明细。质量检查:平台提供相关的测试服务,实现对系统漏洞及错误,实现上线前系统的最后检查。服务管理:服务管理提供服务分类管理、通用服务管理、工作流服务管理、业务服务管理和服务监控功能。服务分类管理为平台服务提供维护分类的途径。通用服258、务管理和工作流服务管理提供发布服务的功能。业务服务管理为开发厂商发布的业务服务提供审批途径,供平台管理人员审批业务服务,查看业务服务详情。服务监控:平台管理中心对集成到平台上的应用进行监控管理,以应用为视角,提供应用的全生命周期监控,以列表视图和卡片视图两种形式展现平台管理的应用。平台管理人员可查看每个应用的监控详情和从注册到资源申请到质量检查到构建、发布、上线的全生命周期管理详情,可直接操作应用的上下线,并短信通知开发厂商。3.3.4 智能应用体系建设3.3.4.1 智能应用平台按照 “数字政府”标准化对接接口、“大系统”叠加“小应用”,模块开发,分类对接的要求,利用防汛抗旱、水利工程、水资259、源、水生态、城乡供水,节水业务、江河湖泊、水土流失等的标准化监测,监控,监视体系,依托大平台的水利大数据资源池、水利模型资源池、水利业务服务资源池与一张图的集成整合等开展预测预报、模拟仿真、评估评价、关联分析、聚合分析和专题分析,开发水安全、水生态,水管理,水服务四大方面的智能应用。1) 三防在线决策指挥平台三防在线决策指挥平台实现雨、水、工、旱、灾情等信息监测感知;三防决策,指挥、调度的智能应用;三防信息的周到服务。(1) 汛情综合展示l 气象预报预警一张图气象预报预警一张图从天气图、雷达回波图、卫星云图、气象预报预警四部分进行构建。l 重大灾险情监控一张图与县、市区上报终端及云平台数据库关260、联在省、市、县防汛一张图上定位显示重大灾险情标志,并具有点击展示功能,点击展示内容包括:重大灾险情全国统一报表,图像、视频等。l 雨情分析一张图在一张图上展示雨量站点监控,完善雨情分析一张图。1)雨量等值线:采用雨量等值线展示的形式,辅助目前开发的雨量站一张图,来判断降水地区分布的差异大小,系统给定一定的时间内,然后根据雨量站降雨情况,构建雨量等值线图,为防汛及水库调度提供数据支持。2)雨量等值面:采用雨量等值面展示的形式,辅助目前开发的雨量站一张图,通过分析不同降雨强度所含盖的区域面积,系统给定一定的时间内,然后根据雨量站降雨情况,构建雨量等值面图,并提供不同降雨级别下覆盖的面积。3)降雨分261、布图:根据时段降雨量,按照降水强度(010mm,10mm25mm,25mm50mm,50mm100mm,100mm200mm,200mm以上),通过点选、图层叠加,按测站降雨量级别图显。l 河湖水情分析一张图在一张图上展示水位站点监控,继续完善水情分析一张图,其中以单站实时水位、流量过程线、警戒水位、保证水位、历史极值构建展示界面。1)水位过程线:根据监测水位,按照不同测站、不同时段绘制水位过程线、警戒水位、保证水位、历史最高水位、历史最低水位,为防汛人员提供更为直观的水位涨落趋势图。2)流量过程线:根据监测流量,按照不同测站、不同时段绘制流量过程线、历史最大流量、历史最小流量。3)超警戒、超262、保证水位监测:根据监测站点水位信息,在地图上实时反映超警戒、超保证水情,有超警戒、超保证的站点分别用橙、红色显示,超警戒、超保证的河段分别用橙、红色线条显示并闪动。4)历史极值:根据监测站点的实时及历史信息,统计各站点的时段极值,包括最高水位、最低水位、最大流量、最小流量等,对统计值报表实现导出。5)整合水位流量关系曲线,为防汛人员对水位、流量分析提供数据支撑。l 水库水情一张图在一张图上展示目前建设的水库等站点监控,继续完善水库水情分析一张图,其中以水库实时水位构建实时水位过程线及实时水位与警戒水位、汛中限制水位、允许超蓄水位、汛末水位的关系线;以入库流量、出库流量构建出入库流量过程曲线及出263、入库流量与库容的关系;以单个水库库容曲线构建库容与蓄水量的关系及当前库容与总库容、兴利库容曲线关系。其次根据水位构建出水位涨、平、落,并给出涨、落数值,让值班人员一眼就能看出水位的变化情况、流量的变化情况,同时为水库调度提供数据支持。1)实时水位:展示水库坝上、坝下水位,并根据监测水位绘制水位过程线,并分析水位的涨、平、落,并给出涨、落数值,供值班人员实时掌握水位涨落的情况。2)实时水位与水位特征值分析:以水库实时水位构建实时水位过程线及实时水位与汛限水位、防洪高水位等示意图。3)库容与库容特征值分析:以单个水库库容曲线构建库容与蓄水量的关系及当前库容与总库容、兴利库容曲线关系。4)历史极值:264、根据监测站点的实时及历史信息,统计各站点的时段极值,包括最高水位、最低水位、最大流量、最小流量,对统计报表实现导出。l 视频展示一张图基于二三维一体化GIS监控平台以二三维地图服务平台为基础,通过将大中型水库、水文监测、城市内涝、无人机视频坐标叠加到二三维一体化GIS平台上,点选相应视频监控点,将视频投放至大屏展示,并可以实现视频回放。让监控中心值班人员更直观、更方便的查找到各类视频地点,节省了大量时间,同时也更加精准更加直观。在灾害发生时,结合三维地形图了解受灾的情况和分析灾害发展的趋势,对应急联动和指挥调度起到了更有效的支持。l 台风预警实现对台风路径及预报预警的接入,并对可能对沿海区域造265、成影响的台风进行统计,并接入水位预报成果,对未来可能发生的情况进行标注。l 旱情展示一张图实现对墒情数据的接入,并辅文字等形势对旱情信息进行丰满展示;并支持在一张图上进行查看旱情详细信息。监视类型分为:农业干旱灾害监视、城市干旱灾害监视、因旱饮水困难监视。(2) 预案方案智能化管理l 建设思路基于水利厅现有预案方案的体系及模式,通过信息化手段,对预案方案进行全方位管理,提供一套完整的数字化预案管理方案,实现预案模版规范化、预案任务流程化、预案责任明确化、预案资源可视化。改变预案不仅仅是纸质、电子的文档信息,突出预案的应用,在系统中可视化出各类预案流程的自动分析、启动提醒、执行等过程,并能实时、266、直观的掌控事发现场的第一手资料,以质的飞跃提升水利厅对应急事件的处理能力,为指挥人员快速启动应急响应程序,为省级领导提供辅助决策,全面、准确地获取相关信息,并科学有效地做出决策指令,为防汛应急事件管理工作提供先进的信息化支撑。l 预案标准化预案标准化要求制定包括2个方面内容。一、预案标准化管理标准化:为实现全省预案统一、智能化管理需要,应制定预案管理标准化模板,由省、市、县三级按照统一的模板要求进行,预案编制及启动条件设置,便于方案的统一管理。二、预案启动条件标准化:应按照统一的模板,将各级预案在启动时,应制定统一的启动要求,例如,达到一级响应,抢险队伍、专家、工作组应该多少人,达到什么位置等267、,应结合各级预案进行统一规范,并在平台中进行应用。l 预案上传开发一套适用于预案方案上传的通用模板,将省、市、县(市、区)的预案方案进行上传,预案方案可整体上传,文档具有统一存储与管理功能。预案方案上传界面包括增加、修改、删除、查询等功能,支持手工批量及批量归档录入。l 预案管理预案管理是对省、市、县(市、区)防汛应急预案、抗旱应急预案、水库汛期控制运行方案等各类预案的展示、查询。主要包括预案标绘、预案搜索、预案查询、预案展示及预案汇总。l 指标提取基于数据中心的实时雨水情数据库、灾情、险情数据库等,自动提取预案关联的汛情信息指标,将每个预案的应急响应指标进行简化提取,并形成业务规则。l 指标268、量化对省、市、县(市、区)的防汛应急预案、抗旱应急预案、水库汛期控制运行方案等预案中的启动相应指标进行详细分析,确定各类预案方案的量化指标,在启动指标的取值范围内进行简化来确定启动预案级别。l 指标预警指标预警信息是与实时雨水情数据库、灾情、险情数据库的关联关系,自动提取的实时雨水信息与预案的雨水情信息并进行关联,同时每个预案的量化指标都有预警阀值,当预案方案的量化指标超过预警阀值时,将以红色图标进行闪烁提醒。l 智能应用在大数据、云计算、物联网等技术的应用下,实现全省预案方案实时动态分析、处理、关联、提醒启动执行等。(3) 水库调度决策支持l 建设思路在一张图(防洪概化图或GIS地图)上,展269、示大型水库基础信息、雨情信息、水情信息、实时灾情、历史洪水等信息,综合分析水库防洪形势;利用水库调洪计算模块,通过人工或自动计算等方式,生成水库调洪计算结果,结合专家意见,确定实时防洪调度方案,辅助水库调度决策。l 调度基础信息查询在GIS地图或防洪概化图上,直观展示大型水库分布、重要节点断面、防洪保护对象、重要干支流分布、上下游站点分布等信息,用于展示大型水库的地理位置分布情况,并提供各水库基础信息、水库调度规程方案管理、查询功能。l 实时信息查询以大型水库为单元,利用水库上下游测站关系,对区域内实时雨情、水情、工情、灾情等信息进行实时监视预警,对需要进行调度或超警的水库进行预警提醒,并提供270、过程信息查询功能。l 水库调度按照水库防洪调度规则,在区域雨情、水情以及预报成果基础上,根据不同的调度水位、流量目标,通过调洪计算模块,生成调洪计算结果,结合专家经验分析,生成水库防洪调度方案,供领导决策指挥。 水库调度计算根据当前水库的雨情、水情、工情等信息,用户通过系统参数设置界面,进行水库调洪计算,系统自动生成计算结果,以数据表或过程线方式展示;用户也可通过拖动某时刻的下泄流量等简单操作,实现对调度方案的快速动态调整。 调度方案比选考虑水库上下游河道防洪压力、大坝安全等因素,在保障大坝安全、尽量减小对下游危害的前提下,结合防洪调度目标,进行水库调洪计算,并结合专家经验分析进行方案比选,最271、终形成水库防洪调度方案。同时,系统根据历史调度数据成果,通过数据挖掘分析服务,提取与当前洪水相似情况的历史洪水调度方案,用于方案比选参考,确定最终调度方案。 调度命令管理根据确定的实时调度方案,生成水库防洪调度命令,并按照规定流程对此调度命令进行审核后,并发送至水库调度单位执行。 调度跟踪反馈水库防洪调度命令下达后,应及时跟踪调度执行情况,并基于概化图或GIS地图动态展示调度成果。 调度成果查询统计按照时间、流域等条件,查询水库防洪调度事件信息,了解调度方案、统计调度成果等详细情况。可以将两次或多次调度成果以过程线、统计表等方式进行对比、分析展示,为防洪决策提供参考。 调度方案管理系统提供调度272、方案的管理功能,可以对调度方案进行查询、修改、删除等管理维护功能。l 调度资料归档对达到预警启动条件的洪水调度过程,系统自动对其过程信息进行归档,并可调用展示,以及用于历史方案的比较分析。l 预警信息发布集成预警发布系统对经过批准的启动水库防洪调度方案的水库,进行提前预警提醒。l 信息管理维护系统提供水库水位库容关系曲线、水库特征水位、水库工程设计资料、水库上下游相关测站信息、调度计划、概化图等基础信息管理维护功能,以及发布预警信息模板管理等功能。有权限的用户可以进行增加、修改、删除等操作。(4) 灾险情处置联动指挥系统整合联动指挥平台,实现防汛人员、车辆定位与调度、汛情雨情和工况监控与预警、273、重点部位和现场视频接入、智能化调度与数据分析于一体,在防汛保障和应急处置时为指挥决策者和调度人员提供实时、动态的一线视频情况,及时、有效的预测预警,详细、准确的抢险资源布控信息,全面支持领导指挥决策,提升抢险队伍联合调度能力。系统在一张图基础上整合各类视频资源和防汛数据,防汛值班人员可以根据灾险情状况和防汛数据预警情况与重点区域的现场防汛人员进行实时沟通,并根据防指的统一部署对现场的人员、物资进行实时指挥和调度。2) 水安全在线监控平台水安全在线监控平台实现水资源在线监测感知、水利安全管理全过程感知;水资源和水利安全管理的智能应用。(1) 水环境监测评估(水资源国控)落实国家、省、市开展的最严274、格水资源管理制度,根据省制定的水体纳污容量控制方案,开展水功能区、地表水水源地、入河排污口污染物纳污总量控制管理及水功能区、地表水水源地、入河排污口污染物实时监测动态以实现水功能区、地表水水源地、入河排污口污染物纳污预警管理。根据水质目标要求,科学设定水功能区的纳污警戒线,实行黄、橙、红预警管理,通过对水功能区、地表水水源地、入河排污口监测与评价,促进水体修复与改善。l 基础信息查询信息管理主要包括对水功能区基本信息、水质监测数据、水质评价结果的管理。系统实现按照水利部水质上报格式制定水质基本信息、监测信息、评价结果导入模板,实现数据导入。l 评价内容管理对水功能区水质评价方式进行管理,水功能275、评价指标分为双指标达标评价与全指标评价和自定义指标评价。双指标评价因子为COD和高锰酸盐,全参数评价根据地表水环境质量标准GB3838-2002指标进行评价,对入河排污口可以实行自定义指标评价可以按照需求通过选择相应的评价因子管理中的评价参数任意参数的评价。l 水质分析评价录入水质数据,再录入数据时,通过选择水样类别(地表水/地下水/生活饮用水),自动设置对应的评价标准、评价方法和评价因子,在保存输入数据时,自动进行水质评价。l 水质报告生成在水质业务的分工中,水质报告是水质评价的总结性的结果。同时,不同部门对于报表的要求差别很大,针对报表格式的多样性和报表中显示的监测测点、监测项目的不确定性276、,建立各种报表模版,通过对测站和监测项目的选择,最后生成所需要的报表是本模块的主要功能。(2) 水资源应急管理水资源应急管理服务于突发灾害事件时的水资源管理工作,充分综合利用水资源信息采集与传输的应急机制、数据存储的备份机制和监控中心的安全机制,针对不同类型突发事件提出相应的应急响应方案和处置措施,最大程度地保证供水安全。突发灾害事件包括重大水污染事件、重大工程事故、重大自然灾害(如雨雪冰冻、地震、海啸、台风等等)以及重大人为灾害事件等。水资源应急管理分为事件管理、预案管理、资源信息、应急会商、指挥调度和应急后处理6大主功能模块。l 应急管理流程应急管理的业务流程主要包括以下步骤:事件的应急响277、应、组织应急会商、分析事件影响范围和程度、制定应急方案、开展应急指挥、应急调度、方案执行、事件总结。同时,系统在事件发生伊始首先产生一个事件文档,处理应急事件过程的每个内容将存储在事件文档中,并最后形成历史事件存档资料。图53 事件流程l 事件管理负责应急事件发生时的事件接收、应急事件准备、事件文档的信息处理。l 预案管理参见预案方案智能化管理章节。l 资源信息应急信息服务能对各种紧急状况应急监测的信息进行接收处理、实况综合监视与预警、统计分析等,以积极应对各种突发状况和事故。汇集各类水资源监测数据,为应急管理提供数据支持。信息是进行应急会商和应急调度的参考和物资配置对象。模型计算接入水资源决278、策支持子系统中模型运行的计算结果。l 应急会商应急会商是对实时、历史和预报、管理、调度等信息进行重组和加工处理,为讨论和分析水资源的丰枯形势与污染态势,以及最终确定水资源应急调度方案进行决策。 l 指挥调度指挥调度是在应急会商之后,按照会商制定的方案执行应急措施。其包括人员物资的调配,开展应急工程措施如启用备用井或开凿新的水源井和在门户网站发布信息公告。另一个任务就是进行水资源的调度,采用的技术支持是应用决策支持子系统的调度模型进行联合调度实施,本模块采用读取调度实施后的结果。l 应急评估应急管理结束后,将整个过程的总结汇报和事件文档的保存存档。标志一个应急事件的终结。应急评估对应急方案实施进279、行后评估,主要分析水资源实时调度、应急预案的合理性、实施效果以及预报方案的准确性、控制情况等。(3) 水利工程安全健康评估构建统一的水利工程运行监管系统,对水利工程的实时工情、大坝安全、调度计划、设备状况等信息进行全面的统筹监控,通过上下级信息共享联动,打造多级联动式监管的现代化监管体系。l 工程基础信息展示对区域内渠道、水闸、泵站、堤防、水库等水利工程基础信息进行管理,包括工程概况、水文特征、水工特征信息,实现基础信息全面展示。l 工程运行监控基于前端感知的数据,对水情、水闸工情、工程安全监测、视频数据进行实时监测和预警,掌握工程运行动态,为科学决策提供完备的信息支持。 实时水情监测预警基于280、GIS地图,对水库、渠道、湖泊的水位进行实时监测,对超过警戒的水情信息突出显示并报警,用户可以自定义查询时段,绘制实时各站点的水位过程线。 实时工情监测预警基于GIS地图,实现水闸、水库等水利工程实时运行情况监测预警,以动画示意图的形式表示当前水位、水闸开关状态、水库运行状态等信息,为用户提供直观、准确的实时工情信息。 工程安全监测预警依据水库大坝等自动化安全监测数据,通过示意图等方式,将安全监测点位与工程结构结合展示,通过形象的图片模拟、过程曲线、颜色标注等形式,为用户提供工程安全运行状态信息。 视频监控将灌区内重要部分、关键节点(例如渠首、支渠干渠重要水工建筑物等)的视频信息进行展示,支持281、在GIS地图上展示和视频墙统一展示等方式。 360全景通过无飞机航拍、地面360等方式,对重要渠道(渠首、干渠)、水工建筑物(大型水利工程)进行全景拍摄和制作,并将全景图像结合一张图平台进行展示。 无人机拍摄通过无飞机航拍重点工程,实现实时在线对工程运行状态进行监控。满足实时应急需求。l 日常运维监管工程运维监管包括工程巡查监管和工程维护监管,方便水利工程监管人员对工程巡查过程和工程维修养护进行监督管理,保证水利工程巡查和维护工作能够落到实处,确保水利工程安全隐患问题能够及时发现和处理。 工程巡查监管对各类水利工程巡查情况进行统计分析,以饼状图的形式展现本区域巡查完成情况,并通过饼状图各区域的282、点击能够查看到具体的巡查时间、巡查人员、巡查结果等,对工程巡查进行监督管理。 维修养护监管能够实现对维修养护的过程进行动态更新提醒,同时对于维修养护经费的使用情况按月进行统计分析。 重大隐患处理如遇重大隐患,用户可以通过系统平台接收工程管理单位人员上报的安全隐患信息,并及时对重大隐患问题下达处理意见,并对该隐患处理结果进行审核。l 控制运行计划控制运行计划模块通过表格、图片、文字等方式方法展现水库、水闸、泵站等水利工程控制运行计划,以及保存编辑控制运行计划方案。l 工程调度管理综合考虑工程控制运行计划以及防汛调度预案要求,对水库、水闸进行调度方案上传下达,及时、准确的排除汛情,满足工程日常运行283、防洪调度等目标下的工程管理需要,实现水利工程效益的最大发挥。3) 水政执法监督指挥平台根据省水行政执法管理的现状,结合水政执法队伍的工作需求,搭建水政执法综合管理系统,提供涉水项目监管、水政巡查管理、举报投诉管理、水事案件管理、通知消息管理、队伍建设管理、水政辅助管理等功能,实现水政执法工作的信息化与网络化,实现水政执法信息的交换共享,通过对涉水项目的实时监管和水事案件的及时处理,有效提高省水政执法管理水平。(1) 涉水项目监管水政部门监管的涉水项目可分为许可类(包含涉河项目、水保项目、取水项目及其它)、未批类及非法类。 监管项目查询地图上实时查询及标注涉水监管项目的地理位置,工程状态及相关284、文档、图片等信息。 跟踪项目建设通过上传审批方案等与项目相关的文档、图片,及时更新项目资料。查询水政监管项目具体信息信息,包括项目名称、建设单位、施工单位、类别、接管日期、工程状态等栏目;并提供按地区、状态、时间等特征进行筛选和排序功能;提供项目的新增、编辑、修改、删除功能,方便项目信息的及时更新。(2) 水政巡查管理基于GIS地图上实时查询及标注水政执法支队执法范围,地图上实时查询及标注水库、渠道、水利工程等水政监管点的巡查负责人分布状况,并显示日/月/旬巡查报表及汇总。系统能够实现巡查地点的路径导航功能。 水政执法范围管理基于水政执法支队基本信息,结合GIS地图,展示水政执法队伍基本信息和285、执法范围,直观显示信息。 水政监管点信息查询地图上实时查询及标注水库、河道、农田水利、水利工程等水政监管点的巡查负责人分布状况,并显示日/月/旬巡查报表及汇总。选择监管信息,显示水政监管点列表,包括监管点位置、接管时间等栏目;并提供按地区、状态、时间等特征进行筛选和排序功能;双击单条记录,可在电子地图上定位该监管点,同时查看该监管点相关的巡查记录;提供信息的新增、编辑、修改,便于及时更新监管点的基本信息。 巡查纪录填报在线填写巡查纪录,上传现场图片,确保及时更新监管点信息。同时规定,原则上巡查记录上传一周后不能修改。按时间倒叙显示水政巡查记录,包括巡查时间、地段、相关监管点、问题类型、是否可修286、改等栏目;并提供按地区、状态、时间等特征进行筛选和排序功能;选择具体巡查记录,可在电子地图上定位该记录涉及的区域,同时查看该巡查记录的详细资料,包括巡查情况、巡查处理、备注及巡查图片等。(3) 举报投诉管理该模块主要用于处理群众来电来信来访等举报投诉案件。通过在线填写来电来信来访记录和投诉案件的处理状态,实时跟踪案件进展情况。 举报投诉汇总汇总举报投诉信息,按时间倒叙显示群众来电来信来访记录,包括来信(来电来访)人、电话、日期、地址、接待人等栏目;并提供按地区、状态、时间等特征进行筛选和排序功能;选择具体消息,可在电子地图上定位该记录涉及的区域,同时查看该投诉记录的详细资料,包括反映的问题、答287、复或处理意见、记录人签名、单位负责人签名及相关图片等。 举报投诉处理按照正在办理、尚未办理、完成办理显示举报投诉信息,包括举报人、举报编号、联系方式、时间、地点、举报类型、涉及水域、违法类型、接待人、办理状态等。基于举报信息,对举报投诉进行核实和处理。(4) 水事案件管理通过举报或巡查发现的水事案件可分为普通案件和立法案件两类。该模块具体实现功能主要有:水事案件信息的录入与查询、水事案件统计、案例库查询等。 水事案件处理通过事件采集、受理、指派、处置、核查、结案等功能,实现事件处置的全流程工作闭环。基于GIS地图上实时查询及标注水事案件的基本情况及受理状态。通过在线填写水事违法案件督办单和水事288、违法案件督办回复单等报表,及时录入案件的最新处理情况,确保相关人员及时准确地了解到案件的进展情况。 水事案件统计根据案件受理情况,处理情况,损失情况等对水事案件进行统计,分析。 案例库查询查询已结案的水事案件,为相关人员处理案件工作提供参考数据和法律依据。按时间由近到远的顺序显示水事案件列表,包括案件来源、受案时间、案由、当事人等栏目;并提供按地区、状态、时间等特征进行筛选和排序功能;选择具体记录,可在电子地图上定位该记录涉及的区域,同时查看该案件的详细资料,包括简要案情、承办人意见、水行政主管部门负责人意见、询问笔录详情、案件调查终结报告书、水行政处罚法律文书签发单、送达回证、水行政处罚结案289、报告及相关图片等;提供新增案例、编辑案例、删除案例等操作。(5) 通知消息管理该模块为水政队伍工作人员提供即时通讯功能,用户收到消息后,系统会自动提示,同时提供已读回执服务,具体实现功能主要有:下发通知、反馈信息。 下发通知上级水政大队可向下级水政工作人员下发通知,包括文字通知,文件,报表填写等;同时,可以向未完成工作的管理站发送催办通知。 反馈信息管理站水政工作人员可将填写好的报表以消息附件的形式反馈给上级部门,提高水政工作的办事效率。 消息管理按时间由近到远的顺序显示通知消息列表,包括标题、类别、状态、时间、发送人、接收人等栏目;并提供按状态、时间、发送人、接收人等特征进行筛选和排序功能;290、选择具体消息,可查看该消息的详细资料,包括内容、附加的文件或表格等;此外,系统将通过图片闪烁的方式向用户发出新消息提示。(6) 队伍建设管理该模块实现对水政执法人员信息浏览、查询、汇总及分布状况显示;能实现相关管理人员分管范围地图定位、单个或多个属性的查询及分布状况显示等功能。提供针对不同用户的应用权限的设置、管理与维护模块,可对用户进行分组,并按不同的组指定不同的访问权限。包括水政执法人员基本信息查询、队伍管理、人员管理等。4) 政务服务平合(一网通办)政务服务平合包括“网上行政审批平台”和“网上民生服务平台”,构建全流程、一体化政务服务平台,整合分散的政务服务资源和网上服务入口,形成全厅统291、一的“互联网+政务服务”入口,推动政务服务事项“一网通办”。实现政务服务资源的充分共享和“一网,一门一次”为民、便民、利民、惠民的周到服务。由“智慧城市”进行集约化建设,实现一网通办。5) 资金全程监督平台(水利工程建设)资金全程监督平台实现对资金使用全流程的全面感知;资金使用可记录、可稽查、可追溯,可问责的智能应用。(1) 项目中心管理l 项目管理对水利工程建设项目的申报、项目审批、项目招投标过程进行管理,对相关文件进行归档。l 参建单位管理参建单位分为项目法人单位,招标代理单位,设计单位,勘测单位,施工单位,监理单位,检测单位,设备供应单位,预算编制单位,初审单位,财政评审和审计中心等类型292、。(2) 项目过程管理l 项目管理流程图54 资金管理l 项目合同管理根据招投标结果维护各个合同信息,包括:合同编号、合同名称、签订日期、采购人、承包人、项目经理、合同金额、内容、附件等。同时将将项目合同内容与项目工程量清单一一对应匹配,并记录合同审批信息(谁报送、谁批准)。l 项目开工管理对项目开工进行管理,审查项目开工准备措施和项目开工文件,从源头确保项目生产安全和项目质量。l 项目施工过程管理 分部工程施工令管理项目施工是根据项目合同来进行,首先需要项目分部工程的施工令,分部工程施工令流程为:施工单位申请,并提交材料,监理审批,通过之后下发开工通知单。流程结束之后,分部工程显示为“开工”293、状态。 设计变更管理重大设计变更是指工程建设过程中,工程的建设规模、设计标准、总体布局、布置方案、主要建筑物结构型式、重要机电金属结构设备、重大技术问题的处理措施、施工组织设计等方面发生变化,对工程的质量、安全、工期、投资、效益产生重大影响的设计变更。重大设计变更文件,由项目法人按原报审程序报原初步设计审批部门审批。设计变更文件批准后由项目法人负责组织实施。重大设计变更以外的变更为一般设计变更。一般设计变更由项目法人组织审查确认后实施, 并报项目主管部门核备,必要时报项目主管部门审批。流程处理结束之后,设计变更生效,资料自动归档。 申报施工组织设计施工单位在平台中提交施工组织设计申请,审批通过294、之后,系统自动归档资料。并记录处理流程保留处理记录和处理过程资料。 上报项目进度施工单位在平台中上报项目进度,提交相关文档附件,设置工程完成百分比等。系统可设置上报频度,日报,周报,月报等。 上报安全检查施工单位在平台中上报安全检查工作,提交相关文档附件。系统可设置上报频度,日报,周报,月报等。 上报合同履约情况平台中录入施工合同履约情况检查表,对此表的更改历史记录将全部保留。 上报监理信息平台中录入监理单位监理工作的各种文档资料。l 项目安全质量管理通过对水利工程质量监督管理中的各个环节进行数字化,为水利工程建设中的监督单位部门提供现代化管理手段。主要包括质监申请、质量监督、质量评定等内容。295、 质监申请对水利工程质量监督申请书、初步设计报告、投资概算、初设批复文件、立项批复等文件材料的查询;以及参与单位(建设单位、施工单位、监理单位、勘测单位、设计单位)主体信息。 质量监督对进行中的在建水利工程进行质量监督,包括质量监督检查意见书、质监活动登记表、质监联系单、通知整改等文件的制定和打印。 质量评定质量评定包括重要隐蔽工程及关键部位单元工程备案、单位水利工程质量评定、分部水利工程质量评定、工程项目质量评定等工作,以及报告文档的上传和下载。 质监验收质监验收包括单位水利工程质监验收、分部水利工程质监验收、工程项目质监验收等工作,以及报告文档的上传和下载。l 项目验收管理水利工程的验收管296、理主要包括验收申请、验收备案。 验收申请施工单位提出验收申请,并提交验收申请相关的各项材料。 验收审查施工单位应将单位工程和分部工程的质量检测资料提交给建设、监理单位进行审查,同时对验收情况进行备案,记录验收情况。 验收评定对已完工项目进行验收评定,阶段验收前,质监机构根据项目法人的申请,在符合综合质量评定要求、监督检查检测要求情况下,提交水利工程验收评价意见、水利工程验收报告。(3) 项目资金管理l 预算管理预算管理功能包括项目资金预算录入,预算变更,变更历史等功能。l 预算调整对预算费用等相关内容的调整。l 投资计划依据审定的投资计划,将投资计划内容录入“投资计划”记录,包含基本信息、费用297、分解、计划报告和审批文件、计划内容和工程内容的关联。l 计划调整对投资计划的费用等内容进行调整。l 资金来源平台中记录水利工程项目资金源来源信息。l 资金到位对投资计划的资金到位情况进行管理。l 工程款支付记录工程款支付申请、资料提交、审批流程等信息,办结之后确认支付信息。l 建设管理费支付记录建设管理费支付申请、资料提交、审批流程等信息,办结之后确认支付信息。l 结算管理记录结算付款申请、资料提交、审批流程等信息,办结之后确认支付信息。l 财务决算记录财务决算申请、资料提交、审批流程等信息。(4) 报表统计l 项目进度报表系统中的项目进度报表总表可直观的统计目前所有在进行中的项目的信息,包括298、项目当前状态,完成百分比,负责人等信息。可按项目状态等过滤结果,如只显示状态正常的项目,只显示状态异常的项目。l 已结束项目统计系统可查询统计所有已结束项目情况,基本信息,开工、验收日期等信息。l 质量监督报表电子平台提供定制的质量监督报表,可灵活统计项目的质量监督情况。l 验收评价报表电子平台提供定制的验收评价报表,可灵活统计项目的验收评价明细情况。l 资金统计报表电子平台提供定制的资金统计报表,可按需要统计项目的资金使用明细情况。3.3.4.2 业务应用专题1) 水资源管理大数据分析充分利用国家水资源监控能力建设成果,结合大数据分析技术,开展智能、综合、高效的水资源大数据信息服务,实现三条299、红线综合监管、水资源高效管理分析等大数据应用,做到“现状能监、管理有措、决策有助、应急有策”,全面实现水资源科学、合理、高效利用。(1) 水资源精细管理与评估以三条红线管理为重点,利用水文水资源、社会与经济、基础地理、网络舆情等数据,研制水资源开发、利用、保护等预警预报大数据模型,初步开展智能、综合、高效的水资源大数据信息服务。基于跨业务、跨行业、跨层级的数据综合,实现水资源精细管理、红线复核、风险预警和效益评估等大数据应用。近期目标:开展大数据水资源分析模型研制及示范应用,逐步推广水资源大数据分析信息服务。l 取水许可审批与区域用水总量红线动态分析取水许可审批与区域用水总量红线动态分析:区域300、取水许可水量审批不得超过区域用水总量红线,系统通过对本年度已经审批取水许可水量统计并与区域用水总量红线进行对比。当取水许可审批水量接近用水总量红线时,系统给予相关提醒。l 取用水户与取水许可、取用水计划动态分析对重点水资源区取水水量进行在线监测,并按月、季、年等进行汇总,生成省(市)、县实际取水总量的汇总表;汇集省、市、县上报的取水总量,并与监测总量进行对比分析。分析结果以图表的方式显示、打印和输出。对取用水户取水量进行实时监测,并按照日用水量、月累积量进行汇总,生成汇总表。将实时监测的取用水户取水量与计划用水量及许可用水量进行统计对比,分析得出超许可用水量和超计划用水量的取用水户,并对这些取301、用水户实现信息预警。l 需水量变化分析基于对省各区域社会经济数据、用水指标、历史需水量的大数据关联分析,对各个区域生活需水量、生产需水量、生态需水量的变化过程进行分析。 l 供用水大数据分析对各个管理处的取水、供水工程年度取用水量分析进行历史大数据分析,对供水量、用水量、用水对象进行历史分析、现状识别、未来预判。(2) 水资源精细调配与调度水资源调度决策系统将实现全省水网工程基本信息、工程调度参数、运行数据等关键参数录入,结合水资源监测数据形成调度决策系统的数据支撑和基础,并开发适应调度模型库,以应对不同水资源调度需求情况下的方案编制需求。l 调配监视包括水文数据、地下水数据、水源地或水功能区302、水质数据以及重要取用水户的水量监测数据等内容。 l 调配业务管理包括各类水资源调配方案的编辑与管理,提供各类可视报表服务。l 调配综合信息服务提供基础数据或调配决策专业数据的统计与分析功能。l 水资源评价水资源实时评价主要包括降水量评价、地表水资源量及水质评价、地下水资源量及水质评价、水资源总量评价、水资源可利用量评价、水资源开发利用评价等方面内容。评价方法主要包括绝对数量的评价、时间序列上的对比分析、空间分布上的对比分析。系统提供一系列水资源评价服务,如水量、质量和开发利用评价等。l 水资源预测水资源预测分为水量预报、水质预报和需水预测。水量预报包括地表水资源量预报和地下水资源量预报。利用有303、关水资源信息,通过数据挖掘的手段与趋势分析方法,预报水资源丰枯形势和污染态势,为水资源合理开发利用和有效治理、保护等提供依据。l 水资源调配水资源调配包括区域分水、时程分水、行业分水和用水户间分水方案。水资源调配管理主要是对各类水资源分配方案进行管理,提供增删改查及综合展示等功能。l 调配模拟仿真水量调度管理是根据水资源评价、预报成果和调度规则,确定各类水源工程、输水工程和净水工程以及污水处理回用工程等非传统水源工程联合调度方案,包括年度调度方案和月、旬、日(实时)等调度方案。调配模拟仿真是将调配结果以直观、可视、动态的方式表现。结合GIS,对模拟结果进行二维空间的图形可视化表现。2) 地下水304、综合治理与评估(1) 超采区基本信息展示建立地下水监测GIS综合信息展示模块,通过GIS图层控制等功能按钮,实现超采区地下水基本信息的全方位展示。可以实现监测站网分布、超采区、水源地、监测站地层水位剖面图、含水层空间结构、地下水治理工程配置等的查询、修改、统计等。(2) 取用水户精细管理与分析接入水资源管理取用水户信息,并加载在一张图上,通过地理信息确定目前在超采区及禁采区上已经存在的取用水户,对于在禁采区上取水的,应当关停取水或使用替代水源取水,对于在超采区上的取用水户,可联合取水许可证及取用水户取水量对取用水户进行少批取水许可等方式进行精细化管理与监控。(3) 超采区实时信息监视本模块主要305、是实现超采区实时监测信息(包括雨水情、地下水位、地下水源地和企业自备井取用水流量、地下水水质等)的展示、预警、查询统计、管理等功能,并以GIS方式显示。l 水位监视显示监测站网地下水井观测井、取水井等地下水位,包括按照行政区划的查询统计和对单个站点的过程分析。l 水质监视落实国家、省、市开展的最严格水资源管理制度,根据省制定的水体纳污容量控制方案,开展地下水水质监测,系统在GIS地图上展示地下水评价结果,超标物等。l 取用水流量监视接入国家水资源国控能力建设企业自备井取水流量,可以按照单井统计取用水量,以GIS方式显示超采区内地下水源地和企业自备井的实时取用水流量及累计水量。l 海水入侵监视根306、据观测时间通过农灌井、观测井观测,通过氯离子浓度、矿化度、电导率、PH值、氯离子与水位动态变化等监测值进行观测,从而在GIS地图上进行划定海咸水入侵面积。并且可以选择动态模拟不同时间段内海水入侵的界限变化,并提示变化面积的范围等。(4) 超采区实时评价l 降水频率分析采用水文频率计算法建立超采区降水量水文频率曲线,判断降雨量的丰、平、枯,分析地下水位与降水变化的关系。l 用水量分析选择分析区域,可按照行政区划和超采区两种形式;实现对取水量数据的统计分析,包括取水量趋势分析、取水量同期对比分析、并可设置条件,对取水量数据进行统计。结果以数据列表、柱状图和曲线图的形式展示,可单井或者区域,按照不同307、的区域维度、地下水水源地、时间维度统计日、或者某一时间段内的日用水量。l 地下水水位(埋深)变化趋势选择分析区域,可按照行政区划和超采区两种形式;选择绘制对象、数据源,并设定分级、分析时间,生成等水位(埋深)统计。统计结果以表格和柱状图的形式展示。以曲线图、柱状图和数据表的形式展示。包括单站趋势分析、单站历年同期对比分析(同日/同月)、多站对比分析。l 埋深等值面选择分析区域,可按照行政区划和超采区两种形式;选择绘制对象、数据源,并设定分级,生成等值线/面。同时数据类型有水位和埋深。这些字段对应信息可以任意组合而生成选定观测井指定分级的水位等值线/面、埋深等值线/面。l 水质评价水质趋势分析可308、以对某个或者多个测站水质进行分析。可选择水质测站、监测因子、监测时间等进行趋势分析,同时可选定某一研究区域,对区域的地下水水质情况进行分析。(5) 超采区模拟预报l 地下水流数值模型选定典型流域超采区,充分搜集超采区地质、水文地质、物探、钻探、调查、监测、化学等资料信息,通过系统地分析和整理,建立地下水流数值模型。运用数值模拟方法,进行超采区地下水补给资源量和可开采资源量的评价,识别超采区水文地质条件(如水文地质参数、边界条件、均衡项等),预测各种开采方案条件下地下水位的变化,开展超采区地下水采补平衡分析。l 地下水污染源数值模型在地下水流模型的基础上,建立超采区地下水污染源数值模拟模型,摸清309、污染物在含水介质中的运移规律。从水量和水质两个角度研究超采区地下水,为该区域污染源的预防和扩散,保护地下水水质,保障供水安全提供技术支持。l 模型预测预报预测预报是利用识别验证好的模型,根据区域经济社会发展状况、水资源规划方案等,进行合理假定,在此基础上建立的地下水预测模型。本系统实现基于降雨频率分析法和统计法的年降雨量和月降雨量预测,以及不同降雨保证率下的地下水开采方案的数据管理。界面设计考虑到水资源管理人员日常工作的便捷性,只需设定初始水位、降雨量和开采量及开采布局等方案,系统自动进行其他源汇项的计算,实现预测数据文件的自动生成和预测模型的后台运算,预报不同开采方案下地下水状态(水位/水质310、)变化趋势。l 超采区管理预警(1)地下水超采区、重点水源地预警根据划定的地下水位警戒线,以及重点水源地地下水流数值模型模拟结果,实行积极有效的地下水位预警管理。当预测结果达到预警水位线时,在GIS界面显示报警信息,预防地下水超采,促进地下水采补平衡,保障供水安全,改善生态环境,实现地下水资源的可持续利用。实现超采区地下水位、开采量预警预报,实现以下预警功能:漏斗中心地下水位预警;地下水限采区和禁采区水量预警;地下水水源地水位、水量预警。(2)地下水污染应急预警根据地下水污染预警划分与预警线设置,在对地下水污染源模拟计算的基础上,对地下水污染进行单项预警和综合预警,保障居民饮水安全和生存安全,311、维护社会稳定。l 超采区水资源配置在超采区水资源供需平衡分析的前提下,根据本系统监控的雨水情、地下水位(埋深)、水质等实时数据,水源地实时水量、可开采量数据,水源地、超采区地下水位预警等信息,结合以往超采区地下水资源评价、开发利用规划、地下水调度分配、取水实施及监督管理和保护等成果,针对超采区流域系统,建立多目标、多层次的配置模型,从时间和空间上合理调配地下水资源,制定各县(市、区)地下水量分配方案水源在区域间和不同用水部门间的合理高效利用。(6) 超采区治理效果评估本模块主要是从超采区监测体系建设、治理措施、治理成效三个层面建立超采区评估体系。确定评估影响因子、建立评估指标、确定指标权重、计312、算评估分值、修正评估结果。1)超采区监测体系建设评估指标包括:取水井、开采量、监测井、监测资料等,采用定性分析的方式进行评估。2)超采区治理措施评估指标包括:取水井控制、禁采限采措施、节水措施、替代水源等,对治理措施方面只进行定性的分析。3)超采区治理成效评估指标包括:平均水位变化、漏斗面积变化、取水井增减率、开采量增减率、替代水源年均完成率等。对各指标进行专家权重赋值,打分定量评估。(7) 地下水精细管理与大数据分析l 地下水水位变化趋势预测利用多年的来水、降水、地下水水位/埋深等观测数据,根据成熟的数据模型,通过大数据分析、运算、模拟多未来地下水水位变化趋势进行预测,形成地下水水位变化趋势313、报告。为来年地下水开采量和区域用水供需关系,提供科学的数据支持。l 地下水偷采追踪通过对地下水开采情况、地面沉降情况结合历史数据分析地下水超采情况,从而制定更详实的地下水超采区和限采区域并绘制在GIS地图上,通过对超采区、限采区域水位持续观测,分析地下水偷采区域,通过多维度分析,如果观测密度较多,可直接追溯偷采的取用水户,从而为水政执法提供数据支持,为地下水保护、地下水回灌提供数据支持。l 地下排污追踪通过对地下水水质观测,结合历史数据观测情况分析地下水水质变化趋势,分析区域工业废水与生活污水的大量入渗,对地下水的影响,从而为分析污水排入地下水区域,如果观测密度较多,通过地下水网分析,结合污染314、度分析,可直接追溯偷排污水的企业,通过地下水水质也可以对区域耕地用肥、用药对地下水影响作出分析,为农业生产配肥、配药提供数据支持,从而实现地下水水环境保障和改善。l 地下水回灌对于地下水超采严重的区域为改善生态环境需要进行地下水回灌,通过地下水水位/埋深监测和地面沉降情况划定地下水回灌区域,地下增加地下水资源,控制和提高地下水水位,防止由于地下水水位大幅度下降导致水质恶化、地面下沉或海水入侵等不良后果,从而实现地下水水环境保障和改善。3) 互联网+河长制建立“互联网+河长制”应用,实现“河湖综治化、健康指数化、管理精细化、业务流程化、巡查标准化、考核指标化”,形成“互联网+河长制”的新型管理模315、式。(1) 河长制综合管理平台l 河湖治理总览河湖治理总览模块,专为各级总河长、副总河长设置,以统领全局的眼光进行河长制工作的总体部署、统筹规划、督导协调、监督考核等工作。河湖治理总览模块要求通过空间地图、统计图表展示河长制工作推进和 7 项任务的规划、分解和执行进度等动态。实现河湖概况、工作简报、河湖治理成效、水资源管理动态、水域岸线管理动态、水环境水污染动态、河湖采砂管理动态等功能的设计与开发。l 河长制工作平台完成河长制日常工作的管理。日常工作管理模块要求实现工作进展管理、一河一档、一河一策、工作通报编制、河长(湖长)管理、考核问责、河湖监测预警、事件受理、督察督办、河湖巡查管理、信息发布、统计分析等功能的设计与开发。l 水资源保护水资源保护模块要求通过整合相关责任部门的监测数据,完成水资源保护相关的河长制工作,实现三条红线监控、重点断面监控、水功能区水质达标率等功能的设计与开发。l 水域岸线管理水域岸线管理模块要求基于水域岸线的确权信息,完成水域岸线的管理工作。实现水域岸线规划方案、水域岸线登记台账、水域岸线分析评价、水域岸线执法管理等功能的设计与开发。l 河湖采砂管理按照河湖管理层级,进一步明确河湖采砂管理权责,全面清理、取缔非法采砂行为,维护河势稳定,保