大数据平台可行性研究方案(253页).docx
下载文档
上传人:Le****97
编号:1265992
2026-03-02
253页
1.87MB
1、大数据平台可行性研究方案目 录第一章项目概述 . .11.1项目名称 . .11.2项目建设单位及负责人、项目责任人. .11.3编制单位 . .11.4编制依据 . .11.5建设目标、规模、内容、建设周期. .21.5.1建设目标 . .21.5.2建设规模 . .31.5.3建设内容 . .41.5.4建设周期 . .51.6经济与社会效益 . .51.6.1经济效益 . .51.6.2社会效益 . .61.7主要结论与建议 . .6第二章项目建设单位概况 . .92.1项目建设单位与职能 . .92.2项目实施机构与职责 . .122.2.1实施机构 . .122.2.2领导机构 . 2、.132.2.3工作机构 . .13第三章需求分析和项目建设的必要性. .143.1项目建设现状与存在的问题. .143.1.1大数据中心现状 . .143.1.2大数据汇聚与共享现状. .183.1.3数据库现状 . .193.1.4大数据应用现状 . .203.2与政务职能相关的政务目标分析. .213.2.1政务目标分析 . .213.2.2信息化目标分析 . .213.3业务功能、业务流程和业务量分析. .223.3.1业务功能与业务流程分析. .223.3.2业务量分析 . .243.4信息量分析与预测 . .243.4.1数据处理量 . .243.4.2数据存储量 . .243.43、.3传输流量 . .263.5功能及性能需求分析 . .273.5.1大数据中心需求分析 . .273.5.2大数据汇聚与共享需求分析. .353.5.3数据库系统需求分析 . .463.5.4大数据应用需求分析 . .543.6信息系统装备和应用现状与差距. .553.6.1信息系统装备现状 . .553.6.2应用现状 . .553.7项目建设的必要性 . .56第四章总体建设方案 . .594.1总体设计思路 . .594.1.1标准规范化 . .594.1.2高安全性 . .594.1.3高可靠性 . .594.1.4系统先进性 . .594.1.5兼容性 . .604.1.6高可扩展4、性 . .604.1.7高可维护性 . .614.2总体目标与分期目标 . .614.2.1总体目标 . .614.2.2一期目标 . .614.2.3后期目标 . .624.3总体建设任务与分期建设内容. .624.3.1总体建设任务 . .624.3.2一期建设内容 . .634.3.3后期建设内容 . .644.4总体设计原则和策略 . .644.5总体设计方案 . .664.5.1系统总体架构 . .664.5.2大数据中心 . .684.5.3大数据汇聚与共享平台. .724.5.4数据库系统 . .734.5.5综合应用系统 . .79第五章一期项目建设方案 . .845.1建设目5、标、规模与内容. .845.1.1建设目标 . .845.1.2建设规模 . .845.1.3建设内容 . .855.2大数据中心 . .875.2.1XXX大数据支撑平台.895.2.2安全保障系统 . .1015.2.3计算机网络系统 . .1085.2.4基础支撑软件 . .1115.2.5机房建设方案 . .1145.2.6基础支撑系统软硬件配置. .1165.3大数据汇聚与共享平台. .1175.3.1需求分析 . .1175.3.2总体设计 . .1185.3.3资源数据采集 . .1225.3.4基础信息库建设 . .1265.3.5主题数据库建设 . .1305.3.6元数据库6、和共享数据库优化. .1355.3.7扩大与市共享平台同步数据范围. .1365.3.8建设大数据应用系统数据同步机制. .1365.3.9数据交换 . .1375.3.10数据审核与校验 . .1425.3.11资源目录系统 . .1435.4数据库系统 . .1455.4.1政务资源数据库系统 . .1455.4.2基础数据库系统 . .1465.5综合应用系统 . .1495.5.1城市运行可视化平台 . .1495.5.2政务服务 . .1505.5.3社会治理 . .1595.6标准规范建设内容 . .1615.6.1数据交换与共享规范 . .1615.6.2数据库更新维护机制 . 7、.167第六章后期项目建设方案 . .1696.1建设目标、规模与内容. .1696.1.1建设目标 . .1696.1.2建设规模及内容 . .1696.2大数据中心 . .1706.2.1需求分析 . .1706.2.2XXX大数据支撑平台后期建设方案.1716.2.3安全保障系统后期建设方案. .1756.2.4计算机网络系统后期建设方案. .1786.2.5机房后期建设方案 . .1796.3大数据汇聚与共享平台. .1796.3.1需求分析 . .1796.3.2建设内容 . .1806.4数据库系统 . .1806.4.1需求分析 . .1806.4.2建设内容 . .1816.58、综合应用系统 . .1816.5.1城市运行可视化平台 . .1816.5.2社会治理 . .1866.5.3安全保障 . .1986.5.4商事服务 . .2186.5.5宏观调控 . .2196.5.6民生服务 . .228第七章项目招标方案 . .2327.1招标范围 . .2327.2招标方式 . .2327.3招标组织形式 . .232第八章环保、消防、职业安全和卫生. .2338.1环境影响分析 . .2338.2环保措施及方案 . .2338.3消防措施 . .2338.4职业安全和卫生措施 . .233第九章节能分析 . .2349.1用能标准及节能设计规范. .2349.2项9、目能源消耗种类和数量分析. .2349.3项目所在地能源供应状况分析. .2349.4能耗指标 . .2349.5节能措施和节能效果分析. .235第十章项目组织机构和人员培训. .23610.1领导和管理机构 . .23610.2项目实施机构 . .23610.3运行维护机构 . .23610.4技术力量和人员配置 . .23710.5人员培训方案 . .23710.5.1培训目的 . .23710.5.2培训对象 . .23710.5.3培训内容 . .238第十一章项目实施进度 . .23911.1项目建设期 . .23911.2实施进度计划 . .239第十二章效益与评价指标分析 . 10、.24012.1经济效益分析 . .24012.2社会效益分析 . .24012.3项目评价指标分析 . .241第十三章项目风险及风险管理 . .24313.1风险识别和分析 . .24313.1.1政策风险 . .24313.1.2技术风险 . .24313.1.3不确定因素风险 . .24313.1.4执行管理能力风险 . .24413.1.5合作风险 . .24413.1.6持续性风险 . .24413.2风险对策和管理 . .245第一章项目概述1.1 项目名称XXX区大数据平台建设项目。1.2 项目建设单位及负责人、项目责任人项目建设单位:项目负责人:项目责任人:1.3 编制单位111、.4 编制依据本次项目建设主要依据国家及国信办提出的大数据发展规划,以及xx 省XXX市委市政府提出的xx 省发展计划和要求进行方案规划设计,方案编制依据主要包括以下内容:国家电子政务工程建设项目管理暂行办法(发改委55 号令)关于运用大数据加强对市场主体服务和监管的若干意见国务院关于印发促进大数据发展行动纲要的通知(国发 201550号)关于组织实施促进大数据发展重大工程的通知xx 省云计算发展规划( 2014-2020 年)xx 省促进大数据发展行动计划(2016-2020 年)xx 省政务服务大数据库建设方案(2016-2017)XXX市电子政务信息资源共享平台关于加快推进我市信息基础设12、施建设的意见关于加强信息资源开发利用工作的若干意见1.5 建设目标、规模、内容、建设周期1.5.1 建设目标按照 xx 省促进大数据发展行动计划等文件中对大数据平台的功能和要求,结合 XXX区政府工作的实际需要,建成由大数据中心、综合应用系统、数据库系统、大数据汇聚与共享平台和标准规范体系等组成的XXX大数据平台。(1) 收集整合 XXX区政府业务数据,实现各部门信息交换与共享数据是大数据平台建设的基础,搭建大数据汇聚与共享平台,采集并整合各个部门的相关数据,建立政务资源数据库系统、基础数据库系统和主题数据库系统,并且建立对数据库系统的管理、维护、更新和使用的长效管理机制,实现政府部门之间的互13、联互通、资源共享,各个部门可以及时、方便的相互获取与当前业务密切相关的其他部门共享的业务信息资源,优化信息共享流程,促进跨部门的业务协同,有效避免信息不对称造成的监管漏洞, 有利于开展多个部门的联合监管。(2) 通过数据碰撞,破解政府治理难题根据收集上来的数据,制定创新应用,进行数据挖掘、碰撞分析,发掘隐含问题,破解政府治理难题,减少财政损失。(3) 信息化手段实现政务管理层面“虚拟大部制”,提高政府治理能力以信息化手段,建立政务管理的“虚拟大部制”,从前端队伍融合、信息共存和工作联动等层面,对现有行政管理组织机制、行政管理职责进行有效整合,促进多部门信息交互、业务协作和快速沟通协调,实现更具14、可靠性和高效性的部门业务协作。(4) 打造“信息化军机处” ,为管理者决策分析提供抓手基于 XXX区各单位业务领域进行信息资源整合,对信息数据进行高效发掘、科学分析研判,并借助大数据技术手段,提供科学、合理、有效的辅助决策方案,为领导者提供切实可靠的决策辅助参考。(5) 整合政务公开信息及公众服务资源,推动政务数据开放共享并提高对公众服务的能力对 XXX区现有政务、民生的各类服务资源进行高效整合,评估利弊,查缺补漏,进行针对性改进,通过信息化手段,促进相应机制及业务流程改变,有效提升 XXX区各单位公众服务能力水平。1.5.2 建设规模(1) 大数据中心大数据中心包含XXX大数据支撑平台、安全15、保障系统、计算机网络系统、基础支撑软件。大数据支撑平台含10 台虚拟化平台服务器、 1 台虚拟化平台管理PC、40 套虚拟化平台管理软件、1 台 Oracle数据库服务器、 1 套磁盘阵列扩容、 9 台新增大数据分析节点服务器、9 套大数据分析节点服务器扩容、18 套大数据分析处理平台及1 台磁盘阵列;安全保障系统包含1 套主机安全、 1 套应用安全及 1 套数据安全;计算机网络系统包含2 台核心交换机、 2 台管理交换机及1 台路由器 1套计算机网络管理软件;基础支撑软件要建设4 套数据库管理系统、 28 套虚拟机操作系统、 1 套地理信息软件。(2) 大数据汇聚与共享平台建立大数据汇聚与共16、享平台,采集全区30 个部门的数据,整合并有效利用全区数据信息资源。(3) 数据库系统建立政务资源数据库系统、共享数据库、基础数据库系统及主题库数据库系统。其中政务资源库系统保存的是全XXX各个部门的政务资源数据,并在此基础上,经过数据清洗并参照资源目录形成共享数据库,再次经过数据清洗整合形成基础数据库系统,并根据业务需求对应完成针对综合应用的主题数据库系统建设。基础数据库系统包含4 大基础库分别是人口基础信息库、法人单位基础信息库、自然资源和空间地理基础信息库及宏观经济信息数据库。其中一期建立政务资源数据库系统、共享数据库系统及4 大基础数据库系统,并根据应用需要建设对应的主题数据库。(4)17、 综合应用系统建立包含政务服务、社会治理、安全保障、商事服务、宏观调控、民生服务 6 大方面的综合应用系统及供领导掌握全区运行情况的城市运行可视化平台。一期建设政务服务及社会治理 2 大应用的部分内容及城市运行可视化平台的部分内容。(5) 系统迁移将各个部门的自建应用系统迁移到大数据平台上,实现系统的统一管理,统一运维。1.5.3 建设内容XXX区大数据平台总体建设包括:大数据中心、大数据汇聚与共享平台、数据库系统、综合应用系统等几部分内容。(1) 大数据中心包含XXX大数据支撑平台、安全保障系统、计算机网络系统、基础支撑软件;(2) 大数据汇聚与共享平台包含数据采集、数据整合及资源目录等功能18、;(3) 数据库系统包括政务资源数据库系统、共享数据库系统、基础数据库系统、主题库数据库系统,其中政务资源库系统保存的是全 XXX各个部门的政务资源数据,并在此基础上,经过数据清洗并参照资源目录形成共享数据库,在共享数据库的基础上,经过数据清洗整合形成基础数据库系统,并根据业务需求完成针对综合应用的主题数据库系统的建设。基础数据库包含4 大基础库:人口基础信息库、法人单位信息资源库、宏观经济信息库、自然资源和空间地理基础信息库。(4) 综合应用系统包含政务服务、社会治理、商事服务、宏观调控、民生服务、公共安全保障 6 大应用体系。另外综合应用系统还包含城市运行可视化平台,为领导提供一个可以随时19、掌握全区动态运行状况的工具。(5) 将各部门自建的业务系统迁移到大数据平台上,实现统一运维,统一管理。一期的建设内容主要包括:区自建业务系统迁移、大数据中心、政务资源数据库、共享数据库、基础数据库、根据一期建设的应用需要建设的主题数据库、大数据汇聚与共享平台、政务服务及社会治理的部分内容。1.5.4 建设周期项目一期的建设周期为16 个月,包含 6 个月的前期准备工作时间。1.6 经济与社会效益1.6.1 经济效益(1) 通过大数据中心的集约化、规模化建设,避免重复建设、重复投资,节省财政投资通过建设统一的软硬件支撑平台和接口系统,避免了各个部门重复建设机房、重复购买服务器硬件设备和系统软件、20、重复开发接口程序,并且避免由此造成的接口复杂、管理困难、维护成本高等问题。云数据中心将所有 IT基础硬件设备进行统一有效的资源切割、资源调配和资源整合,按照区内各个部门的实际应用需求合理分配计算、存储资源,最优化效能比例,可以减少各部门单独管理和维护的成本,同时避免由此造成的数据不一致等问题。(2) 通过数据的共享、查漏补缺、模型分析,破解政府治理难题首先,可通过数据碰撞,破解政府治理难题,如企业偷漏税、证照分离等,税务是财政收入主体,通过大数据监督企业及时上税是保障政府财政收入的有效手段;其次,可对突发事件进行及时有效地预测预警,通过事前防治,将可能的灾害消除在萌芽状态或通过采取相关应对措施21、有效地减少灾害损失。(3) 依托大数据提升政府今后对经济走势的分析、识别和掌控能力 通过将具体行业、企业的经济情况与整个宏观经济面进行融合分析,进一步加强政府决策的针对性和和实际效应,并进一步引入大数据分析,对接GIS、企业等其他部门和机构的数据资源,使政府能够实时准确的监测经济现状,分析评估当前经济现状,预测未来经济走向,进行科学规划。1.6.2 社会效益(1) 有利于促进业务协同,提高行政效率通过大数据平台建设实现政府部门之间的互联互通、资源共享,从而避免各个部门重复采集数据、重复录入,提高行政效率,有助于实现协同办 公。(2) 有利于加强联合监管,提高管理水平各个政府部门通过大数据平台共22、享其他部门的信息,全面、及时、准确掌握管理对象的情况,有助于实现精细化管理。信息共享可有效避免信息不对称造成的监管漏洞,有利于开展多个部门的联合监管。(3) 有利于提高公共服务水平,构建服务型政府各政府部门通过大数据平台获取企业法人单位信息及其他部门的共享信息,可以开展主动服务,提供更人性化的服务,进一步方便居民和企业办 事,促进服务型政府构建。(4) 促进政务工作更加公平公正、公开透明将政务信息向公众公开,可以倒逼政府工作改革,使政务工作更加公平公正,在社会公众的监督下,提高政府的办事效率,并有利于激发公民的政治参与热情。1.7 主要结论与建议XXX大数据平台建设方案是根据国家有关部门的要求23、,经充分调研 XXX区政府各部门的工作需求,依托 XXX区现有电子政务资源,采用先进成熟的技术和设备,并整合利用原有资源对 XXX大数据平台进行设计。项目的实施将 XXX区政府工作提供强有力的支撑,显著增强 XXX区政府内部工作和对外服务的能力; XXX大数据平台建设具有显著的社会效益和经济效益,项目建设非常必要。建设方案的总体结构合理,实现技术先进,功能实用便捷,可操作性好。对 XXX大数据平台建设的相关建议:1. 围绕“一个平台,一个架构,两个网络,多模块接入”的目标开展大数据平台建设工作确保大数据平台可以满足各个部门的业务需求,将各部门自建的业务系统迁移到大数据平台上进行统一管理,各个部24、门所需要的应用可以直接在大数据平台上建设,建立内部政务网络和公共服务网络两张网,既能满足政府部门日常办公的需求,又能满足对外服务的需要。2. 加强 XXX大数据平台建设的组织领导项目建设领导小组和工作机构应对大数据平台的建设进行强有力的组织领导和督促检查。形成职责分工明确,各方优势互补的机制,以推动各项工作规范、协调有序地开展。3. 采用先进技术和成果,提升 XXX大数据平台的科技含量开展 XXX大数据平台建设和应用开发工作。充分利用国家和省市大数据关键技术的研究成果,推动科技成果转化,提高大数据平台的科技含量。建立健全科技支撑体系,加快科技开发,不断完善大数据平台各项功能。同 时,加强对大数25、据平台的检验和测试,保障关键技术成熟可靠、关键设备平稳运行。4. X大数据平台建设应遵循硬软件并重的原则XXX大数据平台建设涉及到许多硬件系统和软件系统的建设。硬件是基础,软件系统是核心。在建设过程中,硬件应避免重复投资,软件方面注重数据库内容和应用系统的建设。5. 高度重视信息资源的规划、采集、整合和利用信息资源是保障大数据平台正常运行的重要资源,应高度重视信息资源的规划、采集和整合,保证数据的准确性、及时性和完整性,充分利用电子政务的现有成果,整合相关信息资源,并建立便捷有效的数据交换和共享机制。6. 建立 XXX大数据平台运行的保障队伍XXX大数据平台是一项复杂的系统工程,建设过程中和建26、成后的运行维护对相关技术人员的各项素质要求很高,因此需要建立一支技术过硬、反应迅速的技术保障团队,加强对大数据平台技术人员的培训,以保证平台建设工程的顺利实施和建成后系统的安全可靠运行。第二章项目建设单位概况2.1 项目建设单位与职能项目的建设单位是XXX区人民政府办公室。区人民政府办公室主要职责如下:(1) 综合室(挂行区小汽车定编办、政复议审批室牌子)主要职责:负责区委办、区府办的组织人事、纪检监察、党建、党务公开、劳动工资、安全生产、计划生育、群团、离退休干部、财务、后勤保 障、行政事务、区小汽车定编等工作。负责协助办公室领导协调本办各部门的工作。(2) 会务室主要职责:负责协调拟订区委27、区政府召开的全区性会议年度计划;负责组织、统筹、协调区委、区政府主办的全区性会议及大型活动;负责协 调、安排区委、区政府领导的党务、政务活动。(3) 秘书室主要职责:负责区委、区政府及区委办公室、区政府办公室印信管理和各类收发文工作;负责区委常委会议、区党政班子联席会议、区委常委扩大会议、区政府全体会议、区政府组成部门会议、区政府常务会议及区政府党组会议等会议的组织及纪要起草、印发工作;负责做好各类需要区委办公 室、区政府办公室办理的来文的接收、登记、拟办、呈批及答复等工作;负责区委办(区府办)本单位的政务公开工作,包括区政府公报的编印、上传区政府网站及规范性文件和区政府、区府办名义印发的主28、动公开文件上传区政府网站工作等。(4) 信息室主要职责:负责围绕区委、区政府各个时期的中心工作、决策的需要、领导的要求、社会经济发展过程中的热点、难点问题和国家、省、市的政策动态,群众关心的社会情况、社会问题,以及重大突发事件,重大社会动态和重要的社情及重大事故、灾疫等,进行调查收集,编辑整理各类重要信 息,发挥参谋作用,为区委、区政府领导科学决策提供参考依据;负责编发XXX工作信息;负责指导协调全区政务公开工作。统筹指导区直各部委办局、各镇街政务公开工作;统筹市、区政府网站依申请公开的受理,并根据申请内容转至区委办(区府办)及区各职能部门、各镇街办理。(5) 督查督办室(挂行政执法监督室牌子29、)主要职责:负责对区党代会、区委全会、区委常委会议、区党政班子联席会议、区政府常务会议、区政府工作会议、区经济分析会等区委、区政府重要会议有关决策和区委、区政府工作报告等工作部署的贯彻落实情况进行督促检查;负责报送我区贯彻上级党委、政府重大决策与重要工作部署的落实情况;负责跟踪、落实和答复上级党政机关的督查督办事项,督办市委、市政府领导和区委、区政府领导批示或交办事项的落实工作;负责组织办理市、区人大议案(建议)和政协提案;负责向区委、区政府领导及上级机关反馈督查督办事项的落实情况;负责制定督促检查的方案,以及开展现场督查调研工作;负责编发督查督办工作简报 。(6) 法制业务室主要职责:负责组30、织起草、修改、审核政府规范性文件草案,组织、参加对本区规范性文件和政策措施的清理工作,对国家、省、市的法律、法 规、规章征求意见稿提出修改意见和建议;负责审查以区政府名义作出的具体行政行为;负责对各部门、镇(街道)规范性文件和重大行政处罚决定的审查、备案工作;负责协调区直部门在行政执法中产生的争议和矛盾;负责组织开展行政执法责任制工作(包括行政执法评议考核、行政执法人员培训及行政执法证件管理工作) ;负责行政执法投诉工作,组织、参加行政执法监督检查;履行区政府行政复议机构的职责,负责行政复议、行政应诉和行政 赔偿工作;负责区政府法律顾问室的日常工作;负责区委办公室、区政府办 公室的法制宣传、教31、育、培训工作。(7) 外事室主要职责:负责全区因公出国(境)证件的审批和办理工作;负责区外事文件的起草、报批和印发工作,并组织落实;负责全区因公出国(境)报批工作;负责全区外事礼宾接待工作;负责外文资料的翻译工作;在市外事部门的指导下,协助做好全区的涉外事件和港澳事务协调处理工作;负责区委办公室、区政府办公室因私出国(境)证件的管理工作。(8) 保密档案室主要职能:负责区党政班子领导密级文件传阅和办理,区电子政务内网终端(系统)使用和相关设备保密管理,密级文件(含涉密资料)收发、办理、清退、销毁、立卷归档等工作;负责区委办公室、区政府办公室档案管理。(9) 区调研室主要职责:负责根据区委、区政32、府中心工作和区委、区政府领导的指示,组织专题课题调研,向区委、区政府提交决策建议;负责制定全区调查研究规划和计划;负责起草区委、区政府各种报告;负责起草或校核区委、区政府主要领导的讲话材料及其他重大政策文件等;负责指导各单位的调查研究相关业务;编发 XXX调研。(10) 区保密局主要职责:负责贯彻执行党和国家有关保密工作的方针、政策和法规, 制定全区保密工作规章制度、工作规划和年度计划,并监督执行;负责开展保密宣传、教育;指导、检查各单位保密工作;负责查处泄密事件;负责区委、区政府“三密”文件的管理工作等。(11) 区应急指挥中心为参照公务员法管理的事业单位,副科级建制,隶属区委办公室、区政府33、办公室。主要职责:负责组织编制全区突发公共事件总体应急预案;负责承办、转办各类电话、信函和传真;负责按上级有关规定,向市报送突发公共事件信 息;负责办理区委、区政府、区突发公共事件应急委员会有关应急工作的决定事项,督促落实区领导有关批示、指示;负责承办我区应急管理的专题会议、活动和文电等工作;负责根据上级应急管理的政策、规定,协调组织有关方面研究提出区应急管理的政策、规定和规划建议;负责协助区领导处置特别重大、重大和较大突发公共事件,协调指导特别重大、重大和较大突发公共事件相关工作;负责指导各镇(街道)、区政府各部门应急体系、应急信息平台的建设,协助和督促检查相关应急管理和处置工作;负责指导特34、别重 大、重大和较大突发公共事件的预防预警、应急演练、应急处置、调查评估、信息发布、应急保障和救援;负责拟订全区应急专用物资保障方案和应急装备、器材配置方案,并组织实施;承办区委、区政府和上级有关部门交办的其他事项。(12) 区值班室为财政全额拨款事业单位,隶属区委办公室、区政府办公室。主要任务:承担XXX区委、区政府总值班工作,履行值班应急、信息汇 总和综合协调职能,发挥运转枢纽作用,实行24 小时值班制度。承办区委、区政府领导和市委、市政府总值班室交办事项。办理各镇街和区属各单位向区委、区政府报送的紧急重大事项,及时掌握并向区领导和市委、市政府总值班室报告我区重大情况和动态,传达区领导的有35、关重要批示和指示。加强突发公共事件的预测、跟踪和研判,做好突发公共事件的处置、评估和报告工作。保证区委、区政府与各镇街、区直各部门、各有关单位联络通畅。指导全区值班工作。(13) 区信息中心主要任务:负责全区电子政务建设中技术和应用标准的监督检查,协调推进电子政务建设;协助信息化主管部门推广信息化领域新技术、新标准和促进社会各领域(除企业信息化)的信息化建设;负责区政府门户网站、办公自动化系统等电子政务平台的建设及运维;负责区政务外网的建设和管 理;负责全区信息化建设的技术管理和服务;协助开展全区网络与信息安全工作;协助推进“智慧城市”相关工作;组织、协调、指导全区信息资源开发和信息应用系统、36、信息网络的规划和建设;承办区信息化领导小组办公室和上级有关部门交办的其他事项。2.2 项目实施机构与职责2.2.1 实施机构项目的实施单位是XXX区人民政府办公室中的区信息中心。区信息中心主要职责如下:(1) 负责全区电子政务建设中技术和应用标准的监督检查,协调推进电子政务建设;(2) 协助信息化主管部门推广信息化领域新技术、新标准和促进社会各领域(除企业信息化)的信息化建设;(3) 负责区政府门户网站、办公自动化系统等电子政务平台的建设及运维;(4) 负责区政务外网的建设和管理;(5) 负责全区信息化建设的技术管理和服务;(6) 协助开展全区网络与信息安全工作;协助推进“智慧城市”相关工作;37、(7) 组织、协调、指导全区信息资源开发和信息应用系统、信息网络的规划和建设;(8) 承办区信息化领导小组办公室和上级有关部门交办的其他事项。2.2.2 领导机构XXX大数据平台项目建设设立领导小组。组长:区委副书记成员:相关部门负责人项目领导小组全面负责项目建设的领导工作,其主要职责是:负责审定建设规划、技术方案、项目投资、实施计划等事项,负责协调系统实施中的重大问题。2.2.3 工作机构项目领导小组下设工作小组,由区人民政府办公室副主任任组长,以及信息中心相关人员组成。职责如下:1. 负责委托工程设计、组织编织工程实施方案和实施管理工作;2. 负责向领导小组汇报工程实施进度;3. 负责管理38、协调工程建设中的日常事务;4. 负责工程实施过程中的内部运作关系的协调工作;5. 负责工程实施中相关单位的协调工作。第三章需求分析和项目建设的必要性3.1 项目建设现状与存在的问题3.1.1 大数据中心现状目前 XXX区没有建立统一的大数据中心,各个单位的应用系统都保存在独立的服务器中,由各个部门自行维护。3.1.1.1 XXX大数据支撑平台现状目前, XXX区目前大约有 52 个区直部门,共有150 个业务应用系统,这些业务系统运行在各自独立的传统主机存储系统之上。存在以下问题:1. 硬件资源利用率低,一般小于30%,平时大量的资源处于闲置浪费状态,而单个业务运行时又受到服务器及存储资源性能39、上限的限制,业务处于 峰值状态时还不能利用其余系统的闲置资源,造成浪费;服务器为各应用系 统独占,即使在资源利用率低的时候,服务器也需要正常运行,能耗高;2. 各单位新业务上线周期长,硬件、软件、业务要分别请专业人员单独部署,甚至要耗费数周时间;3. 在传统主机存储模式之下的服务器各自独立维护,缺乏统一维护。当物理服务器出现故障,需要更换硬件并重新部署软件和应用,故障恢复耗时长。各单位维护人员人员缺乏,没有能力自行维护业务软硬件系统,而且由于各单位的软硬件品牌、型号不一致,对运维人员的要求苛刻,不能进行统一的培训,造成运维要求高、运维效果不好、成本高;4. 政府各部门有价值的数据资源开放程度低40、,基本处于死锁状态,无法顺畅流动;数据资源建设和应用水平低,大多只重视数据的简单存储,很少有针对后续应用需求加工整理;数据资源普遍存在质量差,标准规范缺乏, 管理能力弱,在分布式环境下数据价值难以被有效挖掘利用的问题;5. 分布式环境下的信息安全和数据管理体系尚未建立。数据所有权、隐私权等相关法律法规和信息安全、开放共享等标准规范缺乏,技术安全防范和管理能力不够,尚未建立起兼顾安全与发展的数据开放、管理和信息安全保障体系,制约了大数据发展。面对快速增长的业务,传统的主机与存储服务已经不能满足要求。3.1.1.2 安全保障现状XXX区业务系统的安全现状是: 1各单位自行维护业务系统安全,安全得不41、到统一保障;(1) 区府信息中心网络安全情况OA系统使用防火墙和入侵防御系统等安全设备进行防护,只在区政务外网运行,没有接入互联网;门户网站使用防火墙、入侵防御系统和WEB应用防护系统等安全设备,并安装网站防篡改系统进行防护,禁止通过互联网管理网站后台,每天定时备份,加强信息安全;全区互联网出口部署上网行为系统,符合公安部门审计要求。(2) 区直各部门网络安全情况52 家区直各部门中配有网络安全设备的单位只有17 家。包括区委组织部、区纪委、区委办公室、区委宣传部、区委政法委、区人民政府办公室、 区发展改革和统计局、区科技和工业信息化局、区教育局、区监察局、区财 政局、区卫生和计划生育局、区审42、计局、区法院、区检察院、区行政服务中 心、区人力资源开发管理服务中心。2XXX大数据平台覆盖全XXX范围,用户面广,业务应用众多复杂,并需要与互联网、电子政务外网等相关网络互联。因此,其面临很多的安全威胁,主要包括以下几类:非法访问、假冒身份、恶意代码、破坏信息完整 性、抵赖、破坏网络的可用性。其中,XXX大数据平台所面临的最大的风险,就是一旦攻击者获得对网络系统资源的控制权,就可以随意进行破坏活动,这包括:信息泄露、盗取信息、修改信息、盗用服务、拒绝服务等。3.1.1.3 计算机网络现状XXX区的计算机网络现状是: 1XXX区政务外网以区行政中心千兆网络为核心,通过租用运营商光纤组建而成,网43、络形成上联省市,下联部门(含镇街)和社区的四级政务外网。目前网络覆盖全 部区直部门、镇(街道) 、城管中队站所和126 个社区,网络统一互联网出口,带宽为 200M。2WIFI 无线网络情况XXX政府 WiFi 通是 XXX无线宽带城市建设的重要组成部分,首期建设的38 个热点已经在 XXX区的政务服务区域、公园、广场、绿道、文化体育、客运交通、旅游景点、医疗卫生、广场口岸等区域部署WiFi 无线接入点,为市民提供免费政府信息查询、民生信息服务及公共信息浏览等资讯服务,无线宽带用户在热点覆盖区域可享受最高可达 54M高速上网服务。该公共服务热点主要由 XXX市承担购买服务建设费用,其中由 XX44、X区政府购买服务建设的WIFI 热点有:区行政服务中心办事大厅、 XXX博物馆和南屏科技园管委会三个位置。352 家区直各部门专网接入情况52 家区直各部门共有11 家接有相关部门专网。包括区委政法委、区发展改革和统计局、区教育局、区司法局、区财政局、区人力资源和社会保障局、区海洋农业和水务局、区卫生和计划生育局、区审计局、区法院、区检察院。452 家区直各部门配有网络设备情况52 家区直各部门共有14 家配有网络设备。包括区委办公室、区委宣传部、区委政法委、区人民政府办公室、区发展改革和统计局、区科技和工业信息化局、区教育局、区监察局区财政局、区卫生和计划生育局、区审计 局、区法院、区检察院45、区行政服务中心、区人力资源开发管理服务中心。3.1.1.4 基础支撑软件现状1. 地理信息软件地理信息软件在“数字XXX地理空间框架建设”项目中已经得到应用, XXX市国土资源局 XXX分局建设了地理信息公共平台并建设了相关应用。XXX 大数据平台项目需要新建。2. 操作系统现状操作系统是用来提供安全、稳定、良好、可靠的软件运行环境。现有业务操作系统包括桌面操作系统、服务器操作系统等系统。现有业务系统服务器操作系统以单机版RedHat linux、windows2008 server为主,均部署在物理服务器上,操作系统可以连同应用系统迁移到XXX大数据平台项目中的虚拟机之上。新建业务系统和交46、换与共享前置机部署在虚拟机上,需要新配置 虚拟机操作系统。3. 数据库管理软件现有业务系统的数据库管理软件主要是Oracle 和 SQL Server ,是满足传统分布式服务器存储环境下的数据库管理软件,部署在物理服务器之上, 基本不存在异构数据库之间的数据交换与共享。XXX大数据平台项目基于虚拟化环境,数据库管理软件需要能支持虚拟化环境下的多业务应用。3.1.1.5 机房建设的现状目前 XXX区现有机房越来越不能满足大数据中心建设的要求,主要是在以下几方面:1. 机房面积不能满足需要:现有机房面积已经不能满足日益增长的业务导致的设备增加对机房面积的需求;2. 机房温度、湿度要求:机房既要保障47、机房设备安全可靠地运行,延长计算机系统使用寿命,又能为系统管理员创造一个舒适的环境,满足系统管理员对温度,湿度,洁净度,场强强度,安全防护,电源配电,和防雷接地的要求,所以一个现代化的机房应该是一个高度可靠性,舒适实用,节能高效和具有可扩展性的机房。3. 大数据机房稳定性要求:近些年来政府各类业务数据呈爆炸式增长, 跨业务领域分析需求激增,不同业务数据频繁交换和共享。长期以来各类政 府服务系统中积累了大量的结构化、半/ 非结构化各类数据,可扩展能力差, 业务系统一般仅适合处理结构化数据,不能处理在大数据时代的更多维、更 大量的数据。以上种种现状对机房提出了越来越高的要求。3.1.2 大数据汇聚48、与共享现状随着 XXX区电子政务的发展,区直各部门、镇街、社区居委会和市驻区单位信息系统相继启动建设,目前已建立和使用的共有150 个信息化应用系统,以下统计 XXX区信息化应用系统使用现状情况如下。(一) 52 个区直各部门共有150 个信息化应用系统;其中包括140 个正在使用的系统和10 个在建(筹建)系统;(二) 5 个镇街共有 47 个应用系统在使用(基本都包括在前面的150 个现有系统中)。(三) 3 个社区共有 9 个应用系统在使用。(四) 7 家市驻区单位共统计到35 个信息化应用系统在使用。根据调研现状, XXX区信息化应用在使用过程中,积累了大量的政务信息资源,但各个信息化49、应用系统的信息资源都是孤立出在各自系统中,由于缺少全区性资源共享机制,存在业务协同和信息共享方面存在不足,无法实现区各个系统平台的互联互通。调查显示, XXX区 60%以上的区直部门都对信息共享表达了强烈的需求和愿望。这些需求主要集中在企业信息、法人信息、宏观经济信息、税务信息 等。在信息化主管部门的支持下,通过基础平台建设和重点应用建设相结合 的方式,解决好跨区信息资源共享和应用问题,最能体现政务信息资源的应 用效果。结合政务信息化建设和各部门数据共享需求的实际情况,建设大数据汇聚与共享平台能有效打破各部门信息孤岛,汇集整合并有效利用全区数据信息资源,让有价值的数据能提供给需要的部门,让需要50、数据的部门能高效获取数据,为 XXX区各政府部门业务系统信息共享专项应用项目提供统一、标准的数据、应用和服务支撑;实现业务部门的互联互通具有重要意义,同时也是 XXX区电子政务长期发展的基石,是有效提升政府管理和行政服务水平的重要途径。3.1.3 数据库现状XXX区目前有 52 个区直部门, 150 个业务应用系统,这些业务系统会采用各种各样的业务数据。业务系统采用的数据之间有很多交叉。XXX大数据平台通过建设一个全区唯一的平台涵盖全区数据信息,采用统一的平台架构,提供政务管理、综合治理、城市运行、经济评估、公共服务各类应用, 解决民生、经济、治理的问题。目前,XXX区尚未建立基础数据库。各单51、位分别建立了一些数据库支撑业务,数据库建设存在以下问题:1. 现有已建成的数据库没有统一的规划、统一的标准,在整体上呈现出异构性,导致了数据库建设的异构问题。数据库建设缺乏统一的规划和目标,没有统一的管理机构,各自为政。不同政府部门以各部委的标准来进行信息建设,数据库分布在不同的职能部门,运行于不同结构的网络上,采用不同体系结构的计算机和不同的操作系统,构建在不同 DBMS上的没有统一数据标准的信息系统,形成彼此分离的 “数据孤岛”。如:(1) 数据库分布在多处地点;(2) 计算机体系结构和操作系统的异构性;(3) 数据库管理系统的异构性;(4) 数据库逻辑结构和物理结构的异构性;(5) 数据52、内容的异构性;以上这些异构性问题形成了数据库建设的技术障碍。2. 由于部门分割导致的现有的数据资源分割的问题。目前政府各个部门自成体系,形成从上到下的彼此隔绝的垂直管理体系,各政府部门都有自己的条条块块,各部门的数据信息从行政管理上进行隔离,导致重复建设、部门间不能共享。而基础数据库可以利用网络优势, 提高信息的共享、互通能力。基础数据库的建设是政府部门在数据资源上的横向整合过程,需要突破政府部门横向瓶颈。3. 已有数据资源无法实现上下级互联互通共享的问题。(1) 现有数据库数据的权威性不够,而作为基础信息数据库数据有权威管理部门共享参与,使得数据具有高度权威性;(2) 现有数据库可提供的数据53、少,数据一般限于本级本部门使用,没有实现纵向互联互通;(3) 现有数据库共享程度不够,只提供通用交换格式的数据,缺乏适应不同应用系统的数据结构及语义定制能力,更不支持互操作基础空间数据共享;4. 未建设基础数据库导致没有基础数据的问题。基础数据库没有建立严重制约了应用的开发,无法为政府决策和公众提供有效的信息支撑:(1) 由于人口基础信息库没有建立,人口管理、统计的基础和基数始终不能统一,虽然数据冗余现象很严重,还是不能得到准确的人口及其分布状况信息;(2) 由于法人单位基础信息库没有建立,共建单位对于法人的定义不一致,多家共建单位审批相同法人单位的问题普遍存在,影响了政府决策管理的效果;(354、) 已经建立的自然资源和空间地理基础信息库的多数是分散的、异构的和不同格式、不同数学基础的,缺乏相应的创新的应用,没有实现实现跨部门、跨地区、跨行业、跨应用系统之间的基础信息交换、数据共享与协同处理;(4) 宏观经济信息数据库还没有建立综合的、专业的宏观经济数据库。3.1.4 大数据应用现状XXX区信息化建设起步较早,经过多年发展,电子政务建设初见成效, 根据前期调研得知,虽然XXX区政府大部分部门都有自己独立的业务系统, 但真正的大数据运用仍处于初级发展阶段,并没有基于大数据建立的跨部门的应用,各个部门的数据只能为各自所用,无法聚集进行碰撞分析、分析挖掘,发现其中的统计规律,数据的最大价值发55、挥不出来,造成目前很多没法解决的政务难题。基于以上现状,建设跨部门的大数据创新应用能够将大数据与政务工作进行有机结合,提高政府决策的科学性和精准性,对数据进行分析,做出的决策可以更准确、更高效,提高政府预测预警能力,节约决策的成本。另 外,也可以依据数据推动政务创新,使政务工作更有效率、更加开放、更加透明。3.2 与政务职能相关的政务目标分析3.2.1 政务目标分析按照 xx 省促进大数据发展行动计划(2016-2020 年),到 2018 年,大数据基础设施建设、资源整合和政府数据开放共享取得积极进展;大数据创新应用取得初步成效;大数据产业集聚发展态势初步形成。到2020 年,大数据基础设施56、建设、资源整合和政府数据开放共享取得显著成效;大数据创新应用深入经济社会各领域;大数据产业成为重要的经济增长极。3.2.2 信息化目标分析(1) 实现数据采集、交换、共享建设一套符合政务数据共享交换的数据标准,以数据的采集、清洗、存储、分析和可视化全生命周期为管理闭环,打破政府各部门的信息壁垒,实现政务大数据对内共享与对外开放。(2) 建设 XXX区政务资源数据库系统、共享数据库系统、基础数据库系统及主题库数据库系统建设 XXX区政务资源数据库及共享数据库系统,实现各部门对数据的共享与交换,并响应国家数据库标准,建设国家规定的4 大基础数据库,在4大基础库的基础上,建设主题库数据库系统,为大数57、据综合应用系统做支撑。(3) 提高政务工作效率及公众服务能力通过建设大数据平台,对内提高政府的工作效率与社会治理能力,对外提高服务公众的能力。通过应用带动数据,强调数据在“民生服务”、“社会治理”、“政务服务”、“商事服务”、“宏观调控”、“安全保障”等几大方面的应用,从民生、经济、治理等角度,对诸如信息共享、数据挖掘、劳动仲裁、政府税收、资源投入等业务领域进行问题梳理、查缺补漏与解决。逐步落实大数据建设,提升城市竞争力,需要持续稳步加大大数据基础设施建设力度,完善标准规范、信息安全与管理运维等信息化支撑体系,建立绩效评估体系,创造良好的大数据发展环境。推进政府大数据建设是建设服务型政府、高效58、运转的有力措施。3.3 业务功能、业务流程和业务量分析3.3.1 业务功能与业务流程分析根据前期调研,梳理完各个部门的数据供需关系及业务数据流转过程, 具体内容见图 3.3-1及图 3.3-2;由图 3.3-1可以看出,几乎区政府的每个部门都有数据供需需求,而区民政、区卫生和计划生育局、区审计局、区教育局以及区城市管理局的数据 供需数最多,由图3.3-2可以看出,大部分业务都是由社区发起再到镇街, 最后到区政府的各个部门,而社区和镇街可用的系统特别少,大部分业务都 要走纸质化流程,造成社区和镇街的工作人员工作量大等问题。基于上述分析, XXX区需要建立一个统一的大数据汇聚与共享平台、统一的数据59、交换标准及一系列综合应用系统,整合各部门资源,实现各部门数据共享,使各部门业务更好的协同,并辅助领导决策。根据各部门对数据的供需关系,明确需要对各部门采集的数据,数据采集上来以后清洗入库,建立大数据汇聚与共享平台,并制定数据交换与共享标准,各部门根据数据交换与共享标准执行各自的工作,如定期更新数据, 并且数据所属部门需要确定其他各个部门的权限,哪些部门可以共享哪些数据等;系统的使用权限要下放到镇街,镇街工作人员需要数据时,不需要一级一级上报或者一个部门一个部门盖章,实现“数据多跑路,人员少跑腿” 的目标,会大量减少基层工作的人员的工作量。对于综合应用系统,每个系统都有自己的业务流程,根据各个应60、用系统的业务,确定使用部门,每个部门使用账号登录,根据各自的业务范围使用系统,各个部门通过综合应用系统实现业务协同,联合办公。图 3.3-1数据共享需求统计图图 3.3-2社区- 镇街- 区级业务数据流转统计图3.3.2 业务量分析XXX大数据平台应满足区政府日常工作的需要。XXX大数据平台的业务量分为日常业务量和峰值业务量,峰值业务量远大于日常业务量,因此大数据平台应按照满足峰值业务量配置,并满足视频会议、图像接入和综合应用系统业务运行的基本需求。3.4 信息量分析与预测3.4.1 数据处理量大数据基础支撑系统应支持6 大综合应用中各个系统及大数据汇聚与共享平台的运行。大数据汇聚与共享平台及61、综合应用系统的运行需要数据库的 支持,包含政务资源数据库、共享数据库、基础数据库、主题库数据库。各 类综合应用系统及大数据汇聚与共享平台都部署在区政府的政务外网。数据处理量主要对综合应用系统运行环境的数据处理能力提出要求,根 据实际测算所设计的数据库服务器、应用服务器、GIS 服务器的处理能力, 均满足国家及 xx 省的技术要求,并结合当前主流服务器的处理能力,结合未来扩展需要进行配置,保证服务器的处理能力,充分保证系统的响应速度、 保障系统性能,有效支撑各系统数据处理需要。3.4.2 数据存储量数据存储量主要包含综合应用系统、大数据汇聚与共享平台等内容的存储。3.4.2.1 应用系统应用系统62、包含综合应用系统及大数据汇聚与共享平台,存储的数据主要有:人口基础信息、法人单位信息、宏观经济信息、自然资源空间和地理基础信息、政务资源信息、共享信息、主题信息等。XXX大数据平台数据库在政务外网所需的存储量估算表如下:数据库名称初始数据量数据更新量( GB)容量( GB)础信息库表 3.4-1XXX 大数据平台政务外网数据库存储量估算表(GB)年更新三年更新人口基础信息库10002006001600法人单位信息库500100300800宏观经济信息库500100300800自然资源空间和地理基10002006001600政务资源库200040012003200共享库200040012003263、00主题库10003000900010000小计600040001200018000XXX大数据平台数据库在政府外网一期所需的存储量如下: 1人口基础信息库,基础数据量为1000G,三年每年更新产生数据量为20%,三年更新累计产生的数据量为600G,总数据量为 1600G;2. 法人单位信息库基础数据量为500G,三年每年更新产生数据量为20%,三年更新累计产生的数据量为300G,总数据量为 800G;3. 宏观经济信息库基础数据量为500G,三年每年更新产生数据量为20%,三年更新累计产生的数据量为300G,总数据量为 800G;4. 自然资源空间和地理基础信息库基础数据量为1000G,三年64、每年更新产生数据量为 20%,三年更新累计产生的数据量为600G,总数据量为1600G;5. 政务资源库基础数据量为2000G,三年每年更新产生数据量为20%, 三年更新累计产生的数据量为1200G,总数据量为 3200G;6. 共享库基础数据量为2000G,三年每年更新产生数据量为20%,三年更新累计产生的数据量为1200G, 总 数 据 量 为 3200G; 7主题库基础数据量为1000G,三年每年更新产生数据量为300%,三年更新累计产生的数据量为9000G,总数据量为 10000G; 综上,三年累计产生的数据量为18T。3.4.3 传输流量1. 广域网接入带宽分析根据 XXX大数据平台65、的日常业务需求,对互联网接入带宽进行分析: 表 3.4-2XXX 大数据平台互联网出口带宽估算表序号一系统名称城市运行可视化平台带宽需求( M)5.00备注二政务服务7.001数说 XXX5.002一站式登录2.00三社会治理16.001城市生命线管理系统3.002企业偷税漏税大数据监查系统3.003市场监管平台3.004精准扶贫系统2.005自然人平台5.00四安全保障15.001网格化管理平台5.002群防群治系统5.003舆情分析系统5.00五商事服务8.001一照一码网上办理系统5.002触屏版手机商事服务系统门户3.00六宏观调控19.001经济社会发展辅助决策支持系统3.002企业66、扶持管理系统5.003招商服务系统5.004白日人口库平台6.00七民生服务10.001一站式惠民服务平台10.00合计80.002. 政务外网带宽需求XXX大数据平台对政务外网带宽需求:针对以上各业务的网络带宽分析,XXX大数据平政务台外网峰值接入带宽计算如下:XXX大数据平台外网 =(城市运行可视化平台 +政务服务应用系统总带宽+社会治理应用系统总带宽+安全保障应用总带宽 +宏观调控应用系统总带宽+商事服务应用系统总 +民生服务应用系统总带宽)* 工程系数 =80*1.2=96Mbps。3.5 功能及性能需求分析3.5.1 大数据中心需求分析大数据中心主要包括XXX大数据支撑平台、安全保障67、系统、计算机网络系统、基础支撑软件、机房系统几部分。3.5.1.1 XXX大数据支撑平台需求分析大量增长的新的数据和业务,对大数据支撑平台提出了更高的要求:1. 可扩展性需求大数据虚拟化平台和大数据分析管理平台的计算、存储、网络等全部资源均易于扩展,随着数据和应用增加而扩展,性能同步得到提升,软硬件产品可以平滑升级和灵活扩展。2. 性能需求系统支撑 XXX区用户高并发查询、分析业务需求,支撑其它系统的查询、分析或其它业务请求,在高并发的情况下的响应速度需在可接受范围内,保证系统不宕机。3. 可靠性需求为满足业务要求7*24 小时长时间不间断运行的可靠性要求,系统设计时应该从设备部件级、设备级、68、链路级、软件级、系统级等个层面充分考虑冗 余性、可靠性,选择成熟稳定的软硬件产品搭建平台。系统在节点硬件损坏 时,不会丢失数据。系统能够支统持在线自动故障恢复,数据资源池应该能 够智能的感知故障,快速自动恢复故障。在机房短时间断电时业务的可持续 性待机房恢复供电。4. 易管理性需求大数据支撑平台要集成服务器、存储等硬件设备,并要在平台之上部署大量应用,平台必须易于统一管理、能够平台平滑扩容。采用国际上通用的标准网络存储协议、国际标准的应用开放协议;支持多种业务接入;可与运营系统对接,支撑客户运营管理;提供管理接口,以便对接数据中心管理平台,向监控系统发送各类事件、日志、性能数据,提供给客户定制69、化的管理维护手段。5. 先进性需求平台立足于应用,高起点、高投入,所有的系统应该:处于先进的技术水平,确保较长时间内技术上符合业务需求,具有较长的使用生命周期;在较长时间内和后续投资产品兼容;系统的处理能力要达到业内领先,对于本次业务的使用要留有一定的余量,以满足后续升级的需求。3.5.1.1.1 大数据虚拟化平台需求分析通过前期调研,获取到客户总的数据量一期存储需求,结构化数据3T, 非结构化数据 15T。客户后期最终总数据量为结构化数据5T,非结构化数据25T。根据对 XXX大数据虚拟化平台问题总结,可以得出大数据虚拟化平台需求主要内容可体现在以下几个方面:1. 统一的虚拟化平台:采用虚拟70、化管理软件,将计算资源划分为多个虚拟机资源,为用户提供高性能、可运营、可管理的虚拟机;2. 统一的资源管理,可以管理计算、存储、内存、网络等各种资源;3. 支持多种服务器和兼容多种存储设备,可灵活选择;4. 完善的权限管理:可根据不同的角色、权限等,提供完善的权限管理功能,授权用户对系统内容的资源进行管理;5. 支持主流操作系统、分布式数据;6. 能够快速部署应用。3.5.1.1.2 大数据分析管理平台需求分析对大数据分析管理平台有以下需求:1. 统一的大数据分析节点群建设统一的大数据分析节点群提供从数据存储、处理、洞察和服务的全生命周期解决方案,使用管理简单,效率高,各应用系统随时可以根据业71、务需要获取所需数据。2. 统一的大数据分析平台系统架构相较于以往各业务部门各自建立的业务平台,统一的大数据分析平台系统架构会大大降低业务的存储、改造、运维、迁移、扩容的成本。3. 系统可靠性需求采用冗余架构,稳定可靠的大数据分析平台,采用数据备份方案,确保7 天*24 小时*365 天稳定运行。建立对于数据的快速处理能力,以及对流数据的实时处理能力。4. 针对业务数据的变化,这就要求具备以下能力: a、系统必须有足够的容量和带宽存储海量数据;b、系统具备快速进行数据的抽取、清洗、转换、加载能力; c、满足大量数据分析的处理能力要求;d、在相应的场景下满足实时性的要求;e、满足数据的复制和保护要72、求;围绕满足基础数据资源库、图片等应用需求考虑,开展大数据系统的建设。考虑 XXX大数据平台应用的结构化数据、半结构化数据、非结构化数据的存储及分析需求,分别建设非结构化(含半结构化)数据资源池和结构化数据资源池。5. 为业务提供数据的采集、存储、数据同步、批处理、工作流分析以及全文搜索功能;6. 提供数据的清洗、抽取、转换能力,清洗后结果可以进入平台,可为应用建立高速可扩展的数据仓库;7. 可针对海量数据提供分布式算法,为各种应用提供算法和模型支持;8. 提供强大的流计算能力,支持复杂的应用逻辑;9. 对数据质量全程监控,对应用提供支撑。提供数据安全管理能力,支持数据加解密和访问隔离方案,保73、障用户数据安全和隐私。同时通过标准开放的数据共享访问和能力开放接口,对外提供共享数据服务。3.5.1.2 安全保障系统需求分析根据对 XXX大数据平台安全问题总结,可以得出安全保障系统需求主要内容可体现在以下几个方面:1. 身份鉴别与访问控制安全域的划分,根据了解,目前XXX大数据平台用户数量较多,情况复杂,急待通过安全区域的划分,从而进行不同安全域之间访问控制。应将不 同的业务类型划分若干个逻辑隔离区域,在根据区域和应用不同划分多个VLAN,不同 VLAN之间通过严格的访问控制规划信息流向,隔离广播,限制不是必需的和非法的访问。2. 入侵防御XXX大数据平台用户遍布全区,使用者成分极其复杂,74、不可完全信任, 因此需要考虑到针对网络攻击的安全应对措施。攻击者可以分为:黑客、专业罪犯、内部人员、蓄意破坏者。鉴于用户的复杂性,因而需要在重要的网络边界处和重要网段配置入侵防御设备。入侵防御系统通过对数据流的实时采集与分析,能够洞察各种非法行为,及时弥补安全漏洞。通过入侵防御,可以实时监控网络的数据流 量,实时发现攻击行为并立即报警,为动态网络安全防御提供了良好的基础设备支持。利用入侵防御系统,可以进行7*24 的安全监控,一旦发现入侵行为,可以及时的通知管理人员或者采取其他相应的措施。可能发生网络入侵攻击的地点主要是两处:一是来自外部的攻击,主要集中于互联网入口;二是来自内部的攻击,主要攻75、击可能来自全网各个相关互连部门,目标是网络服务和核心资产数据。此外,入侵防御设备作为直路设备,放置在网络出入口上,可以对攻击行为进行深度检测,实时阻断攻 击,保护重要应用系统以及数据的安全。3. 病毒的防治计算机病毒也变得越来越复杂和高级,其扩散速度也越来越快,破坏力也越来越强,对计算机网络系统构成极大的威胁。在网络中,病毒已从存储介质(软、硬、光盘)的感染发展为网络通讯和电子邮件的感染上来。其传播速度极快、破坏力更强,据统计一个新病毒从一台计算机出发仅六个小时就能感染全球互联网机器。网络一旦被病毒侵入,将会对重要数据的安全、网络的正常运行带来严重的危害,所以防止计算机病毒是安全工作的重要环节76、。因此针对此情况,需要建立相应的防病毒安全策略以配合防病毒软件,通过使用内网安全风险管理与审计系统,通过对全网的所有客户端设置强安 全策略,不允许用户随意访问不良网站,删除反病毒程序,使用未经授权的 移动存储设备,随意修改IP 地址等手段。避免病毒趁虚而入,从而对全网造成威胁。通过内网安全风险管理与审计系统,还可以在蠕虫病毒的大规模传播时,禁止受害主机访问网络系统,来减轻部署在PC终端的防病毒产品的压力,也可以有效防范蠕虫病毒的大规模传播。4. 安全审计安全审计通过收集并分析系统日志等数据,从而发现违反安全策略的行为。安全审计主要侧重于事后分析,即当发生安全事故或者发生违反安全策略的行为之后,77、通过检查、分析、比较审计系统收集的数据,从中发现违反安全策略行为。在重要网段,如数据中心,应配置安全审计系统,针对应用系统和数据库的操作进行审计,并且针对于特殊要求的主机系统部署基于主机的审计系统,以保证触发审计系统的事件存储在审计系统内,能够根据存储的记录和操作者的权限进行查询、统计、管理、维护等操作。并且能够在必要时从记录中抽取所需要的资料。5. 安全管理建立完善的安全管理机构及安全管理制度,安全管理培训制度化,制定有效措施,保证系统安全措施的执行,强化安全管理。完善系统管理员制 度,建立网络拓扑图,方便系统管理员图形化的管理;建立硬件资产管理系统,让管理员能查询系统中所有平台的硬件信息(78、如硬盘大小、内存大小、外设配置等)。6. 可扩展性需求安全设备均易于扩展,随着数据和应用增加而同步扩展;在容量扩展时,性能同步得到提升;软硬件产品可以灵活的平滑升级;7. 可靠性需求为满足公共安全等业务要求7*24 小时长时间不间断运行的可靠性要求, 系统设计时应该从设备部件级、设备级、链路级、软件级、系统级等各层面 充分考虑冗余性、可靠性,选择成熟稳定的软硬件产品搭建平台。3.5.1.3 计算机网络系统需求分析根据对 XXX大数据计算机网络问题总结,可以得出计算机网络需求主要内容可体现在以下几个方面:1. 可连接大数据支撑平台、运维区、公众服务出口和数据交换与共享平台等不同业务功能区,并连接79、安全设备;2. 通过租赁机房和电子政务外网连接,中间通过防火墙等安全设备进行逻辑隔离;3. 可扩展性需求网络设备均易于扩展,随着数据和应用增加而扩展;在容量扩展时,性能同步得到提升:支撑XXX区用户高并发查询、分析业务需求,支撑其它系统(如上级机关、交管局、海关等系统)的查询、分析或其它业务请求;系统在高并发的情况下的响应速度需在可接受范围内,保证系统不宕机;软硬件产品可以平滑升级。4. 可靠性需求为满足各类业务要求7*24 小时长时间不间断运行的可靠性要求,从设备部件级、设备级、链路级、软件级、系统级等个层面充分考虑冗余性、可靠 性,选择成熟稳定的软硬件产品搭建平台。系统支持从软硬件层面,数80、据层 面到业务层面高可靠,同时数据保证一致性。5. 统一的管理平台:采用网络管理软件,全景展示网络设备和网络状况,必须易于统一管理。支持国际标准网络协议、国际标准的应用开放协 议;可与运营系统对接,支撑客户运营管理;提供管理接口,以便对接数据中心管理平台,向监控系统发送各类事件、日志、性能数据,提供给客户定制化的管理维护手段。6. 先进性需求处于先进的技术水平,确保较长时间内技术上符合业务需求,具有较长的使用生命周期;能够在较长时间内和后续投资产品兼容。3.5.1.4 基础支撑软件需求分析3.5.1.4.1 操作系统软件需求分析操作系统是用来提供安全、稳定、良好、可靠的软件运行环境。涉及到的操81、作系统包括:大数据虚拟化平台操作系统、大数据分析处理平台操作系统、虚拟机服务器操作系统等系统,大数据虚拟化平台操作系统在大数据虚拟化平台中描述、大数据分析处理操作系统在大数据分析处理平台中描述。对虚拟机服务器操作系统具有以下需求:(1) 完善的虚拟化平台,支持网络虚拟化,可以支持部署在大数据虚拟化平台下;(2) 良好的扩展性与性能;(3) 高可用、易于管理,包括:故障转移集群、DHCP服务器故障转移;(4) 支持开放式的标准,如:HTML5等。3.5.1.4.2 数据库管理软件需求分析大数据支撑平台应用系统数据量大,并发用户多,因此对数据库管理软件的选择要求较高。数据库管理软件要满足:(1) 82、数据库性能较高;(2) 支持分布式应用,可以部署在大数据虚拟化平台下;(3) 支持并行处理能力;(4) 可移植性和可扩展性强;(5) 具有数据完整性约束,数据完整性指数据的正确性和一致性保护;(6) 并发控制功能;(7) 具有容错能力,在异常情况下对数据进行容错处理;(8) 具有安全性控制,包括安全保密的程度(帐户管理、用户权限、网络安全控制、数据约束) ;(9) 支持汉字处理能力,包括数据库描述语言的汉字处理能力(表名、域名、数据)和数据库开发工具对汉字的支持能力。3.5.1.4.3 地理信息软件需求分析大数据平台环境下,应用系统对地理信息软件的选择提出了更高的要求。GIS 平台必须具备如下83、要求:(1) 能够支持构建基于面向服务的体系结构(SOA),以标准的 Web Service方式提供 GIS 服务,并与其他应用系统很好整合;(2) 能够提供 GIS服务的创建和管理框架,可以方便的创建和管理地图显示服务,以及高级GIS 分析服务,如地理定位、网络分析等;(3) 支持多种 GIS服务的叠加,如WM、S WFS、KML等;(4) GIS 平台要具有大数据量存储、索引、访问、操作和空间运算能力,而且要支持存储拓扑关系和丰富的几何对象类型等能力;(5) 支持数据格式转换,大数据环境下,不同系统间数据交换频繁, GIS 软件数据交换能力决定了该系统的开放性,即能否方便地输入其他来源的数84、据以及输出相应的数据格式;(6) 支持多源数据集成,多源数据集成,即无需格式转换直接访问多种数据格式的能力;(7) 安全体系保障,平台中的数据对安全要求很高。除平台本身提供的安全体系保障外, GIS 平台应该提供自身的安全体系,以管理不同用户对所发布的服务和应用程序的访问;(8) 支持丰富的客户端应用,包括基于浏览器的 GIS 访问、移动设备、GIS 桌面端应用等;(9) 较强的专题地图生成能力,专题地图是GIS软件根据属性数据的不同分别给几何对象采用不同风格显示的表现形式,它是专题数据可视化展现的重要手段之一;(10) 强大的地图编辑能力。3.5.1.5 机房系统需求分析机房是数据信息计算、85、交换和存储的中心,出现在数据交换最集中的地方。机房的建设要考虑以下需求:1. 易于扩展,在由于业务增长导致计算、存储、网络、安全等设备增加时能够快速扩展,并满足对机柜、供电、制冷等的性能要求;2. 可靠性需求,为满足业务要求7*24 小时长时间不间断运行的可靠性要求,机房设计时应该从供电等个层面充分考虑冗余性、可靠性,选择成熟 稳定的软硬件产品搭建平台;在短时间断电时支持业务的可持续性待恢复供 电;3. 易管理性需求,机房必须易于统一管理、能够平滑扩容。可与运营系统对接,支撑客户运营管理;提供管理接口,以便对接管理平台,向监控系统发送各类事件、日志、性能数据,提供给客户定制化的管理维护手段;486、. 先进性需求,立足于应用,高起点、高投入,处于先进的技术水平,较长时间内技术上符合业务需求,具有较长的使用生命周期;在较长时间内和后续投资产品兼容。3.5.2 大数据汇聚与共享需求分析推行电子政务是XXX区信息化工作的重点,是深化行政管理体制改革的重要措施,是支持各级部门履行职能的有效手段。近年来,经过全区各政府部门共同努力,重点业务系统的应用进展顺利,统一电子政务网络不断推 进,基础信息库和标准化体系建设开始起步,信息安全保障能力不断增强。3.5.2.1 信息资源汇集整合需求xx 省人民政府办公厅发布关于加快推进xxx 区域经济一体化的指导意见(),提出“实施电子政务畅通工程,制定政务信息87、资源共享目录,建设 全省及各市电子政务信息资源中心和协同办公平台,率先实现政务信息资源 共享和政府网上协同办公”的目标。xx 省人民政府办公厅发布了xx 省促进大数据发展行动计划 ,进一步强调要推动政府数据共享,健全政府信息资源共享机制,明确信息资源共享的职责和义务,厘清共享数据的范围和边界,确保共享数据的质量和时效, 推动各级政府、部门之间的信息资源跨部门、跨区域、跨层级共享及信息系统互联互通和业务协同。XXX市发布了 XXX市社会综合治税工作管理办法 (珠府办 200951 号),要求有关部门、单位与税务部门之共30 多家单位要切实加强信息的交换和利用,共同提高政府监管和服务的整体水平,建88、立以“政府牵头、财税主管、部门配合、信息共享”为主要特征和基本内涵的社会综合治税新机制。XXX市发文关于印发2016 年市政府工作任务分解表的通知 ,第 85 项工作任务明确提出“建立完善市、区两级政务信息资源共享平台”,市平台已经建成并投入使用,同时明确要求各区在2016 年底完成区级政务信息资源共享平台建设,实现与市平台的互联互通。随着 XXX区电子政务建设和应用水平的不断提高,应用系统的建设目标也正发生着本质的变化,从建设初期的网络建设、信息发布开始转向了以政务信息资源整合为主体、以提高政府监管能力和服务水平为目标的新阶段。电子政务发展到现阶段,需要突出解决的一个重要问题是信息资源汇集整89、 合、开发和应用,只有实现信息资源的汇集整合与共享,才能实现跨部门的业务应用和工作协同,才能切实有效的发挥电子政务公共服务、市场监管、宏观决策的重大作用。在 XXX区信息化现状调研中发现,各政府部门普遍地存在信息共享的需求。大量基础性政务信息资源,包括个人基本信息、企业基础信息等重复采集问题严重。据统计,超过60%的政府部门需要采集和使用个人基本信息企业基础信息。目前,各区级部门之间的公共信息缺乏“基准”,数据冲突普遍存在。在没有统一的信息共享平台的情况下,为了达到共享的目的,各部门只能采取权宜之计,通过少数部门联合共建,实现信息资源的局部共享。这种局部建设的方式不仅造成财政在信息共享方面的重90、复投入,同时还会产生数据更新不及时、数据质量不高等问题,共享效果不理想。从政务信息资源的特点和应用需要来看,政务信息资源与政务活动密切相关,政府信息资源产生于政府活动的各个环节和部门。在政府的政务活动中,政务部门在履行职能、办理业务和事项中随时都需要和产生政务信息资源,它的存在和分布是跨行业、跨部门、跨地域的,并且大部分政务信息资源随着政务业务的开展不断产生和变化,是一种与政务活动相关的动态信息资源。所以,政务信息资源的汇集整合应体现政务信息资源与政府业务之间的关联性和动态性,建立以业务需求为依据,汇集整合政务信息资源的机 制,以满足协同业务对信息资源共享的需要。政务信息资源汇集整合,是一个为91、了履行政府的行政职能,对业务和信息资源进行梳理、分类、组织、标准化,以满足政务业务协同对政务信息资源共享需求的过程。它不只是一个技术过程,更重要的是一个建立政务信息资源共享和管理机制与规则的过程。同时,政务信息资源汇集整合应体现政务信息资源与政府业务之间的关联性,以满足政务业务协同对信息资源共享的需要。政务信息资源与业务密切相关的特点要求政务信息资源汇集整合方法应适应政务业务和信息的动态产生和变化。政务信息资源目录体系就是从业务应用出发,梳理业务办理的流程、职责、依据等,编制信息资源目录。如针对企业登记注册业务,需要通过调查和梳理相关的业务环节和部门,根据业务流程,梳理和分析业务相关的信息,并92、且根据相关的政务信息资源描述规范和分类规范,描述以及标识信息资源,编制面向业务的政务信息资源分类目录和共享目录,在目录体系的基础上进行政务信息资源整合。这样的整合方法为政务信息资源的动态有机整合建立了基础,能够适应政务信息随业务处理而动态变化的特点,同时通过目录编制明确了资源提供者和共享部门, 为政务信息资源的整合和共享建立长效机制提供了依据。基于目录体系的政务信息资源汇集整合,可以根据业务需要,依靠政务信息资源目录以各种方式整合政务信息资源。政务信息资源目录,描述和记录了政务信息资源的名称、业务属性、主题、分类、来源、提供部门等各种属性,即信息资源的元数据,通过元数据描述协同政务流程的上下环93、节关系和信息资源共享的需求。据此,既可以通过信息资源元数据(资源目录)直接查询和定位政务信息资源,也可以在业务运行的过程中,通过交换服务目录和交换体系,实现政务信息的动态交换和汇集整合,从而保证共享的信息资源是最新的和准确的。两种方式都可以避免信息资源机械集中时产生过时数据。根据协同政务信息共享的需要,基于目录体系的政务信息资源汇集整合还可以在政务部门内部进行全面的业务梳理和信息资源调查,编制部门政务信息资源目录,对部门信息资源进行全面汇集整合。同时可以根据某个大数据应用主题,站在跨部门的角度进行业务梳理和信息资源调查,根据业务需要明确部门之间的信息共享需求,建立政务应用信息资源共享目录,如社94、会治理、安全保障、商事服务、宏观调控、民生服务等信息资源目录,为实现跨部门的按需整合和共享政务信息资源提供依据和基础。针对大数据主题应用的政务信息资源汇集整合,需要在梳理各政务部门职责和业务的基础上,分析大数据应用主题的关键要素,提出与该应用主题相关的信息指标体系,围绕信息指标调查、收集和编制信息资源应用共享目录,依据目录整合相关政务信息资源。如社会治理信息资源的整合就需要分析社会治理的信息需求,通过梳理各政务部门的核心业务和了解社会治理工作的重心,设计社会治理信息指标,围绕信息指标收集政务信息资源和编制目录,在此基础上对政务信息资源进行有机的整合,可以为社会治理提供相对全面、准确、及时的信息95、支持。3.5.2.2 基础信息应用共享需求在经过多年的基础设施建设、政府上网、政务公开、网上行政等发展阶段之后,随着 XXX区电子政务工程的深化,单一的政府机构业务系统建设已经达到了一定的水平,积累的政务信息资源已经具有相当规模。但与实际需求相比,仍存在较大差距:数据标准规范不统一,信息共享程度较低;各部门之间互联互通不足,业务协同困难,难以发挥整体优势;缺乏统一的政务信息管理和服务机制。这些问题的症结之一就是缺乏统一规划、规范建设的政务信息共享库。2002 年中办发 17 号文件国家信息化领导小组关于电子政务的指导意见中,将个人、法人单位、空间地理与自然资源、宏观经济基础数据这四个国家基础信96、息数据库列入国家电子政务建设重点任务,这为电子政务建设当中的信息共享和跨部门协作提供了政策的支持和技术的保障。中办发 200434 号文中的第(七)条明确要求各地积极“开展人口、企业、地理空间等基础信息共享试点工作”,标志着国家信息化以信息资源交换共享为主要建设思路的导向正在逐渐形成。建设政务基础信息资源库,不 仅符合电子政务工程整体发展规律,抓住了当前政府最关键的信息化建设需 求,为电子政务工程的深化与开展做出了大胆的尝试,而且对推动政府改革、提升政府工作效率、提升领导的科学决策能力,都有着重要意义。随着电子政务各个业务系统的建立和使用,政府、企业和社会公众不但对基础个人信息、法人信息、地理97、空间信息和宏观经济信息等公共信息的需求越来越迫切,而且各个业务部门对其他部门专题数据的需求也非常强烈。因此,要在统一的数据标准下建立起政务基础信息资源库,建立起对这个基础库的管理、维护、更新和使用的长效管理机制,使数据库能够不断的扩 展、完善,保证数据的一致性、鲜活性和准确性,为整个信息资源的规划和建设奠定一个良好的基础。1. 政务基础信息资源的系统功能需求(1) 对数据访问下载的支持基础信息资源系统要为政府用户及各级电子政务业务应用系统提供访问和下载信息资源的支撑服务。政府终端用户和各级电子政务业务应用系统通过用户身份认证和共享平台的目录系统授权验证,将数据查询条件及查询要求提交到共享库系统98、,共享库系统分析查询条件及查询要求,对信息资源进行查找、定位、获取、打包后,返回给服务调用方。(2) 数据检查比对基础信息资源系统要为政府用户及业务应用系统提供数据检查比对支撑服务。政府用户及业务应用系统通过用户身份认证和目录系统授权验证,将需要比对的数据提交到基础信息资源库系统,基础信息资源库系统将用户提交的数据和共享库中数据进行一致性比对后,将比对结果反馈给服务调用 方。(3) 数据同步为保持基础信息资源良好的鲜活性,需要建立各政府部门到基础信息资源库之间的数据双向同步更新机制。为确保共享利用的信息资源准确有效, 各政府部门需要及时将更新的业务信息同步到基础信息资源库系统,同时基础信息资源99、还要将得到更新的业务信息及时同步给其他政府部门,从而实现数据双向同步互动。(4) 数据规则约束检查基础信息资源要满足一致性、完整性、正确性要求。基础信息资源系统需要提供数据规则约束检查手段,对入库数据按照业务逻辑规则进行完整 性、一致性、正确性的数据清洗整理,保证共享库数据干净、准确、可靠。(5) 目录服务需求按照信息资源管理体系框架结构,以区政务信息资源共享平台的目录管理服务子系统为依托,建立信息资源目录标准服务及元数据描述服务。2. 基础信息库安全需求基础信息资源库建设的安全需求包括以下三个方面:(1) 用户的安全性系统提供和交换平台中用户认证层的接口连接,来保证用户的身份安全和访问安全。100、(2) 数据自身的安全性系统要提供对数据库自身内容的安全备份和恢复功能,保证数据的准确性、可恢复性。(3) 应用程序的安全性通过用户认证系统、信息资源目录系统对基础信息库系统的数据访问进行安全保护。3. 共享库管理需求(1) 共享库的管理信息资源管理中心进行统一的数据管理和授权使用。基础信息库逻辑上建立在区政务信息资源共享平台,对基础信息库进行管理、维护。(2) 数据的更新维护结合共享数据的分布情况、应用需求及数据逻辑集中管理要求,本着“谁拥有数据谁更新”的原则,制定合理的数据更新维护方案。(3) 数据的标准化包括数据内容的标准化、元数据的标准化等方面。(4) 数据的扩展要结合多层区政务业务应101、用对共享数据的扩展需求,制定合理的共享库扩展框架。(5) 信息资源的安全保密制定科学合理的信息资源安全保障体系,采取各种有效的措施,加强对信息资源的访问控制、授权管理,从而在根本上保证信息资源的安全。(6) 数据展现通过应用开发,提供对数据内容和数据描述的浏览展现、查询、统计等功能。根据 XXX区电子政务建设的现状和存在问题的分析,在政务信息资源共享平台建设中前期重点要建设好人口基础信息库和企业基础信息库,在大数据平台建设中,依托政务信息资源共享平台重点要建设地理空间基础信息库和宏观经济基础信息库。掌握全面且动态更新的基础信息,就使各行业主体的基本情况进一步透明化,从而有利于从宏观上对经济进行102、调节、也有利于社会的安定,从而保障政府职能转变的顺利进行。在大数据平台加强基础信息的应用,有助于改进政府行政管理模式,提高工作效率;有助于推动政务公开,为社会提供广泛、准确、动态的信息咨询服务;有助于加快XXX区信息资源的开发利用,促进信息资源共享,满足政府、行业和社会对基础信息日益增长的需求。基础信息的应用,包括政府部门应用和社会应用两个方面。政府部门应用,旨在加强部门之间的信息共享和联合监管。社会应用,则为社会各行业和社会公众提供信息查询服务。为了实现上述应用,基础信息的建设重点应该强调以下几个方面:1. 覆盖全面基础信息的覆盖面要求比较全面。完整的覆盖面和基础的信息,是基础 信息在各个部103、门信息共享中发挥基础平台作用,为XXX区电子政务和社会信用体系建设服务的必要条件。2. 及时、准确作为决策者的参考依据,基础信息必须具有高度的真实性和准确性。根据规划,基础信息将以日为单位,每天汇总一次全区的数据。机构批准部门应通过变更登记、年检及其他信息化手段,动态跟踪客观情况的变化,并及时反馈到基础信息数据库中。如果有新成立的单位和已经注销的单位,机构批准部门也应及时将该信息传送到基础信息库中。基础信息的应用部门在进行业务管理时,也应将收集到的信息情况的变更及时反馈到基础信息库。只有通过这种齐抓、共建的办法才能真正保证基础信息库的动态更新、信息鲜活准确。3. 方便、易用基础信息采用分布式管104、理结构,根据不同部门的业务管理特点,设计适合不同部门的基础信息管理应用系统。合理有效的业务流程是保证基础信息准确采集和动态维护的重要前提。基础信息的生成和维护涉及部门的相关业务管理系统应用时,在操作系统方面,基础信息系统还要突出应用系统操作方便、界面友好,系统便于维护、扩充和升级,系统容错能力强、运行稳定等特点。3.5.2.3 信息资源开发利用需求中共中央办公厅、国务院办公厅联合下发的关于加强信息资源开发利用工作的若干意见(中办发 200434 号)中提出了“加强信息资源的公益性开发利用和服务”的要求,包括以下的主要内容:1. 支持和鼓励信息资源的公益性开发利用政务部门要结合工作特点和社会需求105、,主动为企业和公众提供公益性信息服务,积极向公益性机构提供必要的信息资源。建立投入保障机制,支持重点领域信息资源的公益性开发利用项目。制定政策,引导和鼓励企业、公众和其他组织开发信息资源,开展公益性信息服务,或按有关规定投资设立公益性信息服务机构。重视发挥中介机构的作用,支持著作权拥有人许可公益性信息机构利用其相关信息资源开展公益性服务。2. 增强信息资源的公益性服务能力加强农业、科技、教育、文化、卫生、社会保障和宣传等领域的信息资源开发利用。加大向农村、欠发达地区和社会困难群体提供公益性信息服务的力度。推广人民群众需要的公益性信息服务典型经验。3. 促进信息资源公益性开发利用的有序发展明确公106、益性与商业性信息服务界限,确定公益性信息机构认定标准并规范其服务行为,形成合理的定价机制。妥善处理发展公益性信息服务和保护知识产权的关系。信息资源的开发利用与其他自然资源的开发利用相比具有更大的复杂性,这是因为,信息资源的开发利用渗透到政治、经济、社会、文化、科技等诸多领域,涉及政府部门、企业单位、公益机构、社会公众等多方面的主体。信息开发的社会化、专业化已经成为一种趋势。与工业脱胎于农业社会中的个体手工业类似,现代信息服务业或是信息资源产业的形成也源于传统的一般意义的信息资源开发活动。因此,从经济视角研究信息资源开发利用具有特别重要的意义。信息资源开发利用实质上包括了信息资源开发和信息资源利107、用两个领域。信息资源的开发是指对信息进行采集、加工、传输、存储、转换、分析等生成有用信息的过程以及人们智力创意活动生成信息的过程。信息资源的利用是指将信息用于管理、决策、生产、学习以及文化娱乐等活动以实现信息价值的过程。信息资源开发利用需要多方面的条件,包括:需要现代信息技术和装备支撑,需要将信息加工成信息库,需要对大量信息资源进行编目和定位,需要有进行信息交换和提供服务的系统,同时,还需要可靠的安全保障以及有效的管理。这些条件的建设都将是政务信息资源共享平台建设的重要内容。从 XXX区当前电子政务建设情况看,目录与定位体系的建设仍然是十分薄弱的环节,应该加强各类信息资源的目录建设,要努力在信108、息搜索定位技术及相关服务上有较大突破。对信息资源交换和服务体系来说,要加强信息交换的制度制定以及信息服务标准的制定。信息资源的开发利用是将分散在各业务系统的原始信息资源进行汇集整合、加工处理、分析挖掘形成统一的、完整的、有序的信息资源,这就要求平台需具备信息资源采集、转换、载入等信息资源汇集整合能力,实现将离散的信息有序化,封闭的信息开放化、共享化、价值化。为了打造开放型政府、促进信息消费、鼓励全民创新,要求平台在满足政府内部进行信息资源开发利用的同时,还需要提供社会力量进行信息资源开发利用的软环境,如提供基础开发平台、API 接口、各类数据包等。3.5.2.4 信息资源机制建设需求XXX区政109、务信息资源共享基础设施的建设,由于涉及多个部门,故急需统一一套行之有效的共建机制,以保证共建各方的均衡博弈。这主要体现 在:1. 各部门对信息资源共享利用在政策法规上有需求目前,在政务信息资源开发利用过程中,迫切需求的政策法规方面的支持主要包括以下两个方面:(1) 共享信息资源目录和数据标准要想实现信息资源共享,必须首先确定哪些信息是可以共享的,因此必须以共享信息资源目录的形式,明确界定共享信息的范围、信息由哪个政府部门提供、哪些政府部门可以使用。在共享信息资源目录的基础上,还需要制定相关的数据标准,准确定义共享信息由哪些内容组成,每个信息项以何种数据格式表示,数据项代表什么含义。(2) 信息110、交换体系相关技术标准信息交换体系是一个复杂的综合系统,需要多个政府部门共同建设,需要与众多已经建成和将要建设的业务应用系统进行连接,必须制定统一的技术标准才能保障建成的系统能够互联互通。2. 需对信息资源共享利用情况进行有效评估信息系统建设,使用是关键。再好的系统,不能得到很好的使用,也无法发挥应有的作用。信息资源共享工作涉及到众多的政府部门,只有在参与各方的共同努力下才有可能取得成功,因此必须建立一种机制,引导和调动各部门的积极性和创造性,督促各方认真履行自己的义务。资源共享利用有效评估体系采用科学、合理的评估办法,公平、客观、实际地评价各政府部门在信息资源开发和利用方面取得的成果,与行政电111、子监察等手段相结合,推进信息资源共享利用的开展。3.5.2.5 大数据汇聚和共享建设要求1. 依托区政务信息资源共享平台,建设大数据汇聚和共享平台以区政务信息资源共享平台建设为依托,搭建大数据汇聚和共享平台框架,推进地理空间信息和宏观经济信息两大基础信息库,汇集整合政务服 务、社会治理、安全保障、商事服务、宏观调控、民生服务、城市运行可视化等大数据主题应用库。2. 促进政务信息资源共享和利用搭建部门间信息共享通道,为跨部门的信息资源开发利用提供高效的平台支撑,有利于促进政务信息资源共享和利用。3. 信息共享共用,促进业务协同通过共享系统实现政府部门之间的互联互通、资源共享,各个部门可以及时、方112、便的相互获取与当前业务密切相关的其他部门共享的业务信息资 源,从而可优化信息共享流程,促进跨部门的业务协同。4. 减少重复采集,提高行政效能在实现政府部门之间的互联互通、资源共享后,企业、市民去各个业务 部门办理业务时,后续业务部门可及时、准确获取到企业或市民以前在其他 部门办理业务时的信息(如企业办理工商开业登记时登记的地址、法定责任 人等信息,市民办理户籍时登记的身份证、房产等信息),无需重复采集数据、重复录入,可大大提高工作效率和行政效能,能大大提高企业、市民对 政府服务的满意度。5. 加强联合监管,提高服务水平各个政府部门通过共享系统共享其他部门的信息,全面、及时、准确掌握管理对象的情113、况,有助于实现精细化管理。信息共享可有效避免信息不对称造成的监管漏洞,有利于开展多个部门的联合监管,并向企业、市民等群体提供及时、主动的服务,提高服务水平。例如,部分企业在工商登记领取营业执照后没有到国税、地税进行税务登记,以此达到少纳税甚至不纳税的目的。税务部门因为不能很好共享工商的企业登记信息,无法及时掌握新成立的企业,容易造成监管漏洞。通过大数据汇聚和共享平台实现工商、地 税、国税部门之间的企业信息共享,比对发现应办未办税务登记的企业,进行促登和行政处罚,一定程度上能够促进财税征收。另一方面,地税、国税部门可及时掌握企业的缴税状态,可通过电话、短信等方式对即将逾期的企业提前发布温馨提醒。114、6. 提高运行效率,整合业务信息资源随着电子公文协同处理系统应用的广泛推广,大量数据的存储和访问成为了系统使用和维护的瓶颈问题,每天高并发访问和应用对数据库造成了相当高的负载,对于系统的稳定性和扩展性造成了极大的问题。对现有历史数据库进行分库和把现有历史数据转移到档案系统中去,实现业务信息有效整合,可以降低数据库压力,提高运行效率。综上所述, XXX区政务信息资源共享及应用汇集整合的建设具有非常重要的意义,而且非常必要。3.5.3 数据库系统需求分析在 XXX大数据平台的运用过程中,数据集中统一管理是其中的基础环节。各大库的建设主要是将已经保存的分散的数据输入进数据中心里,对基础数据进行统一集115、中管理,为数据的进一步使用提供保障。使数据向分析、决策方向进行结构转变,为了使已存数据得到充分的利用,数据中心应该具有一定的兼容性,可以让格式不同的数据放入到数据仓库当中,实现各项数据的共享与交换,为城市发展提供数据基础,在城市决策及建设的过程中做到有据可依,有章可循。以“谁提供、谁负责”为原则,建立数据采集、处理环节的质量控制, 实现数据采集可追溯、疑问数据可反馈、异议数据可修复。对各部门提供的数据进行去重、格式校验、业务规则校验、数据关联比对、疑问数据处理、信息修复、应用数据加工、统计分析等数据处理质量控制,使归集到的信息数据有效、合理、完整。3.5.3.1 政务资源数据库中办发20043116、4号文特别强调:“高度重视信息资源开发利用对促进经济社会发展的重要作用。信息资源作为生产要素、无形资产和社会财富,与能源、材料、资源同等重要,在经济社会资源结构中具有不可替代的地位, 已成为经济全球化背景下国际竞争的一个重点。加强信息资源开发利用、提高开发利用水平,是落实科学发展观、推动经济社会全面发展的重要途径, 是增强我国综合国力和国际竞争力的必然选择。 ”目前,政府各部门根据自身职能需要建设了很多信息系统,公安、劳动和社会保障、人口和计划生育、民政、教育、税务等部门都有一些应用,但其应用系统处于分散、分割状态,信息不能共享和补充,业务缺少协作和沟通,形成诸多信息孤岛。统一的政务资源数据库117、的建立,可以提高信息的利用效率,有利于加强政府监管能力,提高工作效率和质量,对降低行政管理成本及提高政务服务质量具有十分重要的意义。建立和不断完善政务资源数据库并实现信息交换和共享是推进 XXX区电子政务建设的重要基础,是政府和社会有关部门的迫切需要。通过建立政务资源数据库,能够为电子政务提供数据平台,有效实现信息共享,满足不同部门、不同类型的电子政务的需要。而且,社会管理、经济建设的许多方 面,政府各部门以及宏观经济管理等领域,都急切呼唤一个具有可共享和交换的信息平台,急切需要高质量、高可用性的信息库支持。同时,政务资源库的建立,必将促进和带动一批与之相关的应用系统的建设和发展,将推动信用体118、系建设。近年来,为了应对经济全球化,政府迫切需求采取有效措施为 XXX区经济的发展营造环境,注入活力,保证经济的有序、持续、健康和稳定发展,规范市场经济规则。因此,政务资源库体系的建设和完善显得尤为重要。综上所述,为实现电子政务,加强政府监管能力,规范市场秩序,提高工作效率和公共服务水平,促进经济发展和社会进步,建立政务资源数据库已势在必行。3.5.3.2 基础数据库需求分析3.5.3.2.1 人口基础信息库需求分析建立人口基础信息库是有效实施人口战略的重要依据,是提高政府决策科学化的支撑。人是国民经济和社会发展的主体,人口基础信息是反映地情的重要信息资源,是社会的基础信息,是政府进行科学决策119、和公共行政管理的重要依据。人口流动性越来越大,旧的管理模式已经不适应社会的发展需要。由于各部门对人口管理和发展存在差异,统计口径也不一致,造成人口管理、统计的基础和基数始终不能统一,致使政府不能得到准确的人口及其分布状况。因此,根据科学的发展观,迫切需要建立一个以公安人口信息为基础,以公民身份号码为唯一代码,以其他部门为补充和核准的,具有权威性、基准性、基础性和战略性的人口基础信息共享平台,解决目前人口管理存在的问题,满足有效实施人口战略和政府进行宏观决策需要,全面提高各部门有针对性地进行人口管理的信息支撑能力,对维护社会稳定,长治久安和在为经济建设服务等方面具有长远的、战略性意义。1. 建立120、人口基础信息库是提高政府的监管能力,工作效率的迫切需要。目前,已经建设了很多涉及人口的信息系统,公安、劳动和社会保障、人口和计划生育、民政、教育等部门都有一些应用,但其应用系统处于分散、分割状态,信息不能共享和补充,业务缺少协作和沟通,形成诸多信息孤岛。一是地区之间、部门之间、应用系统之间存在很大差异,存在严重的信息冗余现象,在政府管理中带来管理漏洞和重复;二是缺乏规范化的信息获取渠道,造成了大量信息闲置、信息不一致和无法相互补充;三是重复建设导致管理成本高。人口信息库的建立,提高了人口信息的利用效率,有利于加强政府监管能力,提高工作效率和质量,对降低行政管理成本具有十分重要的意义。比如,社会121、保障部门掌握的社保人员中存在死亡仍领取保金的现象屡见不鲜,如能实现与人口信息库的互联,将避免社保资金流失;再比如,人口信息库的建立和普遍应用,可实现基础信息一次采集,多次使用, 一部门采集,多部门使用,可以把一定区域涉及人口的信息管理连接在一 起,使信息、知识、人力以及创新的方法、管理制度、管理方式、管理理念等各种资源,真正实现共享,以人口信息照片为例,如果各部门都能共享居民身份证照片,将使各部门避免采集照片,大量以往必须由各部门行政人员手工作业的工作,在网络状态下进行,从而可以有效地降低行政管理成本。同时,也可以大幅度降低公民负担。2. 建立和不断完善人口基础信息库是推进电子政务建设的重要基122、础,是政府和社会有关部门的迫切需要。人口基础信息库建设是推进电子政务的一项重要基础性、先导性工作。通过建立人口信息库,能够为电子政务提供人口基础数据平台,有效实现信息共享,满足不同部门、不同类型的电子政务的需要。而且,社会管理、经济建设的许多方面,政府各部门以及宏观经济管理等领域,都急切呼唤一个具有可共享和交换的人口信息库,急切需要高质量、高可用性的人口信息库支持。同时,人口信息库的建立,必将促进和带动一批与之相关的应用系统的建设和发展,将推动个人信用体系建设。在人口信息库的基础上,通过对人口信息的核查,并扩展部分应用,建立个人诚信,提供个人的信用评级, 对稳定社会主义市场经济秩序,切实加强社123、会信用建设,逐步在全社会形成诚信为本,操守为重的良好风尚创造了条件,为电子身份认证提供了基础数据。3. 建立人口基础信息库,对探索新的人口管理体制,推动政府管理改革起到积极的促进作用。为了适应时代发展的需要,政府部门的行政运作也需要不断地调整和改革,特别是面对知识经济时代的挑战,这种调整和改革不仅必要而且十分迫切。建立以现代信息技术为支撑的人口信息库,实现各部门相关信息的互补和联动,优化流程,职能调整,对推动政府管理改革起到积极的促进作用。逐步形成新型的人口信息管理和共享的技术体系和组织体系,以适应经济快速发展和电子政务对人口信息资源的需求。4. 建立人口基础信息库可以改善政府的公共服务,提高124、服务质量。 人口信息库的建设,为公众获取与人有关的各种信息服务提供了更加便利的条件,以更有效率的行政流程为人民群众提供更广泛而便捷的信息和服务,政府在公共管理中的服务者的角色将得到强化,政府的服务水平和质量将得以提高。如人口信息库可向政府部门和公民提供决策数据支持,人口信息查询等公共服务。随着应用的发展,还可以开展更广泛的服务。综上所述,为实现电子政务,加强政府监管能力,规范市场秩序,提高工作效率和公共服务水平,促进经济发展和社会进步,建立人口信息库已势在必行。3.5.3.2.2 法人单位基础信息库需求分析法人单位基础信息数据库的建设整合工商局、编办、民政的法人单位数据资源,形成以统一社会信用125、代码为唯一标识的法人单位核心信息和各类法人的扩展信息数据库,数据库建成后,面向政府、公务员和社会公众等个人用户,提供有权限的法人单位基础信息查询和统计分析服务。法人库的建设有以下需求基础:1. 法人单位基础信息数据库的建设,符合国家信息化发展政策需要,具有政策环境基础。法人单位基础信息数据库的建设,符合20062020 年国家信息化发展战略、我国电子政务建设的指导意见 、国家电子政务总体框架等国家信息化发展政策,能有效降低行政成本,提高工作效率和政府部门之间的协作。2. 法人单位基础信息数据库的建设,符合xx 省电子政务的总体发展环境,具有技术基础。3. 法人单位基础信息数据库的建设,具有信息126、资源基础。本项目将从实际需求出发,充分利用已有成果,采用成熟技术,借助多样化的工具,实现信息资源组织。充分利用现有法人审批和管理部门业务系统中的信息资源, 整合包括质监局、工商局、编办和民政业务系统中的法人单位数据,共同建设。4. 法人单位基础信息数据库的建设,是提高行政效率和服务水平的需要。法人库的建设,将提供规范、完整、实效的法人单位基础信息服务,实现跨行业的法人单位基础信息共享。该项工程为政府有关部门在业务管理中全面、准确、及时、动态地了解和掌握有关组织机构的基本信息提供统一平台,在此基础上结合本部门专业信息,将会极大地增强政府有关部门对市 场、金融、税务等多领域的监管力度,提高监管水平127、和工作效率。同时,对政府各部门的决策和社会公共信息服务等提供基础信息资源。5. 法人单位基础信息数据库的建设,是为各行各业的信息系统建设提供支持服务的需要。法人单位基础信息数据库是以统一社会信用代码为标识, 建立起标准化的法人基础信息集合,具有很强的实用性。充分利用法人基础信息数据库,既可以使各行业数据库在有效的索引平台上事半功倍地建设起来,也可以使政府利用统一的法人单位基础信息数据库动态地获得行业和市场变化的信息,从而指导产业结构的合理调整,还可以避免政府的不同职能部门为各自业务范围内的组织机构重复编码,从而减轻企业乃至全社会各个单位的负担。6. 法人单位基础信息数据库的建设,是提高社会监管128、力度的需要。法人单位基础信息库对于解决政府部门之间存在已久的“信息孤岛”问题奠定了基础,为实现各部门数据库互联架起了桥梁。各管理部门的数据库如果都利用统一的法人单位信息,能够很快地建立起信息资源共享的平台。以法人单位基础信息数据库的统一社会信用代码为纽带,可以方便地查出法人主体在各个政府部门的管理范围之内的所有社会行为和表现,从而建立起全社会监管机制。例如,财政、税务、金融、外贸的有关部门,可以利用法人单位基础信息数据库实现各部门之间信息的互通互联,加强联合监管,防止偷税、漏税及金融诈骗等问题,保障国家财政收入,减少税收流失,维护金融秩 序。7. 法人单位基础信息数据库的建设,是社会信用体系建129、立的有效支撑。利用信息化手段建立以实名制为基础的所有单位和个人在经济活动中的信誉档案,是建立社会信用体系的基本方法。记录每个社会活动主体的守法状 况、经济活动状况、产业业绩等等,并在一定的条件下向社会公开其中一些信息,建立权威性的信用咨询系统。法人库的建设,必然会为信用信息系统提供有力的数据支撑。3.5.3.2.3 自然资源和空间地理基础信息库需求分析基础性自然资源信息库通过各类基础性自然资源信息的标准化空间集成,建设土地、矿产、水、森林、海洋、气象、交通、环保、农业等多尺 度、系列化、基础性信息库及标准化系列产品,并形成持续更新和稳定提供这些信息的能力。该信息库的主要内容包括:土地资源基础信130、息库及产品 库,矿产资源基础信息库及产品库,水利资源基础信息库及产品库,林业资源基础信息库及产品库,海洋资源基础信息库及产品库,气象气候基础信息库及产品库、资源环境动态遥感监测基础信息库及产品库,交通信息基础信息库及产品库,城市基础信息库及产品库,生态环境基础信息库及产品库,农业基础信息库及产品库,环境监测基础信息库及产品库,区域性自然资源环境与区域经济综合信息库及产品库,基础性自然资源信息库标准规范。自然资源和基础地理空间综合信息库建设。主要包括:基础地理和区划综合信息子库,自然资源综合信息子库,遥感资源环境动态监测综合信息子库,自然灾害监测预警和突发事件应急反应综合信息子库,资源安全动态评131、估预警综合信息子库,生态环境评估综合信息子库,基础信息综合信息子 库,可持续发展和地区经济综合信息子库,重大基础设施和生态工程监测综合信息子库,环境监测评价信息子库,农业综合信息子库,综合交通信息子库,生态环境综合信息子库区域城市自然资源综合政务信息子库,综合数据库集成服务平台等。3.5.3.2.4 宏观经济信息数据库需求分析建立宏观经济信息数据库通过构建信息资源、实现信息共享,促进宏观经济管理部门间的业务协同与互动,提高业务管理信息化和科学决策水平, 增强政府调控宏观经济、驾驭市场变化、应对经济突发事件、总揽经济全局的能力,为 XXX区政府及时、准确、全面地掌握宏观经济运行态势提供信息服务。132、1. 建设宏观经济数据库系统可以在一定程度上促进政府职能转变。新的经济形势对宏观经济管理活动的时效性、规范性、科学性、透明性均提出了更高的要求。因此宏观经济数据库的建设可以推进机构改革和职能转变,形成职能调整与信息化建设的良性互动局面。2. 是加快宏观经济监测与调控的需要。我国在建立了适应市场经济需要的宏观调控体系以后,市场在资源配置中的基础性作用在不断增强,国内市场与国际市场的联系日益紧密。市场化、全球化增加了经济活力,同时也带来了市场风险。加强经济形势跟踪和监测,已经成为规避市场风险的重要手段。特别是最近几年,由于经济环境中的不确定因素明显增强,巨大的战略机遇与挑战风险并存。宏观经济形式的133、跟踪和监测愈发重要。在这一背景 下,加快宏观经济数据库建设,将有助于及时、全面、准确地掌握宏观经济信息,做好参谋助手作用。3. 是提高政府工作效率的需要。宏观经济数据库将大大加快政府部门内部、部门之间和上下级机构之间的信息传递速度,提高工作效率。利用先进技术手段,对信息进行深度加工和分析,提高管理和决策水平。4. 加快建设宏观经济数据库系统是充分利用现有资源、节约投资的需要。尽快制定统一规划、统一标准,实现资源共享,有助于消除信息孤岛, 增强业务协同,避免重复建设,节约投资,盘活现有资源,降低各自建设和运行的费用。5. 通过宏观经济数据库系统可以将一些信息发布给社会,提高政府工作的透明度,有利134、于社会了解宏观经济运行情况,满足建设服务型政府的需 要。总之,经济社会的深刻变化,宏观调控职能的不断增强,信息化带动工业化战略的全面实施,节约投资、整合资源的客观需要,都迫切要求加快建设宏观经济数据库系统。3.5.3.3 主题库数据库需求分析随着 XXX区经济与社会的发展,对各类主题数据库提出了越来越多的需求:1. 加快主题数据库建设,推动资源整合和政府数据开放共享。推动公共数据资源开放。在依法加强数据安全保障和隐私保护的前提下,开展公共数据资源开放应用。2. 支撑在社会治理领域的创新应用,提升政务服务水平。提升政府治理能力,推动政务服务便利化、社会治理精准化、宏观调控科学化、安全保障高效化等135、。推动民生服务普惠化,在交通、社会福利保 障、环境保护、医疗、教育、文化、旅游、住房、食品、气象等方面提供支撑。3. 推动产业转型升级和创新发展,打造新经济增长点。促进产业转型升级,在工业、服务业、农业等方面主题数据库支持产业发展。促进创业创新,服务大众创业、服务万众创新、数据应用新业态发 展。3.5.4 大数据应用需求分析3.5.4.1 功能需求根据前期对各个部门调研情况的梳理,总结出各部门对大数据平台的功能需求如下:(1) 根据前期调研的各部门的供需数据需求收集各个部门的数据,并进行整合、清洗、入库,各部门制定属于本部门的数据权限,其他部门可根据权限查看。(2) 根据收集上来的数据,制定创136、新应用,进行数据碰撞分析,发掘隐含问题,破解政府治理难题,减少损失。(3) 全区各部门可通过大数据平台的创新应用系统进行协同办公,联合执法,提高工作效率。(4) 扩展招商渠道,加大对中小企业的扶持力度,各部门对招商与企业扶持进行流程化管理,优化XXX区的产业结构。(5) 提升政府部门对社会公众服务的能力,通过政务信息公开,倒逼政府制度改革,并整合各类服务信息,统一公众查询入口,提升公众对政府工作的满意度。(6) 为了使领导对XXX区各方面的运行情况有个宏观的了解,建议建设一个可视化平台,展示全区的经济、社会等方面的实时运行情况,辅助领导 决策。3.5.4.2 性能需求大数据应用的性能要稳定高效137、实用、数据更新及时方便、数据调用快捷准确、操作维护简便、数据组织合理、可扩展性和兼容性好。设定主要性能指标如下:1. 支持并发用户数不小于全部使用用户数的 30;2. 具有 7*24 小时稳定运行的能力;3. 系统处理操作响应通常不大于3 秒,特殊操作可适当延长。3.5.4.3 用户需求大数据应用的用户主要包括各镇(街)和区有关部门的相关人员。用户从业务上可以分为系统管理员用户、政府业务人员用户和公众用户。1. 系统管理员用户系统管理员负责维护、配置本系统,查看相关日志、维护系统角色、管理系统用户、分配用户权限等。2. 政府业务人员用户(1) 领导用户区领导通过本系统可以宏观掌控全区纳入大数据138、系统的数据,掌握全区各专业领域的发展或运行状态,如遇特殊情况,可直接通过系统及时获取实时信息,查看各类模型生成的辅助决策内容等。(2) 业务人员用户通过大数据平台登录业务系统,进行事务的处理;通过本系统中的各专题系统进行本部门业务协同工作开展。3. 公众用户公众用户包括个人用户和企业用户,可通过该系统查阅政府公共数据资源,查看政府发布的各类惠民信息。3.6 信息系统装备和应用现状与差距3.6.1 信息系统装备现状目前 XXX区政府 52 家区直各部门共有服务器85 台,对比前文分析的5年内政府外网所需存储量及处理量,还远远不够,因此服务器还需要另外采购。3.6.2 应用现状目前 XXX区并无跨139、部门建立的基于大数据的应用,但基于前期调研,各个部门对数据的供需要求非常强烈,甚至影响到了部分部门的业务运行,由于缺少数据使有些部门形成了一些政务治理难题,所以需要建立一个统一的大数据汇聚与共享平台、统一的数据交换标准及一系列综合应用系统,整合各部门资源,实现各部门数据共享,使各部门业务更好的协同,并辅助领导决策。3.7 项目建设的必要性(1) X大数据平台是相应国家发展战略的需要许多国家的政府和国际组织都认识到了大数据的重要作用,纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手,实施大数据战略。如今,中国已将大数据视为国家战略,根据国家发改委的回应,行动纲要的核心内容可以概括为“三个着140、力、五大目标、三方面任务、十项工程及七项措施”。其中与政府数据密切相关的内容,是要着力推动政府数据开放共享利用,提升政府治理能力。重点是大力推动政府部门数据共享,稳步推动公共数据资源开放,统筹规划大数据基础设施建设,支持宏观调控科学化,推动政府治理精准化,推进商事服务便捷化,促进安全保障高效化,加快民生服务普惠化。与此同时,国家标准委正着手制定首批共十项大数据标准,随着政策顶层设计的越发清晰和行业标准的逐渐形成,有关政府数据共享、开放和应用的计划也越发清晰。xx 省促进大数据发展行动计划(2016-2020 年)中明确指出,要用5年左右时间,打造全国数据应用先导区和大数据创业创新集聚区,抢占数141、据产业发展高地,建成具有国际竞争力的国家大数据综合试验区。由此可见, XXX大数据平台响应了国家战略的需要,符合xx 省的大数据发展行动计划,大数据平台是信息化发展的必然趋势。(2) X大数据平台是破解政府治理难题的需要大数据平台对收集上来的数据进行碰撞分析,可获取破解政务难题的解决办法。对各类数据进行可视化展现,可以协助领导对区内各个方面的运行情况有个宏观的了解,如社会治理方面及经济方面等,促进经济社会的发 展,并且可以辅助领导决策,如在经济异常波动时实施宏观调控,通过对大数据信息的掌握和分析,直接决定了宏观调控的效果,实现治理过程预防为主,关口前移,从一定程度上避免了事故发生造成的损失。(142、3) X大数据平台是政府职能转变的需要从内部管理的角度看,政府需要降低行政成本、提高决策的科学化水平。在信息化时代,政府机构、职能有效发挥依赖高效、实时的信息系统、尤其是大数据的支持。信息化时代,政府掌握着大量的、关键的数据,是数据时代的财富拥有者,但以往由于信息技术、体制机制等限制,各级政府及各部门之间的信息网络往往自成体系,相互割裂,相互之间的数据难以实现互通和共享,导致目前政府掌握的数据大多处于割裂和休眠状态。同时由于政府各部门信息系统分割,许多数据往往需要重复采集,数据采集成本较 高。通过统一的大数据平台,实现数据的标准、格式的统一和共享,利用大数据技术,数据获取、处理及分析响应时间大143、幅减少,工作效率明显提高, 有利于压缩政府开支,降低行政成本。同时,对于数据的统一和共享所产生的大数据,通过数据挖掘等技术,能够增强政府社会管理水平。大数据在政府和公共服务领域的应用,可有效推动政务工作开展,提高政府部门决策的科学化水平、服务效率和社会管理水平。(4) X大数据平台是政府提高公众服务能力的需要从对外服务的角度看,政府提供公共服务、促进经济社会发展的职能发挥同样需要大数据平台支持。政府掌握了大量关于人口、法人和城市空间地理等数据,提供满足群众需求、针对性的公共服务需要对所掌握数据的精细分析。凭借大数据,城市公共卫生、教育、城市规划、交通服务能够得到改善,基于大数据分析结论的政府公144、共服务决策能够更好的满足市民需求。只有利用大数据分析,才能实现电子政务信息及公共服务信息的有效整合,让政府的对外服务效能提升,让民众感受到政府无处不在服务。(5) X大数据平台是节省财政投资的需要大数据平台建设完成后,各个部门的系统都会迁移过来,统一分配存储空间,统一管理,大数据平台通过建设统一的软硬件支撑平台和接口系统, 避免了各个部门重复建设机房、重复购买服务器硬件设备和系统软件、重复开发接口程序,并且避免由此造成的接口复杂、管理困难、维护成本高等问题。通过大数据平台对共享数据进行集中管理和维护,可以减少各部门单独管理和维护的成本,同时避免由此造成的数据不一致等问题。由此可见,通过大数据算145、平台建设的集约化、规模化建设,可有效避免重复建设、重复投资,节省财政投资。总之,通过大数据平台的建设,有望促成智慧型政府的打造,持续提升政府在决策规划、监督管理、公共服务和业务执行方面的综合能力。依托一系列面向政府的创新型应用,提高政府在经济社会和城市发展方面的分析能力和规划决策水平,提高政府在政府服务、民生服务、宏观决策、公共安全保障、商事服务、社会治理等俺妈的监控管理力度,丰富政府在人民生活幸福指数方面的服务手段,提升政府在内部运作和跨部门协同方面的效率。第四章总体建设方案4.1 总体设计思路4.1.1 标准规范化本项目建设将遵循标准化、规范化原则。标准化是支撑XXX大数据平台搭建的重要手146、段;首先应遵循国际上成熟的、通用的标准、规范和协议。其次要遵照执行国家颁布的现有法律、标准以及即将推出的各类规范。三是参考本省、本市和本地区有关技术规范和技术要求。四是基于XXX大数据平台建设的具体需要,为本项目建设和后期工程建设打下坚实基础。4.1.2 高安全性XXX大数据平台安全性要求高,建成后须具有较强的系统安全性和灾难恢复能力。能够按各用户的实际需求设定其严格安全等级来保证系统的可靠性。系统设计时,有足够的安全措施,避免敏感信息受到破坏和泄漏。对信息访问与使用进行严格的权限管理,在技术上支持与数字证书结合的单点登录认证方式,支持与安全认证结合,确保整个系统的安全可靠。4.1.3 高可靠147、性XXX大数据平台一旦投入运行就会成为各项业务应用的基础,并随着应用的深入普及,其基础作用将越来越大。系统的高可靠性为基本要求之一。整个系统必须有良好的可靠性及一定程度的冗余。高可靠性体现在云平台系统的高可靠性以及冗余设计,网络系统的高可靠性以及冗余设计。4.1.4 系统先进性系统应具备先进的架构,满足未来发展的需要。本项目将采用先进成熟的技术和产品,确保工程建设质量和进度,防范开发集成过程中的技术风险和产品风险。针对本项目提供先进的架构,充分考虑到系统今后纵向和横向的平滑扩张能力,确保系统符合大数据技术发展的趋势,具有明显的技术先进性。从技术层面讲,项目建设立足于先进技术,参考大数据及SOA148、架构建设,采用构件化、面向对象的设计,将各功能模块封装为服务,采用细粒度、松耦合架构,便于今后系统的扩展与升级。在保证系统实用性的前提 下,最大程度的提高系统的安全性、可升级性、平台无关性和可扩展性。项目建设中所选用的软硬件系统可以方便地实现集成,使应用系统降低系统维护的难度和要求,也方便用户日后的应用和管理。4.1.5 兼容性系统建设技术选型最大限度的利用现有资源和已有业务系统,同时可以在较长时间段内满足用户业务发展以及技术发展可能带来的潜在需求。系统建设中充分考虑了“标准和开放”的原则,应广泛采用遵循国际标准的系统和产品,以便于与其他网络系统的互联和扩展,同时易于向今后的先进技术实现迁移,149、充分保护用户的现有投资,其综合反映在可移植性、互操作性、系统独立性和集成性。4.1.6 高可扩展性随着大数据平台业务的发展,未来越来越多的业务系统将运行在大数据平台上。为适应将来的发展,系统应具有良好的可扩展性,采用先进的架构的体系结构,充分考虑到系统今后纵向和横向的平滑扩张能力,实现服务不间断的升级和应用扩展。充分考虑业务规模和结构的发展变化,系统规模的扩大和保护投资。系统构架和应用开发均具备可扩展性,能够随着应用的逐步完善和信息量的逐渐增加不断地进行扩展,整个系统可以平滑地过渡到升级后的新系统中,具有良好的可扩充性和可移植性。同时在软件系统的开发中,各个功能模块可重复利用,降低系统扩展的复150、杂性。4.1.7 高可维护性良好的组织和管理对系统的正常运转和高效使用有很大帮助。方便的监控、良好的管理界面、完备的系统记录都能使管理员在不改变系统运行的情况下对系统进行检测、修改及故障恢复等管理维护工作。4.2 总体目标与分期目标4.2.1 总体目标对 XXX区系统的数据资源进行有效整合,按照全局统一基础架构平台的指导思想,包括在数据服务层、应用逻辑服务层等各方面,规范系统资源使用标准,在系统架构层提供更好的灵活性和扩展性,以满足未来灵活、复 杂、多变的业务发展需要;建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制,提升政府经济管理和社会治理能力;通过统一规则、统一标准、统一151、平台,对内实现信息共享、业务协同办理、无纸化办 公,推进 XXX区的信息对称、高效运行和精准管理;最终实现节能、减排、高效、共享的目的。4.2.2 一期目标加快大数据基础设施建设,并推动数据库系统的建设,为各部门提供基础信息和业务运行服务;建设大数据汇聚与共享平台并制定共享机制,推动资源整合和政府数据开放共享;打造全区统一管理的大数据中心,实现区政府大部分业务系统的迁移,使全区共性软硬件统一规划、统一建设、统一应用和统一管理,实现节能、减排、高效、共享的目标;建设部分大数据创新应用并取得初步成效,运用大数据推动政务服务、社会治理等领域政府治理水平显著提升。4.2.3 后期目标后期也将在一期的基152、础上,扩展一期建设内容,首先完成并完善基础设施部分建设,数据库全部建设完成,数据收集上来全部入库,完善数据交换 与共享机制,需求的数据可以在获得权限后随时查看,实现政务管理层面 “虚拟大部制”,并向社会开放政务数据,提升对公共服务的能力;建设完成政务服务、社会治理、安全保障、商事服务、宏观调控、民生服务等领域大 数据应用,并使大数据创新应用深入经济社会各领域,经数据分析碰撞,破 解政府工作难题,提升政府对社会、经济等方面的治理能力。4.3 总体建设任务与分期建设内容4.3.1 总体建设任务由于大数据平台建设项目涉及的部门和业务范围广,涵盖的业务系统多,项目投资大、建设周期长,综合考虑实际情况,153、拟采用分期推进的模式进行建设,主要完成如下建设内容:(1) 完成大数据中心建设建设包含大数据虚拟化平台及大数据分析管理平台在内的XXX大数据支撑平台;建设计算机网络系统、安全保障系统;建设基础支撑软件,包含操作系统软件、数据库管理软件及地理信息软件。(2) 完成大数据汇聚与共享平台建设完成大数据汇聚与共享平台的建设,完成数据采集并将数据资源进行有效整合;制定数据交换与共享机制,保障大数据汇聚与共享平台的稳定运 行。(3) 完成数据库系统建设建设政务资源数据库系统,保存全XXX各个部门政务资源数据;在政务资源数据库基础上,经数据清洗,参照资源目录建设共享数据库;将共享数 据库中的数据再次整合清洗154、,建设基础数据库系统,包含人口基础信息库、法人单位信息资源库、宏观经济信息库、自然资源和空间地理基础信息库4大基础库;建设主题库数据库系统,为综合应用系统做支撑。(4) 完成大数据创新应用建设建设包含政务服务、社会治理、安全保障、商事服务、宏观调控、民生服务在内的大数据创新应用,建设城市运行可视化展示系统,为领导提供纵观全区运行情况的工具,通过数据碰撞发现各个领域的隐患,破解政府治理难题,辅助领导决策。(5) 将各部门的系统迁移到大数据平台上为了实现统一管理,统一运维,将各个部门的自建系统迁移到大数据平台上。4.3.2 一期建设内容(1) 完成大数据中心建设建设包含大数据虚拟化平台及大数据分析155、平台在内的XXX大数据支撑平台;建设计算机网络系统、安全保障系统;建设基础支撑软件,包含操作系统软件、数据库管理软件及地理信息软件。(2) 完成大数据汇聚与共享平台建设建设大数据汇聚与共享平台,完成数据采集并将数据资源进行有效整合,并根据各部门的业务流程及数据需求,制定数据交换与共享机制,保障大数据汇聚与共享平台的稳定运行。(3) 完成政务资源数据库、基础数据库、共享数据库及部分主题库建设建设政务资源数据库系统,保存全XXX各个部门政务资源数据;在政务资源数据库基础上,经数据清洗,参照资源目录建设共享数据库;将共享数 据库中的数据再次整合清洗,建设基础数据库系统,包含人口基础信息库、法人单位信156、息资源库、宏观经济信息库、自然资源和空间地理基础信息库4大基础库;根据一期建设的应用系统建设对应的主题库数据库,为应用系统做支撑。(4) 建设部分大数据创新应用建设政务服务应用中的数说XXX系统及一站式登录平台;建设社会治理应用中的市场监管平台与自然人平台,协助政府各部门的工作并提升政府的社会治理能力及公众服务能力。同时建设城市运行可视化系统,为领导提供掌握全区运行情况的工具。(5) 将各部门的系统迁移到大数据平台上为了实现统一管理,统一运维,将各个部门的自建系统迁移到大数据平台上。4.3.3 后期建设内容后期建设主要在一期建设内容的基础上进行扩建,主要建设内容包括:(1) 对大数据中心进行扩157、建随着采集数据的增多,需要对已有的服务器进行扩建,使服务器能够满足所有数据的需要,并有富余,以便可以承载后续因业务运行而产生的更多数据。(2) 完善大数据汇聚与共享平台机制根据一期大数据汇聚与共享平台的运行状况,并根据新入库的数据,完善大数据汇聚与共享平台机制,保障平台能够稳定运行,为各部门业务提供支撑。(3) 完成所有数据库的建设,并实现所有需要的数据都清洗入库 建设包含核心数据库、公共信用信息库、市场监管库、企业情况综合库、公共安全管理等在内的扩展数据库,并实现所有需要共享数据的清洗入库。(4) 完成大数据创新应用的建设建设余下的大数据创新应用,并将各类创新应用深入经济社会各领域中,实现大158、数据的最终价值,为政府部门创造价值,为社会公众服务。4.4 总体设计原则和策略XXX大数据平台的建设要从 XXX区实际出发,遵循统一领导、相互协调;顶层设计、分步实施;互联互通、资源共享;突出重点、注重实效;技术先进、便捷实用;严格标准、强化保障;立足当前、着眼长远等原则。1. 统一领导、相互协调XXX大数据平台的规划和建设将在区政府的统一领导、相互协调下进行,以确保 XXX大数据平台符合各类政府文件的政策及各项技术要求。2. 顶层设计、分步实施围绕 XXX大数据平台体系建设的远景目标对大数据平台体系建设的总体任务、总体要求,总体思路等进行顶层设计,为区政府提供建设思路和要 求。在全区统一部署159、的前提下,结合各部门的实际情况,积极推进大数据平台的规划和建设。同时,考虑到大数据平台的复杂性,采用分期分阶段实施的思路,稳步推进平台的建设。3. 互联互通、资源共享XXX大数据平台体系建设将实现各部门数据的传递与共享;同时,注重充分利用和整合各单位现有数据资源,碰撞分析,提高效率,实现资源共 享,避免重复建设。4. 技术先进、便捷实用在进行 XXX大数据平台的具体建设时,按照国家和省市规定的运行机制,充分利用国内外大数据技术研究的成果,采用符合当前发展趋势的先进设备和技术,并充分考虑平台使用的易操作性,实现大数据平台技术先进, 便捷实用的目标。5. 严格标准、强化保障遵循国家对大数据平台技术160、要求和相关标准规范,注重标准规范的建设。大数据平台的技术保障工作是保证运行顺畅可靠、高效稳定的基础,区政府应建立一支技术过硬、反应迅速的技术保障队伍。6. 立足当前、着眼长远XXX大数据平台的建设是在对区政府各部门的业务的充分调研的基础上,以全区业务需求为导向,并结合大数据发展规划,以应用促发展,把当前和长远结合起来,使大数据平台的建设既满足当前工作需要,又适应未来技术和应用的发展。大数据平台的建设成果不仅要为区政府的政务工作提供服务,也能为长远的全区电子政务和信息化建设工作提供支撑。4.5 总体设计方案4.5.1 系统总体架构XXX大数据平台总体架构如下所示:图 4.5-1 XXX 大数据平161、台系统总体架构XXX大数据平台总体架构包含大数据中心,大数据汇聚与共享平台,4 大数据库系统及 6 大应用,部署在电子政务外网中。电子政务外网跟指挥调度网、公安网、互联网安全对接;大数据中心包含XXX大数据支撑平台、安全保障系统、基础支撑软件、计算机网络系统;大数据汇聚与共享平台通过行 业部门系统和数据采集系统接入所需数据;4 大数据库系统包含政务资源数据库系统、共享数据库系统、基础数据库系统及主题库数据库系统;6 大应用分别指的是政务服务、社会治理、安全保障、商事服务、宏观调控及民生服务。图 4.5-2 XXX 大数据平台分期规划考虑到大数据平台的复杂性,将进行分期建设,上图中,蓝色表示一期162、建设内容,包含大数据中心、大数据汇聚与共享平台、数据库系统中的政务资源数据库、共享数据库、基础数据库、综合应用系统中政务服务应用的数说 XXX、一站式登录平台;粉色表示一期建设部分内容,后期将会接着补充建设,包含数据库系统中的主题数据库、综合应用系统中的城市运行可视化平台、社会治理应用的市场监管平台、自然人平台;绿色表示后期建设内 容,包含综合应用系统中社会治理应用的城市生命线管理平台、偷税漏税监察平台、精准扶贫平台、商事服务应用的一照一码网上办理系统、手机商户服务系统、安全保障应用、宏观调控应用及民生服务应用。4.5.2 大数据中心大数据中心主要建设内容主要包括机房、大数据支撑平台、计算机网163、络、安全保障系统、基础支撑软件几部分。机房采用租赁方式。大数据支撑平台包括虚拟化平台、大数据分析平台。虚拟化平台包括服务器群、存储系统。大数据分析平台包括大数据分析节点群、大数据分析处理平台。基础支撑软件操作系统、数据库管理软件、地理信息系统等部分。图 4.5-3大数据中心架构图4.5.2.1 大数据支撑平台4.5.2.1.1 虚拟化平台利用虚拟化技术,结合XXX大数据平台建设的目标和需求,以支持保障XXX区信息化业务发展为建设思路,构造一个功能齐全、设备先进、运行高 效、使用灵活、维护方便、易于扩展、投资省、高安全可靠的全局性基于虚 拟化平台数据资源中心。按照分期建设的思想,整个项目的建设分164、期进行实施:一期建设主要是建设以下业务应用:数说XXX、一站式登录、城市运行可视化平台、自然人平台等。作为虚拟化平台,要满足以上业务诉求,为即将开展的XXX大数据平台建设提供所需的基础IT 资源。后期将在一期建设的基础上扩容,满足整体大数据平台业务需求及未来五年业务增长的需要。虚拟化平台包括两部分:1. 采用 SAN技术、部署两台服务器和磁盘整列构建存储平台,保存业务数据;2. 采用高端服务器,部署虚拟化软件,将底层服务器等硬件资源实现虚拟化聚合部署、管理,提供良好的基础平台,具有很高的自适应性和扩展空间。通过虚拟化技术,增强平台的可管理性,提高应用的兼容性和可用性, 加速应用的部署,提升硬件165、资源的利用率,降低能源消耗。4.5.2.1.2 大数据分析管理平台包括两部分:大数据分析节点群、大数据分析处理平台。1. 大数据分析节点群是一组用网络连接起来的x86 服务器,并在服务器上安装运行大数据分析处理软件,进而提供大数据分析能力。2. 大数据分析处理平台是大数据中心的核心,为应用系统提供大数据计算、分析、挖掘等服务,运行在大数据分析节点群之上。大数据分析处理平台涵盖:数据处理、资源管理、数据分析、管理等功能。4.5.2.2 安全保障系统安全设计遵循等保体系标准作为设计方法,并根据等级保护安全要求进行安全体系总体设计。此外,安全管理对信息安全保护的实现有十分重要的意义和作用。大数据平台166、安全保障系统包括以下几部分:1. 网络核心交换机上部署防火墙插卡和IPS 插卡,同时提供网络安全防护和应用安全防护,将各个域隔离开来;2. 在核心交换机处旁挂数据库审计对数据进行防护;3. 在互联网出口区前部署Web应用防火墙起应用防护作用;4. 在运维区部署堡垒机进行安全安全运维防护,部署漏洞扫描进行主机防护,部署安全管理平台进行统一安全管理;4.5.2.3 计算机网络系统本网络有二个业务出口,分别为互联网出口提供互联网公众服务、电子政务外网出口提供数据交换与共享服务。由于本项目依托中国电信机房建 设,需要中国电信机房提供业务出口。租用中国电信互联网出口链路连接互联网,并需要电信公司配合接入167、电子政务外网专线。大数据支撑平台网络的设计方案兼顾网络安全、运维及业务等多方面。网络内部分为运维区、大数据虚拟化平台区、大数据分析管理平台区。网络考虑可靠性应采用双冗余设计,考虑未来扩容采用框式交换机。网络建设分为业务平面和管理平面。业务平面设备负责连接服务器、存储、运维区、以及大数据中心对外接口以提供网络连接服务,同时提供网络安全防护。管理平面负责连接大数据平台的所有网络、IT 、安全、运维设备,提供对大数据中心的设备管理连接服务。建设包括核心交换机、管理交换机、路由器几部分。4.5.2.4 基础支撑软件4.5.2.4.1 操作系统软件操作系统是用来提供安全、稳定、良好、可靠的软件运行环境。168、操作系统包括:大数据虚拟化平台操作系统、桌面操作系统、服务器操作系统、嵌 入式操作系统等系统。本项目涉及大数据虚拟化平台操作系统、服务器操作 系统,选择稳定、可靠、支持x86 服务器、便于运维、易于扩容的操作系统产品。大数据虚拟化平台操作系统部署在大数据分析节点群上,通过虚拟化技术,将底层服务器硬件及存储资源实现虚拟化聚合部署、管理,提供良好的基础平台,增强平台的可管理性,提高应用的兼容性和可用性,加速应用的部署,提升硬件资源的利用率,降低能源消耗。服务器操作系统部署在虚拟机上,提供了高层次的安全性、稳定性和系统性能。帮助用户更加容易地使用计算机、安装和配置系统、脱机工作和连接 Interne169、t等,这意味着更低的总体拥有成本。4.5.2.4.2 数据库管理软件XXX大数据平台应用系统数据量大,并发用户多,因此对数据库管理的 要求较高。要选择能够部署在基于x86 服务器上,并支持相应应用的高性能分布式数据库管理系统。在两台服务器上分别部署数据库管理软件,实现双活,对磁盘整列数据进行访问。4.5.2.4.3 地理信息系统应用系统以空间地理信息服务为支撑,大部分功能均需在空间地理信息服务上进行实现。 GIS 平台应满足:1. 基于 SOA架构的 GIS 服务共享;2. 海量空间数据组织与管理;3. 支持空间数据互操作;4. 有安全保障体系;5. 支持丰富的客户端应用;6. 较强的主题地图170、生成能力;7. 强大的地图编辑能力;8. 易于二次开发;9. 支持跨平台应用;10. 为给用户提供一种更为直观的地图场景展现方式,应支持地理信息的三维可视化,并实现三维态势标绘和基本查询定位分析等功能。4.5.2.5 机房设备机房考虑利用社会公共资源,采用租赁方式。XXX大数据平台机房应满足大数据云计算时代的信息化建设需求,机房应为布局合理、功能齐备、设施先进、管理一流的机房,确保机房的电源、温度、湿度、洁净度、照度、防静电、防干扰、防震动、防雷电、环境监控设备监控和设备运行监控等能充分满足数据中心设备的安全性,并满足可靠的全天候运行目标,延长数据中心系统运行无故障的使用时间要求。4.5.3 171、大数据汇聚与共享平台大数据汇聚与共享平台,是以区政务信息资源共享平台为依托,是在区政务信息资源共享平台进行升级建设,建设地理空间信息和宏观经济信息两大基础信息库,汇集整合政务服务、社会治理、安全保障、商事服务、宏观调控、民生服务、城市运行可视化等大数据主题应用库。按照大数据应用规划和要求,通过XXX区政务信息资源共享平台的目录体系和交换体系的基础服务能力,采集各镇(街)和区有关部门的业务信息系统数据,实现大数据主题应用信息资源互联互通,实现与XXX市政务信息资源共享平台互联互通,实现地理空间信息和宏观经济信息等基础信息库的数据交换与共享。如下图所示。图 4.5-4大数据汇聚与共享平台技术架构图172、4.5.4 数据库系统4.5.4.1 政务资源数据库系统依托基础数据库系统的建设,实现各委办局、各所辖地区的经济社会综合数据采集交换,为各部门提供更广泛的信息共享支持。以智慧城市基础数据库系统建立为基础,整合来自各委办局和各所辖地区的、经过审核转换处理的数据资源,实现对经济社会信息的统一和集中存储,确保数据的唯一性和准确性,经过提炼形成支撑业务的政务资源数据库为今后政府工作提供一致的基础数据支持。数据整合共享只是手段,数据分析服务才是目的。在基础数据的基础上,依托智慧城市政务资源数据库系统建设,可有效整合各政府部门所掌握的全市经济社会信息资源,满足政府业务对统一数据资源共享需要,进而提升形势分173、析预测水平,对政府在发展规划、投资布局、资源环境、管理创新、科学决策等业务提供强有力支持,提高政府部门掌控全区经济社会发展态势能力。4.5.4.2 XXX基础数据库系统4.5.4.2.1 人口基础信息库XXX区人口基础信息库依托现有的信息化建设成果和资源,采集公安 局、人口和卫计委、民政局、劳动和社会保障局等部门的人口信息资源,整合户籍信息、婚姻信息、育龄妇女信息、流动人口信息、优抚救助信息、社会保障信息等自然人全生命周期内的信息资源,构建以公民身份证号码为标识的人口信息库,实现XXX区全员人口基础信息的集中管理与充分共享,为政府职能部门提供数据决策支持和人口信息服务。人口信息决策分析应用平台174、:基本形成地区人口预测、人口城镇化评估、人口健康与教育素质分析、人口政策与人口老龄化的辅助决策支撑体系。从而实现对人口问题的早发现、早处理。制定人口基础信息库与公安人口信息管理系统、民政信息系统、计生信息系统、统计信息系统之间访问接口、信息传输和业务交互的相关协议。建立人口基础信息共享平台,实现公安、民政、计生和统计等部门业务信息系统与人口基础信息库数据的定期交换,对人口基础信息库数据的实时查询、对比、引用和核实。人口基础信息库的建设主要包括以下几方面的建设:1. 借助 XXX大数据平台的交换与共享系统,实现不同业务管理系统之间的数据交换与共享,从业务管理系统抽取人口基本信息形成人口基础信息库175、,基础库数据被不同的主题业务调用。2. 制定全区实有人口基础信息交换流程,依托人口基础数据交换平台, 以公众服务为中心,以信息流为主要线索,梳理整合政府工作流程,全面提升政府工作效率和服务水平。主要包括:暂住登记、户籍变更、结离婚、出生死亡、孕妇建卡、健康档案、社区管理、低保变更、残疾登记、矫正对象程、劳动力就业变更等数据更新流程。3. 建立全区实有人口基础信息共享和应用的长效机制。如信息更新维护机制、监督检查机制,保证人口基础信息的共享、开发与利用。同时理顺人口信息采集的多种渠道,公安、民政、计生等有关部门按照各自职能分工负责、协同工作,建立科学的人口基础信息采集机制和制度,减少重复劳动, 176、降低基层工作量,同时把好数据的及时更新关和质量关。4. 建立以公安部门的户籍和暂住人口基础信息为基础、以身份证或护照号码以及居住性质为唯一标识、以实际居住地为动态补充的实有人口基础信息库。利用现有的公安常住、暂住人口数据库、民政社区人口数据库,以及计生、劳动、卫生、残联等数据库,通过数据交换和综合比对,完成对历史数据的入库工作。5. 基于人口基础信息库,开发部署人口基础信息综合统计分析决策应用平台,为各级领导提供全人口总人数、分布情况、各个年龄段人数等数据统计和分析结果,为政府领导提供宏观决策依据,同时为企业和社会公众提供便捷的人口信息公共服务。6. 利用已有的政务信息资源目录体系,编制人口基177、础信息主题目录,对外提供人口基础信息检索定位服务。7. 制定“人口信息库管理规范”和各类数据标准规范,包括:人口信息库数据元规范、人口基础信息库数据核查规范、人口基础信息共享与应用框架等。4.5.4.2.2 法人单位基础信息库以统一的社会信用代码为基础,依托电子政务外网平台整合工商、民政、质监等法人单位基础数据,形成统一的、及时的、完整的、权威的法人单位基础信息库,同时,通过对法人单位信息增加地理标识,法人单位基础信息库中包含法人地理信息。法人单位基础信息库的建设旨在通过对法人单位基础信息的采集整合, 实现全区法人单位信息资源共享,提高政府决策支持能力,提供宏观调控、市场监管、社会管理和公共服178、务的信息化手段。XXX法人单位基础信息库依托电子政务外网,由 XXX区政府牵头,会同工商、民政等单位共同建设完成以各类法人审批单位的法人基础信息为基础,以统一的社会信用代码为唯一标识的完整、准确、动态更新的区法人单位基础信息库,实现法人单位基础信息的采集、处理、存储、更新、交换、服务为一体的规范化的法人单位基础信息库运行、管理、共享体系,为相关部门的业务应用、跨部门业务应用和宏观决策等提供基础数据支持与服务, 同时为国家法人单位基础信息库提供信息采集与储备支持,向社会公众提供基于法人单位基础信息的相关服务。法人单位基础信息库的建设包含:1. 依托电子政务外网数据交换平台实现XXX区法人单位基础179、信息的采集、交换和共享应用;2. 建设法人单位基础信息库管理系统,实现对法人基础信息的统一管理和维护;3. 建设法人单位地理信息服务系统,实现对法人单位信息的地理标识和地理信息服务;4. 建设法人信息服务门户,实现法人单位信息的在线服务,为个人、法人和其他等不同对象提供应用服务;5. 实现法人信息对其他部门业务系统的实时在线支撑。法人单位基础信息库管理系统:实现法人单位基础信息库数据采集、数据清洗、数据加载、数据整合、数据比对、数据传输、数据维护、流程控 制、平台监控等工作的程序化和规范化管理,并实现对法人单位地理信息的管理和应用。法人单位基础信息统一应用服务平台:基于法人单位基础信息和法人单180、位地理信息实现法人库的政府应用和社会应用,满足各业务部门对法人单位基础数据的应用需求,提供联合监管、协同办公、行政许可、统计查询等多种应用服务,发布法人单位业务信息。4.5.4.2.3 自然资源和空间地理基础信息库自然资源和地理空间基础信息库项目的主要任务是整合现有的自然资源和地理空间信息,使之形成满足电子政务及社会公众需要的信息产品,因而项目建设的重点是各种信息库。根据项目建设的总体目标,主要包括以下几个部分:1. 基础性地理空间信息库建设:对覆盖全区的基础地理数据库、遥感信息资源进行标准化改造和统一的地理空间元数据系统建设,形成标准、统一的电子政务基础地理数据框架和遥感信息资源。2. 基础181、性自然资源信息库建设:对自然资源数据库进行标准化空间集成改造,建设逻辑和空间定位框架统一的自然资源信息库和元数据系统,形成支持电子政务的标准化、规模化、可共享的自然资源信息及其可交换的标准化信息资源产品。如土地资源基础信息、矿产资源基础信息、水利资源基础信息、林业资源基础信息、海洋资源基础信息、气象气候资源信息、资源环境时空动态信息等;并在未来条件成熟时对数据覆盖范围进行扩充,逐步将农业资源信息、渔业资源信息、交通地理空间信息、城市地理空间信息、环境地理空间信息、生态地理空间信息等纳入到信息库体系中。3. 自然资源和空间地理综合信息库建设:在各种主题数据库标准化空间集成改造的基础上,对跨部门、182、跨行业的自然资源与基础性地理空间信息资源进行整合,形成支持电子政务综合应用的统一的基础性地理空间信息平台和可共享的自然资源综合信息库。内容包括:基础地理和区划综合信息库、遥感影像综合信息库、自然资源综合信息库、资源环境遥感动态监测综合信息库等,自然灾害监测预警和突发事件应急反应综合信息库、资源安全动态评估预警综合信息库、可持续发展和地区经济综合信息库、生态环境评估综合信息库、重大基础设施及生态工程监测综合信息库。4.5.4.2.4 宏观经济信息数据库宏观经济信息数据库主要开发建设宏观经济信息数据库的信息共享平台;建设涵盖全区发改、财政、税收、投资、消费、出口、物价等部门的共享数据库和主题数据库183、;通过元数据技术和其他多样化的信息检索工具,建立多数据源、多目录之间的集成配置体系;研究、制定与信息交换共享相关的系列标准规范机制。 XXX大数据平台宏观经济数据库的建设主要包括以下内容。1. 数据共享平台建设采用统一的 XXX大数据平台。2共享数据库建设建立起全区宏观经济信息数据库指标体系,数据库范围涵盖全区宏观经济和社会发展管理部门的基础数据,实现宏观经济与社会发展基础数据的集中存储和利用。共享数据库建设将在尊重部门现有管理职能和系统建设差异的基础上,充分发挥现有信息系统的作用,依托各部门已有数据库,通过制定标准规范,建立逻辑集中、适度分布的数据共享体系。3. 主题数据库建设根据宏观调控需184、要,建立面向主题的数据库。主要包括:经济统计数据库、农经数据库、财政预算收支数据库、金融数据库、外贸进出口数据库、外经数据库、重点企业数据库、重要商品价格数据库、投资项目数据库、国民经济发展规划计划数据库、社会发展数据库、区域主要经济指标库、经济文献库等等。4. 元数据库建设元数据库系统主要是由元数据库、统一元数据管理和规划设计系统组成,是一个对宏观经济信息数据库的元数据进行定义、管理和维护的系统。通过元数据库系统建设满足宏观数据库系统的标准化设计和管理。通过该平台实现对宏观指标包括全区主要经济指标、地方财政收入、税收完成情况、金融机构信贷情况、各镇办主要经济指标等信息的展示。同 时,实现统计185、部门的宏观经济信息数据与各单位提供的统计数据进行比对, 从而最大程度的保证统计数据的正确性。通过这些宏观指标的展示和分析, 为区领导掌握全区的宏观经济情况提供很好的决策服务作用。4.5.4.3 主题库数据库系统随着各个业务系统的建立和使用,政府、企业和社会公众不但对基础数据库等公共信息的需要越来越迫切,而且各个业务部门对其他部门专业数据的需求也非常强烈。因此,要在统一的数据标准下建立起信息资源主题库, 建立起对这些数据库的管理、维护、更新和使用的长效管理机制,使数据库能够不断的扩展、完善,保证数据的一致性、鲜活性和准确性,为整个信息资源的规划和建设奠定一个良好的基础。依照政府主题数据库资源开放186、的计划、目录和标准规范及安全保护准则,建立主题数据资源,提供面向公众的主题数据服务,推动民生保障、公共服务和市场监管等重点领域的公共数据资源向社会开放。根据经济社会发展需要,逐步建立以下几类主题数据库:城市环境库,能够在环境遭到破坏之前对环境的发展做好预测、监测工作,并做好相应的环境规划工作,对城市环境进行及时治理和有效控制;公共安全管理信息 库,针对城市公共安全的大量数据,合理组织和合理设计结构,是确保城市公共安全的关键;公共信用库,包括企业信用信息征信系统、个人信用信息管理系统;市场监管库,以依法加强市场主体行为监管为重点,推进市场行为监管体系建设,保障公平竞争,维护市场秩序。4.5.5 187、综合应用系统4.5.5.1 城市运行可视化平台城市运行可视化平台集合城市运行各方面的数据进行专题展示,为区领 导人员提供全区统一的城市运行可视化展示平台,基于GIS及统计分析图表直观展示 XXX区的运行状况,主要包括城市能源运行、城市人口密度展示、产业分布热点展示、公共安全大数据展示、职住平衡展示等内容。4.5.5.2 政务服务通过运用大数据手段,整合全区资源,提高政府政务服务水平。政务服务主要包括“数说XXX”数据资源统一开放平台和一站式登录平台等内容的建设。1. “数说 XXX”数据资源统一开放平台建立“数据 XXX”数据资源统一开放平台,统筹管理可开放政府数据资源,为公众提供全区统一的公188、共数据资源统一开放平台,提供面向公众的政府数据服务,实现XXX区政务数据的主动公开,推动民生保障、公共服务和市场监管等重点领域的公共数据资源向社会开放,提高社会运行效率、加速推进基层治理体系与能力现代化。2. 一站式登录平台一站式登录平台整合全区政务系统,构建统一的登录平台,实现多个系统的一站式登录,方便工作人员进行业务系统的使用和账号管理,提高政务人员工作效率。4.5.5.3 社会治理在企业监管、质量安全、节能降耗、安全生产等领域,建立跨部门、跨领域、跨行业的社会治理协同推进机制,加强社会管理和服务,推动社会治理精准化。社会治理主要包括城市生命管线管理平台、企业偷税漏税大数据监察平台、市场监189、管平台、精准扶贫平台和自然人平台的建设。1. 城市生命管线管理平台城市生命管线管理平台统筹管理全区内公众日常生活必不可少的水、电、气、交通等管线运行情况,对于各类管网的运行情况进行全面实时的监测,保障管网的正常有序运行,及时发现隐患,减少事故发生。主要包括三维管网建模、官网数据管理、三维管网分析、管网数据查询、管网施工辅助和能源监测预警等内容。2. 企业偷税漏税大数据监察平台基于经济数据库,打通各经济部门间的数据共享渠道,通过相关数据的比对,清查故意虚报或瞒报数据情况,有效避免偷税漏税情况的发生,主要包括偷税漏税企业计算模型和偷漏税企业结果展示等内容。3. 市场监管平台市场监管平台将从大数据信190、息整合、企业行为预警、监管部门工作协同等多方面对市场运行秩序进行监管,维护市场秩序的稳定,保障经济的稳定有序发展,主要包括企业不良行为预警和劳动仲裁信息联合等内容。4. 精准扶贫平台基于大数据平台的数据基础,利用先进的互联网技术创新精准扶贫工作模式,对扶贫对象实施精确识别、精确帮扶、精确管理的治贫方式,实现精准扶贫。5. 自然人平台自然人平台整合人口库等基础数据库,以个人为主体,实现个人信息的全方位登记,主要包括自然人档案、市民肖像、人员背景审查和专题查询等内容的建设。4.5.5.4 安全保障在法律许可和确保安全的前提下,加强对社会治理相关领域数据的归集、发掘及关联分析,构建网格化、智能化的社191、会治安防控体系,为提前发现、及时预警、妥善应对和有效处置重大突发公共事件提供数据支撑;推动安全保障高效化,保障XXX区社会安全稳定,经济平稳有序发展。安全保障主要包括网格化管理平台、群防群治系统和舆情监控预警系统的建设。1. 网格化管理平台主要包括网格化空间数据整合、网格化基础数据管理、基础网格信息展示、网格排查服务和网格事件处置等内容。2. 群防群治系统群防群治系统通过整合公众的力量发现各类违规事件,扩大事件信息来源,扩展事件社会治理事件获取渠道,及时发现安全隐患,将安全隐患消除在萌芽状态。3. 舆情监控预警系统舆情监控预警系统主要包括海量数据聚焦、舆情监测体系、舆情大数据深度分析、舆情分析192、报告、舆情追溯评估等内容的建设。4.5.5.5 商事服务为推进本市商事制度改革,健全市场监管体制,促进经济发展,使各许可部门能够即时准确地掌握商事主体注册信息,为公众用户提供准确、方 便、快捷的商事服务系统。设计建设内容如下:(1) 一照一码网上办理系统实现各个部门关联对接,通过网上在线申请,实现“多证合一、一照一码”商事登记申报、受理、审核、查询流程。(2) 触屏版手机商事服务系统门户触屏版手机商事服务系统,面向手持终端,提供基于移动浏览器的商事服务功能,提供全功能的商事服务主体公示服务能力。4.5.5.6 宏观调控为了保障 XXX区经济的平稳运行及稳步增长,统筹利用政府和社会数据资源,强化193、互联网资源利用和信息服务,加强与政务数据资源的关联分析和融合利用,使政府相关部门能够实时准确的监测经济现状,分析评估预警但钱经济现状,预测未来经济走向,进行科学规划。加强对招商与企业扶持方面的管理,拓宽招商引资渠道,帮助企业突破发展瓶颈,促进企业的持续、快速、健康发展,优化产业结构,间接带动XXX区经济的增长。设计建设内容如下:(1) 经济社会发展辅助决策支持系统依托宏观经济信息数据库,建立全省宏观调控决策支持、风险预警和执行监督的大数据应用体系,为经济运行动态监测分析、产业安全预测预警以及转变发展方式分析决策提供信息支持。(2) 企业扶持管理系统基于法人库做企业扶持模型,推导出需要扶持的企业194、,企业也可通过系统自行申请辅助,系统为相关部门提供企业信息校对功能,判断自行申请的企业是否满足扶持条件。(3) 招商服务系统实现对招商工作进行流程化管理,扩展招商渠道,实现优化XXX区产业结构的目的。(4) 白日人口库平台主要实现的功能为利用人口库的白天属性如上班地点、工资收入等,进行店铺选址,提高店铺营业额,间接带动XXX区的经济发展。此应用可以显著提升政府决策者和研究人员对宏观经济和社会发展的认识水平和把握能力,提高决策水平实现精准决策,提高社会资源配置效率, 生蚝的发挥政府引领作用,促进经济健康快速增长。4.5.5.7 民生服务服务民生是政府工作的重要内容,为了进一步提高政务服务水平和群195、众满意度,对政府热线及相关民生信息资源进行整合,建设一站式惠民服务平台,着力解决好关系人民群众切身利益的公共便民服务、公共信息查询、商务信息服务等方面的问题;为了使政务信息、预警信息及其他各类信息能及时传递给公众,建立公众信息发布平台,最大限度地维护好广大人民群众的切身利益。设计建设内容如下:(1) 一站式惠民服务平台主要整合了各类民生服务信息,包含办证信息、政务信息、生活信息、健康信息、教育信息、文化信息、交通信息、社保信息等,并整合了各类投诉渠道,为公众提供一个一体化的服务平台。(2) 公共信息发布系统为政府部门提供了一个对外发布信息的系统,包含多种发布渠道,确保公众可以及时获取到相关政务196、预警信息等。第五章一期项目建设方案5.1 建设目标、规模与内容5.1.1 建设目标加快大数据基础设施建设,并推动共享基础数据库的建设,为各部门提供基础信息和业务运行服务;建设大数据汇聚与共享平台,推动资源整合和政府数据开放共享;打造全区统一管理的大数据中心,实现区政府大部分业务系统的迁移,使全区共性软硬件统一规划、统一建设、统一应用和统一管理,实现节能、减排、高效、共享的目标;建设部分大数据创新应用并取得初步成效,运用大数据推动政务服务、社会治理、民生服务等领域政府治理水平显著提升。5.1.2 建设规模(1) 大数据中心大数据中心包含XXX大数据支撑平台、安全保障系统、计算机网络系统、基础支197、撑软件。大数据支撑平台含5 台虚拟化平台服务器、 1 台虚拟化平台管理PC、20套虚拟化平台管理软件、1 台 Oracle数据库服务器、 1 套磁盘阵列扩容、 4 台新增大数据分析节点服务器、9 套大数据分析节点服务器扩容和13 套大数据分析处理平台;安全保障系统包含主机安全、应用安全及数据安全;计算机网络系统包含2 台核心交换机、 2 台管理交换机及1 台路由器及 1套计算机网络管理软件;基础支撑软件要建设4 套数据库管理系统、 27 套虚拟机操作系统及1 套地理信息软件。(2) 大数据汇聚与共享平台建立大数据汇聚与共享平台,采集全区30 个部门的数据,整合并有效利用全区数据信息资源。(3)198、 数据库系统建立政务资源数据库系统、共享数据库、基础数据库系统及部分主体数据库系统。其中政务资源库系统是存放采集上来的未经处理的数据,数据经整合清洗后进入共享数据库,为各部门数据的交换与共享提供数据,共享数据库中 的数据经整合后形成基础数据库系统,包含4 大基础库分别是人口基础信息库、法人单位基础信息库、自然资源和空间地理基础信息库及宏观经济信息 数据库;根据一期建设的综合应用的需求,最后形成主题库数据库。(4) 综合应用系统一期建立包含政务服务、社会治理2 大应用部分内容及城市运行可视化平台。(5) 系统迁移将各个部门的自建应用系统迁移到大数据平台上,实现系统的统一管理,统一运维。5.1.3199、 建设内容图 5.1-1 XXX 大数据平台分期规划图 5.1.-1中,蓝色表示一期建设内容,包含大数据中心、大数据汇聚与共享平台、数据库系统中的政务资源数据库、共享数据库、基础数据库、综合应用系统中政务服务应用的数说XXX、一站式登录平台;粉色表示一期建设部分内容,包含综合应用系统中城市运行可视化平台、社会治理应用的市 场监管平台及自然人平台、数据库系统中的主题数据库。(1) 完成大数据中心建设建设包含大数据虚拟化平台及大数据分析平台在内的XXX大数据支撑平台;建设计算机网络系统、安全保障系统;建设基础支撑软件,包含操作系统软件、数据库管理软件及地理信息软件。(2) 完成大数据汇聚与共享平台200、建设建设大数据汇聚与共享平台,完成数据采集并将数据资源进行有效整合,并根据各部门的业务流程及数据需求,制定数据交换与共享机制,保障大数据汇聚与共享平台的稳定运行。(3) 完成政务资源数据库系统、共享数据库、基础数据库系统和部分主题库数据库系统建设建设政务资源数据库系统,保存全XXX各个部门政务资源数据;在政务资源数据库基础上,经数据清洗,参照资源目录建设共享数据库;将共享数 据库中的数据再次整合清洗,建设包含人口基础信息库、法人单位信息资源库、宏观经济信息库、自然资源和空间地理基础信息库在内的4 大基础库;建设部分主题库数据库系统,为一期建设的综合应用系统做支撑;建立数据的更新维护机制,确保数201、据库中的数据的时效性。(4) 建设部分大数据创新应用建设政务服务应用中的数说XXX系统及一站式登录平台;建设社会治理应用中的市场监管平台与自然人平台,协助政府各部门的工作并提升政府的 社会治理能力及公众服务能力。同时建设城市运行可视化系统,为领导提供 掌握全区运行情况的工具。(5) 将各部门的系统迁移到大数据平台上为了实现统一管理,统一运维,将各个部门的自建系统迁移到大数据平台上。5.2 大数据中心在满足基础支撑系统系统功能整体需求的基础上,一期的需求是能够保存、快速处理近三年的结构化、半结构化数据业务性能诉求,并能支撑未来扩容需求。建设主要包括大数据支撑平台、基础支撑软件、计算机网络系统、安202、全保障系统、机房等部分,分别做描述。如图所示 XXX大数据平台拓扑图。图 5.2-1 XXX 大数据平台拓扑图5.2.1 XXX大数据支撑平台5.2.1.1 大数据虚拟化平台大数据虚拟化平台采用虚拟化技术,以充分利用计算、存储、网络等资源,同时采用数据备份方案以增加可靠性。可以实现:1. 效率大幅度提高由于将资源池化管理和使用,资源得到充分利用。采用分权分域运维的方式,运维更加有效。2. 更低能耗更加节能,基础设施与IT 设备联动节能、负荷均衡。3. 优化业务新业务上线周期大幅度缩短。可以为各单位提供更多业务:IAAS、PAAS、SAAS,等等。4. 提高效益在区级单位建立虚拟化平台,其他各单203、位不需要建立维护自己的基础设施,利用区大数据虚拟化平台运行各自应用。投资收益率,大幅提升,TCO大幅度降低。5.2.1.1.1 设计原则1. 统一的虚拟化平台采用虚拟化管理软件,将计算资源划分为多个虚拟机资源,为用户提供高性能、可运营、可管理的虚拟机。支持虚拟机资源按需分配。支持多操作系统。保证资源合理分配,隔离用户间影响。本项目中,为新开发业务系 统、迁移业务系统、数据交换与共享前置机分配虚拟机。2. 统一的资源管理统一资源池,屏蔽不同硬件差异,资源的更换升级对用户零感知。统一管理平台,支持业界主流的操作系统,兼容现有计算及存储资源。设备自动发现,资源快速发放,缩短业务上线时间。3. 支持多204、种硬件设备支持多种服务器和兼容多种存储设备,可供用户灵活选择。4. 自动化调度支持自定义的资源管理策略、故障判断标准及恢复策略。通过资源调度、热管理、能耗管理等一体化拉通,降低维护成本。自动检测服务器或业务的负载情况,对资源进行智能调度,均衡各服务器及业务系统负载,保证系统良好的用户体验和业务系统的最佳响应。5. 完善的权限管理根据不同的角色、权限等,提供完善的权限管理功能,授权用户对系统内容的资源进行管理。6. 应用智能管理支持服务目录,应用快速部署。灵活的模板机制,支持用户自定义模板。7. 精细化计费针对不同的业务类型,进行精确计费。按IT 资源( CPU、内存、存储)用量计费。按时计费。205、 8丰富的运维管理,实现业务的可控、可管,使整个系统有效运营。支持快速故障定位,系统通过获取异常日志和程序堆栈等方法,缩短问题定位时间,快速解决异常问题。系统通过自动化的健康状态检查,及时发现故障并预警,确保虚拟机可运营管理。支持全Web化的界面,通过Web浏览器对所有硬件资源、虚拟资源、用户业务发放等进行监控管理。9安全采用多种安全措施和策略,并遵从信息安全法律法规,对用户接入、管理维护、数据、网络、虚拟化等提供端到端的业务保护。5.2.1.1.2 虚拟化平台设计图 5.2-2虚拟化平台架构如图所示为虚拟化平台的架构,主要包括五个部分:硬件基础设施、虚拟化存储、虚拟化计算、平台管理、数据存储206、系统五个部分。5.2.1.1.2.1 硬件基础设施层硬件资源包括服务器、存储、网络等全面的平台基础物理设备资源,支持平滑新建或扩容,是运行各种应用的平台。支持的设备类型丰富,提供灵活的部署选择。平台包括以下硬件设备:1. 采用五套虚拟化平台服务器提供基础支撑,需要在物理服务器上部署虚拟化平台管理软件(按照CPU数量部署)用于提供虚拟化服务;2. 一台 PC用于虚拟化平台管理PC;3. 两台物理数据库服务器用于安装数据库管理系统;4. 一套磁盘阵列提供数据存储服务;5. 二台 FC光纤交换机用于连接服务器和存储磁盘阵列;6. 服务器都连接到核心交换机上以提供IP 网络连接。5.2.1.1.2.2207、 虚拟化存储通过软件管理,可以把本地硬盘存储资源组织成一个虚拟存储资源池,提供块存储功能。除了利用虚拟化平台服务器的存储空间以外,也可以使用磁盘阵列的存储空间。5.2.1.1.2.3 虚拟化计算通过虚拟化平台软件,主要负责硬件资源的虚拟化,以及对虚拟资源、业务资源、用户资源的集中管理。采用虚拟计算、虚拟存储、虚拟网络等技术,完成计算资源、存储资源、网络资源的虚拟化。同时通过统一的接口, 对这些虚拟资源进行集中调度和管理,从而降低业务的运行成本,保证系统的安全性和可靠性。需要在物理服务器上部署虚拟化平台管理软件(按照 CPU数量部署)用于提供虚拟化服务,本项目一期需要配置 20 个 CPU的虚拟208、化平台管理软件。根据实际需要在虚拟化平台上配置以下虚拟机:迁移业务应用虚拟机(约 47个)、新开发业务虚拟机( 7 个)、数据交换与共享前置虚拟机( 20 个),在虚拟机上安装操作系统并部署应用系统提供服务。5.2.1.1.2.4 平台管理对虚拟化平台的软件和硬件进行全面的监控和管理,实现自动化资源发放和自动化基础设施运维管理两大核心功能,并向内部运维管理人员提供运营与管理门户。此外,还有虚拟化备份软件以实现虚拟机数据备份方案,容灾业务管理软件提供虚拟机关键数据的数据保护和容灾恢复。5.2.1.1.2.5 数据存储系统设计数据存储系统采用统一规划设计,分布实施的策略。设计主备磁盘阵列,其中主磁209、盘阵列为第一期实施,与其他业务系统部署在电信主机房,备用磁盘阵列为后期实施,部署在移动机房。为保证数据业务的高可靠性,采用“物理服务器+磁盘阵列”的 SAN存储系统。物理服务器上运行数据库管理系统,数据存储在磁盘阵列上,为应用业务提供高效服务。虚拟化服务器通过光纤交换机与磁盘阵列相连,一般情况下磁盘阵列只为数据库服务器服务,必要时也可以分配给虚拟机使用。一期存储系统方案包括两台数据库服务器、两台 FC交换机和主磁盘阵列。图 5.2-3 SAN 存储系统配置一套中高端存储(磁盘阵列)作为核心存储以保证数据的安全性, 配置 FC交换机连接数据库服务器和虚拟化平台服务器以及主磁盘阵列。实现各业务系统210、分散数据的集中存储,提供高可靠、高性能、高扩展的存储系 统,为业务系统提供数据存取的支撑平台。SAN存储系统采用两套光纤交换机,双机热备方式,每台光纤交换机FC接口分别连接主存储、虚拟化平台服务器、数据库服务器。采用冗余架构,保障数据的可靠性和业务的连续性。如果后续新增业务系统,只需要连接到存储区域网络,并分配相应的存储空间,就可实现数据的集中存储。如果容量不够,只需要增加磁盘及配套的磁盘扩展柜。业务的扩展和扩容可实现即插即用,轻易地进行部署应用。5.2.1.1.2.5.1 高性能 SAN存储系统SAN(Storage Area Network)存储区域网络,是一种通过SAN网络方式连接存储设211、备和服务器的存储架构,SAN网络专用于主机和存储设备之间的 访问。当有数据的存取需求时,数据可以通过SAN存储区域网络在服务器和 后台存储设备之间高速传输。采用 SAN使存储空间得到更加充分的利用。在SAN网络中,存储实现的是直接对物理硬件的块级存储访问,提高了存储的性能和升级能力。SAN更适合网络关键任务的数据存储,与其他存储技术相比,SAN网络具有以下特性:1. 高可用,作为统一存储资源池为各个系统所共享,各系统服务器通过接入 SAN网络,快速高效地实现对存储的访问。2高性能,多采用业界最先进的技术,包括Intel专用存储多核处理器、超大缓存扩展、 PCI-E 2.0 、SAS 2.0 、212、SSD等。3便于扩展,数十倍的存储容量扩展能力提升,支持多种存储介质混合使用,支持容量弹性分配,在线扩容。4. 高安全:存储系统完全冗余设计,全系统无单点故障,包括控制器、电源、电池、风扇等均为冗余结构;每冗余设备在故障出现时能保证自动切换,任何单一部件故障都不会影响整个存储系统的正常运行。5. 可实现基于网络的高效备份,适合于海量数据、关键数据的存储备份。6. 支持集中管理和远程管理,支持服务器的异构平台。同时 SAN存储区域网具有更广的应用领域,如数据共享、存储共享、数据备份、灾难恢复等。5.2.1.1.2.5.2 存储方案优势1. 高可靠本方案所采用两台磁盘阵列提供全面的系统故障保护,最213、大限度的保证用户数据的可用性和安全性。(1) 全冗余架构采用双活镜像技术、双控制器架构,控制器、磁盘柜、缓存、硬盘等关键组件都采用冗余设计,保障系统的高可靠。(2) 冗余 SAN组网为提高整个系统的可靠性,本方案在SAN架构设计上严格按照冗余方式 进行组网,防止单点故障。服务器接入,至少采用两个存储接口卡接入SAN 网络; SAN交换设备,采用 SAN交换机两个交换板卡同时工作,保证所有连接设备至少双链路通信;(3) 完善的磁盘安全策略2. 高性能在架构设计上,采用大量业界先进技术,包括大容量缓存扩展、PCI-E2.0 、SAS 2.0、SSD等,构建高性能的存储平台。(1) 高带宽总线技术(214、2) 大容量智能缓存管理3. 高扩展性方案的高扩展体现在存储的容量及性能高扩展。5.2.1.1.3 虚拟化平台关键特性平台采用虚拟化技术实现了以下关键特性:1. 内存复用内存复用是指在服务器物理内存一定的情况下,通过综合运用内存复用单项技术(内存气泡、内存共享、内存交换)对内存进行分时复用。通过内存复用,使得虚拟机内存规格总和大于服务器规格内存总和,提高服务器中虚拟机密度。2. 虚拟交换管理实现服务器上的虚拟交换机的物理端口和虚拟端口进行配置/ 维护。大大减轻管理虚拟基础设施的负担。提供可视化的网络管理能力,可以较好的呈现虚拟网络的拓扑、流量信息,可以较大提高网络系统的可维护性。3. 共享存储215、消除了热点也提高了性能,提供更高的IO 存储带宽,降低成本。4虚拟化网络通过 VXLAN技术,解决虚拟网络数量不足的问题,以满足多虚拟机环境下的大规模网络部署。同时利用 VXLAN的组播功能,限制虚拟网络的广播域,从而提升网络性能。5. 动态资源调度满足不同使用场景下对资源的使用需求,优化资源分配,在降低功耗的同时提高资源的利用效率。6. 虚拟化防病毒为了对主机中所有虚拟机进行病毒防护,若采用传统防病毒产品,则需要在每台虚拟机本地安装防病毒产品,这样会占用较多资源。需要虚拟化防病毒解决方案,做到仅需在一台特殊的安全虚拟机中部署防病毒引擎,在用户虚拟机本地安装轻量级驱动和查杀协作即可完成杀毒。实216、现集中管理,无需对每个虚拟机安装和升级病毒库。7. 数据备份把数据复制到转储设备中。转储设备是指用于放置数据拷贝的磁带或磁盘。当系统故障或数据丢失时,可由备份的数据进行系统恢复或数据恢复。5.2.1.1.4 虚拟化平台配置表 5.2-1虚拟化平台设备第一期配置序号1设备虚拟化平台服务器配置4CPU:Xeon E7-8860 v3 2.20G 16Core数量,内存256G,硬盘: 4*300G SAS,网卡: 2*GE, 2*FC HBA5Intel或 AMD X86架构的 32 位 CPU,内存: 2GB,2虚拟化平台管理 PC硬盘:操作系统所在磁盘分区剩余空间大于1GB/至少有一个非操作系217、统所在的磁盘分区剩余空间大于 2GB 。13虚拟化平台管理软件高级版,含虚拟化管理软件、虚拟化实施服务。个 CPU。20202 颗 10 核以上处理器,频率 2.0 GHz,缓存4数据库服务器20MB;内存: 128GB;硬盘: 3 块 300G 15000 转热插拔 SAS硬盘;网络: 4 个高性能千兆网口; SAS卡: 1 块,用于连接外置磁带机;HBA卡: 2 块单2端口 16Gb FC HBA卡;电源: 2 个热插拔电源;2012 标准版操作系统。控制器: 2 个,每控制器 32GB缓存, 16Gb光纤通5主磁盘整列6FC交换机道;磁盘容量 45TB 10K 转 SAS硬盘;支持 2.218、5和 3.5 SAS 、近线 SAS和固态硬盘。光纤交换机,接口速率:16Gb;接口数量 24,激活端口数量 24;光纤模块数量 8。125.2.1.2 大数据分析管理平台建设内容包括大数据分析处理平台、大数据分析节点群两部分。通过在物理机 X86集群上安装大数据分析处理平台软件,对大数据进行分析处理, 挖掘数据价值。如图所示大数据分析管理平台。图 5.2-4大数据分析管理平台5.2.1.2.1 大数据分析处理平台大数据分析处理平台应用范围覆盖各种规模和不同数据量的场景,通过内存计算、高效索引、执行优化和高度容错的技术,使得一个平台能够处理10GB到 100PB的数据,并且在每个数量级上,都能219、比现有技术提供更快的性能;不再需要混合架构,可以伴随客户的数据增长,动态不停机扩容,避免数据迁移的棘手问题。大数据分析处理平台功能包含四个功能组成部分:分布式内存分析引擎,数据挖掘引擎,分布式实时在线数据处理引擎和流处理引擎,在不同场景下分别完成不同功能。5.2.1.2.1.1 分布式内存分析引擎交互式内存分析引擎提供高速SQL分析和 R语言数据挖掘能力,可建立高速可扩展的数据仓库和/ 或数据集市,结合多种报表工具提供交互式数据分析、即时报表和可视化能力。提供完整的ANSI SQL支持以及 PL/SQL过程语言扩展,可以支持复杂的数据仓库类分析应用,也使得从原有数据库系统迁移更为容易。5.2.220、1.2.1.2 数据挖掘引擎数据挖掘引擎支持R语言引擎,用户可以通过R访问大数据分析节点群上的 HDFS或者分布式实时在线数据处理引擎中的数据,还支持访问存储在分布式内存中的数据。在数据挖掘引擎中,用户既可以通过R命令行,也可以使用图形化的 R Studio执行 R语言程序来访问数据,易用性极高。数据挖掘引擎内置了大量常用机器学习算法的分布式实现,可以与R语言中的数千个算法混合使用,配合内置的高度优化的专有算法,可高速分析现有平台中的 海量数据。此外,数据挖掘引擎还集成了多个机器学习算法库,包含了统计 算法、分类算法、聚类分析、回归分析、频度关联分析和神经网络在内的常 用算法,方便用户快速构建221、大规模数据挖掘系统和方案。5.2.1.2.1.3 分布式实时在线数据处理引擎分布式实时在线数据处理引擎融合了多种索引技术、分布式事务处理、全文实时搜索、图形数据库在内的实时数据库。可以高效地支持企业的在线联机分析处理应用、高并发联机分析处理应用、批处理应用、全文搜索或高并发图形数据库检索应用,结合分布式内存分析引擎,可以创建可扩展在线运营数据库( Operational Database)或者实时分析型数据库(ODS - Operational Data Store)。5.2.1.2.1.4 流处理引擎实时流处理引擎提供了强大的流计算表达能力,支持复杂的应用逻辑,业务系统的消息通过实时消息队列222、进入计算集群(大数据分析节点群),在集群内以流水线方式被依次处理,完成数据转换、特征提取、策略检查、分析告警等复杂服务计算,最终输出到分布式实时在线数据处理引擎等存储集 群,实时生成告警页面、实时展示页面等。系统具备强扩展性、强容错、低延迟、高吞吐等特点,应用于实时数据(如传感器数据)的实时告警、风险控制、在线统计和挖掘等业务。5.2.1.2.1.5 大数据分析支撑系统大数据分析支撑系统具有高模块化和松耦合的架构,针对不同的应用领域通过组件之间的灵活组合与高效协作来提供定制化的支撑。1. 数据存储层:基于HDFS2.2的大数据存储和在线服务系,支持Erasure Code ,在副本数降低至1.223、5 倍的情况下,提高了可靠性,可同时容忍四个数据块丢失,支持可靠存储TB到数十 PB的数据;2. 资源管理层:缺省采用下一代资源管理框架YARN进行资源的分配和调度,支持同时运行多个计算框架;3. 计算引擎层:采用Map/Reduce2完成大部分离线批处理计算任务;4. 数据分析与挖掘层:支持离线批量SQL统计,支持机器学习算法库Mahout;5. 数据集成层: Sqoop支持数据迁移, Flume支持从日志系统采集数据;与外部工具的对接:1. 与 ETL工具的对接,支持商业和开源的ETL工具,例如: Sqoop、Pentaho、DataStage 、Informatica、Trinity等工224、具,并在较多项目中有实际的集成、落地经验;2. 任务调度工具,通过Ooize、Waterline 、Trinity等工具进行作业调度;3. 报表工具对接,同现有成熟的商业报表工具都可以无缝对接,包括:IBM Cognos、Oracle BIEE 、Sap BO、Microstrategy、Tableau、永洪 BI、帆软报表、水晶报表、润乾报表等等。5.2.1.2.2 大数据分析节点群大数据分析节点群需要选择一组用网络连接起来的x86 服务器,并在服务器上安装运行大数据平台软件,进而提供大数据分析能力。以下是大数据 分析节点群最少的服务器配置要求,可以根据实际情况做调整。其中至少配 置 2 个225、管理节点,如果有结构化数据要处理至少配置3 个以上分析节点用于处理结构化数据,如果有非结构化数据需要处理至少配置3 个以上节点用于处理非结构化数据。表 5.2-2服务器配置要求服务器数量推荐配置及说明管理节点 2 个,节点数根据数据存储容量计算,其中结构化分析节点至少 3 个,非结构化分析节点至少两路 8 核处理器 2*E5-2650v3 或以上128GB ECCDDR33 个。CPU内存10 个 1.2T 的 SAS硬盘, 10000RPM,不使用 RAID;硬盘2 个 300G的 SAS硬盘, 15000RPM, RAID1,作为系统盘网络双口万兆( 10Gbps)以太网卡5.2.1.2.226、3 软硬件配置1XXX大数据平台方案分析节点数通过前期调研,获取到客户总的数据量一期存储需求,结构化数据3T, 非结构化数据 15T。参照存储容量计算大数据平台节点数。大数据平台中数据采用HDFS格式保存, HDFS需要保存 3 个副本存储数据,中间结果保存1 份数据,建立的索引占用0.5 倍数据存储空间;存储过程中结构化数据采用压缩技术,按照压缩率50%计算,非结构化数据压缩率 1;磁盘空间考虑30%的冗余。此外,可以根据实际项目规划酌情考虑放大节点数。如下公式数据实际需要的存储空间:实际数据量 TB * (副本存储空间 +中间结果存储空间 +索引存储空间) *数据压缩率 *( 1+冗余空间227、); 参数说明:a、副本存储空间: 3;b、中间结果存储空间: 1; c、索引存储空间: 0.5 ;d、结构化数据压缩率: 0.5 ,非结构化数据压缩率:1; e、冗余空间: 0.3 ;一期 3T 结构化数据需要8.775T 的存储空间, 15T 非结构化数据需要87.75T 的存储空间。采用的服务器可以用于存储数据的硬盘空间为12T。因此,结构化数据服务器需要1 台,非结构化数据服务器需要8 台。由于结构化数据服务器至少应该配置3 台,所以一期需要的分析节点总数为11 台。表 5.2-3XXX 大数据平台方案一期分析节点数项目数量单位备注一期结构化数据数据量3TB最少3 个节点一期非结构化数228、据数据量15TB最少3 个节点单台服务器存储容量12TB单台服务器 10 块盘,每块 1.2T一期期望的分析节点数11台节点2XXX大数据平台方案总节点数管理节点需要 2 个,一期期望的分析节点数11 个,总共需要节点13个。3大数据支撑平台软硬件配置表 5.2-4XXX 大数据平台方案软硬件配置序号设备配置两路 8 核处理器 2*E5-2650v3 或以上内存: 128GB硬盘: 1.2*10TB SAS, 2 个 300G的 SAS硬盘, 15000RPM,RAID1,作为系统盘网卡: 2*10GE光接口卡数量1大数据平台服务器132大数据平台软件大数据分析管理平台软件,其中含2 个管理节229、点135.2.2 安全保障系统5.2.2.1 设计原则设计遵循以下原则:1. 完备性:对信息安全的五个属性,从物理、网络、系统、应用、管理等几个层面确定安全功能要求和安全保证要求:对安全系统的构建、运行全过程进行全面控制。2. 整体保护性:实现信息的保密性、完整性和可用性(包括抗抵赖性、可控性和可操作性等) ,以及系统安全运行控制。3. 技术先进性:标准体系是在充分了解国际上当前信息安全技术及其标准发展的基础上,汲取先进的安全技术,并与国际接轨。4. 实用性:充分考虑到我国信息技术的发展和信息安全的现状,从制定可行的信息系统安全方案出发,适用于我国信息安全等级管理的需要。5. 前瞻性和可扩展性230、:标准体系所确定的技术和管理,具有一定的前瞻性,并可根据信息安全技术的发展改进和扩展。5.2.2.2 总体设计图 5.2-5安全保障系统架构如图所示安全保障系统架构,设计要满足物理安全、网络安全、主机安全、应用安全、数据库安全、数据备份的需求。5.2.2.2.1 物理安全设计由于 XXX大数据平台项目租赁运营商机房,所以物理安全主要依托运营商机房现有条件。1. 供配电系统机房的供配电系统要求能保证对机房内的主机、服务器、网络设备、通讯设备等的电源供应在任何情况下都不会间断,做到无单点失效和平稳可靠,这就要求两路以上的市电供应,N+1冗余的自备发电机系统,还有能保证足够时间供电的UPS系统。2防231、雷接地为了保证机房的各种设备安全,要求机房设有四种接地形式,即计算机专用直流逻辑地、配电系统交流工作地、安全保护地、防雷保护地。3. 消防报警及自动灭火为实现火灾自动灭火功能,在机房的各个地方,还应该设计火灾自动监测及报警系统,以便能自动监测火灾的发生,并且启动自动灭火系统和报警系统。4. 门禁机房应建立实用、高效的门禁系统,门禁系统需要注意的原则是安全可靠、简单易用、分级制度、中央控制和多种识别方式的结合。5. 保安监控机房的保安监控包括几个系统的监控:闭路监视系统、通道报警系统和人工监控系统。5.2.2.2.2 网络安全设计5.2.2.2.2.1 外网边界安全边界安全措施是信息系统的基本安232、全措施,安全访问控制的前提是必须合理的建立安全域,根据不同的安全需求建立不同的安全域。安全域的建立可以从物理上和逻辑上分别划分安全域。在物理上将信息系统从地域上独立出来,划分不同物理区域。在逻辑上将信息系统或用户分组,指定不同的访问权限。安全域边界定义对网络系统的安全运行都是非常重要的因素,同时也是建立系统等级保护安全保障体系的基础措施。只有合理的划分了安全域,才能有效的采取系统分域技术手段保证网络系统的安全。安全域定义完成后,对于边界的控制主要有两种,物理隔离和逻辑隔离。针对本系统的信息交换需求,安全域间通过防火墙实现边界隔离。这是用在信任网络和不信任网络之间的一种访问控制技术。本系统在核心233、交换机处部署防火墙插卡和IPS 插卡,进行网络安全防护。根据业务功能不同将整个网络划分成以下区域:互联网出口域、电子政务外网出口域、运维域、大数据虚拟化平台域、大数据分析管理平台域。通过在不同域之间配置虚拟防火墙进行安全防护。5.2.2.2.2.2 网络基础设施安全网络系统基础设施安全就是网络平台子系统的安全。在方案设计中,网络系统网络平台同时考虑了核心网络链路和交换核心的冗余:对核心层节点之间进行链路和交换核心的冗余配置。为确保系统网络平台的长期稳定运 行,部署网络管理系统,对整个网络平台进行统一的管理。同时需要对网络设备进行安全配置。网络中应用系统数量较多,数据安全性非常重要,尤其是网站系234、统,对安全性提出了很高的要求。在骨干核心设备,重要应用系统网络出入口上部署入侵防御引擎,实现对各种应用访问进行深度检测,实时阻断不安全的访问,确保应用系统的安全,是保障系统的业务可用性和传输安全性的基本保护措施。由于外网访问用户多,传输的信息数据量大,带宽要求高,同时对核心IPS 的性能和稳定要求也非常的高。通过采用在核心交换机上部署IPS 插卡,可以在漏报率极低的情况下进行实时检测,保证系统中心主干网的安全,是保证基础网络安全的基本保护措施。5.2.2.2.3 主机安全设计主机安全主要是指主机设备配置安全,这包括:提供软件设置、运行、管理日志,接受统一认证,设置、运行、维护权限控制,访问控制235、列表限制隔离、运行监控等。在操作系统软件配置方面,需要购买可靠的正版软件, 并及时打补丁。在数据备份和系统恢复方面,需要要求对重要数据采取有效手段进行备份和恢复操作。同时,还需要定期对系统内的操作系统、平台软件、应用软件进行安全性检查,关闭不需要的服务。综合运用多种最新的漏洞扫描与检测技术,能够快速发现网络资产,准确识别资产属性、全面扫描安全漏洞,清晰定性安全风险,给出修复建议和预防措施,并对风险控制策略进行有效审核,从而帮助用户在弱点全面评估的基础上实现安全自主掌控。本项目通过部署漏洞扫描系统实现主机安全防护。5.2.2.2.4 应用安全设计Web应用程序漏洞的存在更加普遍,随着Web应用技236、术的深入普及, Web应用程序漏洞发掘和攻击速度越来越块,基于Web漏洞的攻击更容易被利 用,已经成为黑客首选。SQL注入和 XSS攻击( Cross Site Scripting,跨站脚本攻击)是目前存在最为普遍、利用最为广泛、造成危害最为严重的两类 Web威胁。攻击者攻击Web系统,可以篡改Web系统数据、窃取用户信息。采用 Web应用安全网关( Web Application Gateway),针对 Web服务器进行 HTTP/HTTPS流量分析,防护以Web应用程序漏洞为目标的攻击,并针对 Web应用访问各方面进行优化,以提高Web或网络协议应用的可用性、性能 和安全性,确保Web业务237、应用快速、安全、可靠。通过在 Web应用服务器前部署1 台 Web防火墙以实现: Web攻击防护、Web非授权访问防护、 Web恶意代码防护、 Web应用合规。5.2.2.2.5 数据库安全设计数据库做为信息技术的核心和基础,承载着越来越多的关键业务系统, 成为 XXX大数据平台最具有战略性的资产,数据库的安全稳定运行也直接决定着业务系统能否正常使用。数据库信息资产面临严峻的挑战。数据库的安全威胁主要来自两个方面,一方面来自外部的非法入侵,黑客针对业务系统或者数据库漏洞,采取各种攻击手段,篡改或者盗取数据。这部分威胁可以通过在业务网络入口部署防火墙、入侵防护等产品得到有效预防。而另一方面的威胁238、来自内部,个别内部员工的恶意破坏、违规操作和越权访问,往往会带来数据的大量外泄和严重损坏,甚至导致数据库系统崩溃。而且,这些操作往往不具备攻击特征,很难被普通的信息安全防护系统识别出来,就更加防不胜防,迫切需要一种行之有效的手段来进行防护。数据库安全审计系统是针对业务环境下的网络操作行为进行细粒度审计的合规性管理系统。它通过对业务人员访问系统的行为进行解析、分析、记录、汇报,用来帮助用户事前规划预防,事中实时监视、违规行为响应,事后合规报告、事故追踪溯源,同时加强内外部网络行为监管、促进核心资产(数据库、服务器、网络设备等)的正常运营。通过在核心交换机处部署数据库审计系统实现常用数据库进行访问239、审计,还可以对网络运维协议进行解析,以达到对数据库访问的全面审计。5.2.2.3 安全制度与人员管理信息安全管理成为机构管理越来越关键的一部分。参照信息安全管理模 型,按照先进的信息安全管理标准ISO17799标准建立组织完整的信息安全管理体系并实施与保持,达到动态的、系统的、全员参与、制度化的、以预防 为主的信息安全管理方式,用最低的成本,达到可接受的信息安全水平,从 根本上保证网络系统业务的连续性。5.2.2.3.1 安全管理体系建设XXX大数据平台建设对安全性有较高的要求,系统安全建设应该与信息系统建设同步规划,同步设计,同步建设,不能滞后。在系统安全的各项建设内容中,安全管理体系的建设240、是关键和基础。没有健全的安全管理,系统的安全性是很难保证的,任何网络系统仅在技术上是无法实现完整的安全要求的。为此,建立一套科学的、可靠的、全面而有层次的安全管理体系是网络安全建设的必要条件和基本保证。1. 安全管理体系的建设目标通过有效的安全管理体系建设,最终要实现的目标是:采取集中控制、分级管理的模式,建立起完整的安全管理体系并加以实施与保持,实现动态的、系统的、全员参与的、制度化的、以预防为主的安全管理模式,从而在管理上确保全方位、多层次、快速有效的网络安全防护。2. 安全管理体系的建设内容主要包括安全管理机构、安全管理制度、安全标准规范和安全教育培训等方面。通过组建完整的信息网络安全管241、理机构,设置安全管理人员,规划安全策略、确定安全管理机制、明确安全管理原则和完善安全管理措施,制定严格的安全管理制度,合理地协调法律、技术和管理三种因素,实现对系统安全管理的科学化、系统化、法制化和规范化,达到保障网络系统安全的目的。5.2.2.3.2 安全运维1. 安全风险评估安全风险评估是建立主动防御安全体系的重要和关键环节,这环的工作做好了可以减少大量的安全威胁,提升整个信息系统的对网络灾难的免疫能力;如果这个环节作得不好,将给安全管理与运行工作带来极大的被动,往往会陷入大量的应急事件中,耗费大量的人力物力,反而导致安全运行的成本增加。风险评估是信息安全管理体系建立的基础,是组织平衡安全242、风险和安全投入的依据,也是信息安全管理体系测量业绩、发现改进机会的最重要途 径。在风险评估之前,必须准确定义什么是风险,风险的主要元素及其相互关系。2. 网络管理与安全管理包括出入控制、场地与设施安全管理、网络运行状态监控、安全设备监控、安全事件监控与分析、预防措施等等。3. 备份与容灾管理主要关键业务系统提供的服务需要双机本地热备5.2.2.3.3 安全人员管理信息系统的运行是依靠在各级党政机构工作的人员来具体实施的,他们既是信息系统安全的主体,也是系统安全管理的对象。所以,要确保信息系统的安全,首先应加强人事安全管理。5.2.2.4 技术安全管理1. 软件管理,范围包括对操作系统、应用软件243、数据库、安全软件、工具软件的采购、安装、使用、更新、维护、防病毒的管理;2. 设备管理,对设备的全方位管理是保证信息系统建设的重要条件。设备管理包括设备的购置、使用、维修、储存管理等几个方面;3. 备份管理,备份系统管理员对服务器的所有数据做到每个季度完整备份一次,每周对服务器上重要数据进行完全备份一次,每天对服务器上的重要数据增量备份一次,并由信息办安全管理员进行审核。4. 技术文档管理,借阅、复制技术文档要履行相应的手续,包括申请、审批、登记、归档等必要环节,并明确各环节当事人的责任和义务。对秘密级以上的重要技术文档应考虑双份以上的备份,并存放于异地。对报废的技术文档,要有严格的销毁、监244、视销毁的措施。各级安全管理机构应制定技术文档的管理制度,应明确执行管理制度的责任人。5.2.2.5安全保障系统配置表5.2-5安全保障系统配置序号1设备主机安全设备配置漏洞扫描数量12数据安全设备数据库审计系统13应用安全设备Web应用防火墙15.2.3计算机网络系统5.2.3.1 设计原则计算机网络系统的设计紧密结合项目总体建设原则,考虑以下需求。1. 实用性以满足现行需求为基础,在节省投资的同时,充分考虑未来发展的需要来确定系统规模。2. 安全性系统应能提供网络层的安全手段防止系统外部成员的非法侵入以及操作人员的越级操作,保护内部网络的高安全性。3. 可靠性能有效的避免单点故障,在设备的选245、择和关键设备的互联时,应提供充分的冗余备份,一方面最大限度地减少故障的可能性,另一方面要保证网络能在最短时间内修复。4. 成熟性和先进性系统结构设计、系统配置、系统管理方式等方面应采用国际上先进技术的同时又是成熟、实用的技术。5. 高可用性具有较高的可靠性和可用性前提下,保证重要业务系统的正常运行。网络设备在线故障恢复能力,关键设备、线路能做到实时备份和自动故障切 换。网络系统具有强大的容错功能以确保各种应用的正常运行,在网络设计上采用主控级、板卡接口级、电源以及设备网络级全面的冗余配置。没有单故障点。6. 规范性系统设计所采用的技术和设备应符合国际标准、国家标准和业界标准, 为系统的扩展升级246、与其他系统的互联提供良好的基础。7. 开放性和标准化在设计时,要求提供开放性好、标准化程度高的技术方案;设备的各种接口满足开放和标准化原则。8. 可扩展性所有系统设备不但满足当前需要,并在扩充模块后满足可预见将来需求。保证建设完成后的系统在向新的技术升级时,能保护现有的投资。9. 易管理性应易于管理,易于维护,易学,易用,便于进行系统配置,在设备、安全性、数据流量、性能等方面很好的监视和控制,远程管理和故障诊断。5.2.3.2 系统设计在对 XXX区大数据平台需求充分调研的基础上,按照XXX大数据平台对计算机网络系统的需求,依托国家电子政务外网、互联网,提出计算机网络系统解决方案。设计只涉及247、大数据平台的网络建设,各接入单位接入网络自行建设。计算机网络系统总体架构考虑运行在网络系统上的各项业务子系统的功能,以及与互联网、电子政务外网、基层单位的互联互通。包含:业务网 络、管理网络,网络中要考虑网络安全问题。在核心位置的框式交换机上采用防火墙插卡及IPS 等安全插卡提供安全防护,并对不同业务区域进行安全域划分和隔离。关于安全的设计,前面章节有详细描述。为保证网络维护的正常进行,应该将业务网络和管理网络分开部署。以下分别描述业务网络和管理网络。考虑 XXX大数据平台网络的规模,为满足设计要求并且网络设计结构清晰明了,采用两台核心交换机,不再另外设计汇聚层及接入层。选择具有一定路由功能的248、路由交换机,以便于和电子政务外网直接相连。随着数据量的指数级增长,数据中心普遍采用万兆服务器接入,采用两台框式数据中心交换机作集群(多虚一)。采用框式交换机集群是为便于管理和以后扩展以及增加可靠性。两台数据中心交换机上可以加插万兆光接口卡、千兆电接口卡、防火墙插卡、IPS 安全防护插卡等。本次XXX大数据平台建设两台核心框式交换机各插以上接口卡一块,建议万兆接口卡至少有32个万兆光接口卡用于连接服务器、存储和安全设备,千兆电接口卡至少有16个千兆电接口卡用于外联路由器、网管等设备,并留有适当冗余用于以后扩容。此外,核心交换机上除了已经占用的接口卡槽位,应当留有至少两个槽位用于以后扩容。图 5.249、2-6 XXX 大数据平台拓扑图如图所示 XXX大数据平台网络拓扑图:1. 互联网出口区,通过一台路由器和互联网出口相连,向公众提供互联网访问服务;2. 通过千兆电接口和网络运维区相连,保证有效运维网络,同时运维区有运维安全设备提供运维安全服务;3. 通过电接口和大数据虚拟化平台区相连,对外提供门户访问(Web应用防火墙提供应用安全防护) ,对业务应用提供虚拟化服务;4. 通过万兆接口和大数据分析管理平台区相连,提供大数据计算分析服务;5. 通过千兆接口和电子政务外网出口区相连,提供不同政府部门间的数据交换与共享服务;6. 在核心交换机旁再外挂一台数据库审计设备提供数据层防护。5.2.3.3计250、算机网络系统配置表 5.2-6网络设备配置序号设备配置数量1可做集群,至少6 个业务插槽,至少配置32核心交换机万兆光接口卡, 16 千兆电接口卡,防火墙插2卡, IPS 入侵防御插卡各一块。2管理交换机双电源, 48 口千兆电交换机23路由器3 个 WAN口, 2 个以上 LAN口1网络管理平可以管理交换机、路由器、防火墙等设备,支4台持 SNMP协议,管理各厂商支持备。SNMP协议的设15.2.4 基础支撑软件5.2.4.1 地理信息软件应用系统以空间地理信息服务为支撑,大部分功能均需在空间地理信息服务上进行实现。应用系统对GIS平台的要求如下:1. 基于 SOA架构的 GIS 服务共享,251、 GIS 平台必须:能够支持构建基于面向服务的体系结构( SOA),以标准的 Web Service 方式提供 GIS服务,并与其他应用系统很好整合;能够提供GIS 服务的创建和管理框架,可以方便的创建和管理二维的地图显示服务,以及高级GIS分析服务,如地理定位、网络分析等;支持多种GIS 服务的叠加,如WM、S WFS、KML等。2. 海量空间数据组织与管理,基于关系数据库和对象关系数据库的空间数据库技术是大型GIS应用项目中广泛采用的空间数据管理技术。平台中空间数据包括影像、矢量、栅格等数据,其特点为多源、多尺度、异构、海 量。因此, GIS 平台要具有大数据量存储、索引、访问、操作和空间252、运算能力,而且要支持存储拓扑关系和丰富的几何对象类型等能力。3. 空间数据互操作为空间数据集中式管理和分布存储与共享提供了操作的依据。平台中存在数据交换,就不可避免地会应用到各种不同来源的空间地理数据,因此要求GIS 平台支持 GIS 领域(如 OGC,ISO)和其他 IT 领域(如 W3C和 ISO)的互操作标准,能够直接访问多种GIS 数据格式。因此 GIS平台应具备如下空间数据互操作要求:支持数据格式转换;支持多源数据集成。4. 安全体系保障,平台中的数据对安全要求很高。除平台本身提供的安全体系保障外, GIS 平台应该提供自身的安全体系,以管理不同用户对所发布的服务和应用程序的访问。5253、. 支持丰富的客户端应用,平台涉及场所广泛,因此,GIS 平台必须支持丰富的客户端应用,包括基于浏览器的GIS访问、移动设备、 GIS 桌面端应用等。6. 较强的专题地图生成能力专题地图是 GIS软件根据属性数据的不同分别给几何对象采用不同风格显示的表现形式。它是专题数据可视化展现的重要手段之一,在应急应用中具有重要的意义。7. 强大的地图编辑能力地图编辑功能是多数GIS应用必需的功能,组件对象模型强大的地图编辑功能可以省却大量二次开发的精力。在平台中都需要灵活便捷的地图编辑功能。8. 易于二次开发组件式开发方式已经成为当前主流GIS应用二次开发方式, GIS 平台的组件开发能力与灵活性至关重254、要。9. 支持跨平台应用平台中的 GIS 应用需要更高效率的服务器响应,而且出于稳定和安全的数据服务和网络发布服务的考虑,会需要采用组成跨平台的网络操作系统。Arc GIS 产品满足以上需求,为目前业界主流、成熟、稳定产品,在政府行业中的应用案例比较多。综合考虑产品性能、未来发展趋势以及政府行业实际情况,采用Arc GIS 产品作为地理信息软件。5.2.4.2 操作系统软件操作系统是用来提供安全、稳定、良好、可靠的软件运行环境。操作系统包括:虚拟化操作系统、大数据分析管理平台操作系统、桌面操作系统、服务器操作系统、嵌入式操作系统等系统,虚拟化操作系统在虚拟化平台中描述、大数据分析管理平台操作系255、统在大数据分析管理平台中描述。本项目需要在虚拟机上部署服务器操作系统,用于支持业务应用系统, 操作系统应该具备以下功能:完善的虚拟化平台,支持网络虚拟化;良好的扩展性与性能;高可用、易于管理,包括:故障转移集群、DHCP服务器故障转移; 支持开放式的标准,如:HTML5等;Window2012 Server 具有很高的安全性、可靠性和实施简易性。因此我们选用 Window2012 Server 操作系统。除满足以上要求以外,有以下几大优点:1. 便于部署、管理和使用;2. 安全的基础结构;3. 企业级可靠性、可用性、可伸缩性和性能。5.2.4.3 数据库管理软件平台应用系统数据量大,并发用户多256、,因此对数据库管理的要求较高。数据库管理系统应具备如下要求:1. 数据库性能较高,包括响应时间、数据单位时间吞吐量、内存使用情况、系统输入 / 输出速率、 SQL语句的执行等;2. 支持分布式应用;3. 支持并行处理能力;4. 可移植性和可扩展性强;5. 具有数据完整性约束,数据完整性指数据的正确性和一致性保护,包括实体完整性、参照完整性、复杂的事务规则;6. 并发控制功能,对于分布式数据库管理系统,并发控制功能是必不可少的。因为它面临的是多任务分布环境,可能会有多个用户在同一时刻对同一数据进行读或写操作,为了保证数据的一致性,需要由数据库管理系统的并发控制功能来完成;7. 具有容错能力,在异257、常情况下对数据进行容错处理;8. 安全性控制,包括安全保密的程度(帐户管理、用户权限、网络安全控制、数据约束);9. 支持汉字处理能力,包括数据库描述语言的汉字处理能力(表名、域名、数据)和数据库开发工具对汉字的支持能力。Oracle 数据库具有安全性、可恢复性、可扩展性、易用性的特点,满足以上需求,在政府行业中的应用案例比较多。综合考虑数据库性能、未来发展趋势以及政府行业实际情况,采用Oracle 数据库作为数据库管理软件。5.2.5 机房建设方案机房采用租赁方式,选择电信机房作为主机房,后期选择移动机房作为数据远程备用机房。机房由电信提供网络出口,配置100M带宽。附件为设备及占用空间,单258、台设备占用空间和功耗参考主流品牌型号。如表可知,设备净空间为86U,电信机房单个机柜空间为49U,考虑设备间空间冗余,约需要3 个机柜。估算设备总功耗为14KW左右,电信机房单个机柜功耗 2.5KW,约需要 5 个机柜,如果实际部署时机柜支持的电流不够,可以另外付费向电信机房申请增加单机柜电流。二者取大值,预计总共需要租赁5 个电信机柜。序号设备名称数量单台占用空( U)总占用空间表 5.2-7设备占用空间1虚拟化存储平台服务器54(U)202Oracle 数据库服务器2243磁盘阵列188(新增)4光纤交换机2125大数据分析节点服务器4286大数据分析节点服务器(利旧)92187核心交换机259、210208管理交换机2129路由器11110网络管理软件服务器11111数据安全11112合计应用安全111865.2.6 基础支撑系统软硬件配置表 5.2-8基础支撑系统软硬件配置序号设备配置数量1 虚拟化平台服务器2 虚拟化平台管理 PC3 虚拟化平台管理软件4 Oracle 数据库服务器4CPU: Xeon E7-8860 v3 2.20G 16Core,内存256G,硬盘: 4*300G SAS,网卡: 2*GE,2*FC5 HBAIntel或 AMD X86架构的 32 位 CPU,内存:2GB, 硬盘:操作系统所在磁盘分区剩余空间大 1于 1GB/至少有一个非操作系统所在的磁盘分260、区剩余空间大于 2GB。高级版,含虚拟化管理软件、虚拟化实施服务。20 个 CPU。 202 颗 10 核以上处理器,频率 2.0 GHz,缓存20MB;内存: 128GB;硬盘: 3 块 300G 15000 转热插拔 SAS硬盘;网络: 4 个高性能千兆网口;2SAS卡: 1 块,用于连接外置磁盘阵列;HBA卡: 2 块单端口 16Gb FC HBA卡;电源: 2 个热插拔电源; 2012 标准版操作系统。控制器: 2 个,每控制器 32GB缓存, 16Gb光纤5主磁盘阵列通道;磁盘容量 45TB 10K 转 SAS硬盘;支持2.5 和 3.5 SAS 、近线 SAS和固态硬盘。16光纤交261、换机配置 24 个 16Gb激活端口;双电源,含级联2license。7大数据分析节点服务器(新2 颗 10 核以上处理器,频率 2.0GHz,缓存20MB;内存: 128GB;硬盘: 3 块 300G 15000 转热插拔 SAS硬盘, 10 块 1.2T 硬盘, 10000RPM;网络: 4 个高性能千兆网口, 2 个万兆光接口4增)卡; HBA卡: 2 块单端口 16Gb FC HBA卡;电源: 2 个热插拔电源; Windows 2012 标准版操作系统。2 颗 10 核以上处理器,频率 2.0GHz,缓存20MB;内存: 128GB;硬盘: 3 块 300G 15000 转大数据分析262、节热插拔 SAS硬盘, 10 块 1.2T 硬盘, 10000RPM;8点服务器(利旧)网络: 4 个高性能千兆网口, 2 个万兆光接口卡; HBA卡: 2 块单端口 16Gb FC HBA卡;电9源: 2 个热插拔电源; Windows 2012 标准版操作系统。9大数据分析处理平台大数据平台软件13序号1011设备核心交换机管理交换机配置数量配置 32 万兆光接口卡, 16 千兆电接口卡,防火2墙插卡, IPS 入侵防御插卡,双电双引擎双电源, 48 口千兆电交换机212路由器双电源, 2 万兆口, 2 FE WAN口113计算机网络管理软件RH2288H V3服务器 ,Window Se263、rver2012114主机安全漏洞扫描115数据安全审计引擎116应用安全Web应用防火墙117数据库管理系Oracle Rack418虚拟机操作系Windows Server 2012标准版719虚拟机操作系统Windows Server 2012标准版2020地理信息系统地理信息系统1统统5.3 大数据汇聚与共享平台5.3.1 需求分析随着 XXX区电子政务建设和应用水平的不断推进、不断提高,应用系统的建设目标也正发生着本质的变化,从建设初期的网络建设、信息发布开始转向了以政务信息资源整合为主体、以提高政府监管能力和服务水平为目标的新阶段。电子政务发展到现阶段,需要突出解决的一个重要问题是264、信息资源汇集整合、开发和应用,只有实现信息资源的整合与共享,才能实现跨部门的业务应用和工作协同,才能切实有效的发挥电子政务公共服务、市场监管、宏观决策的重大作用。建设大数据汇聚与共享平台的重要任务之一是统筹规划,充分利用和整合现有资源,防止重复建设。整合网络资源,实现“网络畅通”;整合信息资源,实现“数据畅通” ;整合应用系统,实现“应用畅通” ;整合公共服务资源,实现“服务畅通” 。在目前的条件下,要在短时间里内实现这四个“畅通”有很大的难度。但是,在现有网络畅通基础上,实现数据畅通,整合部分应用系统和部分公共服务资源,是可行的,也是必要的。XXX区大数据汇聚与共享平台的建设是以XXX区政务265、信息资源共享依托,利用共享平台基础设施和系统服务能力,在共享平台上进行扩展升级建设。主要建设内容包括:接入各个部门业务系统信息数据、建设自然资源和地理空间信息、宏观经济信息两大基础信息库,汇集整合政务服务、社会治理、安全保障、商事服务、宏观调控、民生服务、城市运行可视化等大数据主题应用库,元数据库和共享数据库优化,扩展优化与市共享平台同步数据范围,增加大数据应用数据同步服务。5.3.2 总体设计5.3.2.1 应用架构设计XXX区大数据汇聚与共享平台的建设是以XXX区政务信息资源共享平台为依托,利用共享平台基础设施和系统服务能力,在共享平台基础上进行扩 展升级建设。系统结构总体设计图如下:政务266、社会安全商事宏观民生城市服务治理保障服务调控服务运行大数据香洲区电子政务信息资源共享平台目录管理服务子系统信息资源门户共享平台业务运营管理数据管理资源数据库自然人基础库法人基础库宏观经济自然资源和地基础库理空间基础库元数据库共享数据库主题库数据共享交换子系统数据源公安工商国税地税人社民政.图 5.3-1 大数据汇聚与共享平台结构总体设计图主要建设内容包括:接入各个部门业务系统信息数据,建设自然资源和地理空间信息、宏观经济信息两大基础信息库,汇集整合城市运行可视化、政务服务、社会治理、安全保障、商事服务、宏观调控、民生服务等大数据主题应用库,元数据库和共享数据库优化,扩展优化与市共享平台同步数据267、范围,增加大数据应用数据同步服务。1. 资源数据采集与区各个部门业务信息系统进行对接,实现数据获取、转换、加载等数据处理,并对不同关系数据库厂商产品(如Oracle 、SQL Server、DB2、Sybase、MySQL等)的数据类型进行类型转换,实现数据对比和校验等数据清洗工作,将脏数据和不完整数据过滤掉,最后把转换处理后的数据加载到 前置机的元数据库中。2. 基础信息库建设基础信息库为区政务信息资源共享平台提供共享交换的数据基础,主要包括地理空间基础信息库和宏观经济基础信息库。3. 主题数据库建设根据大数据应用需求,面向特定应用领域,将分布在一个或多个库中的、具有相同内容特征、若干逻辑相268、关的数据资源按照统一的标准规范整合形成的主题数据库,具有系统性和完整性,并通过共享平台提供一站式服务能力。4. 元数据库和共享数据库优化元数据库。即信息资源的元数据(资源目录),用描述和记录了政务信息资源的名称、业务属性、主题、分类、来源、提供部门、共享方式等各种属性,通过元数据描述来协同政务流程的上下环节关系和信息资源共享的需求。据此,既可以通过信息资源元数据(资源目录)直接查询和定位政务信息资源,也可以在业务运行的过程中,通过交换服务目录和交换体系,实现政务信息的动态交换和整合,从而保证共享的信息资源是最新的、准确的、规范的。共享数据库。把从自各个业务部门采集到的共享业务元数据,通过数据交269、换系统的数据交换机制,对信息资源元数据进行目录体系规范整合,并存放在共享数据库中,根据权限控制,将数据资源池中的数据共享给需要数据的部门。信息资源共享平台信息资源数据库系统的设计与开发建设是一个复杂的过程,不仅数据类型复杂、数据量大、涉及面广,还需要综合考虑与区各部门、市共享平台等在建、计划建设数据库系统的资源整合与共享;元数据 库、共享数据库是大数据汇聚和共享系统的源头数据,但随着大数据应用领域扩大,共享需求部门的共享信息增大,需要对元数据库和共享数据库进行不断完善,需要对元数据库和共享数据库拓展建设。5. 扩大与市共享平台同步数据范围由于在大数据应用不断接入部门业务系统信息数据,共享数据范270、围也会持续渐进的增加,与市共享平台同步的数据也需要独步增加同步共享数据范围,需要扩展优化与市共享平台同步数据范围,增加共享数据同步服务。6. 建设大数据应用数据同步机制为保证大数据应用的信息资源良好的鲜活性,需要建立共享平台与大数据应用系统之间的数据双向同步更新机制。为确保共享利用的信息资源准确有效,各部门需要及时将更新的业务信息同步到大数据应用系统,同时大数据应用系统还要将得到更新的业务应用信息及时同步到共享平台,从而实现数据双向同步互动。5.3.2.2 系统运行模型设计XXX区政务信息资源共享平台定位为数据共享交换中心,为各政务部门构建一个共享数据环境,促进协同作业的平台。在共享平台总体结271、构的基础上,结合本项目的功能定位,基于提供方、管理方、使用方三类角色划分, 构建大数据汇聚与共享平台总体运行模型。采集数据分发数据中心交换节点前置机:提供方交换节点前置机:使用方交换节点中心数据库端交换引擎数据交换中心交换引擎数据交换交换库交换文件端交换引擎交换库交换文件共享查询 / 基准对比数据库Web 服文件接口务接口接口数据库Web 服文件接口务接口接口Web 服务接口据数供提交换桥接据数询查据数取获交换桥接据数步同提供方业务系统共享信息查询门户使用方业务系统市中心交换系统共享目录查询业务库业务库市中心交换库共享信息查询图 5.3-2大数据汇聚与共享平台数据交换架构图提供数据:提供方按交272、换数据标准和接口规范提供数据到提供方交换节点;采集数据:数据交换平台从提供方采集数据到中心交换节点; 分发数据:数据交换平台把数据按需分发给使用方交换节点; 获取数据:使用方从使用方交换节点获取所需数据;同步数据:实现区平台与市平台和大数据应用系统的信息资源同步与共享数据整合:管理方对采集到中心交换节点的数据进行整合,形成基础数据库或主题库,并在数据处理比对过程中发现问题数据、差异数据,提供方对问题数据进行核准;运行管理:管理方对整个共享过程实行全程的运行管理。5.3.2.3 系统接口设计5.3.2.3.1 系统对外接口数据交换提供数据适配接口、文件适配接口、服务适配接口等,接口将严格按照 X273、XX市政务信息资源共享平台接入开发实施规范,以保证与市共享平台的无缝对接。数据适配接口:主要包括数据库通用适配器和面向各个数据库厂商产品(如 Oracle 、SQL Server 、DB2、Sybase、MySQL等)的专有适配器,实现与外部数据库系统数据交换。文件适配接口:可对多种文件格式(XML、TXT、EXCE、L PDF、WOR、DJPG、SHAPE等)能够进行直接解析和操作的特殊适配,可以直接将这些文件中的内容信息交付给文件适配器接口,实现与外部应用系统的数据交换。服务适配接口:数据交换与共享提供对外部的WebService 接口,可实现与外部服务信息的共享。5.3.2.3.2 系统274、对内接口系统内部接口主要包括数据共享交换子系统、目录管理服务子系统之间的内部接口。5.3.3 资源数据采集5.3.3.1 业务分析根据 XXX区现状,全区共建设有150 个信息化应用系统,这些系统在使用过程中,积累了大量的政务信息资源,但各个信息化应用系统的信息资源 都是孤立出在各自系统中,由于缺少全区性资源共享机制,存在业务协同和 信息共享方面存在不足,无法实现区各个系统平台的互联互通。调查显示, 60%以上的区直部门都对信息共享表达了强烈的需求和愿望。这些需求主要集中在企业信息、法人信息、宏观经济信息、税务信息等。在信息化主管部门的支持下,通过基础平台建设和重点应用建设相结合的方 式,解决275、好跨区信息资源共享和应用问题,最能体现政务信息资源的应用效果。为了打破各部门信息孤岛,需要对各个部门系统的信息资源进行合理的数据采集,汇集整合并有效利用全区数据信息资源,让有价值的数据能提供给需要的部门,让需要数据的部门能高效获取数据,为各政府部门业务系统信息共享专项应用项目提供统一、标准、规范的数据,以及应用和服务的数据支撑。信息资源的采集技术机制。政务信息来源包括结构化和非结构化(包括:文本、图形、图像、视频、音频等)信息资源,政务信息采集提供多种方式,需要支撑数据库、系统接口、文件等多种采集多种方式;同时对不同关系数据库厂商产品(如Oracle 、SQL Server 、DB2、Syba276、se、MySQL等)的数据类型进行统一目录元数据类型转换,实现数据对比和校验等数据清洗工作,将脏数据和不完整数据过滤掉,最后把转换处理后的数据加载到前置机的元数据库中。本期实现采集 30 个机构单位数据包括:区发展改革和统计局、区科技和工业信息化局、区教育局、区民政局、区财政局、区商务局、区监察局、区 城市管理局、区人力资源和社会保障局、区环境保护局、区住房和城市更新 局、区海洋农业和水务局、区文化体育旅游局、区卫生和计划生育局、区审 计局、区安全生产监督管理局、区食品药品监督管理局、区征拆办、区人民 防空办公室、区检察院、区金融服务中心、区档案局、区劳动人事争议仲裁 院、市公安 XXX分局、277、 XXX区海关、 XXX地税局、 XXX国税局、 XXX工商分局、XXX国土分局、 XXX规划分局。因采集对接部门多,采集数据量大,在实施过程中可以分批分步来执行。5.3.3.2 功能设计基于大数据汇聚与共享平台的数据采集及处理,主要包括采集任务配置与监控、数据交换处理、数据网上填报、数据导入加载、数据库对接、采集辅助功能六个功能模块。5.3.3.2.1 采集任务配置与监控采集任务配置与监控是对所制作的采集任务的各环节进行相关配置,并且对采集任务执行的各个环节进行监控管理,本模块主要包括采集任务配置管理、采集监控调度管理、采集任务变更管理三个部分。采集任务配置管理提供了针对规划设计中定义的采集278、任务的后续运行时参数的配置功能;采集监控调度管理提供了对采集业务进展情况的查询统计功能和系统异常告警功能;采集任务变更管理提供了由我办发起的采集任务变更业务的全流程管理。5.3.3.2.2 数据交换处理数据交换处理功能主要完成对通过异构数据库或前置库导入系统的数据进行审核、验收等处理,功能的实现主要通过系统提供的标准接口与异构数据库或前置数据库进行对接,从而实现对异构数据库数据的采集与处理,数据交换处理的过程也提供了实时的监控功能,可以监控与异构数据节点之间的数据接收、发送以及数据处理的情况,也包含了对监控日志的记录、查 看、分析、备份与删除、上传等功能。5.3.3.2.3 数据网上填报数据网279、上填报是数据采集的主要途径,数据在线网上填报提供了一套基于采集报表或电子表单的在线数据填写、审核和提交功能,并在这一完整填报过程中提供多种辅助功能用于帮助用户更方便、更快捷的完成填报工作, 对于采用数据交换、数据库对接等方式作为主要采集形式的采集业务,数据在线填报同样可以作为备用采集方式存在。在数据填报功能中,系统会自动将报表表样或指标群的定义转化为纯Web、不含任何插件、完全基于浏览器的Web表单并支持用户的填写。用户在填报过程中可以随时查看报表中或指标群中指标的指标解释,帮助用户理解 指标含义,更准确的填报数据。填报人员可在自身权限范围内对表单数据进 行填写、暂存、审核、提交、查询、导入/280、 导出、打印等操作。在数据在线填报功能中,主要包括:数据填报与审核、分配填报权限和查看历史数据功能,数据填报与审核功能主要完成数据的在线填报与对填报数据的在线审核,分配填报权限主要可以解决一个任务中多张表分别由多人填写的问题,查看历史数据可以对原有历史数据进行查看,并且可以打印和导出原有历史数据。5.3.3.2.4 数据导入加载数据导入加载是平台进行数据采集的另一种重要手段,对于保存在外部数据文件中的大批量数据,均可以采用导入加载的方式批量进入数据采集与 处理平台,数据导入加载同样基于采集任务的定义和配置,通过集成可配置 的 ETL工具并在此基础上开发相关业务管理功能来支持多种数据格式(如Ex281、cel 、DBF、TXT、CVS等)的大批量数据的高效导入和全过程管控。在导入的整个过程中会对过程信息进行记录,并提供相应的查询统计和过程审计功 能。对于导入后的数据,可在数据网上填报功能的配合下进行数据查看和审 核处理。数据导入加载管理功能主要包括:数据导入加载配置管理、执行数据导入加载、数据查询、数据审核、业务过程查询统计等功能。5.3.3.2.5 数据库对接数据库对接是数据采集与共享平台提供的一种特殊的数据采集方式,主要适用于与数据采集与共享平台选型相同、网络条件较好的外部业务数据库向数据采集与共享平台的快速数据复制。这种方式的效率很高但不能做复杂的格式转换和筛选过滤。在数据库对接功能中282、,主要包括:数据库对接配置、数据库对接执行、数据查询和审核、业务过程查询统计功能。数据库对接配置主要的配置工作是定义源数据库(及数据表)和目标数据库(及数据表)之间的复制关系和数据库对接的执行规则。可以定义为按时自动执行或手动执行;可以进行数据复制方式的选择,包括:增量复制、仅更新、完全复制等;数据库对接执行功能是按照定义好的配置信息,使用数据库复制工具定时或手动的执行数据复制操作,在实际执行过程中用户可以随时监控执行过程,并对执行规则进行调整;数据查询与审核功能主要是对通过数据库对接方式进入系统的数据进行查询和审核,业务过程查询统计功能是基于过程记录和日志信息,提供对数据库对接的执行过程的查283、询统计能力,用户可以通过选择时间、任务来进行过滤,并通过浏览过程记录和相关日志来了解业务执行的细节信息和相关的分类统计信息。5.3.4 基础信息库建设自然人基础信息资源库、法人基础信息资源库、自然资源和地理空间基础信息资源库和宏观经济基础信息库是公用基础信息资源库的核心组成部 分,也是实现信息资源共享交换的基础,基础信息库资源将严格按照省和市的相关标准和规范进行建设;通过区政务信息资源共享平台向其所需部门提供服务。自然人基础信息资源库、法人单位基础信息资源库已经在XXX区政务信息资源共享平台提出建设,本项目重点建设自然资源与空间地理基础信息资源库、宏观经济基础信息库等基础信息库。5.3.4.1284、 公用基础信息资源库定位公用基础信息资源库以政务信息资源交换体系为基础,以目录体系为依托,遵照“适度集中”的原则进行建设。例如,宏观经济基础信息库将以发展改革和统计局提供的建设项目信息为源头,整合XXX地税局、 XXX国税局、XXX工商分局、区财政局、区人力资源和社会保障局、XXX区海关等部门的信息来统一为各部门业务系统提供服务。在建设过程中,对于能集中共享的信息,通过交换体系完成交换共享;对于因政策法规规定不能集中共享的信息,通过目录体系实现实时的发现和定位,其示意图如所示。政务交换体系区发展改革和统计局香洲国税局香洲地税局宏观经济基础信息库香洲工商分局区财政局政务目录体系图 5.3-3宏观285、经济基础信息库示意图5.3.4.2 设计原则1. 围绕管理对象公用基础信息资源库是以管理对象为核心,围绕管理对象在各业务部门的主要活动进行设计。自然资源与空间地理基础信息资源库和宏观经济基础信息库是政府部门的主要管理和服务对象。2. 统一数据标准公用基础信息资源库的信息来源于各个业务部门提供的共享信息,各部门提供的数据采用的标准不一,为了使各部门能使用这些数据,必须对公用基础信息资源库中的信息进行编目,采用统一的数据标准,统一语义。例如行政区划、民族、国籍、行业分类等信息大部分业务部门都需要使用,在表示时应尽量采用国家标准或兼容国家标准,方便各业务部门在使用时进行转换。3. 明确数据来源公用基286、础信息资源库的数据是由各业务部门提供的共享数据整合而成,在设计公用基础信息资源库时,将按“一数一源”的原则,明确各信息项的数据原头。公用基础信息资源库的信息分为业务联系信息和基本信息两大类。业务联系信息包括由各部门提供的与管理对象相关的业务信息。基本信息是指管理对象的基本属性信息。基本信息又可以细化为三类,即标识信息、状态信息和联系信息。标识信息是可以标识管理对象的信息项,以源头部门提供的数据为准;状态信息描述管理对象的属性,以各个法定的主管部门提供的数据为准;联系信息如联系电话、住址等,应尽可能容纳各个部门提供的信 息,方便管理。5.3.4.3 公用基础信息资源库设计5.3.4.3.1 自然资源和地理空间基础信息库自然资源与空间地理基础信息库的数据主要来自 XXX规划分局和 XXX国土分局。以电子地图为基础,整合道路、行政区划、地籍、建筑物、地下管线、植被、土地利用等基础数据与园林绿化、规划用地、城市生态环境等专题数据;此外还包括教育科研院所、党政机关、医疗、体育和娱乐场所等基础数据。整合信息来源部门包括:国土资源部、海洋农业和水务局、地震局、环境保护局、区城市管理局、应急办等部门。整合信息主要包括:基础地理数据、土地和矿产资源数