1、大数据资源平台建设可行性研究方案,目录,项目概况,目录,数据平台现状,信息资源情况,与已有系统的关系,拟建区级大数据资源平台项目是加快整合区现有数据共享交换平台、数据资源目录和基础数据库等与大数据资源平台相关的平台的基础上，进行整体架构的重新部署和功能模块的全面升级，在满足与市大数据资源平台的对接，并承接市大数据资源平台的落地数据资源，同时，归集全区内各单位公共数据资源，按需实现共享交换，逐步构建集区公共数据汇聚、整合、共享、应用、展示、评价六位于一体的大数据资源体系。,GIS服务平台,目录,项目建设的必要性,区大数据平台建设是满足全市大数据工作推进的必然要求,1,区大数据平台建设是区大数据中2、心自身发展的内生需求,2,大数据资源平台建设是全区精细化管理和经济高质量发展必然要求,3,区大数据平台建设是提升智慧城市管理服务能级的核心中枢,4,区大数据平台建设是城市经济高质量发展的内在需求,5,本项目建设具有必要性，具体如下：,项目建设背景及依据,项目需求分析,业务量需求,功能需求,城市驾驶舱数据资源中心统一数据管理门户公共数据开放门户数据支撑子平台数据安全子平台数据运维子平台数据智能管理子平台视P结构化分析子平台区级公共人工智能子平台物联感知管理子平台地理信息服务子平台数据共享交换子平台,性能需求,具备5PB数据存储与管理能力，其中结构化数据存储与管理能力要求达到500TB。平台数据融3、合计算（百万级数据）执行效率达到分钟级分布式存储平台支持超过200人的数据开发人员并发访问，同时进行数据处理任务的开发、测试和使用。平台的调度执行器需具备2000个在线数据任务在分布式存储平台下的管理和执行的能力。平台页面加载时长 3s；并发用户数（个）200；总请求数（个）2000；页面平均响应时间 3s；页面响应最小时间 0.4s；页面响应最大时间 5s；报表平均加载时间 5s。,架构需求,建立自身的统一技术栈。开放架构：平台本身具备模块化开放和集成能力。支持多租户和容器化资源弹性伸缩部署。架构的先进性：技术架构中的技术组件选型，从技术成熟度、性能、稳定性、持续研发升级、使用后业内评价、易4、维护性、适配性等方面做出考量，为架构选型提供参考，保证整体架构中的组件的先进性。架构的高可用：在长时间、多任务场景下的稳定运行。,项目需求分析,硬件设备需求,大数据资源平台：14台大数据共享交换体系软件：20台数据治理系统软件：2台配置：4C/8G/300G标准配置，共需要144C核数，288G内存，10800G磁盘容量。平台应用部署资源的硬件部分可考虑由区电子政务云统一提供。,网络环境需求,区级大数据资源平台部署在区电子政务云上，并借用政务云所处的网络环境下来满足平台的网络部署需求，同时通过电子政务外网、互联网、物联网、专网等网络的互联互通环境需求。,标准规范需求,安全保障需求,系统应该以安5、全为核心设计要素；考虑内容包括：物理安全、数据安全、网络安全、防病毒等多项安全防卫措施.主要包括：物理安全网络层安全系统层安全应用系统安全,建立针对区级大数据资源平台的数据标准体系建立完整、系统、准确、合规的数据标准从根本上解决各部门各系统数据存在的不标准、不完整、重复、错误、不一致等数据质量问题，使数据在整合、应用的过程中实现统一标准的管理，达到提升整体数据质量。,目录,项目建设原则和基本策略,遵循市级规范,开放原则,先进原则,安全保密原则,统一建设、管理与应用体系统一技术规范统一模型设计平台功能规范要求,借鉴互联网思维，提供标准化环境，实现应用与平台分离，强调开放、协作、共赢，打造开放的“6、生态”。,引入先进技术及经验，加强自身对技术掌控能力，建设“低成本、高效率、可管理维护”的大数据资源平台。,确保数据安全，防止数据泄露保护自然人、FR信息安全隐私保护,利旧原则,渐进原则,可靠原则,实用原则,充分借鉴现有系统在数据、架构、应用、运维和人员等方面的储备和积累，尽量利旧现有资源。,按照“统一规划、分步实施”要求，逐步推进组织机构建设，推进大数据资源平台建设和运维工作。,在技术服务和维护响应上同用户积极配合,确保系统的可靠；对数据指标要保证完整性、准确性。,操作简单、快捷,紧密结合业务；满足规范要求的效率与响应时间，有良好人机接口与灵活的展现方式。,项目建设标准与规范,本项目建设依据7、主要为国家、市公布的相关工作要求和意见通知，以及电子政务等信息化技术规范。,平台定位：大数据资源平台是城市大脑的重要组成部分,项目总体建设目标,加快推进与承接市级大数据资源平台的落地数据资源逐步构建形成区级公共数据汇聚、整合、共享、应用、展示、评价为“六位一体”的大数据资源体系构建区级基础库、专题库和主题库为核心资产的区级数据资源中心构建数据集成、数据共享、数据管理、数据决策的综合管理服务体系，确保大数据平台全面支撑全区公共数据协同服务、城区管理协同服务、惠民数据协同服务和兴业数据协同服务,构建以城市大脑为核心，打造“能呼吸、自生长、有温度、共生态”的区级综合智能体（一体）提升“城市服务人性化8、管理精细化、应急快速化、决策科学化”（四化）水平,项目总体建设目标,聚：推进与市级RK、FR、空间地理库的数据集成，促进电子证照库对接利用；逐步推进区级各部门视P数据、物联数据以及基层业务数据的数据汇聚。,管：构建一站式数据资产管理平台，通过级联实现区内数据上报市级平台，结合区内情况进行本地数据资产目录管理，形成对数据全生命周期管理及各环节安全监管。,通：实现基于应用场景的数据资源授权管理机制，推动公共数据按需充分共享。实现数据分级分类开放管理，扩展共享交换平台功能。,用：开展主题数据库建设，推动数据资源整合及数据分析应用。开展数据应用模型及算法研究，探索数据服务模式创新；推进区级跨部门的数9、据智能应用。,安：打造整体安全管控体系，保证平台上政务数据在数据汇聚、数据管理、数据共享、数据开放等全生命周期中的安全防护能力。,项目建设路径规划,启动区级大数据平台资源中心建设建立统一的政务数据信息资源目录启动大数据资源平台各平台功能建设形成共享工作体制和制度构建城市驾驶舱支撑城市运行应急指挥的应用,完善城市管理，新建宏观经济库、民生保障等相关主题库，基本完成城市治理、政务服务、民生保障和经济发展等为主题的资源归集，并形成相关的专题库和主题库；完善区级大数据资源平台功能建设，实现全区大数据综合运营管控；汇聚Z府侧与社会侧的政务、视P、物联数据等，建立大数据服务平台，带来多样化的大数据服务；完10、善组织能力保障，实现跨越共享。,持续完善数据资源中心的相应的基础库、主题库和专题库，并支持各类综合创新应用顺利运行；实现以Z府惠民数据共享和实现社会数据交换功能，全面实现内外部数据交换共享；建设全面的保障体制，共享制度更趋于标准化、体系化、制度化；完善组织实施机制，提高数据开放管理水平，实现数据治理标准规范和安全保障，建立运维保障能力；构建公共数据汇聚、整合、共享、应用、展示、评价为“六位一体”的大数据资源体系，支撑全区大数据资源生态体系闭环。,全面构建-2021,全面深化-2022,全局引领-2024,至2021年底，基本形成区级大数据资源平台基础功能架构，完成标准化数据仓库的建设并建立数据11、资源中心，为一网通办、一网统管和城市规划等应用提供数据赋能至2022年底，完善平台建设，实现数据仓库到数据中台的功能升级，支撑各部门在智慧城市建设中主要数据的共享需求和应用开发需求，基本具备个性化数据生产的能力至2024年底，构建形成公共数据汇聚、整合、共享、应用、展示、评价为“六位一体”大数据资源体系，全面数据赋能应用，基本实现公共数据社会化运营能力,项目建设按照总体规划，分步实施的原则来进行，首期完成基础平台的搭建，后续逐步完善、丰富全区大数据平台能力和应用。,一体化大数据资源平台总体架构,大数据资源平台的总体架构,大数据资源平台各子平台间关系,平台网络架构,本次区大数据资源平台（一期）项12、目建设主要依托区信息服务中心提供信息基础设施和网络环境，并在区电子政务云统一规划和标准要求下进行该平台的搭建和部署建设。,项目建设技术路线,使用面向服务架构（SOA）采用多层架构体系使用Java B/S开发技术采用基于Hadoop的大数据平台框架将大数据与人工智能技术相结合采用Web Services技术使用数据仓库技术采用J2EE技术架构使用XML技术实现模板化的图表配置,区级大数据资源平台的建设将选用先进、成熟、通用、开放的技术路线，并确保与市级大数据资源平台的技术体系保持一致,信息安全保障方案,本项目按照信息安全等保三级的要求，依托于区级电子政务云环境和数据安全子平台建设，在计划开展对现13、有主机、网络设备、安全设备功能及配置优化和加固工作，同时根据三级等保要求建立健全安全管理制度，进一步落实安全管理相关工作。,目录,大数据资源平台建设目标与内容,建设内容,城市驾驶舱,数据支撑子平台,数据安全子平台,数据运维子平台,视P结构化分析子平台,地理信息服务子平台,数据共享交换子平台,数据资源中心建设,一期目标：至2021年底，基本形成区级大数据资源平台基础功能架构，完成标准化数据仓库的建设并建立数据资源中心，为一网通办、一网统管和城市规划等应用提供数据赋能,平台支撑,建设目标,启动区级大数据平台资源中心建设：完善基础库建设，建立新建一网通办、一网统管和城市规划相关应用主题库，能基本完成14、支撑全区一网通办、一网统管、城市规划、应急指挥为主题的资源归集，并形成相关的基础库、专题库和主题库；,建立统一的政务数据信息资源目录，建立动态更新机制，明确全区各部门可向其他Z府机构共享的公共数据，建立全区统一的数据交换共享平台及数据中心，对上对下实现垂直共享，横向打通各部门间的数据藩篱，实现部门间业务协同和指挥联动；,启动大数据资源平台功能建设（城市驾驶舱、数据资源中心、管理门户、数据支撑平台、数据安全、数据运维、数据智能管理、视P结构化分析、物联感知管理、地理信息服务、数据共享交换），实现大数据综合管理与服务功能；,充实现有管理功能，形成共享工作体制和制度；,构建城市驾驶舱，归集全区可视化15、资源集成呈现并综合多维场景全面分析；,支撑基于大数据资源平台的城市运行应急指挥的应用；,数据智能管理子平台,三清单一目录梳理,统一数据管理门户,物联感知管理子平台,大数据资源平台功能架构,大数据资源平台各子平台间关系,数据支撑子平台建设方案-总体架构,批数据处理通过数据采集平台任务调度的方式，根据时间戳定时探查区级委办局前置库数据以及结构化文件的变动，通过数据采集平台的解析，抽取增量数据到数据湖。流数据处理通过数据湖内独立部署kafka消息系统，采用区级委办局推送或自动拉取的方式，将流数据接入大数据支撑平台。,流数据接入,批数据接入,数据支撑子平台建设方案-数据范围与存储,数据支撑子平台可承载16、的区大数据资源平台数据湖/库归集的数据范围、种类和存储方式如下：,数据共享交换子平台建设方案-整体定位,数据交换系统负责将各前置库中的数据安全、可靠的传输到数据中心中服务管理系统可对各委办业务系统提供的服务接口接入总线，并由总线对服务接口进行统一调用监管交换级联实现区平台与市平台间数据的交换级联对接,以电子政务云为基础构建全区统一的数据共享交换子平台，形成公共数据交换、共享的核心枢纽，并与市级大数据资源平台对接，打通市、区两级级联共享的通道，实现跨层级、跨部门的双向信息传递互通,数据共享交换子平台建设方案-架构设计,基础设施层主要是指平台建设运行所需的网络、服务器、存储、安全、虚拟化等基础支撑17、设施息资源层以各部门、机构等数据为基础，通过对数据信息进行汇集、加工、整合，在中心沉淀形成相关数据资源，逐步建设形成全面、权威的数据中心基础支撑层由平台基础支撑软件构成，是平台稳定运行提供服务的基础交换支撑层是数据资源汇集、处理与服务的核心支撑，通过底层中间件为基础，构建面向上层应用的服务系统标准规范与运维体系贯穿平台的各个层面，用于规范各部分的建设运行和管理，保障平台的顺利建设实施和正常稳定运行。,数据共享交互平台总体架构主要分为基础设施层、数据资源层、支撑层，服务层以及贯穿多层的标准规范体系和安全保障体系。,数据共享交换子平台建设方案-业务逻辑,数据交换是整个平台的基础，提供系统业务接口接18、入、交换前置接入、数据采集、交换传输、数据集成、交换管理等功能服务；数据交换通过前置交换系统与各交换部门进行互联；通过数据传输系统各委办的数据资源汇集到数据中心；对汇集到数据中心的数据进行统一加工、处理，并将经过数据治理后的数据中心中的数据交换到各类基础信息库中；服务管理系统将各类基础信息库中的数据进行服务封装和服务发布，提供给各委办或决策分析等系统使用。,系统建设围绕数据资源的采集交换、数据传输、交换监控、数据集成、服务集成、服务发布这一完整的采集应用服务流程进行，以保证平台功能、服务更加贴近实际业务应用需要。,区数据交换系统拟建设数据交换平台、服务管理平台、统一监控平台、交换级联管理、数据19、共享服务接口开发和标准规范等内容,区数据资源中心建设方案-总体架构,通过相应平台工具汇聚区内各单位公共数据及市级落地数据资源，形成区级数据湖，同时经过数据清洗、转换、融合、治理后高质量的公共数据资源库，并基于相关应用需求构建各类应用基础、主题、专题库，进而形成区级数据资源中心。,区数据资源中心建设方案-建立区级数据湖,建立区级数据湖，用以存储全区的各种各样原始数据，并保证湖中的数据可供存取、处理、分析及传输。通过数据采集相关技术手段，面向多类数据源，汇集全区委办、市级、互联网以及其他各类数据，并统一存储到区级数据湖中。,SRC近源数据层定位在于将原始数据源进行全量映射保存，是外部各类数据进入数20、据湖的第一步缓冲节点。该层需要汇集全区各业务条线数据，数据类型需要涵盖结构化数据、非结构化数据为了构建有效的数据分层治理，构建起逐层递进的数据流转模式，数据湖构建过程中，需要构建ODS源数据层。,以数据开发工具为基础，构建SRC近源数据层、ODS数据资源层，形成面向全行业的数据基础层；以数据湖为基础，为后续主题、专题建设提供基础数据支撑，同时为上层应用价值发掘提供全面的数据支撑。,区数据资源中心建设方案-构建基础库,区数据资源中心建设方案-构建主题库,根据智慧城市建设的总体规划，将主题库建设主要聚焦在一网通办、一网统管、城市规划、经济发展、公共安Q、市场监管、生态环境和民生幸福等多个方向。,主21、题库的建设方案可以依照智慧城市的建设需求进行增加,区数据资源中心建设方案-构建专题库,专题库设计面向应急管理常态与非常态业务需求，通过将资源库、主题库数据进行二次抽取装载的方法重新组织数据，并按照不同事件专题应用的需求重新整合形成专题库。,应急专题库内容根据主题设计好的相应数据结构，本次建设将主要实现应急指挥的专题数据展示，包括消防应急、安监管理、防汛防台和重点景区等四大专题。,区数据资源中心建设方案-三清单梳理,数据智能管理子平台建设方案-总体方案,数据管理涵盖了数据的全局治理和过程管控，是数据可用的前提，只有确保数据的标准化、规范化，可信可用，才能进一步通过数据运营与应用实现数据资产管理，22、发现内部数据问题、发掘数据价值，进而实现数据资产的盘活和有效利用。,构建一体化的数据资产管控，实现全流程、全生命周期和全景式的“三全”治理，确保数据资产可靠、可信、可用；通过对数据、应用、系统综合治理与管理，构建标准化、流程化、自动化、一体化的数据管理体系。,数据智能管理子平台建设方案-系统架构,平台采用工厂化的数据处理和管理模式，通过数据生产计划、数据生产执行和数据生产管理三大子模块，保障数据处理全过程透明可控，实现工具化、流程化和自动化的数据开发、运维与管理，提升数据管理、开发与应用的效率。,平台采用基于元数据驱动的开发模式，保障元数据与实际系统情况的一致性，通过元数据准确描述系统，指导系23、统建设。,数据处理管理系统：负责软件开发和数据规范的管控,数据生产计划系统主要功能为：需求设计、设计确认等,数据处理执行系统：负责数据处理计划的执行、数据的生产和数据质量控制等工作,提供元数据获取和管理功能,提供数据对象设计功能,提供对象化接口模块,提供数据质量管理功能,提供可视化的标准 IDE 环境,提供基于元数据血缘图的调度功能,提供基于元数据的数据资产与标准管理,数据智能管理子平台建设方案-治理流程,总体数据治理流程,数据治理过程与产出,数据智能管理子平台建设方案-数据开发与调度,数据探索工具：用户通过数据探索工具对拥有权限的数据进行在线自助数据查询，工具记录访问日志；数据可视化工具：专24、题数据，主题数据加工完成后，用户可利用可视化工具开发可视化报表，经过测试发布上线后，对外提供可视化服务。,视P结构化分析子平台建设方案,本期视P结构化分析子平台建设主要构建数据服务，计算服务，搜索服务，算法服务四大服务,建立区级视P结构化分析子平台，搭建公共的智能算力资源，通过整合全区在G安、雪亮工程、街镇单兵、布控球等各类视P终端视P数据资源并进行智能化处理与应用分析，进而统一向各单位提供智能应用场景所需的视P结构化数据资源。,平台可全面对接城市的摄像头数据，包括R像、C辆、治安、物联网数据等；平台基于对象存储、数据库等存储技术，及图像搜索引擎服务，提供结构化数据的全量存储和索引；平台基于分25、布式调度和计算加速功能，可提供实时的视P计算、索引和搜索等服务；平台业务及流程可灵活定制，支持算法增加和删除；平台支持开放的算法接入和应用接入，让第三算法厂商能够方便的接入平台。,物联感知管理子平台建设方案,建设区级物联感知管理子平台，统筹全区物联感知终端建设，制定物联感知数据采集规范，通过统一的物联感知管理子平台，实现物联网终端统一管理和数据采集。,对接区级与各街道的物联网管理平台，采集平台中的设备相关数据；支持直接连接、管理各类物联网设备，实现对少量零散的物联感知设备进行统一的管理。,地理信息服务子平台建设方案,依照区内“一张图”的原则，在本期项目中将围绕对已有的区内GIS，在现有ARCG26、IS系统基础上，提供更多图层，并进行渲染等服务的升级，构建全区统一的地理信息服务子平台，为涉及地理信息数据的大屏展示与相关应用提供GIS服务支撑。,依照展示大屏设备支持的分辨率与大屏主题、界面设计，提供地图3D模型的渲染服务，对于3D模型图层进行整体色彩与展示效果的渲染改造服务；针对大屏展示的主题配色与日常工作的界面主题配色的需要，提供地图底层的全套配色的调整，并形成对应的大屏皮肤、日常工作皮肤；通过图层服务功能，对于地图的区域进行划分，支持本区边界、街道、网格、功能区划分等需求；对非本区GIS系统所使用的坐标系的坐标数据，都需要按标准进行转换。,依托本市下发的空间地理底图和各类图层信息以及区27、级地理信息服务平台，建立统一的地名地址标准和数据库，叠加“一标多实”各类要素数据，实现各类地理数据资源的有序关联，并完善地图更新和转换联动机制，支撑全区各部门对地图的统一服务需求。,数据安全子平台建设方案-全生命周期安全管理设计,数据安全子平台建设方案-功能架构,大数据资源平台的整体安全防护体系包括数据资源平台环境安全和数据全生命周期安全两大核心要素。数据的全生命周期安全防护是大数据资源平台安全防护的重中之重。结合数据安全能力成熟度模型，数据安全生命周期各阶段主要防护能力，大数据资源平台的安全管理子平台功能架构设计如下：,数据安全子平台建设方案-MIMA评估,市委网络安全和信息化委员办公室和市28、MM管理局发布了关于进一步加强和规范关键信息基础设施MM应用工作的通知，要求各单位落实中华人民共和国网络安全法中华人民共和国密码法相关规定，加强和规范关键信息基础设施MM应用工作。而大数据资源平台（等保三级）属于关键信息基础设施，所以需要实施MM应用安全性评估工作。,数据安全子平台建设方案-MIMA应用改造,依据MM应用安全测评标准，规划符合信息系统MM应用技术要求的MM应用方案。在大数据资源平台的实施阶段，要同步实施MM应用的实施，配合大数据资源平台的应用完成其密钥应用实施。最终达到实际的MY安全应用需求，为大数据资源平台提供底层安全保障，以保证所建设大数据资源平台达到符合MY应用安全性测评29、要求。,统一运维子平台建设方案,统一运维平台负责对大数据资源平台内的所有基础资源，系统模块，系统运行行情况提供整体的监控告警，运维视图，各类流程引擎，服务启停、巡检等工具承载。使得区大数据平台上快速发现异常，及时发现并告知维护人员，快速恢复，提升平台内外客户感知。,统一数据管理门户建设方案,有效集成整合各子平台应用功能模块，统一用户账号、组织架构、角色权限、资料应用、信息展示等方面管理，全面打造面向各单位工作人员的一体化统一集成门户。,区城市驾驶舱建设方案-总体架构,深度展现数据智能化理解和认知，强化信息掌控能力，提供全局态势可视，揭示城市运行趋势，形成城市超级洞察力，构建具备“城市仪表盘、综30、合操作台、决策导航仪和超级指挥室”能力的城市驾驶舱，提升城市运行的动态监管能力、科学决策水平和应急指挥协同能力。,区城市驾驶舱建设方案-设计思路,区城市驾驶舱设计将以精细化管理的实际需求为驱动，实现多个专题的可视化展示，以“6+X+Y”归纳总结为为全区概览、公共管理、公共安全、公共服务、经济发展、数据应用，X个智能分析场景和Y个重点专题分析的内容形式呈现。,6维：城市多维全景,X：智能分析场景,Y：重点专题分析,区城市驾驶舱建设方案功能架构,针对区各委办局进行调研情况，在区城市驾驶舱中重点专题分析，本项目大数据资源平台建设对应的城市驾驶舱内容主要聚焦在“数据应用”的建设内容。,区城市驾驶舱建设方案功能设计,感谢聆听！,