1、大数据资源平台建设可行性研究方案目录项目概况1现状分析2项目需求分析3总体建设框架思路与方案4详细建设方案5项目概况目录项目概况1现状分析2项目需求分析3总体建设框架思路与方案4详细建设方案5数据平台现状信息资源情况现阶段，区科委的信息化机房分布情况如下区电子政务云中心主要机房为1个，其他为G安云、教育云和卫健云等三个云分中心区电子政务云由区信息服务中心负责建设和运维，目前全区已有35家单位接入政务云，共承载340个业务应用。政务云配置虚拟机580台，政务网区和互联网区差不多各一半。目前区政务外网骨干结构为“核心-汇聚-接入”的三层结构，接入交换机汇聚交换机间实现双链路互联，汇聚核心间实现网状2、互联。由于整个网络有了明确的层次划分，汇聚层与核心层也将承担各自的功能。汇聚层实现所有接入单位三层网关功能。核心层实现核心应用服务器群、Internet出口、市政务外网出口的接入，并实现接入链路的冗余。汇聚层-核心层设备之间环状冗余。网络现状机房现状虚拟化平台现状与已有系统的关系整体架构重新部署功能模块全面升级市大数据平台对接市级数据资源落地归集全区公共数据原有系统与数据数据资源目录系统G安视P图像平台物联网平台汇聚整合共享应用展示评价六位一体大数据资源体系数据归集管理系统拟建区级大数据资源平台项目是加快整合区现有数据共享交换平台、数据资源目录和基础数据库等与大数据资源平台相关的平台的基础上，3、进行整体架构的重新部署和功能模块的全面升级，在满足与市大数据资源平台的对接，并承接市大数据资源平台的落地数据资源，同时，归集全区内各单位公共数据资源，按需实现共享交换，逐步构建集区公共数据汇聚、整合、共享、应用、展示、评价六位于一体的大数据资源体系。GIS服务平台目录项目概况1现状分析2项目需求分析3总体建设框架思路与方案4详细建设方案5项目建设的必要性区大数据平台建设是满足全市大数据工作推进的必然要求1区大数据平台建设是区大数据中心自身发展的内生需求2大数据资源平台建设是全区精细化管理和经济高质量发展必然要求3区大数据平台建设是提升智慧城市管理服务能级的核心中枢4区大数据平台建设是城市经济高4、质量发展的内在需求5本项目建设具有必要性，具体如下：项目建设背景及依据项目需求分析业务量需求功能需求城市驾驶舱数据资源中心统一数据管理门户公共数据开放门户数据支撑子平台数据安全子平台数据运维子平台数据智能管理子平台视P结构化分析子平台区级公共人工智能子平台物联感知管理子平台地理信息服务子平台数据共享交换子平台性能需求具备5PB数据存储与管理能力，其中结构化数据存储与管理能力要求达到500TB。平台数据融合计算（百万级数据）执行效率达到分钟级分布式存储平台支持超过200人的数据开发人员并发访问，同时进行数据处理任务的开发、测试和使用。平台的调度执行器需具备2000个在线数据任务在分布式存储平台下5、的管理和执行的能力。平台页面加载时长 3s；并发用户数（个）200；总请求数（个）2000；页面平均响应时间 3s；页面响应最小时间 0.4s；页面响应最大时间 5s；报表平均加载时间 5s。架构需求建立自身的统一技术栈。开放架构：平台本身具备模块化开放和集成能力。支持多租户和容器化资源弹性伸缩部署。架构的先进性：技术架构中的技术组件选型，从技术成熟度、性能、稳定性、持续研发升级、使用后业内评价、易维护性、适配性等方面做出考量，为架构选型提供参考，保证整体架构中的组件的先进性。架构的高可用：在长时间、多任务场景下的稳定运行。项目需求分析硬件设备需求大数据资源平台：14台大数据共享交换体系软件：6、20台数据治理系统软件：2台配置：4C/8G/300G标准配置，共需要144C核数，288G内存，10800G磁盘容量。平台应用部署资源的硬件部分可考虑由区电子政务云统一提供。网络环境需求区级大数据资源平台部署在区电子政务云上，并借用政务云所处的网络环境下来满足平台的网络部署需求，同时通过电子政务外网、互联网、物联网、专网等网络的互联互通环境需求。标准规范需求安全保障需求系统应该以安全为核心设计要素；考虑内容包括：物理安全、数据安全、网络安全、防病毒等多项安全防卫措施.主要包括：物理安全网络层安全系统层安全应用系统安全建立针对区级大数据资源平台的数据标准体系建立完整、系统、准确、合规的数据标准7、从根本上解决各部门各系统数据存在的不标准、不完整、重复、错误、不一致等数据质量问题，使数据在整合、应用的过程中实现统一标准的管理，达到提升整体数据质量。目录项目概况1现状分析2项目需求分析3总体建设框架思路与方案4详细建设方案5项目建设原则和基本策略遵循市级规范开放原则先进原则安全保密原则统一建设、管理与应用体系统一技术规范统一模型设计平台功能规范要求借鉴互联网思维，提供标准化环境，实现应用与平台分离，强调开放、协作、共赢，打造开放的“生态”。引入先进技术及经验，加强自身对技术掌控能力，建设“低成本、高效率、可管理维护”的大数据资源平台。确保数据安全，防止数据泄露保护自然人、FR信息安全隐私保8、护利旧原则渐进原则可靠原则实用原则充分借鉴现有系统在数据、架构、应用、运维和人员等方面的储备和积累，尽量利旧现有资源。按照“统一规划、分步实施”要求，逐步推进组织机构建设，推进大数据资源平台建设和运维工作。在技术服务和维护响应上同用户积极配合,确保系统的可靠；对数据指标要保证完整性、准确性。操作简单、快捷,紧密结合业务；满足规范要求的效率与响应时间，有良好人机接口与灵活的展现方式。项目建设标准与规范本项目建设依据主要为国家、市公布的相关工作要求和意见通知，以及电子政务等信息化技术规范。平台定位：大数据资源平台是城市大脑的重要组成部分项目总体建设目标加快推进与承接市级大数据资源平台的落地数据资源9、逐步构建形成区级公共数据汇聚、整合、共享、应用、展示、评价为“六位一体”的大数据资源体系构建区级基础库、专题库和主题库为核心资产的区级数据资源中心构建数据集成、数据共享、数据管理、数据决策的综合管理服务体系，确保大数据平台全面支撑全区公共数据协同服务、城区管理协同服务、惠民数据协同服务和兴业数据协同服务市级数据部门数据社会数据聚授权管理按需共享通基础库主题库专题库用资产管理血缘管理分级分类管可视化大屏全景监控看成熟度评估质量评估评构建以城市大脑为核心，打造“能呼吸、自生长、有温度、共生态”的区级综合智能体（一体）提升“城市服务人性化、管理精细化、应急快速化、决策科学化”（四化）水平项目总体建设10、目标总体建设目标聚：推进与市级RK、FR、空间地理库的数据集成，促进电子证照库对接利用；逐步推进区级各部门视P数据、物联数据以及基层业务数据的数据汇聚。管：构建一站式数据资产管理平台，通过级联实现区内数据上报市级平台，结合区内情况进行本地数据资产目录管理，形成对数据全生命周期管理及各环节安全监管。通：实现基于应用场景的数据资源授权管理机制，推动公共数据按需充分共享。实现数据分级分类开放管理，扩展共享交换平台功能。用：开展主题数据库建设，推动数据资源整合及数据分析应用。开展数据应用模型及算法研究，探索数据服务模式创新；推进区级跨部门的数据智能应用。安：打造整体安全管控体系，保证平台上政务数据在数11、据汇聚、数据管理、数据共享、数据开放等全生命周期中的安全防护能力。项目建设路径规划启动区级大数据平台资源中心建设建立统一的政务数据信息资源目录启动大数据资源平台各平台功能建设形成共享工作体制和制度构建城市驾驶舱支撑城市运行应急指挥的应用完善城市管理，新建宏观经济库、民生保障等相关主题库，基本完成城市治理、政务服务、民生保障和经济发展等为主题的资源归集，并形成相关的专题库和主题库；完善区级大数据资源平台功能建设，实现全区大数据综合运营管控；汇聚Z府侧与社会侧的政务、视P、物联数据等，建立大数据服务平台，带来多样化的大数据服务；完善组织能力保障，实现跨越共享。持续完善数据资源中心的相应的基础库、主12、题库和专题库，并支持各类综合创新应用顺利运行；实现以Z府惠民数据共享和实现社会数据交换功能，全面实现内外部数据交换共享；建设全面的保障体制，共享制度更趋于标准化、体系化、制度化；完善组织实施机制，提高数据开放管理水平，实现数据治理标准规范和安全保障，建立运维保障能力；构建公共数据汇聚、整合、共享、应用、展示、评价为“六位一体”的大数据资源体系，支撑全区大数据资源生态体系闭环。全面构建-2021全面深化-2022全局引领-2024至2021年底，基本形成区级大数据资源平台基础功能架构，完成标准化数据仓库的建设并建立数据资源中心，为一网通办、一网统管和城市规划等应用提供数据赋能至2022年底，完善13、平台建设，实现数据仓库到数据中台的功能升级，支撑各部门在智慧城市建设中主要数据的共享需求和应用开发需求，基本具备个性化数据生产的能力至2024年底，构建形成公共数据汇聚、整合、共享、应用、展示、评价为“六位一体”大数据资源体系，全面数据赋能应用，基本实现公共数据社会化运营能力项目建设按照总体规划，分步实施的原则来进行，首期完成基础平台的搭建，后续逐步完善、丰富全区大数据平台能力和应用。一体化大数据资源平台总体架构大数据资源平台的总体架构大数据资源平台各子平台间关系数据资源中心数据湖数据库基础库主题库专题库数据支撑子平台数据共享交换子平台数据智能管理子平台视P结构化分析子平台物联感知管理子平台地14、理信息服务子平台公共人工智能子平台提供通用A能力I引擎支撑智能场景应用提供统一地理数据信息服务，支撑地图需求物联终端管理与数据采集，统一物联感知管理建立视P智能分析能力提供视P结构化数据提供基础数据底座实现数据存储与计算统一数据治理与管控实现数据应用的开发提供数据交换能力实现数据采集与开放统一数据管理门户建设公共数据开放门户城市驾驶舱统一管理入口整合各子平台应用功能公共数据资源开放利用平台管理应用数据数据开放使用情况深度数据分析展现提供全局态势可视数据运维子平台数据安全子平台构建统一系统监控与维护能力，对各子平台进行实时监控与集中运维，保障平台高效、稳定运行构建统一系统监控与维护能力，对各子平15、台进行实时监控与集中运维，保障平台高效、稳定运行构建全生命周期数据安全防护能力，提供统一数据与信息安全保障，保障平台安全构建全生命周期数据安全防护能力，提供统一数据与信息安全保障，保障平台安全平台网络架构本次区大数据资源平台（一期）项目建设主要依托区信息服务中心提供信息基础设施和网络环境，并在区电子政务云统一规划和标准要求下进行该平台的搭建和部署建设。项目建设技术路线分布式存分布式存储引擎储引擎资源管资源管理框架理框架通用计通用计算引擎算引擎细分领细分领域引擎域引擎短时任务资源管理框架 YARN资源隔离调度管理框架Kubernetes分布式文件系统-HDFS搜索引擎Elastic Search16、分布式大表HBase分布式缓存Redis消息队列Kafka分布式协作服务Zookeeper流处理引擎SQL批处理机器学习交互式分析事务数据库图分析引擎深度学习数据数据分析分析管理工具管理工具数据装载与加工数据工作流开发数据资产管理统计挖掘开发运维与监控机器学习建模可视化报表批处理框架MapReduce高性能处理框架Spark向量处理框架TensorFlow低延时流处理框架Flink使用面向服务架构（SOA）采用多层架构体系使用Java B/S开发技术采用基于Hadoop的大数据平台框架将大数据与人工智能技术相结合采用Web Services技术使用数据仓库技术采用J2EE技术架构使用XML技术17、实现模板化的图表配置区级大数据资源平台的建设将选用先进、成熟、通用、开放的区级大数据资源平台的建设将选用先进、成熟、通用、开放的技术路线，并确保与市级大数据资源平台的技术体系保持一致技术路线，并确保与市级大数据资源平台的技术体系保持一致信息安全保障方案本项目按照信息安全等保三级的要求，依托于区级电子政务云环境和数据安全子平台建设，在计划开展对现有主机、网络设备、安全设备功能及配置优化和加固工作，同时根据三级等保要求建立健全安全管理制度，进一步落实安全管理相关工作。按照三级等保要求规建，确保平台达到信息安全等级保护三级要求（85分以上）物理安全l确保数据中心机房的安全l包括机房的选址，机房场地安18、全，防电磁辐射泄漏，防静电，防火等内容网络安全l确保平台网络的设计、构建和使用的安全l使用基于网络的各种相关安全技术和手段，如防火墙，IPS，安全审计等系统安全l保证服务器操作系统，数据库，中间件在内的平台相关系统安全l使用安全评估管理工具所进行的系统安全分析和加固数据安全l确保数据存储与使用安全l使用数据备份和恢复等数据安全设计l使用数据加密、脱敏等技术信息安全l保证平台所涉及信息安全l是由完整的用户身份认证以及安全日志审计跟踪l对安全日志和事件的统一分析和记录确保数据与信息安全，符合信息安全管控规范围 绕 数 据 为 核 心，从 数 据 采 集、存 储、访 问、使 用、修 改、共 享、丢 19、失、泄 漏 等 多个 维 度 展 开，构 建 全 生 命 周 期 的 数 据 安 全 保 障 体 系，形 成 数 据 与 信 息 安 全 管 控 闭 环目录项目概况1现状分析2项目需求分析3总体建设框架思路与方案4详细建设方案5大数据资源平台建设目标与内容建 设 内 容城市驾驶舱数据支撑子平台数据安全子平台数据运维子平台视P结构化分析子平台地理信息服务子平台数据共享交换子平台数据资源中心建设一期目标：至2021年底，基本形成区级大数据资源平台基础功能架构，完成标准化数据仓库的建设并建立数据资源中心，为一网通办、一网统管和城市规划等应用提供数据赋能平台支撑平台支撑建设目标建设目标启动区级大数据平20、台资源中心建设：完善基础库建设，建立新建一网通办、一网统管和城市规划相关应用主题库，能基本完成支撑全区一网通办、一网统管、城市规划、应急指挥为主题的资源归集，并形成相关的基础库、专题库和主题库；建立统一的政务数据信息资源目录，建立动态更新机制，明确全区各部门可向其他Z府机构共享的公共数据，建立全区统一的数据交换共享平台及数据中心，对上对下实现垂直共享，横向打通各部门间的数据藩篱，实现部门间业务协同和指挥联动；启动大数据资源平台功能建设（城市驾驶舱、数据资源中心、管理门户、数据支撑平台、数据安全、数据运维、数据智能管理、视P结构化分析、物联感知管理、地理信息服务、数据共享交换），实现大数据综合管21、理与服务功能；充实现有管理功能，形成共享工作体制和制度；构建城市驾驶舱，归集全区可视化资源集成呈现并综合多维场景全面分析；支撑基于大数据资源平台的城市运行应急指挥的应用；数据智能管理子平台三清单一目录梳理统一数据管理门户物联感知管理子平台大数据资源平台功能架构大数据资源平台各子平台间关系数据资源中心数据湖数据库基础库主题库专题库数据支撑子平台数据共享交换子平台数据智能管理子平台视P结构化分析子平台物联感知管理子平台地理信息服务子平台提供统一地理数据信息服务，支撑地图需求物联终端管理与数据采集，统一物联感知管理建立视P智能分析能力提供视P结构化数据提供基础数据底座实现数据存储与计算统一数据治理与22、管控实现数据应用的开发提供数据交换能力实现数据采集与开放统一数据管理门户城市驾驶舱统一管理入口整合各子平台应用功能平台管理应用数据深度数据分析展现提供全局态势可视数据运维子平台数据安全子平台构建统一系统监控与维护能力，对各子平台进行实时监控与集中运维，保障平台高效、稳定运行构建统一系统监控与维护能力，对各子平台进行实时监控与集中运维，保障平台高效、稳定运行构建全生命周期数据安全防护能力，提供统一数据与信息安全保障，保障平台安全构建全生命周期数据安全防护能力，提供统一数据与信息安全保障，保障平台安全数据支撑子平台建设方案-总体架构批数据处理通过数据采集平台任务调度的方式，根据时间戳定时探查区级委23、办局前置库数据以及结构化文件的变动，通过数据采集平台的解析，抽取增量数据到数据湖。流数据处理通过数据湖内独立部署kafka消息系统，采用区级委办局推送或自动拉取的方式，将流数据接入大数据支撑平台。流数据接入流数据接入批数据接入批数据接入数据支撑子平台建设方案-数据范围与存储数据支撑子平台可承载的区大数据资源平台数据湖/库归集的数据范围、种类和存储方式如下：数据范围存储方式政务数据结构化数据公共事业数据行业数据物联网数据n市级政务数据：市级下发的各类政务数据；n区级政务数据：区级各委办局提供的G安、税务等各类政务数据；n街道政务数据：下属街道社区上报的各类政务数据。n水电煤：采集区级自来水、电力24、煤气、供热等公共事业数据，此类数据是和百姓生活息息相关的重要民生资源。n金融行业：整合金融行业个人、企业征信数据；n电信行业：整合电信运营商个人、企业的位置数据、互联网内容数据等关键数据n其他行业：整合其他行业的优质数据资源。n视P监控数据：采集区内部署的交通、G安监等各类控摄像头所记录的监控视P数据；n其他感知设备数据：采集部署在区内各类感知设备提供的数据。nSQL数据库：结构化数据的存储和计算以支持SQL的关系型数据为主，如MySql、KunDB等.nNoSQL数据库：非结构化数据的存储和计算以NoSQ数据为主，其中电子证照等小文件数据存储在Hyperbase等KeyValue结构的数据25、库中，视P等大文件存储在HDFS上。半结构化、非结构化数据数据共享交换子平台建设方案-整体定位数据交换系统负责将各前置库中的数据安全、可靠的传输到数据中心中服务管理系统可对各委办业务系统提供的服务接口接入总线，并由总线对服务接口进行统一调用监管交换级联实现区平台与市平台间数据的交换级联对接以电子政务云为基础构建全区统一的数据共享交换子平台，形成公共数据交换、共享的核心枢纽，并与市级大数据资源平台对接，打通市、区两级级联共享的通道，实现跨层级、跨部门的双向信息传递互通数据共享交换子平台建设方案-架构设计基础设施层主要是指平台建设运行所需的网络、服务器、存储、安全、虚拟化等基础支撑设施息资源层以各26、部门、机构等数据为基础，通过对数据信息进行汇集、加工、整合，在中心沉淀形成相关数据资源，逐步建设形成全面、权威的数据中心基础支撑层由平台基础支撑软件构成，是平台稳定运行提供服务的基础交换支撑层是数据资源汇集、处理与服务的核心支撑，通过底层中间件为基础，构建面向上层应用的服务系统标准规范与运维体系贯穿平台的各个层面，用于规范各部分的建设运行和管理，保障平台的顺利建设实施和正常稳定运行。数据共享交互平台总体架构主要分为基础设施层、数据资源层、支撑层，服务层以及贯穿多层的标准规范体系和安全保障体系。数据共享交换子平台建设方案-业务逻辑数据交换是整个平台的基础，提供系统业务接口接入、交换前置接入、数据27、采集、交换传输、数据集成、交换管理等功能服务；数据交换通过前置交换系统与各交换部门进行互联；通过数据传输系统各委办的数据资源汇集到数据中心；对汇集到数据中心的数据进行统一加工、处理，并将经过数据治理后的数据中心中的数据交换到各类基础信息库中；服务管理系统将各类基础信息库中的数据进行服务封装和服务发布，提供给各委办或决策分析等系统使用。系统建设围绕数据资源的采集交换、数据传输、交换监控、数据集成、服务集成、服务发布这一完整的采集应用服务流程进行，以保证平台功能、服务更加贴近实际业务应用需要。n区数据交换系统拟建设数据交换平台、服务管理平台、统一监控平台、交换级联管理、数据共享服务接口开发和标准规28、范等内容区数据资源中心建设方案-总体架构通过相应平台工具汇聚区内各单位公共数据及市级落地数据资源，形成区级数据湖，同时经过数据清洗、转换、融合、治理后高质量的公共数据资源库，并基于相关应用需求构建各类应用基础、主题、专题库，进而形成区级数据资源中心。各类数据源各类数据使用单位与应用区大数据资源中心数据湖（ODS贴源层）数据库（DWD层）基础库主题库专题库共享库（ADS层-开放共享区）数据安全保障集中监控维护数据治理处理管理区数据资源中心建设方案-建立区级数据湖建立区级数据湖，用以存储全区的各种各样原始数据，并保证湖中的数据可供存取、处理、分析及传输。通过数据采集相关技术手段，面向多类数据源，汇29、集全区委办、市级、互联网以及其他各类数据，并统一存储到区级数据湖中。SRC近源数据层定位在于将原始数据源进行全量映射保存，是外部各类数据进入数据湖的第一步缓冲节点。该层需要汇集全区各业务条线数据，数据类型需要涵盖结构化数据、非结构化数据为了构建有效的数据分层治理，构建起逐层递进的数据流转模式，数据湖构建过程中，需要构建ODS源数据层。n以数据开发工具为基础，构建SRC近源数据层、ODS数据资源层，形成面向全行业的数据基础层；n以数据湖为基础，为后续主题、专题建设提供基础数据支撑，同时为上层应用价值发掘提供全面的数据支撑。区数据资源中心建设方案-构建基础库RK概况、RK查询、RK统计、RK画像、30、周期管理、模板管理、字段映射、执行策略、入库管理、异常告警、标签管理、标签映射和关系、图形化分析业务信息数据G安口RK出生、死亡及户籍登记基本信息地理实体数据影像数据高程数据电子地图数据地名地址数据三维数据R口库建模元数据管理法R库建模元数据管理空间地理库建模元数据管理数数据据抽抽取取/数数据据交交换换基础数据库基础库管理应用RK应用FR概况、FR查询、FR统计、FR画像、周期管理、模板管理、字段映射、执行策略、入库管理、异常告警、标签管理、标签映射和关系、图形化分析FR应用地图服务、影像服务、地名地址服务、三维服务与坐标转换等功能服务空间地理应用RK数据FR数据空间地理数据民政口婚姻关系双方31、RK信息人社口社会五险参保等RK信息卫计口孕产妇及家属信息工商口税务口质监口民政口区数据资源中心建设方案-构建主题库根据智慧城市建设的总体规划，将主题库建设主要聚焦在一网通办、一网统管、城市规划、经济发展、公共安Q、市场监管、生态环境和民生幸福等多个方向。主题库的建设方案可以依照智慧城市的建设需求进行增加本期建设一网通办主题库n整合全区各部门事项、项目、证照、办件等信息，形成与市级主题库相呼应的区级一网通办库n为碎片化、条线化的政务服务事项前端受理功能以及线上线下政务服务流程再造提供数据支撑n同时与市大数据中心一网通办主题库进行对接一网通管主题库n将分散在各条线部门的城市精细化管理要素数据统一32、整合治理，实现“一数汇数据”n实现对全区网格化、综治和应急等城市运行“一网统管”应用的支撑n同时与市大数据中心一网统管主题库进行对接城市规划主题库n全面整合和采集数据，通过对各区域的居民的教育设施、医疗设施等大数据行为挖掘，形成不同主题的统一可视化分析能力，助力城市发展规划和决策洞察区数据资源中心建设方案-构建专题库专题库设计面向应急管理常态与非常态业务需求，通过将资源库、主题库数据进行二次抽取装载的方法重新组织数据，并按照不同事件专题应用的需求重新整合形成专题库。应急专题库内容根据主题设计好的相应数据结构，本次建设将主要实现应急指挥的专题数据展示，包括消防应急、安监管理、防汛防台和重点景区等33、四大专题。FR自然人空间地理电子证照主题库数据实时事件数据区域基础数据传感器媒体外部系统视P监控学校医院G安消防交通数据采集数据同步数据服务本期建设应急救援专题库n整合应急管理局内部数据（监测预警系统数据，安全生产行政执法数据等）、外部委数据、互联网数据，形成应急管理数据资源池，为在应急指挥救援过程中相关决策提供数据支撑。灾害管理对象专题库n构建人员对象库，形成应急救援人员相关基础数据库n构建生产经营企业对象库，整合煤矿、非煤矿山、石油、冶金等信息n构建自然灾害隐患点库，整合地震、气象、水旱等灾害隐患风险数据内容灾害事件专题库n灾害事件主要包括自然灾害和安全事故两类；n构建自然灾害事件信息库、34、安全事故信息库。区数据资源中心建设方案-三清单梳理部门调研、系统调研梳理各系统信息梳理系统对接方案梳理各系统数据资产数据资产分类(数据类别)数据资产分级(MG级别）编制数据资源目录数据资源目录制定需求清单模板需求方部门调研需求方系统调研编制数据需求清单流程梳理培训需求清单制定责任清单模板提供方部门调研提供方系统调研编制数据责任清单流程梳理培训责任清单部门调研梳理数据共享规范梳理负面清单编制附件名单模板流程梳理培训负面清单提出数据需求在数据资源目录找到对应数据责任方审批生成需求单审批通过数据对接审批不通过进入负面清单数据申请流程：数据智能管理子平台建设方案-总体方案数据管理涵盖了数据的全局治理和35、过程管控，是数据可用的前提，只有确保数据的标准化、规范化，可信可用，才能进一步通过数据运营与应用实现数据资产管理，发现内部数据问题、发掘数据价值，进而实现数据资产的盘活和有效利用。构建一体化的数据资产管控，实现全流程、全生命周期和全景式的“三全”治理，确保数据资产可靠、可信、可用；通过对数据、应用、系统综合治理与管理，构建标准化、流程化、自动化、一体化的数据管理体系。逻辑资源层（计算、存储、网络资源）政务云管理存储管理网络管理资源调度系统管理数据治理管理元数据存储库业务库主题数据库元数据数据资源层基础设施层用户管理专题数据库基础数据库指标区级数据库区级数据湖RK库FR库应急主题库城市管理、社会36、治理应急专题库经济运行数据标准管理标准代码规则配置标准导入版本管理元数据管理元数据自动获取元数据维护元数据检索元数据版本管理元数据扫描元数据导入/出数据质量管理质量模型配置质量规则管理数据质量监控质检结果查看质量方案调度质检分析报告数据集成管理数据来源管理数据建模配置集成方案管理数据来源统计数据资产管理资产注册管理资产分类管理资产版本管理资产变更管理资产目录管理资产审计管理资产地图管理资产统计管理数据异常管理异常问题列表异常对接管理系统异常处理实时数据异常人工异常处理异常数据分析数据架构管理业务架构管理存储架构管理数据节点管理架构定义管理数据智能管理数据血缘管理智能标签管理数据探索管理画像分析37、数据开发管理流数据采集处理可视化开发工具调度流程设计调度策略管控原生态开发工具任务调度控制数据智能管理子平台建设方案-系统架构平台采用工厂化的数据处理和管理模式，通过数据生产计划、数据生产执行和数据生产管理三大子模块，保障数据处理全过程透明可控，实现工具化、流程化和自动化的数据开发、运维与管理，提升数据管理、开发与应用的效率。n n 平台采用基于元数据驱动的开发模式，保障元数据与实际系统情况的一致性，通平台采用基于元数据驱动的开发模式，保障元数据与实际系统情况的一致性，通过元数据准确描述系统，指导系统建设。过元数据准确描述系统，指导系统建设。数据处理管理系统：负责软件开发和数据规范的管控数据生38、产计划系统主要功能为：需求设计、设计确认等数据处理执行系统：负责数据处理计划的执行、数据的生产和数据质量控制等工作提供元数据获取和管理功能提供数据对象设计功能提供对象化接口模块提供数据质量管理功能提供可视化的标准 IDE 环境提供基于元数据血缘图的调度功能提供基于元数据的数据资产与标准管理数据智能管理子平台建设方案-治理流程总体数据治理流程总体数据治理流程数据治理过程与产出数据治理过程与产出数据智能管理子平台建设方案-数据开发与调度模型开发程序开发程序测试审核上线数据探索u数据探索工具：用户通过数据探索工具对拥有权限的数据进行在线自助数据查询，工具记录访问日志；u数据可视化工具：专题数据，主题39、数据加工完成后，用户可利用可视化工具开发可视化报表，经过测试发布上线后，对外提供可视化服务。视P结构化分析子平台建设方案本期视P结构化分析子平台建设主要构建数据服务，计算服务，搜索服务，算法服务四大服务视P结构化分析子平台数据服务平台设备管理视P流管理图片流管理直播点播管理计算服务实时分析离线分析算法管理任务管理搜索服务图像搜索图像比对布控服务数据服务算法服务视P解码模型推理模型加密API服务开放算法接入动态算法库接入规范输出结果数据规范算法容器接入算法镜像管理算法任务管理集群资源监控建立区级视P结构化分析子平台，搭建公共的智能算力资源，通过整合全区在G安、雪亮工程、街镇单兵、布控球等各类视P40、终端视P数据资源并进行智能化处理与应用分析，进而统一向各单位提供智能应用场景所需的视P结构化数据资源。u平台可全面对接城市的摄像头数据，包括R像、C辆、治安、物联网数据等；u平台基于对象存储、数据库等存储技术，及图像搜索引擎服务，提供结构化数据的全量存储和索引；u平台基于分布式调度和计算加速功能，可提供实时的视P计算、索引和搜索等服务；u平台业务及流程可灵活定制，支持算法增加和删除；u平台支持开放的算法接入和应用接入，让第三算法厂商能够方便的接入平台。物联感知管理子平台建设方案建设区级物联感知管理子平台，统筹全区物联感知终端建设，制定物联感知数据采集规范，通过统一的物联感知管理子平台，实现物联41、网终端统一管理和数据采集。级物联感知管理子平台数据采集网关物联设备接入网关区物联网对接管理平台区、街道散落的各类物联感知设备街道级物联网管理平台数据采集数据采集数据采集数据采集设备连接设备连接集成应用门户用户管理业务应用应用配置消息中心基础配置数据可视化地图看板图表看板设备资产管理设备信息管理设备告警管理设备数据管理数据接口管理平台登记管理数据清洗整理设备类型管理数据采集任务管理设备元数据管理数据采集任务调度设备数据服务设备告警设备基础信息设备大盘设备检索服务数据大盘设备实时数据数据模型管理数据权限管理u对接区级与各街道的物联网管理平台，采集平台中的设备相关数据；u支持直接连接、管理各类物联网42、设备，实现对少量零散的物联感知设备进行统一的管理。地理信息服务子平台建设方案依照区内“一张图”的原则，在本期项目中将围绕对已有的区内GIS，在现有ARCGIS系统基础上，提供更多图层，并进行渲染等服务的升级，构建全区统一的地理信息服务子平台，为涉及地理信息数据的大屏展示与相关应用提供GIS服务支撑。区级地理信息系统综合服务平台城运GIS服务平台区G安GIS服务平台现有系统平功能地图3D渲染地图皮肤与道路颜色更换功能区块划分坐标转换服务图层等资源数据整合图层等资源数据整合图层等资源数据整合图层等资源数据整合支撑全区各部门对地图数据的统一服务需求实现各类地理数据资源的统一管理与有序关联实现各类地理43、数据资源的统一管理与有序关联u依照展示大屏设备支持的分辨率与大屏主题、界面设计，提供地图3D模型的渲染服务，对于3D模型图层进行整体色彩与展示效果的渲染改造服务；u针对大屏展示的主题配色与日常工作的界面主题配色的需要，提供地图底层的全套配色的调整，并形成对应的大屏皮肤、日常工作皮肤；u通过图层服务功能，对于地图的区域进行划分，支持本区边界、街道、网格、功能区划分等需求；u对非本区GIS系统所使用的坐标系的坐标数据，都需要按标准进行转换。依托本市下发的空间地理底图和各类图层信息以及区级地理信息服务平台，建立统一的地名地址标准和数据库，叠加“一标多实”各类要素数据，实现各类地理数据资源的有序关联，44、并完善地图更新和转换联动机制，支撑全区各部门对地图的统一服务需求。数据安全子平台建设方案-全生命周期安全管理设计安全服务体系平台基础设备信息源身份认证信息数据授权信息安全服务信息数据使用信息大数据平台数据流数据流安全运营中心安全服务信息安全运营中心服务流程平台事前：身份访问控制数据授权管理事中：数据脱M数据加M/M钥管理分类分级和数据防泄漏事后：日志采集及存储统一安全审计分析风险告警监控整体：数据安全合规审查数据安全子平台建设方案-功能架构大数据资源平台的整体安全防护体系包括数据资源平台环境安全和数据全生命周期安全两大核心要素。数据的全生命周期安全防护是大数据资源平台安全防护的重中之重。结合数45、据安全能力成熟度模型，数据安全生命周期各阶段主要防护能力，大数据资源平台的安全管理子平台功能架构设计如下：数据全生命周期安全MG数据发现数据分类分级数据脱M数据校验数据质量采集内容加M数据加M数据防泄漏传输存储介质安全内容加M分层分级存储数据备份归档过期数据处理存储内容加M数据脱M操作行为统计分布处理安全数据防泄漏处理内容链路加M链路加M数据水印接口安全数据防泄漏交换数据销毁介质销毁销毁统一身份认证和权限管理统一的数据脱M管理统一的分类分级管理统一的MG数据发现统一的加密秘钥管理统一数据数据防泄漏统一的安全审计分析数据安全子平台建设方案-MIMA评估市委网络安全和信息化委员办公室和市MM管理局46、发布了关于进一步加强和规范关键信息基础设施MM应用工作的通知，要求各单位落实中华人民共和国网络安全法中华人民共和国密码法相关规定，加强和规范关键信息基础设施MM应用工作。而大数据资源平台（等保三级）属于关键信息基础设施，所以需要实施MM应用安全性评估工作。数据安全子平台建设方案-MIMA应用改造依据MM应用安全测评标准，规划符合信息系统MM应用技术要求的MM应用方案。在大数据资源平台的实施阶段，要同步实施MM应用的实施，配合大数据资源平台的应用完成其密钥应用实施。最终达到实际的MY安全应用需求，为大数据资源平台提供底层安全保障，以保证所建设大数据资源平台达到符合MY应用安全性测评要求。统一运维47、子平台建设方案采集层前端采集前端采集前端采集前端采集前端采集数据层数据库应用层分布式服务组件分布式缓存组件消息管理组件搜索引擎组件流处理组件分布式文件系统通知推送自监控文件管理搜索中心通用能力监控资源管理应用系统监控业务服务监控数据质量监控日常巡检服务启停故障预案基础资源监测运维流程服务层集中平台运维 统一运维平台负责对大数据资源平台内的所有基础资源，系统模块，系统运行行情况提供整体的监控告警，运维视图，各类流程引擎，服务启停、巡检等工具承载。使得区大数据平台上快速发现异常，及时发现并告知维护人员，快速恢复，提升平台内外客户感知。统一数据管理门户建设方案信息查询政务信息资源目录服务政务数据管理48、信息网站政务信息资源服务资源审定订阅管理新闻资讯平台动态标准规范个人中心政策法规首页设计后台管理开发者权限管理统一用户管理统一组织架构应用集成及支撑单点登录服务资源目录监控统一访问控制统一身份认证统一消息管理统一日志管理统一运行监控数据中心监控数据归集监控数据交换监控数据治理监控总体运行监控日志审计管理监控告警管理内部审核信息编目资源目录管理系统目录入库目录服务运行监控与维护目录注册目录提交目录模板管理目录汇总管理目录导出目录发布目录查询目录统计分析目录服务于信息资源对接目录审核数据需求导出业务流程设计数据供需对接系统数据责任管理数据需求分析数据需求确认数据评估管理系统对接需求有效集成整合各子49、平台应用功能模块，统一用户账号、组织架构、角色权限、资料应用、信息展示等方面管理，全面打造面向各单位工作人员的一体化统一集成门户。区城市驾驶舱建设方案-总体架构深度展现数据智能化理解和认知，强化信息掌控能力，提供全局态势可视，揭示城市运行趋势，形成城市超级洞察力，构建具备“城市仪表盘、综合操作台、决策导航仪和超级指挥室”能力的城市驾驶舱，提升城市运行的动态监管能力、科学决策水平和应急指挥协同能力。区城市驾驶舱建设方案-设计思路区城市驾驶舱设计将以精细化管理的实际需求为驱动，实现多个专题的可视化展示，以“6+X+Y”归纳总结为为全区概览、公共管理、公共安全、公共服务、经济发展、数据应用，X个智能分析场景和Y个重点专题分析的内容形式呈现。6 6维：城市多维全景维：城市多维全景X X：智能分析场景：智能分析场景Y Y：重点专题分析：重点专题分析区城市驾驶舱建设方案功能架构针对区各委办局进行调研情况，在区城市驾驶舱中重点专题分析，本项目大数据资源平台建设对应的城市驾驶舱内容主要聚焦在“数据应用”的建设内容。城市驾驶舱-大屏数据资源应用数据采集与治理可视化工具图形化报表模板分析聚类分析预测分析分析模型即席分析数据调研数据处理数据指标梳理系统接口对接数据采集产品基座工具包渲染服务分析报告区城市驾驶舱建设方案功能设计感谢聆听！感谢聆听！