1、大数据管理中心规划设计方案,目录,2,整体规划方案,关键能力实现方案,实施方案,背景与需求分析,大数据已成为城市治理的必要基础,大数据里有民意有民心用大数据改善政府服务、更好满足群众需求 要依托互联网、大数据优化再造政府办事流程 同时也要加强数据安全保护智慧型政府,善政,惠民 兴业,城市大数据,科学管理 精准调控 高效协同,服务民生 拉动产业 孵化创新,依托长远规划 立足城市服务 构建价值平台,公共数据共享社会数据协同数据服务开放,社会治理宏观经济市场监管生态保护,促进产业发展拉动数字经济,优化城市资源配给促进城市科学管理,应急响应事件预防,统一汇聚 推动业务数据协同,形成统一的跨部门、跨地域2、跨层级的 信息交换共享,房产局 房产交易所,购房资格审核交易手续确认购房能力评估,税务局,住建委,人社,公安,税收审核税收缴纳,社保年限缴纳金额,房产评估,人户核实户口迁转,民政,婚姻状况,大数据平台,人社数据,民政数据,税务数据,金融信贷数据,人员户口数据,促进数据联动协同,构建数据支持体系,逐步实现立体化、多层次、全方位的数 据服务体系有效支持电子政务公共服务能力提升,横向协同,纵 向 联 动,市级单位,区级单位,社会企业,价值提炼 支撑精准服务与科学管理,宏观数据分析应用,城市人口分析规划人口迁移分析人群特征分析人群发展预测,社会安防,环保数据,金融数据,公共服务,交通数据,医疗数据,3、社保数据,公共安全分析预测建筑安全评估人流分析预警,生态环境分析研判,大气污染分析水质资源分析,大数据平台资源,领导决策,政策研究,资源投放,算法,算力,存储,实时感知 辅助城市治理高效运行,市公安,物业单位,运营商,市急救中心,大数据平台 事件感知&实时处理,消防部门,消防接警消防出警,救护车资源调拨急救医护资源调拨,事故路段增派人手沿途路线道路疏通,疏散建筑人群检查应急通道,短信通知涉事区域人员实时监控区域人流,实时感知,策略研判,实时传递,协同处置,数据互补 以数据供给促产业发展,人口库,法人库,电子证照库,空间地理库,公共数据,航空公司,延误旅客数据,大数据平台市级数据库个人信用评级,4、社会数据,公共社会数据相互促进,金融机构,出行数据,个人征信数据,保险公司 航班延误险定价,小型金融机构 个人信用评估,个人征信数据,延误旅客数据,分析现有平台现状，补足能力短板,B,D,A,C,E,数据归集的频度无法满足业务协同需要未规划数据实时采集技术，无法支撑高效业务协同,城市精细化管理缺乏基础数据保障数据共享和开放能力不全面，应用创新动能不足,安全管控能力待提升数据授权、使用、审计的全生命周期管控存在短板，数据的安全防护有待提升,未实现数据的统一运营，管理及维护难度过高 设备、平台、数据规模高速增长，难于实施高效数据治理，无法及时发现、诊断及解决问题,源端数据标准各异，加工存在技术壁垒5、 湖&库缺乏统一规划，数据标准还需完善 应用支撑能力较为薄弱，容易形成数据沼泽,目录,10,整体规划方案,关键能力实现方案,实施方案,背景与需求分析,大数据资源平台目标体系规划,数据 标准,资源 目录,安全 体系,整合数据能力,赋能智慧运营,政策 法规,运营 策略,打造信息化枢纽,平台 能力,统一管控,技术平台,逐步实现数据能力规模发展 围绕城市治理提供全产业链服务,数据联动,数据汇聚,管理 制度,大 数 据 体 系,数据治理,AI服务,业务服务,数据服务,促进大数据供给侧改革，围绕 大数据各项能力开放，推动数 据应用创新发展，激发数据价 值,整合现有公共数据资源，布局 行业数据引入，逐步形成6、城市 数据枢纽,搭建数据，业务，智慧三大 中台，与行业先进技术保持 同步演进；打造城市数据运 营、事件管理等数字孪生技 术能力,1数据 汇聚,3服务赋能,2技术 驱动,建设目标与思路,使能高效协同，全面优化数据动态更新与同步机制推动公共数据完整归集，按需及时同步和更新公共数据，形成大数据枢纽，保证委办间政务协同驱动数据应用，进一步完善大数据中心主题库建设完成主题数据库建设，推动数据资源整合及数据分析应用聚焦服务赋能，初步构建中台能力开放体系搭建统一流数据处理和业务中台，并完善数据共享服务与数据分析和可视化 服务，提升数据共享与开放效能加强数据运营，推动全市数据统一标准化管理及运维构建统一数据开7、发与调度，增强数据管理能力 建立统一数据运维和自有的大数据组件技术栈，保障平台稳定运营确保安全可控，完善数据安全和平台安全管控建立完整的平台安全和数据安全管控体系，保障数据安全管控,13,市领导,各委办局分析人员,区政府,外部机构,公民,开发者,运维管理者,数 据 层,服 务 开 放 层,门 户,应 用 层,非结构化数据区,对外开放区,对外数据开放脱敏区,数据沙箱,数据沙箱,数据沙箱,视频数据,音频数据,图片数据,数据,私有数据处理,一期,升级,开放中心,一网通办,城运系统,运营中心,分布式存储,分布式分析,数据库,RDB,存储,缓存,存储,采 集 分 发 层,数据管理,元数据 管理,数据开发8、,数据质量 管理,数据安全,安全合规 管理,安全配置 检查,网络安全 分析,安全事件 响应,敏感数据 加密,敏感数据 脱敏,数据泄漏 防护,数据目录,任务调度,统一 运维,数 据 运 维,平 台 运 维,数据标注,共享中心,业务中台服务,规则定义,事件管理,AI中台服务,边缘计算,存储,数据实验区,项目1数据,项目2数据,项目n数据,项目3数据,经济运行,社会治理,二期,大数据区,实时数据区,应用租户,应用租户,应用租户,实时模型,实时指标,实时事件,结 构 化 数 据,城市大脑,批量计算,流计算,挖掘计算,计算,AI能力（语音识别、人脸识别）,深度学习（模型训练）,离线采集,实时采集,数据采9、集,数据源,互联网爬虫,政务数据（国家、市级、区）,公共事业数据,行业数据（金融、电信）,互联网数据,.,物联网数据（气象、摄像 头）,流媒体采集,数据导入上报,物联网网关采集,准实时采集,图数据库,大数据资源平台功能框架,事件服务,数据中台服务,数据共享交换服务分发消息,查询,下载,数据分析和可视化服务,数据可视化工具,数据探索工具,文件,数据开放服务,申请/计量,合作开发,创新研究,目录,整体规划方案,关键能力实现方案,实施方案,背景与需求分析,16,2.构建数据中台核心能力，赋能多样化应用场景,统一汇聚 推动数据共享协同,实时感知 支持城市智慧运营,价值提炼 支持宏观管理决策,数据互补 10、政企数据互促互进,计算资源的读写分离：在 TDC、KunDB等数据库中 对处理和访问节点分离；库的读写分离：数据处理 库和数据访问库分离。,读写分离保障数据访问性能,各区物理隔离保障数据安全,三大区物理隔离，实现大 数据资源区、对外开放区、实验区物理隔离；大数据资源区的数据湖和 市级数据库物理隔离。湖内各委办局逻辑隔离库内各主题层逻辑隔离,数据分层，沉淀共性，形成数据中台能力，赋能典型场景,20,2.1.数据层整体实现方案-数据架构,大数据资源平台支撑数据共享交换（生产职能）、数据分析、数据开放三大核心数据服务，包括大数据资源区、对外 开放区和实验区三大数据区。,大数据资源区：包括市级数据湖和11、市级数据 库两大数据资源-数据湖：主要存放市级政府部门业务数据库、未经加工的原始业务数据库，支持存储结构 化、非结构化等多种类型的数据,以及用于点 对点共享交换数据-市级数据库：主要用于存放经过一系列清洗、转换、加载、治理步骤后的高质量的政务数 据资源，以及全市各部门、各区政务共享交 换过程中的数据。对外开放区：主要用于存放对外开放的数据，通过单独的对外开发区与大数据资源区隔离，可以提供更高级别的数据安全保护。实验区：主要用于存放非正式的用于技术创新和技术验证的实验数据。,大数据资源区,离线数据区,实时数据区,市级数据库,对外开放区,对外开放脱敏数据,实验区,实验 数据,安全沙箱 数据,市级数12、据湖,基础库,主题库,专题库,结构化数据,非结构化数据,指标库,2.2.数据层整体实现方案-数据分层,数 据 湖,市 级 数 据 库,ODS,DWD,DWA,基础库,人口库,法人库,空间地理库,主题库,经济活动,公共事业,社会关系,人口密度,贴源数据,ST,专 题,库,经济运行监测,经济运行预测,宏观景气指数,市场主题发展,人口和就业,主体准入分析,产业结构调整,主体经营分析,大众创业分析,中小企业发展,电子商务发展,区域市场发展,人口迁移,老龄化及养老,流动人口,公共安全,政务服务能力,城市综合体城市立方体,城市综合体-社区画像,明细数据,ODS层数据：该层数据为数据 湖落地的贴源数据，其数13、据结构 与政务应用等系统的原始数据结 构保持一致，是市级数据库的数 据来源。DWD层数据：该层数据为数据 湖贴源数据清洗后的明细数据。根据数据标准，对贴源数据进行清洗、转换，实现数据的标准化 和一致性。DWA层数据：在明细数据进行 上根据上层应用需要进行横向关 联和纵向汇总的共享模型数据。ST层数据：面向不同应用的应 用结果数据。,大数据资源平台市级数据库面向不用数据应用、行业领域及主题划分为基础库、主题库、指标库和专题库，市级数据 库和数据湖从数据层次上划分为ODS、DWD、DWA和ST等四个主要层次。,指 标 库,电子证照库,2.3.大数据资源区实现方案-市级数据湖,市级数据湖归集的数据范14、围、种类和存储方式等政务数据,公共事业数据,行业数据,物联网数据,数 据 范 围,国家政务数据：国家下发的 各类政务数据；市级政务数据：市级各委办 局履职过程的提供的各类政 务数据，包括公安、税务等；区县政务数据：补充上报市 级没有的的各类政务数据。,水电煤：采集城市自来水、电力、煤气、供热等公共事 业数据，此类数据是和百姓 生活息息相关的重要民生资 源。,金融行业：整合金融行业个 人、企业征信数据；电信行业：整合电信运营商 个人、企业位置数据、互联 网内容数据等关键数据；其它行业：整合其它行业的 优质数据资源。,摄像头传感器：采集城市部 署的摄像头等各类感知设备 提供的基础数据。,数 据 特15、 性 和 数 据 库,人 口 库,学前阶段,教育阶段,工作阶段,退休阶段,出生,死亡,人口标签（出生信息、教育信息、就业信息、社保信息、纳税信息）,簇群标签（家庭关系、交往圈、就业关系）,2.4.大数据资源区实现方案-市级数据库-公共基础库,构建全生命周期标签,建立簇群关系,通过对政务数据、社会数据进行数据标准化、数据整合及价值挖掘，构建形成人口库、法人库、空间地理库、电子证 照库四大基础库的标签体系。,政 务 数 据,社 会 数 据,上传个人电子证照,上传企业电子证照,就业，投资人,工作地、活动地等信息,注册地、办公地等信息,电子证照库,提供全市个人电子证照信息,空间地理库,法人库全面立体的16、展示法人相关 信息,法人基本信息资本与资产生产经营许可、资质和荣誉,提供地图服务、影像服务、地名地址服务、三维服务与坐标转换等功能服务。,基础地理信息基础覆被信息,自然资源,环境与生态,AI中台服务,3.打造全方位的服务开放能力，使能城市智慧运营,服务开放层,数据中台服务,数 据 服 务,数据授权服务,数据在线探索,数据开放服务同步异步订阅消息,智能推荐服务,潜力商圈预测,舆情洞察,报表服务,人口热地图,经济指标报表,共享服务目录,医疗数据,交通数据,社保数据,标签服务,基本特征标签,消费特征标签,互联网偏好,服务偏好标签,指标服务,人口指标,经济指标,财政指标,业务中台服务,数据共享交换服务17、,数据交换服务,数据分析可视化服务,自助可视化分析,AI服务(规划中)模型训练模型应用 数据管理,业务中台服务,策略中心,协同中心,事件中心,洞察中心,一网通办,公共数据同步,舆情处置,经济指标报表,一次性 建设,持续性 沉淀,3.1.5.数据分析和可视化服务实现方案,数据可视化工具,适配异构数据源，比如：RDB，MPP，Hadoop，NOSQL类型 数据库；物理表关联DACP元数据，快速 查询数据字典；支持函数，过程的开发变异、调 用测试；支持PLSQL的高频使用功能，比 如：自动替换，代码格式化，执 行计划查询，代码注释，事务提 交回滚，结果行列转换查看等。支持可视化编辑数据库对象；数据查18、询跟结果窗口对应展示，多语句多个结果集，可对敏感数 据去隐私化；支持功能快捷键；支持开发脚本保存，记录用户查 询操作；查询中断，关联hadoop资源管 理，释放资源；,用户对拥有权限的数据资源进行在线的数据探索及数据可视化分析。数据可视化工具：专题数据，主题数据加工完成后，用户可利用可视化工具在线开发可视化报表，经过测试发布 上线后，对外提供可视化服务；数据探索工具：用户通过在线数据探索工具对拥有权限的数据进行在线自助数据查询，工具记录访问日志。,3.3.服务开放层-AI中台服务,AI中台采用分层设计方式，根据不同的业务属性进行划分，保证整体架构的合理性、可扩展性、可维护性。,基础设施：提供平19、台的所有基础设施资源,包括计算资源、存储资源等，为整个平台 提供基础支持；,平台组件：包括大数据平台、容器平台，为整个AI云平台提供基础运营环境；,AI平台：为AI中台核心业务层,包含数据 管理服务、模型训练服务、模型管理服务 推理服务、资源调度服务和运营管理服务 面向业务使用人员提供端到端人工智能研 发生产通用能力；,A能力：包含各类人工智能A能力,例如图像识别能力、视频分析能力、自然语言理 解能力、知识图谱等；,业务应用：包含各类人工智能应用,例如人流疏导、环境治理、智能安防等。,业务应用,AI平台,权限管理,运营管理服务,系统管理,运营分析,安全管理,日志管理,资源管理,应用部署,资源调20、度服务,基础设施,人流疏导,环境治理,智能安防,智能养老,CPU服务器,GPU服务器,FPGA（定制化AI芯片）服务器,存储,网络,平台组件,资源部署,服务调度,API网关,服务鉴权,推理服务,能力适配,流量控制,数据管理服务,任务管理,预处理,数据标注,特征工程,模型训练服务,任务管理,训练编排,模型训练,效果评估,模型管理服务,模型文件,模型管理,能力管理,使用申请,AI能力,图像能力,视频能力,自然语言理解,知识图谱,大数据资源平台,容器平台,4.打造贯穿生产服务链的全景式数据管理体系,数据管理对象,数据目录,数据对象,数据字段,标准化单词库,数据标准化管理数据管理流程数据质量管理,数据21、标准化流程,数据模型管理流程,数据质量管理流程,数据安全管理流程,数据生命周期管理数据管理组织元数据管理,数据架构师,数据模型人员,运维人员,数据管理员,数据管理员,数据管理工具,数据 规划,标准 定义,模型 设计,数据 开发,数据 采集,数据 创建,数据 使用,数据 归档,数据 销毁,通过组织制度、流程、工具支撑全生命周期的数据管理,4.1.数据管理-线上标准规范约束数据加工各个环节,制定数据架构，规范数据分层分类；制定存储架构，规范存储策略。,制定数据开发规范制定业务字段标准,提供数据质量检查规范，可事中，事 后进行数据稽核，及异常告警。,01.事前规划,03.数据运行阶段,02.数据开发22、阶段,数据架构设计,字段标准，模型字段命名推荐英文名；中文名；业务口径脱敏规则；字段类型，精度；,建立数据质量规则库,及时性,完整性,唯一性,一致性,准确性,合理性,存储架构设计,定义整体的数据架构1、制定大数据中心数据架构，数据分层、分类标准化；2、创建业务架构目录树，数据开发根据架构标准分类元数据。,4.1.1.数据管理-数据规划,定义数据的存储架构根据数据库存储特性，及业务数据的特性，制定每种数据库，在层次/主 题架构下数据的存储策略标准；在开发模型元数据时，关联存储标准策略进行数据存储。HIVE：文件格式:TEXTFILE、RCFILE、ORCFILE、SEQUENCEFILE等；压缩23、类型：Gzip、Bzip2、Lzo、Snappy；数据存储周期、及过期数据处理方式；,行列模式：行存储、列存储、行列混存；压缩：（5，5）压缩、（3，1）压缩；数据存储周期、及过期数据处理方式；,1、线上制定大数据开发规范，在数据对象上线时检查元数据开发质 量，不满足则不予许发布。,4.1.2.数据管理-标准规范制定,2、制定业务字段标准，模型开发时稽核字段标准 是否满足，以及前向做字段推荐命名；字段标准信息：英文名；中文名；业务口径脱敏规则；字段类型，精度；,从现有的业务系统采集数据表结构信息存放到全量 数据字典库；梳理全量数据字典库，剔除不规范字典库数据，如：命名不规范，无意义字段，滥用单24、复数，同名不同 意，同义不同名，基本元素不同意等。评审，制定出标准数据字典：存放各种定义好的字 段标准命名，业务口径，及字段长度，精度等。,45,4.1.3.数据管理-数据目录增强,大数据资源区数据目录,自助 分析,多维 透视,摘要 分析,数据目录分为大数据资源区数据目录、对外数据开放数据目录。数据目录通过元数据定期稽核，保障数据目录的数据字典的正确性。数据目录集成数据工具服务，驱动数据的采存管用各个环节，提高数据管理和数据使用的效率，提升数据使用者的体验。数据工具,管理类工具 血缘变更处理类工具 迁移加工数据应用类工具,新增,稽核,授权,摘要,数 据 目 录,工具注册,工具调用,对外开放区数25、据目录,数 据 开 放 管 理 流 程,大数据资源区数据目录：由数据采集，处理后行程的基础库，主题库，专题库数据资源目录；对外开放区数据目录：数据资源区的数据资源，经过数据开放流程 的管理审批后，进入对外开放数据区数据目录，展现的是可对外开放的数据资源；,后向,前向,元数据管理,46,租户分配数据源,多租户 团队开 通 需要的 工作,团队注册,纳入团队成员,租户账号申请,服务开通、资 源分配,数据源管理,开发团队注册,注册大数据平台租 户账号,计算资源,CPU/内存/.,存储资源,存储空间,涉及流程分类：租户开通：账号申请，并在大数据平台开通账号 服务开通、资源分配：给租户分配需要的大数据平台26、的服务组件，比如：Hive，Spark，HDFS，Hbase等。数据源分配：把租户绑定上自己申请的服务信息；开发团队注册：新建开发团队，把用户纳入团队成为成员，并给成员绑定租户信息。,4.1.4.数据管理-租户团队入驻,组件服务授权,Hive/Spark/kafka.,绑定租户账号,47,4.1.5.数据管理-数据质量管理,建立数据质量指标库，将系统数据质量的稽核转化为数据质量指标的稽核。数据质量指标由数据处理统一出数。对接工单系统，完善异常数据处理流程；,稽核方式,事中稽核,事后稽核,场景：数据实时性、数据质量要求高,数据入库、汇聚后，实时稽核,场景：数据实时性需求低，数据质 量要求高周期性27、稽核,建立数据质量规则库,及时性,完整性,唯一性,一致性,准确性,合理性,异常处理,异常通知,查看稽核问题报告、异常告警短信。,异常处理,生成问题工单，闭环处理；事中稽,核，阻断后续处理。,大数据中心通过统一数据开发平台，提供多租户实现开发可视化，同时建立了数据开发上线发布流程，在开发 完成后直接提交审核，第一时间实现模型和程序的发布上线，投入生产环境,模型开发,程序开发,程序测试,审核上线,1-模型定义 创建模型基础信息 定义模型的元数据,2-构建表结构 添加模型字段信息 提供手工/批量方式,3-编辑模型应用程序 固化常用程序命令，拖拽式使用 图形化界面，自由配置处理逻辑,4-程序在线测试提28、供WEB界面可视化测试功能;查 看执行时长、执行状态等信息，方便开发人员调试，性能分析,5-提交审核 开发人员建 立上线任务，提交审核,6-上线运行 运维人员审核 通过，上线运 行,4.2.数据管理-一体化开发，开发与生产的无缝衔接,5.构建面向“设备-数据-系统-业务”的统一运维管理能力体系,构建市级大数据中心统一运维管理能力体系，对大数据中心基础设备、数据、应用、业务进行统一运营管理，提供IT运维监控、业务可视化监控、业务稽查分析、数据质量保障等多个领域的综合运维管理能力，促进中心IT运营降本增 效。,决策者,基层,管理者,大数据中心统一运维管理能力体系,基础设备,数据源,政务 数据,公用29、事 业数据,行业 数据,互联网数据,大数据中心,数据流,数 据 流,城市 大脑,一网通办,城运系统,社会治理,经济运行,.,城市大脑业务监控城市大脑应用系统监控中心数据质量保障底层基础设备监控,5.1.统一门户场景定制化，全面感知系统健康度,统一门户以使用角色和场景为主线，个人工作台定制化，面向不同使用者特定场景，实现对业务、生产、系统的资源或能力“可视”、“可控”、“可追溯”，分角色分权限向决策层、管理层、基层工作人员展现统一运维视图。数据可视化支持PC、大屏、手机等多端展示。互联网化综合门户数据可视化，全面感知,场景定制信息关联移动APP，随时随地高效办公,内容聚焦,动态效果,运维宣传窗口30、,消息栏,应用窗口,菜单栏,领导,运维,管理,运维工作更便捷、更及 时、更智能，优化用户 工作习惯。,5.3.全方位的监控管理中心，实现高效集中监控,构建面向IT系统的全方位监控管理中心,All-in-One Monitor,亮点特性,监控模板化提供各类监控对象的标准监控模板，集中管理，统一监控发布，策略发布。,告警预处理策略多元化通过告警升降级、告警合并、告警屏 蔽、告警自动清除等多种策略对告警 进行预处理，确保告警准确可靠。,告警触发方式多样化直接采集、数值判断、变化判断、字 符串判断、连续性判断、表达式判断 等多种告警触发方式一网打尽所有告 警。,多种告警通知手段声音、短信、外呼等通知手31、段，让维 护人员第一时间了解系统故障,监控服务高可用、易扩展云计算分布式架构，单点故障无感知；支持动态增加服务节点，扩展系统 处理能力。,高效数据处理大数据量并发处理能力，准实时告警,设备,数据,系统,业务,集中监控,短信,微信,APP,邮件,工单,诊断,处理,专业 监控,监控管理中心作为整个运营管理系统的一项基本管理功能，提供运营管理所必需的系统监控功能，为其他运维流程、操作控制、运营分析等功能提供基础，为被管系统运行的可靠性、稳定性、可用性提供基础保障。,6.对数据生命周期各阶段相关过程安全提供技术保障,数据使用授权管理,数据处理环境安全,数据使用合规审计,统一安全配置基线 提供能力对数据32、存储组件进行配置安全基线检 查识别脆弱性并提供加固建议统一敏感数据识别 支持通过配置敏感数据识别规则，在静态存储 和网络流量中识别敏感数据并基于实现数据标 签和异常外泄阻断统一敏感数据加密提供国密算法SDK和统一密钥管理能力，支持 密钥生成、存储、使用、分发、更新、销毁的 全生存周期安全管理统一敏感数据脱敏 提供能力各种存储环境中的数据进行静态脱敏，进行基于业务场景的动态脱敏，,统一身份认证提供能力对数据存储组件进行配置安全基线检 查识别脆弱性并提供加固建议,集中权限管理提供能力确保各租户仅可使用获得授权的平台 模块功能和数据,统一用户行为分析集中平台操作审计信息，支持对用户行为建立 分析模型33、，发现数据滥用行为，对异常和高风 险操作识别与告警,统一日志存储检索支持接入基础环境和平台各组件日志并保存至 少6个月，支持日志检索和安全事件下钻到原始 日志,数据流转授权支持通过技术手段落实到平台内置流程，确保 在数据归集、使用、共享、开放过程中，大数 据中心和数据提供者对所有数据流动的充分授 权。,7.集成平台服务能力，提供开放、共享、运营的统一入口,运营管理门户,开放门户,共享门户,开放视图,租户申请,运营管理视图,租户运营,数据申请,数据开发,数据测试,发布上线,服务开通,平台资源分配,数据服务授权,共享视图,租户申请,数据申请,数据开发,数据测试,发布上线,租户沙箱申请,数据运营,平34、台运营,数据规划,标准制定,数据稽核,数据评估,问题整改监督,平台监控,数据作业监控,异常处理,过期数据清理,7.1.门户实现方案-门户功能框架,运营中心（运营管理者）,开发者管理,数据应用管理,数据服务管理,运营统计,待办审核管理,安全策略管理,日志管理,监控管理,门户接入层,数据接入,页面接入,.,应用接入,门户功能层,终端适配层,Web终端适配,移动终端适配(Phone/Pad),大屏终端适配,系统管理,公告管理,数据沙箱管理,数据产品运营,开放中心（对外）,数据开放视图,数据开放服务 目录,数据开放查询,开放权限控制,开放数据网关,数据开放评价,数据沙箱申请,PaaS能力开 放,Daa35、S能力开 放,SaaS能力开放,开放中心开发,应用开发环境,应用开发框架,自动部署服务,监控告警服务,推送服务,WEB封装,工具资源,数据目录,数据资源,共享中心（对内）,数据共享视图,数据共享服务目录,数据共享查询,共享权限控制,共享数据网关,数据共享评价,PaaS能力开放,DaaS能力开 放,SaaS能力开 放,共享中心开发,应用开发环境,应用开发框架,自动部署服务,监控告警服务,推送服务,WEB封装,工具资源,数据目录,数据资源,7.2.门户实现方案-开放中心,1、共享公共数据下载与调用2、公共数据共享需求申请3、公共数据共享服务目录4、公共数据共享查询,1、数据资产地图展示2、整体运维36、监控展示3、数据运营报告展示,1、市民个人信息查询与修正2、法人信息查询3、空间地理信息查询4、电子证照信息查询与修正,开放中心,使用角色：市领导、各委办 局分析人员、区政府、外部 机构、公民。主要解决问题：通过统一入 口，快捷、便利的获得共享 和开放数据服务。,目录,64,整体规划方案,关键能力实现方案,实施方案,背景与需求分析,人口库建设建议,大数据中心制定人口库技术架构和技 术标准，并提供平台、工具、数据，各委办对人口库标签进行认责，并负 责责任范围的标签开发。,建立委办标签责任认领共建机制,建立离线实时相结合的标签更新机制,建立标签服务共享机制,通过离线周期更新和实时更新相结合 的标签37、更新机制，保障人口库标签数 据的及时性，以及各委办业务数据的 一致性。,人口库标签数据纳入资源目录，并以数据服务方式向各委办共享。,大数据中心搭建平台，制定技术规范和技术标准，各委办通过责任认领机制共同参与人口库建设，形成共建、共 治和共享的数据生态。,婚姻,事件执行,公安局,人口 标签库,出生,事件管理,教育,民政局,公安数据,民政数据,离线周期批量采集,实时增量采集,离线周期批量处理,大 数 据 中 心,教育数据,局,静安区,责任认领,业务协同,实时更新,平 台 技 术 支 撑,离线更新,数据同步,数据共享,区,ODS委办贴源数据69,委 办 局,大 数 据 中 心,共 享 数 据 委 办38、 局,确认 建设 方案,确认 责任 清单 和负 面清 单,资源 目录 编制,共享 数据 推送,市级数据湖,主题库/专题库责任委办局负责：主题库需求、建设方案（业务方案）、开发和主题应用。大数据中心主要负责：制定标准（技术方案）、提供平台、数据和工具，并负责建成后的服务开放和运行维护。市级数据库,提出 主题 库建 设申 请,开 始,编制 建设 方案,提出 需求 清单,明确 建库 需求,核实,建设申请,三清,单管理,分配,资源 并建 库,数据 抽取 入数 据库,数据 治理,梳理 转换 口径,实施 数据 转换 并存 入主 题库,设置 主题,库管 理规 则,提供,数据服务,开展 主题 应用,提供 主题39、,库监 测等 管理 服务,结 束,主题库/专题库建设建议,基础库,主题库,专题库,指标库,数据仓库人口库、法人库,数据集市,经济活 动、公 共事业,数据应用,居住地社区个人信息居住地信息,数据获取状态感知策略协同,1、特定人群关怀,入驻时间,驻留时长,健康状况,关怀建议,大数据平台,迁徙地社区,医疗机构健康状况医疗记录,通信运营商实时位置驻留时长,跨领域数据,2、路面积水应急,实时感知,跨部门协同处理,数据应用,3、外籍临时医疗外籍人士展会入境平台事件实时获取,出入境管理局,人员信息 入境时间 签证时长,市卫生局,志愿者协会,国籍/语言,人员信息 人脸信息 证件信息,展会附近医院 绿色通道 资源准备,青年志愿者 现场引导 外语翻译,管理机构工作部署,执行单位现场支持,信息汇聚 构成分析 协同策略,大数据平台,THANKS,