1、XX经济技术开发区城市智能中心（IOC）可行性研究报告(送审稿)项目建设单位：XX开发区管理委员会 编制单位：XXXXX有限公司 编制日期：二一八年一月项目建设单位联系人： 联系方式：XX开发区城市智能中心（IOC）建设项目可行性研究报告目录第一章总论. 11.1 项目概述. 1 项目名称 . 1 建设场址 . 1 项目建设单位及负责人、项目责任人 . 1 可行性研究报告编制单位 . 2 可研报告编制依据与原则 . 21.2 项目背景及必要性. 3 项目建设背景 . 3 项目建设必要性 . 51.3 项目建设目标、规模、内容、周期 . 7 建设目标 . 7 建设规模 . 7 建设内容 . 8 2、建设周期 . 81.4 项目总投资及资金筹措. 91.5 经济与社会效益. 9 经济效益 . 9 社会效益 . 91.6 主要结论与建议. 10第二章项目现状及需求分析. 112.1 XX开发区经济及社会发展概况 . 112.2 信息化建设现状及问题. 12 网络及硬件基础设施建设现状 . 12 数据资源建设及开发利用情况 . 12 经开区政务及企业信息化建设情况 . 12 安全系统建设情况 . 13 经开区信息化建设问题 . 13 经开区管理及政务目标 . 14 经开区管理及业务需求 . 15 系统功能及需求分析 . 17第三章项目建设目标和内容. 183.1 项目建设总体目标与任务. 183、 项目定位 . 18第 ii 页 项目建设总体目标 . 193.2 项目建设规模. 203.3 项目主要建设任务. 20 经开区城市智能运营中心及配套工程建设 . 20 经开区城市智能中心（IOC）大数据平台及应用建设 . 22第四章建设场址和建设条件. 264.1 建设场址. 264.2 建设条件. 26第五章总体设计. 275.1 总体技术路线. 27 采用云计算服务构建系统总体框架 . 27 采用虚拟化和云计算技术，统一和集约利用硬件资源 . 28 采用分布式计算框架，支撑海量数据快速处理与检索 . 28 采用混搭式大数据平台，实现大数据统一管理与服务 . 29 采用云化 ETL 技术实4、现异构数据接入与采集 . 30 采用数据仓库及大数据分析技术，实现数据分析与挖掘 . 31 采用面向服务架构（SOA）构建系统应用 . 325.2 总体框架设计. 33 总体架构 . 33 数据架构 . 35 业务流程及架构 . 38 技术架构 . 41 功能架构 . 41 部署架构 . 42第六章项目建设方案. 446.1 城市智能中心（IOC）大数据平台 . 44 城市数据体系及标准规范建设 . 44 城市数据整合与大数据建库 . 48 城市智能中心（IOC）大数据平台建设 . 58 城市智能中心（IOC）运营平台建设 . 136 城市智能中心（IOC）监控与调度平台建设 . 145 城市5、智能中心（IOC）主题应用建设 . 1526.2 智慧园区应用系统建设. 164 创新创业平台建设 . 164 园区企业服务平台建设 . 177 工业企业综合监控平台建设 . 185第 iii 页6.3 城市智能运营中心及配套工程建设 . 203 城市智能运营中心装修系统设计 . 203 机房装修系统建设 . 207 一体化机柜系统建设 . 212 气体灭火系统系统建设 . 253 综合布线系统建设 . 255 计算机网络系统建设 . 260 安全系统建设 . 276 大屏幕系统建设 . 287 多媒体音视频会议系统建设 . 301第七章项目招标方案. 3247.1 招标依据. 3247.2 6、招标范围. 3247.3 招标组织形式. 3247.4 招标方式. 3257.5 投标、开标和评标. 3267.6 对中标单位的要求. 326第八章项目环保、消防、职业安全和卫生 . 3278.1 环境影响评价. 327 环保依据 . 327 环境影响评价 . 3278.2 环保措施与方案. 3278.3 消防措施. 3288.4 职业安全与卫生措施. 329第九章节能分析. 3309.1 用能指标与节能规范. 3309.2 能耗状况与能耗指标. 330 能源供应状况 . 330 能耗指标估算 . 3309.3 能耗分析. 3319.4 节能措施. 332第十章项目组织实施与进度安排. 3347、10.1 项目领导和管理机构. 334第 5 页 项目建设领导小组 . 334 项目建设办公室 . 33410.2 项目实施机构. 335 具体实施机构 . 335 专家咨询机构 . 33610.3 运行维护机构. 33610.4 技术力量和人员配置. 33610.5 人员培训方案. 337 培训目的 . 337 培训目标 . 337 培训对象 . 338 培训方式 . 339 培训内容 . 33910.6 项目实施进度. 342第十一章投资估算与资金筹措. 34311.1 投资估算编制依据. 34311.2 投资估算. 345 项目总投资估算 . 345 项目总投资详细估算 . 34611.8、3 资金筹措方式与使用. 373第十二章经济与社会效益分析. 37412.1 经济效益分析. 37412.2 社会效益分析. 375第十三章结论与建议. 37813.1 结论. 37813.2 建议. 378第一章总论1.1项目概述 项目名称XX开发区城市智能中心（IOC-Intelligent of City）建设项目。 建设场址本项目主要建设地址位于XX开发区。 项目建设单位及负责人、项目责任人 项目建设单位：XX开发区管理委员会。 XX开发区管理委员会是昆明市人民政府的派出机构，行使市级经济社会管理权限和相应的行政审批权限，对经开区实行统一领导和管理。建区以 来，经开区始终坚持精简高效原9、则，推行行政管理体制、运行机制、劳动人事制 度改革，构建了“小政府、大社会”的管理体制，形成了与国际惯例接轨的服务机 制。针对“小政府、大服务”的现实管理需求，经开区不断进行管理创新和服务创 新，优化投资软环境。组建投资集团公司，率先通过 ISO9000 质量管理体系认证 和 ISO14000 环境管理体系认证，进一步整合机构职能、简化行政审批事项，建 立目标责任体系、奖惩激励和督查督办制度，培养了一支团结干事的干部职工队 伍。2008 年，根据市委、市政府决策部署，经开区实施实体化改革，正式托管阿 拉、洛羊街道，控制面积扩大近 15 倍，常住人口达 14 万多人，从单一工业园区 转变为城乡兼10、容区，由经济建设为主转变为经济社会、城乡统筹发展，社会事务 大量激增，市政建设任务加剧。为适应新的发展形势，2009 年初，经开区实施了 管理体制和人事、分配制度改革，按照“大部制”的改革要求，进一步以职能整合 为基础，调整理顺职能职责，设置党群工作部、经济发展部、建设发展部、城乡 发展部、社会发展部、办公室、投资公司即“五部一办加公司”管理体制，实行委 领导分工管理和 AB 角工作制，增设助理协助工作，逐步完善适应新的发展要求 的管理体制和机制。同时，建立以聘任聘用制度为核心的用人制度，引入竞争机第 4 页制，破除干部身份制，把聘任（用）制作为一项基本的用人制度全面推行；实行按绩效工资制分配11、的激励机制，进一步调动人员工作积极性，推动经开区各项的 工作的顺利开展。现全区共有社区居委会 16 个，居民小组 73 个，基层党委 7 个， 党总支 22 个，党支部 164 个，党员 3046 人。管委会机关共有干部职工 396 人， 派驻机构人员 321 人。项目建设单位法定代表人：张宁。 项目联系人：王健。 可行性研究报告编制单位江苏南开之星软件技术有限公司。 可研报告编制依据与原则（一）国家及省级政策引导文件和规划1、 国务院关于印发促进大数据发展行动纲要的通知（国发201550号）；2、 国务院关于积极推进互联网行动的指导意见（ 国发 201540 号）；3、 国务院关于印发中国制12、造 2025的通知（国发201528 号）；4、 国家发改委关于组织实施促进大数据发展重大工程的通知（发改办 高技201642 号）；5、 国务院办公厅关于运用大数据加强对市场主体服务和监管的若干意见（国办发201551 号）；6、 关于进一步促进产业集群发展的指导意见（工信部企业2015236号）；7、 国家新型城镇化规划（20142020 年）（中发20144 号）；8、 关于促进智慧城市健康发展的指导意见（发改高技20141770 号）；9、 云南省人民政府办公厅关于印发云南省贯彻落实运用大数据加强对市 场主体服务和监管若干意见实施办法的通知（云政办发201599 号）；10、云南省人民13、政府关于加快推进“互联网”行动的实施意见（云政发201592 号）；11、XX开发区国民经济和社会发展第十二五年规划纲要。（二）技术标准与管理规定1、 智慧城市公共信息平台建设指南（试行）；2、 地理空间数据交换格式（GB/T 17798-2007）；3、 城市地理信息系统设计规范（GB/T 18578-2001）；4、 基础地理信息分类与代码（GB-T 13923-2006）；5、 计算机软件文档编制规范（GB/T 8567-2006）；6、 计算机软件需求规格说明规范（GB/T 9385-2008）；7、 计算机软件测试文档编制规范（GB/T 9386-2008）；8、 计算机软件质量保证14、计划规范（GB/T 12504-1990）；9、 计算机软件测试规范（GB/T 15532-2008）；10、计算机信息系统安全保护等级划分准则（GB 17859-1999）；11、城市基础地理信息系统技术规范（CJJ 100-2004）；12、建设项目经济评价方法与参数（第三版）；13、投资项目经济咨询评估指南；14、国家有关投资估算的规定；15、省内外类似工程的造价情况。1.2项目背景及必要性 项目建设背景当前，“云计算”、“大数据”、“物联网”、“工业 4.0”等新技术不断涌现，信息技术不断创新，并且日益向经济社会各领域广泛渗透，势必会引导和带动经济社 会的变革以及人们生产生活方式的变革15、，信息化已成世界不可逆转的发展趋势和 潮流。为积极应对新形势和新挑战，党和政府采取了一系列重大举措，全力推进现 代信息技术的发展、融合和应用。党的十八大报告指出，通过“推进信息网络技 术广泛运用，坚持走中国特色新型工业化、信息化、城镇化、农业现代化道路， 推动信息化和工业化深度融合，促进工业化、信息化、城镇化、农业现代化同步发展”，实现“信息化水平大幅提升”的目标。近期，国务院、工业和信息化部先后密集出台关于积极推进互联网+行 动的指导意见、关于进一步促进产业集群发展的指导意见和关于促进大 数据发展的行动纲要，加快推进信息化、大数据产业与“两化融合”。国务院关于积极推进互联网+行动的指导意见指16、出，“互联网”是把 互联网的创新成果与经济社会各领域深度融合，推动技术进步、效率提升和组织 变革，提升实体经济创新力和生产力，形成更广泛的以互联网为基础设施和创新 要素的经济社会发展新形态。国务院总理李克强 8 月 19 日主持召开国务院常务会议, 通过关于促进大 数据发展的行动纲要，提升创业创新活力和社会治理水平；纲要强调，一要推 动政府信息系统和公共数据互联共享，消除信息孤岛，加快整合各类政府信息平 台，避免重复建设和数据“打架”，增强政府公信力，促进社会信用体系建设。优 先推动交通、医疗、就业、社保等民生领域政府数据向社会开放，在城市建设、 社会救助、质量安全、社区服务等方面开展大数据应17、用示范，提高社会治理水平。 二要顺应潮流引导支持大数据产业发展，以企业为主体、以市场为导向，加大政 策支持，着力营造宽松公平环境，建立市场化应用机制，深化大数据在各行业创 新应用，催生新业态、新模式，形成与需求紧密结合的大数据产品体系，使开放 的大数据成为促进创业创新的新动力。三要强化信息安全保障，完善产业标准体 系，依法依规打击数据滥用、侵犯隐私等行为。让各类主体公平分享大数据带来 的技术、制度和创新红利。大数据是智慧城市各个领域都能够实现“智慧化”的关键性支撑技术，大数据 在智慧城市方面的应用广泛，包括：智慧经济、智慧治理、智慧生活、智慧人民、 智慧环境、智慧移动性等。智慧城市的建设离不开18、大数据。建设智慧城市，是城 市发展的新范式和新战略。大数据将遍布智慧城市的方方面面，从政府决策与服 务，到人们衣食住行的生活方式，再到城市的产业布局和规划，直到城市的运营 和管理方式，都将在大数据支撑下走向“智慧化”，大数据成为智慧城市的智慧引 擎。目前，住房与城乡建设部正在积极谋划和编制智慧城市“十三五”规划。“十三五”期间，智慧城市思想应该要统一，要回顾本质，围绕城市问题，依托大数据分析，发挥技术支撑作用，结合人的智慧和创新，对城市的人、地、信息技术和资本等资源进行优化配置，科学开展城市规划、建设、运行、管理和服务， 为人们提供宜居、宜业的生存环境。同时，“十三五”期间，智慧城市建设应当采19、 取措施鼓励单位和个人进行大数据创新服务、大数据核心技术研究，鼓励企业行 业大数据平台建设，推进大数据产业集聚发展。为实现我市经济技术开发区“十三五”期间提质发展创新区的总体战略目标， 贯彻关于促进智慧城市健康发展的指导意见（发改高技20141770 号）和关于印发促进大数据发展行动纲要的通知（国发201550 号）的文件精 神，围绕经开区管理的重大问题和经济转型升级的薄弱环节，以云计算、大数据、 “互联网+”等先进技术手段与经开区管理融合为抓手，以构建经开区城市智能中 心（IOC）为主攻方向，加速经开区城市管理、产业升级、民生服务与信息化的 深度融合，实现我市经济技术开发区的跨越式发展。 项20、目建设必要性（一）以大数据和“互联网+”作为手段，实现园区产业转型升级与聚集。 目前，整体上经开区仍处于成长和转型阶段，存在着发展规模小，产业链短，聚集程度低，以及技术水平相对落后，创新能力亟需加强，高附加值产业贡献不 足等问题。通过政府大数据共享工程、智慧园区以及大数据产业发展，一方面， 加强产业集群光纤宽带网络和移动通信网络建设，深化移动互联网、云计算、大 数据、物联网等新一代信息技术在产业集群中的应用；另一方面，实现大数据、 “互联网+”与传统产业的深度融合，加快信息技术改造传统产业，支持对企业设 计、制造、管理、销售、服务等关键环节的信息化应用能力提升，发展网络制造 等新型生产方式，开21、展网络实时诊断、流程优化再造、云服务等新型服务，弥补 产业链条中的生产性服务业的不足；第三，实施互联网+产业集群建设行动，建 设“智慧集群”。选择一批管理规范、产业集聚度高、创新能力强、信息化基础好、 引导带动作用大的重点产业集群。（二）参与宏观调控，合理园区资源优化配置的基础保障。 资源合理配置是促进和制约经开区建设发展主要因素。当前园区土地供给日益紧张，基础建设欠账较多，开发手段有待创新。同时也存在着园区建设以小范 围、小规模的“零星开发”的现象，迫切需要探索尝试“组团开发”等新的开发建设第 14 页模式。基于城市智能中心（IOC）综合运用城市规划、国土资源、城市建设、地下管线、产业布局、22、人口分布等城市大数据，实现城市资源、产业、人口等资源 的空间布局分析、资源集约利用分析、资源承载力分析等，实现城市规划更科学、 空间布局更合理、产业升级转型更科学、人力资源布局更合理。（三）利用大数据支撑创新创业，完善园区企业服务体系。 数据已成为企业生存发展的生产力和核心资源。在经济新常态下，仅就如何最大限度地获取、存储、传输和应用大数据，以实现其商业价值，对于万众创业 创新者而言，已经提供了不可或缺的巨大发展空间。一方面，将数据作为生产要 素，实现大数据交易；另一方面，将数据作为创新创业要素，支持中小企业创新 发展；同时，利用政务、企业、互联网大数据等，实时监控企业运行质态，精准 描述企业23、画像，构建服务于企业的融资、生产性服务、基础信息化服务、中小企 业服务、企业能耗及减排监控等服务，有效支撑园区企业发展，完善园区企业服 务体系。（四）加强园区管理，完善公共服务体系的重要推手。 经开区在园区管理，城市化进程中矛盾也凸显，存在着公共服务体系不健全，社会管理面临新压力。通过城市智能中心（IOC）大数据平台的建设，感知城市 状态、仿真城市运行、分析城市问题、集中云化信息服务、及时调度各部门处置 以及及时评价和反馈处置效果，实现城市更智慧的治理。用信息化手段促进园区 教育、卫生、文体等公共服务体系完善，完善街道的经济发展、规划布局、环境 治理、社会保障、综合治理等新课题。（五）完善智慧24、园区建设，构建信息共享与联动的重要抓手。 经开区经过多年的建设和发展，已经积累了大量城市建设与管理、产业发展和企业运营、民生与社区服务等数据库和信息化系统，这些数据与系统之间往往 相互割裂，缺乏数据体系的完整规划；数据没法有效利用，缺少有效的数据加工 与挖掘手段；数据与系统之间的整体性和关联度缺乏，比较零碎，缺少一个“魂”， 缺乏一个平台，将各部门串成一个整体，统一指挥和调度，提升经开区“综合性” 问题解决能力和各部门“联动”水平，实现城市更精细的管理、产业更智慧的升级 和民生更精准的服务。1.3项目建设目标、规模、内容、周期 建设目标城市智能中心（IOC）是将数据将数据作为除了城市空间、资源25、人口、产业外的第五种城市基本要素，突出城市大数据的整合与分析对城市更加智能的运 营和管理的作用，满足城市的系统性、综合性的需求，是智慧城市建设与大数据、 “互联网+”充分融合的必然趋势。XX开发区城市智能中心（IOC）的建设目标是：围绕经开区管理 的重大问题和经济转型升级的薄弱环节，综合运用云计算、大数据、物联网等现 代信息技术，充分发挥大数据对城市数据资源的集聚作用，开展城市数据体系以 及城市大数据的采集与交换、存储与组织、整合与计算、共享与服务、治理与管 控、分析与应用、运营与支撑等体系建设，为“智慧城市”安装“城市大脑”，实现 城市数据资源的融合、共享与开放，推动城市大数据挖掘、分析、26、应用和服务， 实现工业经济监控与智能分析、人口分析服务、城市安全与应急处置、创新创业 平台、企业服务平台、工业监控平台等方面的应用，将经开区打造成为云南省首 家“智慧城市、大数据和新型工业化示范基地”，为园区“更智慧的城市治理、更 智慧的产业转型、更智慧的民生服务”奠定坚实基础。 建设规模XX开发区城市智能中心（IOC）建设规模覆盖园区行政区划范围 内的城市管理、政务、企业、公众等城市大数据的的采集与交换、存储与组织、 整合与计算、共享与服务、治理与管控、分析与应用、运营与支撑等建设。包括：1、城市智能运营中心硬件基础设施及配套建设：城市智能运营中心建设， 包括机房、服务器设备、大屏幕等系统建27、设；城市智能运营中心配套建设，包括 选址、装修、智能建筑改造等，2、城市智能中心（IOC）大数据平台及应用软件平台建设：包括城市数据梳 理及标准规范建设、城市大数据整合建库、城市大数据平台建设、城市智能中心（IOC）监控与调度系统、城市智能中心（IOC）主题应用建设等，以及基于城 市智能中心（IOC）的园区创新创业平台、园区企业服务平台、园区工业企业综合监控平台等智慧应用建设。 建设内容XX开发区城市智能中心（IOC）建设园区运行、管理与治理的 “大 脑”和信息化基础设施，其建设内容涵盖城市智能运营中心的机房及大屏幕建设， 城市智能运营中心的选址、装修等配套建设，以及城市智能中心（IOC）大数28、据 平台及应用建设，覆盖园区全业务、全流程的智能感知、城市精细化管理、城市 数据分析与挖掘、城市主题应用和园区企业服务等。XX开发区城市智 能中心（IOC）建设任务包括：（一）城市智能运营中心及配套工程建设。包括园区城市智能运营中心的选 址、设计、装修、配电、弱电、空调新风、防雷等系统建设。同时包括 IOC 机房 及硬件集成建设或者租赁，包括 IOC 机房、网络、存储、服务器、安全等设备 等；IOC 大屏幕系统建设，用于城市运行实时监控、调度、指挥所需的大屏幕设 备及集成。（三）城市智能中心（IOC）大数据平台及应用建设。1、城市数据体系及标准规范建设；2、城市跨部门、异构数据整合与大数据建库29、；3、城市大数据支撑平台建设。包括城市数据采集与交换、存储与组织、共 享与服务、分析与挖掘、治理与管控、运营平台等建设；4、城市智能中心（IOC）监控与调度系统建设；5、智慧门户及城市大数据移动应用（APP）开发6、城市智能中心（IOC）主题应用系统开发。包括城市资产全生命周期管理、 工业经济监控及宏观分析、城市空间布局与资源承载优化、园区人口分析服务主 题应用、城市环境监测与应急处置等主题应用建设。7、智慧园区应用建设。包括园区创新创业平台、园区企业服务平台、园区 工业企业综合监控平台建设等。 建设周期项目建设期预计为 12 个月：从 2016 年 3 月开始至 2017 年 3 月结束。130、.4项目总投资及资金筹措（一）项目总投资项目建设总投资为 3980 万元。其中工程费用 3800 万元（城市智能运营中心 机房建设 700 万元，配套工程建设 100 万元，城市智能运营中心（IOC）大数据 平台建设 2200 万元，智慧园区应用建设 800 万元），工程建设其他费用 100 万 元，预备费用 80 万元。（二）资金筹措项目建设所需资金 3980 万元，本项目资金来源由区本级财政解决，资金来 源已落实。1.5经济与社会效益 经济效益降低建设与运营成本。本项目建设有利于推进XX开发区“互联网+”、大数据、智慧园区等产业发展，有利于促进园区传统产业与信息化的深度融 合及转型升级，与31、与我市经济技术开发区“十三五”期间提质发展创新区的总体战 略目标相符，预计产生较大的经济效益。一、通过大数据和“互联网+”等技术手段，推进园区“智慧产业”聚集。 二、通过工业化与信息化深度融合，促进园区传统产业转型升级。 三、通过经开区数据共享与关联，推动园区共享经济的发展。 四、通过城市智能中心（IOC）建设，实现园区信息化的集约化。 社会效益通过昆明市经开区城市智能中心（IOC）建设实时动态感知城市和园区、精 细化园区管理、合理化园区资源配置、阳光企业服务和社会管理、快速和妥善解 决应急事件和突发性事件具有重要的意义。一、合理园区资源配置，促进园区建设与城市发展。 二、促进园区信息共享与关32、联，实现园区精细化管理。 三、完善城市公共服务体系，促进园区社会治理和和谐发展。四、精确感知城市动态，快速和妥善解决应急事件和突发性事件。五、推进园区信息共享与公开，提高政府阳光形象。1.6主要结论与建议一、主要结论1、项目符合国家、省国民经济和社会发展规划纲要，符合国家产业政策， 符合智慧城市发展方向，有利于促进大数据及智慧产业发展，有利于推动“互联 网+”产业转型升级，有利于推动经开区及昆明市国民经济和社会发展。2、项目所进行的理论研究、模式创新、开发的软件和硬件产品在国际上处 于先进、国内处于领先，并具有自主知识产权。项目立足自主创新，突破核心技 术，服务经开区各部门、园区企业和百姓群众33、，具有典型的示范意义。二、建议1、切实落实好建设资金，确保项目建设按期完成。2、科学合理的安排施工计划，根据项目进度，加强调度管理，保证工期目 标和质量目标的如期实现。第二章项目现状及需求分析2.1XX开发区经济及社会发展概况XX开发区（以下简称：昆明经开区）是云南省唯一集国家级经济 技术开发区、出口加工区、新型工业化产业示范基地、科技兴贸创新基地、生态 工业示范园区和省级高新技术产业开发区于一体的多功能、综合性产业园区，国 务院批准面积为 11.8 平方千米（含出口加工区 2 平方千米）。2008 年，昆明市 人民政府决定将官渡区阿拉彝族乡（2011 年调整为阿拉街道办事处）、呈贡区洛 羊街34、道办事处委托昆明经开区实体化管理，依据XX开发区条例， 昆明经开区法定管辖面积为 156.6 平方千米。经过二十多年的发展，昆明经开区经济社会发展取得了显著的成绩，各专业 园区建设全面展开，信息产业基地、光电子产业基地初具规模，昆明出口加工区 顺利封关运行，形成了“一区多园”的发展格局。2015 年，全区地区生产总值从 2010 年的 109.15 亿元增加到 276 亿元，年均 增长 20.38%；二、三产业蓬勃发展，产业发展正在经历由“二、三、一”结构向 “三、二、一”结构的显著转变。2015 年，全区二、三产业增加值结构由 2010 年 的 62.99：35.79 调整成为 53.26：35、45.65。围绕“一核七园”的空间布局，形成了一 园一主业的格局，装备制造、食品饮料、生物医药、烟草及配套、光电子信息、 现代服务业等支柱产业聚集效应明显，产业聚集地和发展引擎的作用日益凸显， 综合经济实力已经跃居西部开发区上游水平。经开区统筹城乡发展能力持续增强，科教文卫事业全面发展，民生事业稳步 推进。不断完善园区功能，探索建立公共服务体系；不断完善社会保障制度，建 立社会救助体系；不断推进全域园区化进程，妥善安置失地农民；不断创新社会 管理，推动农村向园区社区转型、农民向园区居民转变，切实让经开区 14 万群 众共享开发区发展的成果。“十三五”时期，国民经济和社会发展的总体目标是：努力创36、建成为体制机制 改革示范区、产业结构转型升级示范区、文化繁荣发展示范区、社会治理创新示 范区、国家生态工业示范区和人民共享示范区，力争到 2020 年，国民经济、社会发展和绿色发展主要指标达到国内先进开发区水平，步入“一流园区”行列。2.2信息化建设现状及问题 网络及硬件基础设施建设现状XX开发区信息基础设施配套完善，截止 2014 年底，已建成通信基站 216 个，完成通信管道 23 公里、光缆 20.9 公里，有线电视专用光缆 47.4 公 里，总投资 2 亿多元，形成了覆盖全区的信息网络基础设施，并有占地 20 亩的 中国电信昆明互联网数据中心。中国移动、中国联通的骨干网络分支节点初步建37、 成。目前，园区内通信网、电视网和宽带互联网三网覆盖率达到 100%；企业宽 带接入率达到 97%，管理机构网上办事率达到 100%。投资 1200 万建成覆盖全 区的数字化城市管理系统，行政审批实现全程网络化服务。2013 年 4 月底，园 区为企业搭建“科技创新知识服务平台”、“政企服务平台”正式建成，两个平台免 费提供给区内企业使用，是经开区以信息化促进科技创新的一项重要举措和有益尝试。 数据资源建设及开发利用情况经开区经过多年的建设和发展，已经积累了大量城市建设与管理、产业发展和企业运营、民生与社区服务等数据库和信息化系统。园区信息资源是智慧园区 建设与发展的核心支撑，是一种具有重要价38、值的战略资源，信息资源只有交流、 共享才能充分开发，其价值才会增值。长期以来，开发区各部门内部拥有着大量 园区基础数据资源，但由于管理分散，制度规范不健全，造成重复采集、口径多 乱、数出多门；各部门的指标数据自成体系，标准不一，共享程度较差。 经开区政务及企业信息化建设情况经过多年发展，昆明经开区信息产业已具备了一定的基础，在产业规模、创 新能力、企业培育、市场拓展等方面取得积极成效，呈现出良好的发展态势。2014 年，经开区规模企业中信息制造产业企业 9 家，实现产值 22.49 亿元，增长 8.2%， 占全市信息制造业产值的 34.3%；经开区在公共信息服务平台的基础上，借助信息平台接口、39、VPN 技术、短信 平台、传真服务器和互联网网站等手段逐步接入区内企业和外部单位，逐步建立一个“信息化大平台”。通过对经开区官方网站的重新开发，将简单的信息发布网站升级为具备较强交互能力的政企互动平台，在保证数据安全的前提下，使信息 平台和互联网网站之间进行无缝数据交换，让管委会各部门更便捷、及时、方便 的将信息发布到外部网站。经济社会运行统计分析平台、行政审批网上办事大厅 等政务信息化系统也已经建成并投入运行。电子商务迅猛发展。经开区目前有从事第三方支付、第三方电商服务平台、 电商网销售企业近百户，从事网络业务电子商务销售企业 90 余家。主要从事工 业品、副食、医药及生态农业产品销售。七彩40、云南、雪兰牛奶、云白药健康产品 等 3 家制造业企业建立了自有电商平台。昆明泛亚环宇电子商务、铁公鸡电子商 务中心、云南米土巴巴等电商平台颇具特色。经开区积极推进企业两化融合示范项目建设，通过重点推荐、重点扶持、典 型示范，推动了昆明云内动力股份有限公司的“多缸小缸径柴油发动机缸体、缸 盖铸造数字化车间项目”、昆明雪兰牛奶有限责任公司的“产供销管理系统建设项 目等多家重点企业信息化示范项目”、昆明台工精密机械有限公司的“数控机床企 业集群产业链协作服务平台建设及应用”、昆明烟机集团三机有限公司的“多功能 袋装包装设备数字化制造及应用”、昆明市海子乳业有限公司的“SAP-ERP 管理 信息系统集41、成应用项目”的实施。通过两化融合示范项目建设，企业的信息化水 平和经济效益得到进一步提升。 安全系统建设情况经开区在政务系统和门户网站建设中，设立了较为完备的安全系统和安全体 系。从物理安全、网络安全、系统安全、应用安全和数据安全等多个层次采取保 护措施，建立安全防御系统，完善安全管理制度，提高各级网络和应用系统的安 全保护水平。 经开区信息化建设问题经开区信息化建设经过多年发展取得了长足的进步，但是也存在一些问题， 具体表现在：1、缺乏经开区数据体系整体规划。 目前智慧园区数据建设基本没有因地制宜的梳理本区域数据体系，建立相应的数据纲要，规划具体的实施路径，缺乏统一的管控手段。数据产生通常通42、过 4大库建设或作为应用系统的副产品传统方法，数据间缺乏联系，导致区域数据“碎 片化、自由状”，难以形成“行业性、领域性”的系统性支撑能力。2、数据共享不足，缺乏有效的数据加工和利用手段。 跨部门数据共享不足，数据资源利用及价值挖掘不充分，跨行业数据汇聚、整合和挖掘存在困难。经开区数据通过简单的汇聚，形成“数据大仓库”（称为： 原油），但原油无法支撑广泛应用，需要经过“提炼”，找出存在关联关系的数据 集，形成有效的“次生数据”（如：柴油、汽油、航空煤油），根据“规则”，提供 对应的应用支撑、数据交易、创新创业服务。随着数据堆砌量越大、类型越多， 如何“有条理”的管理加工数据并从“数据海洋”中寻43、找到“有效的数据”，缺乏新型 的大数据技术手段，同时也制约了园区大数据产业的布局和发展。3、信息系统建设缺乏整体性和关联度。目前经开区智慧园区建设项目，比 较零碎，各行其是，缺乏一个“魂”，将各项目串成一个整体，统一指挥和调度， 提升区域“综合性”问题解决能力和各部门“联动”水平。同时，许多智慧园区项目 和大数据产业由于缺乏有效数据支撑，也成为“无源之水”，容易出现“形象工程” 和“面子工程”，直接影响智慧城市建设成果，形成巨大的资源浪费。4、信息技术人才储备不足，大数据产业链尚未形成。信息技术及大数据技 术人才储备不足，需秉承开放人才战略和招商引才策略，利用云南省高校及研究 机构资源丰富的特44、点，优选大数据技术领军人才，建立培训机制，夯实大数据人 才基础。大数据产业在民生领域、工业企业等方面的盈利模式和服务方式等尚不 明晰，需开拓创新上下游协作发展的大数据产业链模式，实现大数据产业的可持 续发展。2.1 项目需求分析 经开区管理及政务目标1、政务及园区管理方面切实推动管委会职能向经济管理、社会管理和公共服务并重转变，向以政府 为核心多元主体合作共治的现代政府治理转变，深入推进政企分离、政社互动。 切实改革子园区、街道管理体制，强化发展经济、管理服务、保障民生、维护稳定等职能，进一步做实“管委会统领，子园区支撑，街道整合提升”的管理服务架构。切实规范行政运行机制，推进“法治经开”建设45、，谋划布局激活市场、活跃社 会的组合拳，加快商事制度改革，创新公共服务供给，强化财政预算管理，健全 绩效考核制度，不断释放改革红利。2、“两化融合”及“双创”工作方面 立足云南省建设面向南亚、东南亚的辐射中心以及昆明市建设区域性国际化大都市的要求，以信息基础设施建设为基础，以建立区域大数据处理中心为目标， 以电子商务中心、物流信息中心、中小企业服务中心为着力点，推动新一代信息 技术和园区功能融合发展。在信息全面感知和泛在互联的基础上，促进“两化融 合”，实现园区基础设施智能化、规划管理信息化、公共服务便捷化、社会治理 精细化和产业发展现代化。立足“大众创业、万众创新”，构建一流创新创业平台。346、民生及公共服务方面 以全面提升园区城市化水平与质量为路径，以让最广大群众分享园区改革发展带来的实惠为目标，统筹发展规划、统筹社会事业、统筹社会保障、统筹城市 管理，使小城镇向绿色城镇、智慧城镇、森林城镇、宜居城镇发展，形成城乡经 济社会一体化协调发展的新格局。提升园区内部政务管理与服务能力，增强园区 在推动企业创新上的服务能力。构建智慧的公共服务体系，把园区管理机构、园 区企业、园区居民等园区内各方的优势资源加以整合，为园区打造一留民生服务 品牌，显著提升园区对优质企业、高素质人才的吸引力和凝聚力。4、信息化建设方面 围绕国家智慧城市建设总体要求，以国家大数据战略和“互联网+”行动为引领，持47、续保障信息化投入，逐步建设“智慧园区”，扩大公共无线网络覆盖范围， 建设“云”和大数据分析中心，不断推进企业网络宽带、网络基础建设与其他基础 设施同步规划、同步建设，为区内企业提供安全可靠的信息化服务。在工业、物 流、文创、金融等领域大力建设产业互联网，增进两化深度融合，强化网络安全。 经开区管理及业务需求通过智慧园区及信息化建设，以城市大数据、产业大数据、人口大数据为技 术手段，以园区智慧应用为支撑，利用数字化、信息化、物联网、云计算、人工 智能、大数据、移动互联网等先进技术，优化整合园区各类管理和服务资源，促第 15 页进要素聚集、产业聚合、融合创新、管理模式转变，全面提升园区创新、服务和48、管理的能力和效率。1、经开区城市管理 通过整合物联网、城市视频、政务管理、城市管理、企业监管等信息，动态感知城市状态、仿真城市运行、分析城市问题、集中云化信息服务、及时调度各 部门处置以及及时评价和反馈处置效果，实现城市更智慧的治理。2、经开区政务服务 以建设服务型政府为目标，以提高政府效能和服务质量为导向，以区政务中心为纽带，按照办公集约化、行政管理规范化、公众服务优质化、运营监察信息 化的要求，构建政府联系群众最密切的零距离通道，打造最有影响力的政务服务 一体化平台，建设展示服务型政府形象的窗口。3、经开区企业服务 针对昆明经开区经济发展服务模式，依托园区产业大数据，打造企业信息化服务平台49、创新创业平台、中小企业服务平台等,为中小企业提供安全可靠的网 络接入服务，提供融合通信、企业邮箱、即时通信、桌面视频会议服务,构建具有 行业特点和中小企业生产经营特点的专业性信息化服务平台。打造园区“智能制 造”示范工程，构建工业企业综合监控平台，为工业企业提供节能减排、环保、 安监等一体化服务。3、经开区民生服务 以经开区政务中心为抓手，将对全区涉及固定资产、企业准入、统一行政和公共安全审批，以及社会民生服务等提供“一站式服务”，切实缩短了社会公众的 办事时间，在中心内即可完成行政审批及政务服务的“一站式办结”，实现“进一 个中心、办多样事、缴各种费”的服务目标。以人口大数据为核心，增强“50、信息惠 民”服务，推动民生服务自动化、自动化、贴心便捷。4、经开区城市应急管理 通过物联网、大数据等技术手段，构建经开区城市安全应急监控体系。加强对重点地区、重点部位、重点人群的的监测、监控及预警，实现公共安全事件监 控，实现应急管理日常化、常态化，实现应急工作的日常管理、风险分析、监测 监控、预测预警、动态决策、综合协调、应急联动与总结评估等功能，打造智能第 16 页化、图形化的应急处置体系。 系统功能及需求分析1、城市智能中心（IOC）大数据建设需求（1）围绕园区视频、资源、政务、产业、人口等数据，实现城市数据的整 合、关联和大数据建库，构建“城市画像”、“企业画像”和“人口画像”，支撑园51、区 智慧应用和民生服务。（2）构建大数据分析中心。以城市大数据为抓手，构建城市数据采集与交 换、存储与组织、共享与服务、分析与挖掘、治理与管控、运维与运营全生命周 期大数据平台。（3）依托城市大数据平台，实现城市智能中心（IOC）监测与调度系统，实 现城市动态感知、运行监控、智能预警、分析决策、智能调度等应支撑，支持大 屏幕、桌面及智能手机等多端信息综合展示与信息服务。2、城市智能中心（IOC）大数据主题应用需求 以城市大数据平台为基础，基于城市画像”、“企业画像”和“人口画像”，实现城市资产全生命周期管理、工业经济监控及宏观分析、城市空间布局与资源承载 优化、园区人口分析服务主题应用、城市环52、境监测与应急处置等主题应用和信息 综合展示。3、经开区企业应用需求 面向经开区工业园区的工业企业，基于城市智能中心（IOC）大数据平台，构建园区创新创业平台、园区企业服务平台、园区工业企业综合监控平台，为园 区创新创业、企业生产性服务、园区企业节能减排与环保提供服务。4、城市智能运营中心建设需求 实现城市智能运营中心核心机房建设，包括机房装修，以及机房必备的 UPS、精密空调、环境监控、气体灭火、防雷措施、标准机柜、服务器设备等； 实现大屏幕展示系统建设，支撑城市视频、大数据平台、智慧应用等信息接入、展现展示及主题应用等。5、城市智能运营中心配套建设需求实现 IOC 大楼选址、装修、配电、弱电53、网络布线、媒体音视频会议系统等系统建设，支撑城市智能中心（IOC）日常运维、运营、管理等。第 17 页第三章项目建设目标和内容3.1项目建设总体目标与任务 项目定位城市智能中心（IOC）基于大数据技术和处理能力，实现将城市各类数据从“原油”变成“汽油”的过程，是为满足城市“综合性”问题解决能力和各部门“联动” 水平这一需求而设计的产品。IOC 提供数据体系的梳理、数据获取、数据分析、 应用数据模型、数据展现等覆盖数据加工和服务各环节的能力，为“数据加工厂”； 同时 IOC 通过数据管控、数据治理、数据运营等功能，通过数据“统一配置和管 控”，使得各业务应用系统在 IOC 统一控制协调下运行，54、为“城市大脑”。围绕这个定位，从城市系统性的视角出发，基于大数据技术的城市智能中心（IOC）在信息世界整体层面就是城市“大脑”，政府专网、互联网、物联网（IOC） 等泛在网络为神经，各传感器、摄像头、政务管理的专业系统以及移动应用都是 功能器官，城市各类空间、人口、法人、宏观经济、构筑物以及各专业系统的数 据为运行信号，通过城市动态连接、感知、分析、反应城市角角落落的状态，通 过预警预报、自动控制、数据决策等形式，影射与服务实体城市管理的需要。图 3-1城市智能中心（IOC）定位示意图第 21 页 项目建设总体目标城市智能中心（IOC）是将数据作为除了城市空间、资源、人口、产业外的第五种城市基55、本要素，突出城市大数据的整合与分析对城市更加智能的运营和管 理的作用，满足城市的系统性、综合性的需求，是智慧城市建设与大数据、“互 联网+”充分融合的必然趋势。XX开发区城市智能中心（IOC）的建设目标是：围绕经开区管理 的重大问题和经济转型升级的薄弱环节，综合运用云计算、大数据、物联网等现 代信息技术，充分发挥大数据对城市数据资源的集聚作用，开展城市数据体系以 及城市大数据的采集与交换、存储与组织、整合与计算、共享与服务、治理与管 控、分析与应用、运营与支撑等体系建设，为“智慧城市”安装“城市大脑”，实现 城市数据资源的融合、共享与开放，推动城市大数据挖掘、分析、应用和服务， 实现工业经济监56、控与智能分析、人口分析服务、城市安全与应急处置、创新创业 平台、企业服务平台、工业监控平台等方面的应用，将经开区打造成为云南省首 家“智慧城市、大数据和新型工业化示范基地”，为园区“更智慧的城市治理、更 智慧的产业转型、更智慧的民生服务”奠定坚实基础。图 3-2城市智能中心（IOC）示意图3.2 项目建设规模XX开发区城市智能中心（IOC）建设规模覆盖园区行政区划范围 内的城市管理、政务、企业、公众等城市大数据的的采集与交换、存储与组织、 整合与计算、共享与服务、治理与管控、分析与应用、运营与支撑等建设。包括：1、城市智能运营中心及配套建设：城市智能运营中心建设，包括机房、服 务器设备、大屏幕57、等系统建设；城市智能运营中心配套建设，包括选址、装修、 智能建筑改造等。2、城市智能中心（IOC）大数据平台及应用软件平台建设：包括城市数据梳 理及标准规范建设、城市大数据整合建库、城市大数据平台建设、城市智能中心（IOC）监控与调度系统、城市智能中心（IOC）主题应用建设等，以及基于城 市智能中心（IOC）的园区创新创业平台、园区企业服务平台、园区工业企业综 合监控平台等智慧应用建设。3.3 项目主要建设任务XX开发区城市智能中心（IOC）建设园区运行、管理与治理的 “大 脑”和信息化基础设施，其建设内容涵盖城市智能运营中心的机房及大屏幕建设， 城市智能运营中心的选址、选修等配套建设，以及城58、市智能中心（IOC）大数据 平台及应用建设，覆盖园区全业务、全流程的智能感知、城市精细化管理、城市 数据分析与挖掘、城市主题应用和园区企业服务等。XX开发区城市智 能中心（IOC）建设任务包括： 经开区城市智能运营中心及配套工程建设城市智能运营中心建设主要包括核心机房建设、大屏幕系统以及智能运营中 心选址、装修等配套工程建设与集成。1、城市智能运营中心机房建设（1）机房 UPS 及供配电系统：本工程配置模块化 UPS 2 台，单机最大容量 不小于 300KVA，作为机房备用电源。（2）机房精密空调系统：精密空调区域采用下送风上回方式达到机房的室温、湿度要求。照精密机房温度要求机房温度控制在 259、21，变化率 2小时，相对湿度控制在 505，变化率 25。空气含尘浓度根据相关通信 设备的环境要求。含尘粒子为非导电、非导磁性和非腐蚀性的。（3）机房环境监控及气体灭火系统：机房的动力设备与环境的集中监控系 统，能够实现对机房现有的 UPS 系统、精密空调系统、温湿度、漏水、烟感、门 碰系统进行实时监控功能，实现远程异地监控和机房安全无人职守；气体灭火系 统采用七氟丙烷自动灭火系统，系统具有自动、手动及机械应急启动三种控制方 式，并与配电柜、新风和排风系统联动。（4）机房机柜及服务器设备采购：满足城市智能中心（IOC）大数据平台运 行要求的数据存储与处理的高端 X86 服务器 24 台，其中60、用于 Hadoop 集群 3 台、 MPP 数据库集群 3 台、关系型数据库集群 2 台、云化数据采集平台集群 2 台、 应用服务器集群 2 台，其它坐席业务支撑服务器 12 台。以及满足 IOC 机房设备 安装和配置的标准化机柜。2、城市智能运营中心配套工程（1）IOC 装修工程：包括 IOC 大楼选址、装修以及机房装修，包括装修地 面工程、墙柱面工程、天花工程、门窗工程、电气及管槽工程等。（2）IOC 大楼配电、弱电、空调新风、防雷等系统建设。（3）IOC 计算机网络系统：IOC 大楼办公网络采用 3 层网络结构设计，即 核心层、汇聚、接入层，包括 IOC 机房网络及提供给 IOC 行政人61、员办公的网络 环境，在核心层我们采用一台核心交换机，千兆链路下联 IOC 各区域的接入交 换机，形成“千兆骨干，千兆兆接入”的组网模式。（4）综合布线系统：采用符合 TIA/EIA-568B、ISO 11801 标准的六类综合 布线系统，分别针对不同的网络使用屏蔽与非屏蔽两套系统。对 IOC 大楼中直 线电话与内通电话系统、IP 电话系统、计算机网络系统、专用办公网络系统、AP 无线网路覆盖系统等应用系统进行统一布线。最终为以上系统的智能化管理提供 一个开放的、灵活的、先进的和可扩展的线路基础。（5）多媒体音视频会议系统：包括： 指挥中心大厅：数字会议系统、专业扩声、远程视频会议、中央控制系统62、等； 作战指挥室：专业扩声系统、投影显示系统、远程视频会议等。（6）视频监控系统：IOC 大楼视频监控系统采用纯网络模式，前端全部采用网络摄像机，信号通过监控专用局域网传输，中心存储则采用 NVR 网络存储 方式。3、IOC 大屏幕系统建设 为了满足集中信息显示的要求，需要建立液晶拼接大屏幕系统，用于城市运行实时监控、调度、指挥等应用需求。经开区城市智能中心（IOC）大数据平台及应用建设1、城市数据体系及标准规范建设；（1）城市数据体系建设。围绕城市城市建设与管理、城市治理与政务管理、 工业及宏观经济、人口及社会服务等领域，按照城市数据全生命周期管控的思路， 梳理城市数据分类、目录及指标体系。63、（2）制定城市大数据相关标准规范。包括城市数据的分类与指标体系、采 集与更新、共享与服务、应用接口、数据建模、质控与安全等方面的标准规范。2、城市跨部门、异构数据整合与大数据建库； 结合经开区城市智能运营和管理需求，实现城市空间数据、视频、工业经济及宏观统计、政务审批、构筑物、商事主体、人口、重点危险源、城市公共空间、 城市公共设施及智能设备等数据的预处理、整合建库、大数据关联、数据仓库等 整合建库。3、城市大数据支撑平台建设。 城市智能中心（IOC）后台的大数据支撑平台建设，主要功能包括：（1）城市数据采集与交换管理系统。实现城市各类空间、视频、物联网（IOT）、 工业经济、政务审批、法人、64、人口以及相关行业数据的采集、交换、预处理、同 步、更新等。（2）城市大数据存储与组织管理系统。以城市数据的目录及元数据为核心， 实现多源、异构、海量的城市数据的混搭式数据存储和组织管理。（3）城市大数据共享与服务系统。支撑城市数据、大数据产品的数据服务 注册管理、接口开发、共享服务，为城市各部门间提供各类城市数据共享、数据 服务等应用。（4）城市大数据分析与挖掘系统。实现城市多源、异构数据的分析处理，第 22 页城市主题模型建立和管理，制作城市主题数据产品，挖掘城市数据价值。（5）城市数据治理与管控系统。基于城市数据的元数据，实现各类异构城 市数据的全生命周期的治理、质量核查及数据流程管控等。65、（6）城市智能中心（IOC）运营平台。面向城市智能中心（IOC）运营团队， 实现支撑城市智能中心（IOC）日常运营、应急处置相关的监控软件、大数据产 品管理、工作流调度、故障与应急处置、安全审计等功能，以及运营管理机制建 设。4、城市智能中心（IOC）监控与调度系统建设； 基于城市大数据平台，在城市智能运营中心（IOC）网络、服务器和大屏幕等支撑下，实现城市运行监控、预警、智能化流程处理及展示等应用，用于城市 数据及数据产品流向控制，城市各部门及智慧应用的数据、服务及信息支撑， IOC 智能化业务调度流程控制等。包括：（1）智能业务调度系统；（2）智能门户系统；（3）大屏幕监控与调度系统。5、66、智慧门户及城市大数据移动应用（APP）开发（1）智慧经开区信息门户：基于 IOC 大数据平台，实现经开区城市各类信 息聚合、信息公开等服务。（2）大数据应用（APP）：实现城市大数据产品、主题应用产品的移动 APP应用开发、部署与自动更新。6、城市智能中心（IOC）主题应用系统开发。 综合运用城市大数据，实现基于大数据的城市资产、工业经济、城市空间、人口及应急数据的数据展示、数据服务，实现城市的系统性、综合性主题应用开 发。包括：（1）城市资产全生命周期管理主题应用。通过“一张图”分类并综合展示与 管理城市土地、楼宇、道路、桥梁、公共基础设施等城市资产，包括城市资产的 分布、物权、开发利用、售67、卖与租赁、建设与运行等城市资产全生命周期信息管 理与大数据分析利用。（2）工业经济监控及宏观分析主题应用。综合运用工业、商业、服务业、第 66 页建筑业等企业商事登记、企业经营、企业财税、进出口及关税、供应链、网络电商等大数据，按产业类型微观上实现各企业运行质态的监测和分析，分析企业发 展趋势、投资收益、供应链、能耗与产出等运行状况，宏观上实现城市区域经济 形势分析、宏观经济运行监控等应用。（3）城市空间布局与资源承载优化主题应用。综合运用城市规划、国土资 源、城市建设、地下管线、产业布局、人口分布等城市大数据，实现城市资源、 产业、人口等资源的空间布局分析、资源集约利用分析、资源承载力分析等68、，实 现城市规划更科学、空间布局更合理、产业升级转型更科学、人力资源布局更合 理。（4）人口分析主题应用。通过人口和移动大数据分析人口结构、迁徙、空 间分布，同时通过人口数据与城市土地、住房、教育、医疗、就业、养老等资源 数据的匹配和承载力分析，指导城市更有针对性的制定人口、教育、医疗、养老 以及人才引进等方面的政策。（5）城市环境监测与应急处置主题应用。综合运用城市大气污染监控、水 环境监控、电力运行监控、地下管网运行监控、人口迁徙、交通运行、安防监控 等城市运行数据，实现城市环境实时监控，实现城市各类信息的综合汇集与分析， 为城市应急会商、应急指挥提供更智慧的数据服务、辅助分析功能服务。769、智慧园区应用建设。 面向经开区工业园区的工业企业，基于城市智能中心（IOC）大数据平台，构建园区创新创业平台、园区企业服务平台、园区工业企业综合监控平台，为园 区创新创业、企业生产性服务、园区企业节能减排与环保提供服务。（1）园区创新创业平台：基于城市智能中心（IOC）大数据平台，在园区管 委会总体协调和指挥下，通过创建 3 大平台：创新创业平台、创业实践平台、新 创企业服务管理平台，依托项目池、资金池、创新小组、专家联盟、企业 5 类资 源要素来达到创新创业教育的全过程覆盖，为园区产业转型、新兴业态和创新创 业提供服务。（2）园区企业服务平台：基于城市智能中心（IOC）大数据平台，综合利用70、 法人库、商事登记、企业经济运行数据等，面向园区工业企业、中小企业，提供 “一站式”企业服务，实现包括面向工业企业的工业设计、物流等生产性服务系统，政府为企业办事提供的政务企业信息服务系统，以及面向中小企业的公共办公服务系统，为企业做好服务，提高企业生产和经营效率。（3）园区工业企业综合监控平台：基于城市智能中心（IOC）大数据平台， 其中包括三个系统：昆明经开区安全生产综合信息管理系统、昆明经开区环保综 合信息管理系统、昆明经开区互联网+工业节能管理服务系统，面向工业企业的 节能、减排、环保、安监等业务应用，提高工业企业综合监控平台，实现工业企 业的节能、减排、环保、安监等监控设备的接入、组71、建园区工业企业监控的物联 网（IOT），实现工业企业的大数据采集、大数据分析等，为企业的节能、降耗、 环保和安全提供优化方案和大数据服务。第四章建设场址和建设条件4.1建设场址本项目主要建设地址位于XX开发区。4.2建设条件城市智能运营中心及中心机房位置选址应符合以下要求：（1）电力供给应稳定可靠，交通通信应便捷，自然环境清洁；（2）远离产生粉尘、油烟、有害气体以及生产或贮存具有腐蚀性、易燃、 易爆物品的场所；（3）远离水灾火灾隐患区域；（4）远离强振源和强噪声源；（5）避开强电磁场干扰；（6）远离主变、配电间，避免主干电力电缆穿越；（7）与垃圾房、厨房、餐厅保持相当距离，防止鼠害；（8）其他72、方面应符合电子计算机场地通用规范GB/T 2887-2000 要求。第五章总体设计5.1总体技术路线 采用云计算服务构建系统总体框架在系统总体框架层面，系统将统一标准、统筹规划、顶层设计、分步实施，采用云计算服务技术，实现面向服务、资源共享、统一注册、分级授权的数据服 务、应用服务与运行管理机制，形成贯彻城市管理、企业服务、民生服务的智慧 园区信息化体系。图 5-1采用云计算服务构建系统总体框架 云计算描述了一种范围广泛的服务，系统采用云计算服务架构构建整个系统的总体框架。包括软件即服务（SaaS），数据即服务（DaaS）、平台即服务（PaaS） 和基础架构即服务（IaaS）。其中：lIaaS73、 层：采用虚拟化技术实现网络、存储、服务器、大数据设备、安全 设备的统一管理和集约利用；lDaaS 层：采用混搭架构的大数据平台，实现数据的统一管理与服务；lPaaS 层：采用数据服务平台、中间件平台、大数据分析平台，实现各类 业务应用、大数据应用、移动应用的统一数据服务、应用服务支撑；lSaaS 层：通过网络化运行，为最终用户提供应用服务。 采用虚拟化和云计算技术，统一和集约利用硬件资源系统在存储、服务器、CPU、操作系统等建设方面均考虑采用虚拟化技术，提高整个系统的存储、计算和运行效率，采用统一的纯软件虚拟化解决方案，实 现硬件资源的充分共享和合理化配置，节约了硬件资源的投入。图 5-2采74、用云计算服务构建系统总体框架 虚拟化技术可以扩大硬件的容量，简化软件的重新配置过程。CPU 的虚拟化技术可以单 CPU 模拟多 CPU 并行，允许一个平台同时运行多个操作系统，并且 应用程序都可以在相互独立的空间内运行而互不影响，从而显著提高计算机的工 作效率。 采用分布式计算框架，支撑海量数据快速处理与检索本系统采用分布式计算框架（Hadoop），支撑海量、异构城市数据的快速处 理、存储、检索与服务等。Hadoop 是 Apache 软件基金会所开发的并行计算框架 与分布式文件系统。最核心的模块包括 Hadoop Common、HDFS 与 MapReduce 组成。图 5-3采用分布式计算75、框架支撑快速数据处理与检索其中：HDFS 是 Hadoop 分布式文件系统（Hadoop Distributed File System） 的缩写，为分布式计算存储提供了底层支持。采用 Java 语言开发，可以部署在 多种普通的廉价机器上，以集群处理数量积达到大型主机处理性能。MapReduce 是由 Google 在一篇论文中提出并广为流传的。它最早是 Google 提出的一个软件架构，用于大规模数据集群分布式运算。任务的分解（Map）与 结果的汇总（Reduce）是其主要思想。Map 就是将一个任务分解成多个任务， Reduce 就是将分解后多任务分别处理，并将结果汇总为最终结果。 采用混76、搭式大数据平台，实现大数据统一管理与服务系统采用混搭模式的大数据平台，实现大数据统一管理与服务。管理异构平 台（包括关系型数据库、列存数据库、流式数据处理、Hadoop 大数据等）下的 异构数据，满足不同应用场景下，不同数据服务质量、时限要求的大数据服务需 求，做到物理上分离、逻辑上统一的数据服务。图 5-4采用混搭模式的大数据平台，实现大数据统一管理与服务混搭架构的合理性设计包括：lOracle 关系型数据库：技术最成熟，适用于关系型业务数据的存储、处 理和快速检索。也适用于数据仓库 CUBE 层平台的应用。lSMP：技术最成熟，适用于处理高并发、稳定性要求较高的应用场景， 是数据集市、数据77、仓库 CUBE 层的首选平台lMPP：技术相对成熟，适用于海量数据处理的应用场景，是数据仓库DWD、DWA 层的首选平台lHadoop：以开源技术为主，商用版本不够丰富，对企业应用来说挑战和 机遇并存。技术最成熟，适用于处理大规模的非结构化数据，如互联网 内容、日志、详单等数据管理的首选平台lStream：流数据适用于持续处理和分析网络运行数据，是海量实时数据 处理的首选技术采用云化 ETL 技术实现异构数据接入与采集本系统采用云化 ETL 技术实现城市海量、异构数据的接入与采集。采用先 进的架构构建，支持高速交换数据、模块自动插拔和替换、统一管理交换数据。 降低转换数据开销，提升工作和运营效78、率，真正实现城市各级部门业务应用系统的互联互通互操作。l数据采集：支持多种数据源类型、快速产生、海量的数据获取；l数据编目管理：保障数据获取的有序和一致。图 5-5采用云化 ETL 技术实现异构数据接入与采集 云化 ETL 技术的特点：l可控的统一异构数据管理平台实现分布式异构数据交换；l数据传输过程在单进程内完成，全内存操作，提供高吞吐量的数据传输 能力；l统一的配置页面、统一管理、统一监控、统一调度；l任务状态的实时汇报，多运行模式的透明使用，增强用户体验。 采用数据仓库及大数据分析技术，实现数据分析与挖掘本系统采用数据仓库、大数据分析技术，实现城市各类数据的分析与挖掘应 用。数据仓库技术79、主要是从数据源采集数据，并对数据进行清洗、整理、加载和 存储，构建数据仓库，为最终的分析应用提供数据及环境支撑。图 5-6数据仓库架构设计大数据分析技术不仅包括流数据处理的高级数据服务，还包括对数据进一步 的深入挖掘和应用分析，即大数据技术软件框架的应用分析层，如数据挖掘、数 据搜索、在线分析处理（OnlineAnalyticsProcessing，简称 OLAP）等。最大化整 合现有资源，使服务器使用率最大化，有效控制服务器数量的膨胀。采用面向服务架构（SOA）构建系统应用系统在平台层、应用层将采用面向服务的架构（SOA）技术，实现面向服务、 资源共享、统一注册、分级授权的服务组织模式与运行80、管理机制，形成贯穿城市 管理、企业服务、民生服务的智慧园区技术体系。在技术上基于 J2EE 架构，实 现平台公共服务、数据服务、应用服务、数据交换服务、消息服务等松耦合集成， 实现面向各类业务需求的应用编排和组装。图 5-7采用 SOA 架构支撑系统应用应用系统采用 SOA 架构，强调技术的实用性、安全性、可靠性、先进性，保障系统的可扩充性、易维护性、开放性和统一性。整个系统以 B/S 的模式构建。 应用系统提供具有高度灵活性、伸缩性的服务组件平台，快速实现各类业务的优 化和流程的再造。5.2 总体框架设计 总体架构经开区城市智能中心（IOC）综合运用云计算、大数据、物联网等技术，从城市信息化81、整体建设角度，提出智慧城市基础设施城市智能中心（IOC）建 设所需要具备的要素及要素之间的关联关系，以集约化建设为目标，支持智慧城 市建设与运行的总体架构。经开区区城市智能中心（IOC）总体架构如下图所示。图 5-8城市智能中心（IOC）总体架构设计 经开区城市智能中心（IOC）总体架构包括物联设施层、网络通讯层、基础设施（IaaS）层，数据服务（DaaS）层、平台服务（PaaS）层、智慧应用层和智 慧展示层等建设内容要素，同时也包含标准规范、运营和安全保障、制度保障城 市智能中心（IOC）运营管理支撑要素。通过智慧展示层，将城市智能中心(IOC)运行监控、分析挖掘、应急调度以及各类智慧应用与82、服务对象交互关联。经开区城市智能中心（IOC）总体架构包含以下分层： 基础设施层基础设施层主要由覆盖园区的泛在网络、物联网以及城市智能运营中心的核心机房、大屏幕系统、UPS 配电、存储设备、服务器、安全设备等组成。 数据源层数据源层主要部署城市大数据采集与交换平台，实现城市规划与建设、城市运营与管理、工业企业及经济、人口及社会服务等领域的数据采集，实现与政务 系统、数字城管、工业企业数据采集终端、交通及安防摄像头、各类传感器等数 据采集的接口接入。 数据存储层数据存储层主要实现各类异构城市数据的整合处理，采用混搭架构的大数据平台实现城市大数据组织与存储管理，实现城市大数据的统一管理与服务。 平83、台层平台层主要包括城市大数据服务平台和城市大数据展现平台。城市大数据服务平台实现城市数据服务、大数据分析与应用服务的寻址、组装、配准、共享、 分发等功能，统一城市大数据服务的管理。城市大数据展现平台利用城市数据立 方体或城市管理与运营指标库，向城市管理者、企业和公众用户提供多种灵活的 交互及个性化展示工具，满足城市运营监控与各领域数据挖掘分析需求。 管控层管控层主要部署城市大数据治理与管控平台，实现对各类城市数据从采集与交换、存储与组织、整合与计算、共享与服务、分析与应用的全数据流程的端到端实时监控、管理、元数据跟踪、审计、质量控制等管理。 应用层应用层主要基于城市智能中心（IOC），实现城市84、大数据展现及数据服务等主题应用，以及面向园区企业的创新创业、企业服务、工业监控等智慧应用。其 中主题应用包括园区资产全生命周期管理、城市空间布局和资源承载优化、工业 企业运行质态监控与宏观经济分析、人口分析服务、城市环境监测与应急处置等 主题应用；园区企业智慧应用包括创新创业平台、企业服务平台、工业企业综合监控平台等应用系统建设。 标准层标准层主要梳理城市数据体系，编制城市大数据相关的标准规范，以及研究城市智能中心（IOC）运行及运营的管理办法。 数据架构经开区城市智能中心（IOC）核心是城市数据，构建完整的城市大数据架构 应从水平层面上进行科学分类，从垂直的技术层进行科学合理的分层组织。以下85、 从城市数据的水平分类、垂直技术分层两个角度分析城市智能中心大数据平台的 数据架构。 城市数据分类体系城市管理与运行涵盖各职能部门、各业务类型的数据，包括公共基础类数据、城市建设与管理类、资源环境与保护类、经济发展与结构类、社会保障与发展类、 城市生活与宜居类数据等。城市数据分类体系如下图所示。图 5-9经开区城市数据分类体系图 城市大数据分层设计城市智能中心（IOC）大数据平台实现从城市数据源到采集交换、存储组织、城市数据产品制作及城市大数据产品多个环节，实现各类城市数据的集成、融合 与挖掘，为综合性城市管理、治理和应急提供数据产品和数据服务。城市大数据 分层组织架构如下图所示。城市数据中心86、逻辑分层与流程大数据产品城市指标体系模型 与算法“地图+”产品主题数据集市 元数据上下文跟踪叠加 活动、状态 等数据专题分析 挖掘 空间分析 分析数据（服务）产品数据产品目录产品 元数据地图服务产品 主题数据仓库地图服务定义 地图聚合 ETL地图配图ETL元数据上下文跟踪ETL数据组织数据资源目录元数据公共 城市 经济 基础 建设 结构 数据 数据 数据资源环境数据元数据上下文跟踪 数据更新 ETLETL实时更新分布式 计算数据交换（Stage）数据交换目录交换 元数据批量 数据库 文件Web服务 接口设备实时 网络数据服务接口 爬虫批量汇交统计上报或者推送/抽取前置交换 抓取 或者流服务（U87、RL）源数据数据工程各部门 系统各行业 设备互联网 信息图 5-10经开区城市智能中心（IOC）大数据分层架构图经开区城市智能中心（IOC）大数据分层架构详述如下：1、源数据层 源数据层主要来源于城市各类摄像头、各行业监控的传感器、城市调查与测绘类数据工程、城市各部门业务系统交换过来的城市管理数据等，该层主要是城 市大数据平台的各类数据源，通过数据采集与交换系统实现数据的采集、ETL 转 换与更新。2、数据交换层 数据交换层通过数据交换目录和交换元数据为索引，实现各类采集和交换的数据管理，包括通过政务交换系统交换的政务数据，通过视频采集接口采集的视频段数据，通过传感器接口采集的主要城市环境的监88、控数据，通过批处理文件交换的城市调查、城市空间数据、通过网络爬虫抓取的各类互联网数据等。3、数据组织与存储层 数据组织与存储层，通过城市数据分类体系和城市数据目录，实现各类城市数据的组织和管理。依据城市数据的格式不同，包括结构化、半结构化、非结构 化数据，采用不同的大数据组织和存储方式，包括关系型数据库、MPP 列存数据 库和 Hadoop 数据库等。4、数据（服务）产品层 数据（服务）产品层，通过城市数据服务目录组织和管理城市大数据平台制作和生产的各类数据产品，包括地图服务、工业经济统计分析表、城市运行监控 统计分析表等，这些数据产品通过一定的服务封装，为各类城市综合应用和智慧 应用提供数据89、服务。5、城市大数据产品层 城市大数据产品以城市运行的监控指标体系为索引，实现各类城市主题应用产品的封装和管理。 所有各层级的城市数据、服务和产品，皆通过数据目录和元数据进行追踪和索引，实现了从数据源到大数据产品的全生命周期管理。 业务流程及架构 IOC 业务流程设计经开区城市智能中心（IOC）就是基于城市大数据技术，通过对城市大数据的采集、整合与分析，满足城市的系统性、综合性的需求，实现对城市智能感知、 智能运营、智能管理和治理。整个城市智能中心（IOC）业务流程涵盖城市各类 数据采集、城市数据的跨部门融合、城市主题模型建设、以及城市主题模型的展 示与支撑应用等过程。所以，经开区城市智能中心90、（IOC）大数据平台业务流程 如下图所示。图 5-11城市智能中心（IOC）业务流程设计经开区城市智能中心（IOC）大数据平台业务流程包括：1、城市数据采集与更新：通过视频接入、传感器接入、异构数据采集与交 换等技术，把城市异构的数据汇集到 IOC 的大数据平台，对数据进行一致性、关 联性等处理。2、城市数据的跨部门融合与整合：通过对城市资源、公共基础设施、工业 企业、人口与社区等实体资源与来源于多部门的数据进行关联、比对和融合，实 现城市各类实体的数据“画像”，例如城市画像、企业画像、人口画像等。3、城市主题模型建设：采用主题数据仓库、地图+、信息门户聚合、统计分 析算法、神经网络及聚类等算91、法，构建城市专题模型。包括面向园区资产全生命 周期管理、城市空间布局和资源承载优化、工业企业运行质态监控与宏观经济分 析、人口分析服务、城市环境监测与应急处置等多种主题的城市模型。4、城市主题模型应用：通过大屏幕调度、智能业务流程调度、领导桌面推 送、智能移动终端推送等技术，实现基于城市主题模型的城市运行监测、城市治 理管控、城市安全应急、工业经济监控与宏观分析等应用，通过 IOC 这个大脑， 调度各业务部门协同响应。IOC 数据流程设计经开区城市智能中心（IOC）大数据平台可实现各类型城市数据的接入、采集与交换、管理与更新、存储与组织、融合与集成、分析与挖掘、城市主题模型 构建、BI 与数据92、展现以及城市大屏幕调度指挥与领导个性化桌面应用的支撑。 其中各类视频、传感器、政务数据、空间数据、业务数据、互联网数据等由 于数据格式和数据类型各异，其采集和交换的接口也不一样，所以需要通过异构 的数据采集与交换系统统一采集，通过大数据平台，实现各类采集数据的全生命 周期管理与数据服务。经开区城市智能中心（IOC）大数据平台数据流程如下图所示。图 5-12城市智能中心（IOC）数据流程设计 经开区城市智能中心（IOC）大数据平台数据流程详述如下：1、城市数据体系：构建城市数据体系，按照城市数据类型、来源、应用领 域等不同，定义数据规范、采集接口以及数据服务定义等内容。2、采集交换体系：构建城市93、异构数据的采集体系，包括视频、IOT、空间、 政务、城市综合业务等，实现城市数据采集、加工、整合、交换与更新等流程。3、数据管理与治理：统一城市数据的元数据和目录体系，通过数据元模型， 追踪数据的来源、处理过程、质量与稽核、数据异常以及整个数据处理流程的监 控与管控。4、数据分析与挖掘：通过大数据分析、主题集市、在线分析（OLAP）、空间分析、数学分析与建模、城市模型建模等技术手段，实现城市主题数据模型的 建设，为城市数据的分析和挖掘奠定计算基础。5、数据 BI 与展示：通过丰富的 BI 工具、地图+、内容聚合等工具，实现面 向城市主题的运行监控、管理与治理、应急响应、决策支持等应用。6、解决94、问题：通过城市智能运行中心（IOC）动态、实时监测与展示城市运 行情况，并暴漏城市运行问题。7、结论报告：以城市运行指标体系为核心，以城市运行报告为形式，周期 性提供城市运行报告和城市主题报告，诊断城市运行问题，为城市更智慧的管理 与治理提供解决方案。 技术架构经开区城市智能中心（IOC）大数据平台基于大数据、云服务等技术，实现 城市数据从采集、存储、管理、服务、建模及应用。其技术架构涵盖大数据服务 支撑平台、云服务支撑平台以及数据及流程治理与管控等关键技术。经开区城市 智能中心（IOC）大数据平台技术架构如下图所示。图 5-13城市智能中心（IOC）技术架构设计 功能架构经开区城市智能中心（95、IOC）大数据平台紧密围绕城市数据，通过数据采集与交换系统、数据存储与组织系统、数据共享与服务系统、数据分析与挖掘系统、数据展现与 BI 系统、数据治理与管控系统、IOC 监控与调度系统、城市主题应 用及城市智能中心（IOC）运维平台等作为功能支撑，实现城市各类数据从采集 到数据产品应用和服务的全生命周期管理和运行支撑。经开区城市智能中心（IOC）大数据平台应用功能架构如下图所示。图 5-14城市智能中心（IOC）功能架构设计 部署架构基于 IaaS 云计算框架设计的基础上，城市智能中心（IOC）大数据平台硬件 部署从逻辑角度推荐方案，包括 IOC 核心机房（大数据平台区、IOC 接入区、 I96、OC 应用服务区），IOC 坐席区以及大屏幕、领导桌面和智能终端等。经开区城市智能中心（IOC）大数据平台硬件部署架构如下图所示。图 5-15城市智能中心（IOC）部署架构设计 其中，城市智能中心大数据平台是基于 Hadoop 集群、MPP 集群、传统关系型数据库数据集群的混搭架构数据存储平台，为数据整合、分析、服务提供支撑， 根据数据类型的不同有不同的数据组织方式以及数据内容。包括 3 台 Hadoop 集 群、3 台 MPP 集群、2 台 Oracle 关系型数据库集群、2 台应用服务器集群、2 台 云化 ETL 集群，其它坐席业务支撑服务器 12 台，共 24 台高端 X86 服务器。I97、OC 应用服务器按照逻辑包括安全认证、业务调度、大屏幕调度、地图服务、内容服 务、视频分析服务等服务器，这些服务可从逻辑上驻留在一台物理服务器或者多 台物理服务器上。IOC 接入区主要实现视频、以及各类城市传感器的物联网（IOT）接入。IOC 坐席区可按照业务类型分为城管坐席、城市应急坐席、城市综合业务坐 席和值班坐席等。IOC 局域网通过防火墙与政务网、互联网逻辑隔离，并可接入政务网的电子 政务系统、互联网的各类应用系统，实现 IOC 内大数据平台与各类智慧应用、业 务应用系统之间的数据交换。第六章项目建设方案6.1城市智能中心（IOC）大数据平台 城市数据体系及标准规范建设围绕城市城市建设98、政务管理、企业经营、社会服务等领域，按照城市大数据全生命周期管控的思路，构建经开区大城市数据体系，并制定相关标准规范。 城市指标体系梳理围绕城市政务管理、企业经营、社会服务等领域，按照城市大数据全生命周期管控的思路，构建经开区大城市数据体系。包括城市数据的元数据及分类组织、 城市数据目录及编码、城市部门间数据交换体系、城市数据与大数据产品间的依 赖关系、城市大数据产品及应用的模型设计、数据质量校核、数据安全体系以及 城市管理及运营指标体系等。1、城市数据的元数据及分类组织 通过对城市政务、企业、社会等管理数据及业务的调查研究，摸清城市数据的来源、数据类型、数据流程、数据格式、存储管理方式、应99、用需求以及更新方 式等，按照城市管理部门、城市管理的专业领域、数据类型等进行科学分类，同 时编制城市各类型数据的元数据结构。2、城市数据目录及编码 在城市数据分类研究的基础上，按照数据的隶属部门、隶属行业、数据类型、数据格式、空间参照系、时间等，设计城市数据编码规则，制定城市数据目录体 系，城市数据目录及编码将与现行国家信息分类与编码标准相兼容。3、城市数据采集与更新体系 在对城市各部门数据及信息化调研基础上，按照部门业务数据产生的特点，数据格式、更新接口、更新频次等，基于数据采集平台，构建城市数据采集与更 新的目录、以及各类数据采集更新的接口，实现城市数据的实时采集与更新.4、城市部门间数据100、交换体系在对城市业务及数据调研的基础上，梳理城市部门间数据交换、共享的需求，对数据交换的来源、流向、类型、格式、字段等关键信息进行备案，制定城市部 门间数据交换体系。5、城市数据与大数据产品间的依赖关系 以城市管理和运营指标为牵引，梳理城市数据从采集与交换、存储与组织、整合与计算、共享与服务、分析与应用的全数据流程的元数据备案，记录城市数 据到大数据产品的依赖关系。6、城市大数据产品及应用的模型设计 梳理和分析城市大数据在城市空间布局优化、资源集约利用、资源承载力模型、工商企业经营分析模型、工业供应链模型、工业能源消耗模型、城市污染排 放模型、人口及流动模型、城市交通模型、城市积水及防汛模型等101、数据关系、计 算关系、图表展示关系，并形成模型设计。7、数据质量校核 针对各类城市数据类型，制定城市空间数据、政务数据、企业数据、人口数据等，分析和梳理数据质量检查细则，不同语义同类数据的数据校核规则等。8、数据安全体系 梳理和分析各类城市数据的密级、开放范围，制定城市大数据的对社会公开、依申请向社会公开以及密级敏感数据等数据安全体系，并针对不同密级数据制定 数据安全管理办法。9、城市管理及运营指标体系 梳理和抽取城市规划建设、运营管理、工业经济、社会服务等领域的关键性评价指标，制定指标分类、分级、编码等规则，形成城市管理及运营指标体系。 编制城市大数据标准规范统筹国家、部委在城市政务、企业、102、社会等数据的相关标准，制定城市大数据标准规范。包括城市数据分类与编码规范、城市管理及运营指标体系规范、数 据采集接口规范、应用系统接入接口规范、数据整合与处理规范、数据共享与服 务接口规范、数据分析与应用接口规范、数据质量校核规范、数据治理与管控流程规范、数据安全管理办法等。将基于 GB_T 1.1-2009 标准规范要求进行标准规范的编写。 将建立但不限于以下规范列表：1、城市数据分类与编码规范2、城市管理及运营指标体系规范3、数据采集接口规范4、应用系统接入接口规范5、数据整合与处理规范6、数据共享与服务接口规范7、数据分析与应用接口规范8、数据质量校核规范9、数据治理与管控流程规范10、103、数据安全管理办法 城市数据体系维护与管理系统按照城市数据体系及相关规范，开发城市数据体系维护与管理系统。包括城市数据的元数据管理、编目管理、城市指标管理、数据采集接口管理、应用系统 接入接口管理、数据整合工具、数据治理与管控流程维护、数据质量校核管理、 数据共享服务接口管理、数据安全认证管理等工具。1、元数据管理 实现城市数据体系中各类数据及数据全流程的元数据管理。包括元数据定义、元数据存储、元数据编辑、元数据版本管理、元数据查询、通过元数据访问数据 实体等功能。2、城市数据编目管理 按照城市数据体系的编码规则，实现城市数据体系中各类数据的自动编码及目录管理。包括异构数据源目录、数据采集接口目104、录、数据资源目录、数据服务 目录、大数据产品目录等的管理。目录管理功能涉及数据自动编码，数据注册、 数据目录的编辑和维护、数据版本维护、数据目录的共享分发、数据目录的权限维护等功能。3、城市管理与运营指标管理 以指标目录的形式，实现城市管理与运营的指标管理，包括指标注册、指标算法及指标定义、指标及城市数据映射关系维护、指标分级、指标分类、指标管 理和维护、指标版本管理等功能。4、数据采集接口管理 以数据采集接口目录的形式，基于城市大数据采集平台，实现各类数据采集接口的定义、注册、管理、维护和版本管理等功能。5、应用系统接入接口管理 以应用系统接口目录的形式，基于城市大数据采集平台，实现各类应用105、系统接口及适配器的定义、注册、管理、维护和版本管理等功能。6、数据整合工具 按照城市数据的不同类型及格式，按照大数据存储要求，提供数据加载、清洗和转换工具，包括空间数据格式转换、投影转换、数据拼接、图层要素清洗、 图层要素拆分与合并、空间数据 ETL 等工具；城市影像数据的格式转换、投影 转换、影像拼接、影像晕色、影像融合、影像增强等工具；城市政务数据的抽取、 转换工具；工业及经济数据的抽取和转换工具；城市视频流数据的格式转换、视 频流剪辑、图片输出等工具；城市传感器数据的抽取、转换等工具。7、数据治理与管控流程维护 基于城市大数据治理与管控平台，实现从城市数据到大数据产品的各类数据治理和管控106、流程的定义、注册、管理、数据路径维护、版本管理等功能。8、数据质量校核管理 基于城市大数据治理与管控平台，实现城市的空间数据、业务数据、视频数据、传感器数据的质检检查细则、业务校核规则的定义、注册、管理、维护、版 本管理等功能。9、数据共享服务接口管理 以数据共享服务接口目录的形式，基于城市大数据服务平台，实现各类数据服务、应用服务接口的定义、注册、管理、维护和版本管理等功能。10、数据安全认证管理基于城市数据体系，按照城市部门、企业类型、社会团体类型、公众等分类，实现对城市数据对社会公开、依申请向社会公开以及密级敏感数据等数据安全体 系的维护，包括统一身份认证、权限较色关系维护等功能。 城市107、数据整合与大数据建库结合“智慧园区”建设需求，实现城市空间类数据、政务管理类数据、工业和 经济类数据、社区和民生类数据的预处理、整合建库。 城市数据整合范围针对城市各种类型异构的城市空间数据库、人口库、法人库、宏观经济库、构筑物数据库以及业务表格数据、业务资料数据、视频数据、传感器数据、互联 网数据等，实现城市大数据平台整合建库。经开区城市大数据整合范围包括：l覆盖全区的城市空间数据库、人口库、法人库、宏观经济库、构筑物数 据库的整合；l覆盖全区经发部门、统计部门、综治部门、房管部门、社事部门、城管 部门、规划局、国土局、建设局、行政服务中心、工管办等部门的政务 及业务数据；l覆盖全区的综治、108、城管、公安、交管、园区、社区等视频流数据处理， 以及各类传感器数据；l整合全区 GIS 数据，包括空间 4D 数据整合、3D 城市街景、空间数据；l覆盖全区工业、商业企业等的经营数据，以及经营、财务、税务、海关、 商贸、行业等数据；l经开区移动、联通、电信三大运营商、广电运营商数据，互联网数据。l实现围绕城市专业领域的各类结构、半结构及非结构化数据的空间关系、 关联关系、业务关系的整合处理。l城市大数据整合将支持空间数据、关系型数据、半结构化及非结构化等 异构数据源，流数据处理流程将支持图形化整合流程设计、分布式处理、 全流程监控及端对端的质量检查等功能。 城市数据整合建库针对城市各种类型异构109、数据，通过对数据源、数据组织、数据流程、目标数据的分析，采用大数据整合工具，实现关系型数据库、空间数据库、传感器数据、 移动数据采集端、视频数据、互联网数据以及非结构化等数据的大数据整合建库。针对城市各种类型异构数据，通过对数据源、数据组织、数据流程、目标数 据的分析，采用大数据整合工具，实现关系型数据库、空间数据库、传感器数据、 移动数据采集端、视频数据、互联网数据以及非结构化等数据的大数据整合建库。1、关系型数据库整合 关系型数据库中的数据主要是面向业务的数据信息，例如 城市建设与管理相关数据、基础地理数据、人口相关数据、企业数据、社会经济相关数据，其特 点是数据类型多，分类复杂，数据量大110、，网络环境复杂。往往保存在城市的各个 业务部门内部，内部网络运行，有一定的安全保密要求。它的处理流程需要分为以下几个步骤：（1）物理级数据库的迁移 即从业务系统中的数据库复制迁移到城市智能中心的数据库中，这个迁移过程可能不是一步到位的，中间可能需要桥接、前置、交换等操作，处理几次中转 迁移才能完成。这个过程主要解决物理网络连接的问题，为了保留真实的数据来 源，数据本身并不做修改。（2）面向主题的转换 从面向业务的数据结构转换为面向主题的数据结构。这个转换的过程比较复杂，需要通过清洗、处理、转换（格式转换、编码转换、语义转换）等一系列步 骤。（3）面向统计的转换 根据不同的维度对数据进行分级统计111、汇总，形成统计汇总数据。（4）面向应用模型的转换 这个需要把数据抽取、转换、装载到模型库中，计算出新的模型数据。（5）面向共享服务的转换 把数据以服务的方式发布，而且不同的服务通过聚合，产生新的服务，统一对外提供访问接口，各个应用系统均通过服务获取数据。数据最终的目的有两个，一方面跨部门共享服务；另一方面是数据增值服务。2、空间数据整合 空间数据是一种用点、线、面以及实体等基本空间数据结构来表示人们赖以生存的自然世界的数据。空间数据描述的是现实世界各种现象的三大基本特征： 空间、时间和专题属性。空间数据根据数据来源和应用需求的不同，要求处理的流程也不相同。 对于直接获取的空间数据，包括矢量数据112、和影像数据，则处理流程一般需要以下的几个步骤：（1）空间数据的采集 矢量数据：主要通过测绘工程、数据矢量化、数据整合工程等方式形成的空间数据。 影像数据：获取方式包括：遥感、航飞、雷达等各种对地观测手段获取。具有获取方式多，速度快，范围广，成本低等诸多优点，是城市空间大数据的重要 数据来源。（2）空间数据的坐标转换校准 对于存量的空间矢量数据，例如比如城市规划数据、土地利用数据、地籍数据、基础地理数据、地下管线数据，这类数据往往存在不同的坐标系统，典型的 有城市地方坐标系、北京 54 坐标系、西安 80 坐标系或国家 2000 坐标系。在智 慧城市的建设中，需要转换为统一的坐标系统，如 WGS113、84 坐标系。（3）空间数据格式的转换 由于数据生产方式的不一致，导致数据格式不统一，例如存在 CAD、MapGIS、MapInfo、SuperMap，ArcGIS 等多种格式，这些数据需要统一转换为统一的坐标 体系，标准的数据格式。（4）空间数据的语义转换 跟业务数据相同，不同垂直行业产生的数据，不同业务部门产生的数据，在数据编码语义等诸多领域存在规范标准不一致的情况，难以使用。 遥感数据也存在多源、多分辨率特有的特征表达模型，需要进行特征间的关系和模型的相互转化。（5）空间数据的分析空间数据的特色之一就是能够从空间位置上发现数据之间的关联关系，这对 于大数据的分析挖掘提供了极大的帮助。空间114、分析包括：空间点模式下的密度和 距离分析。面状数据中的空间接近性与空间权重分析、趋势分析、自相关分析等。（6）卫星影像数据的分析 通过对遥感影像数据的自动解译，分析对比，监测数据的变化，是遥感大数据的重要应用。遥感大数据的自动分析和信息挖掘理论与技术， 是目前国际遥 感科学技术的前沿领域之一。（7）发布地图服务以服务方式提供的空间数据，常见的如符合 OGC 规范的 WMS、WMTS、 WFS、WCS 服务，这类数据随着数字城市、共享服务平台建设的逐渐增多而丰 富，是城市大数据中心数据的主要来源之一。根据用途的不同，地图服务分两类：l底图地图服务底图数据主要作为背景使用，常见如 WMTS，WMS115、 服务。不能查询，包括 矢量底图、影像底图和地形底图。我们可以直接获取互联网地图数据作为底图数 据，比如天地图、百度地图、腾讯地图等。l可操作地图服务 操作数据主要指叠加在底图数据之上的业务数据，常见如 WFS 服务。可操作地图服务数据包括常见的 POI 兴趣点数据，建筑物，道路、摄像头位置、传感 器位置等各类点线面数据。这类数据除了能看查看外，还要能查询、分析。无论是底图数据还是可操作底图数据，对于城市专有的细节数据，也可以通 过 ArcGIS、GeoServer 等方式发布为服务数据进行访问。（8）基于空间地理的信息展示GIS 除了分析功能外，另一个重要功能就是基于空间位置的多源信息展示，116、 包括二维场景下的展示和三维场景下的展示，相比传统的图表展示方式，基于位 置的信息展示具有直观、真实、美观、易于理解等诸多优点，是城市智能中心不 可获取的展示平台。各种传感器、摄像头、移动终端信息均可在地图上进行展示， 查询。城市智能中心有关空间数据的应用，涵盖了以上两种方式，地图数据处理和检索、分析主要以矢量数据为主，地图数据的聚合、专题展示主要以服务的方式进行。3、视频数据整合（1）视频数据接入与整合流程 视频数据整合的目标是以单一视频源接入，服务多政府部门的模式起步（1对多），通过分层分期逐步建设的思路，最终实现包括社区、网吧、各企事业单位等多视频源接入，多部门共享使用的协作模式（多对多117、）。视频生成进程（守护）读取 处理生成与复制配置 权限配置 访问日志读取 读取 写入视频分析日志推送配置写入 调用 读取视频文件视频复制进程（守护）视频分析进程（守护） 推送进程处理处理 读取写入 读取读取视频拷贝 读取推送判定图片写入流媒体转发服务器硬盘IP SAN 硬盘视频分析配置接收进程（守护）图 6-1 视频数据接入与整合流程图1）在视频采集源机房部署视频转发服务器；2）监控厂商按照约定的视频生成策略，每一分钟轮询一摄像头视频直至所 有实时视频采集归档于视频转发服务器；除非异常终止，每轮询周期结束后，自 动启动下轮周期；3）归档视频按约定从视频转发服务器复制到 IOC 机房中 IPSA118、N 存储；4）按照预先设定条件，视频分析服务器即时解析实时视频，提取目标照片；5）根据提取内容，推送目标照片到约定的相关业务部门。（2）视频数据整合 视频数据是城市最重要的基础数据之一，城市存在大量已经建好的摄像头，例如公安、交通、城管摄像头，这些摄像头都有各自的运行网络和管理系统。对外一般通过视频网关的方式对外提供服务。接口的类型包括：数据流方式(rtsp 实时流协议等标准协议)，ActiveX 方式，二次开发包 SDK 方式。1）视频接入处理 根据使用方式的不同，对视频数据的处理流程不同。 只读实时视频数据，则可以直接使用 Activex 方式把视频信息嵌入到浏览器中，通过包装形成 jsp119、 等页面文件，为终端应用提供展示窗口。 除了看视频，还要进行视频信息提取，对比分析等操作，则需要读取数据流结 合 二 次 开 发 包 ， 对 视 频 流 数 据 按 照 一 定 的 编 码 方 式 （ 比 如 RTSP/RTP,RTMP,MPEG-TS）进行保存。使用阶段，为了使用的方便，也需要进 行多种类型的编码转换，以满足不同播放器的要求，比如lAdobe Flash RTMP(RTMPT,RTMPE, RTMPTE, RTMPS)，lAdobe Flash HTTP Dynamic Streaming(HDS)，lQuicktimePlayer，lOtherRTSP/RTP-compli120、ant players，lVideoLANVLC media player，l3GPP-compatible mobile devices。 如果是自建摄像头，则需要根据摄像头供应商提供的服务接口，对数据进行保存、分析或展示，流程跟 2 类似。2）视频分析与抓取 实时影像或保存的视频中的目标人物搜索跟踪系统，功能包括：入侵感知/出入感知/出现感知/停止感知/派回感知/ 移动方向感知/ 任意操作感知/跟踪感 知/对象分类/速度过滤/对象计数/ 违法停车。3）脸部识别系统 视频分析功能和存储功能影像分析利用搜索对象（犯罪,迷儿,痴呆老人）实时保证。4）数据存储需要考虑以下几个方面：l哪些数据需要保121、存到视频大数据平台；l如果对原有系统进行改造，原有系统中已存在的那些数据该如何处理；l如何保证数据的可靠性；l不同设备所返回的不同格式的数据处理。视频大数据技术能够解决当前系统处理海量视频及相关数据能力不足的问 题，帮助客户从海量的视频数据中快速挖掘高价值的信息，协助客户提升其决策 的效率和精 准度。可以预见在未来的“智慧城市”建设中，视频的数据量会爆炸 性增长，对海量视频数据处理系统的要求会越来越高，对视频数据挖掘的能力要 求越来越强。4、传感器数据整合 传感器是一种检测装置，能感受到被测量的信息，并能将检测感受到的信息，按一定规律变换成为电信号或其他所需形式的信息输出，以满足信息的传输、处122、 理、存储、显示、记录和控制等要求。它是实现自动检测和自动控制的首要环节。（1）传感器数据的采集 在城市智能中心中，传感器数据从采集到提供服务有不同的方式。 很多情况下，传感器是通过一个特定的业务系统管理的，采集的数据也是先存在于业务系统的数据库中，然后交换到城市大数据中心数据库中再提供服务。 对于这类数据的处理，跟关系型数据库的处理方式一致，这类数据有一个问题就 是实效性稍差，适合于实时性要求不高的场合，用于对离线数据的分析挖掘。另一种方式就是通过传感器交换网关传输到后台服务程序中，采集到的数据 在服务端分流处理，除了存储到数据库中作为历史数据外，还需要通过 TCP/IP 方式直接同前端的监123、控系统通讯，达到传感器数据的实时展示和控制。传感器信息主要以报文的方式通讯，流行的通讯协议包括 MQTT，保障传输 通讯中的异常处理。（2）传感器数据的存储及处理 传感器采集内容主要其感知的物理量，类型为结构化数据，且带有时间序列，存储在关系型数据库中。由于传感器采集频率往往较高，时间累积产生的数据量 非常大，需要考虑大数据的存储机制来保障历史数据的持续保存，以及后期的统 计分析，提供后期分析的数据来源。传感器历史数据的离线分析处理流程与关系型数据库的处理流程一致。（3）传感器数据的服务 传感器主要的即时服务功能包括监控传感器状态，与 GIS 地图叠加通过不同符号直观展示状态信息；采集传感信息124、，形成实时数据展示和统计；管理员指令下达，通过访问接口发送到传感器以改变传感器状态。 传感器离线数据的服务与关系型数据库处理流程一致。5、移动端数据采集以移动勘察应用为例，App 要实现查勘人员的精确调度和各种外勤任务的工 单接收、任务处理、现场勘查、信息采集、信息上报等需求，使得现场情况能及 时处理，并将相关信息及时、准确地传递到后台系统，实现现场与后台人员的工 作协同，保证工作流程不断点，从而使得各种现场问题得到准确、高效的解决。（1）移动端数据采集 由于移动设备的物理特性，搭载在此基础上的数据采集有以下几个优势：l携带和操作方便，通过常用的智能手机终端即可采集，无需专用设备；l基于移动端125、本身的特性，方便采集位置信息、拍照信息和视频信息;l与后台系统交换方式灵活，可以实时传送，也可离线下载。l移动端可实时接收数据，实现信息的双向通讯。（2）移动数据的处理存储 移动端数据采集往往是对城市数据中心数据的补充和更新，比如城市部件的修补测、信息填报、线路巡检等。此类数据包含大量的实时信息和大容量的图像， 视频等非结构化资料信息，这是城市数据中心数据更新的重要技术手段。（3）移动数据的服务对移动数据采集的过程和结果进行基于 GIS 系统的叠加展示，是移动数据 可以提供的直接监控服务，从另一个层面为城市智能中心的运营提供感知功能。同时通过短信服务，在线实时通讯服务，可以是城市智能中心和城市126、终端设 备有机联系起来。6、互联网数据处理流程（1）数据抓取 通过网络爬虫等工具，根据关键字等信息，从网络上爬取城市相关信息，存储到 Hadoop 大数据平台上。（2）数据清洗 通过清洗、分析抓取有价值信息，形成结构化信息存储到关系型数据库中。（3）模型加工分析根据城市主题应用模型，输入现有的原始数据，根据模型进行加工处理，产 生模型产品。7、非结构化数据处理流程 目前城市中大部分有效管理的数据都是以表格的形式保存在数据库中，所有的信息格式都一样，便于编程处理。而如今的海量数据中，包括各种各样的数据 类型，最常见的普通文本（word，ppt 等）、照片、视频等等，还有像位置信息、 链接信息等 127、XML 类型的数据。这些非结构化数据或半结构化数据很难通过传统 的技术手段进行提炼和分析。这类数据的处理主要分以下几个步骤：（1）编目管理 按文件名、关键字、更新时间、作者等信息对数据文件进行编目。（2）入库存储 把文字内容单独提取出来，和原始文件分开同时存储，允许数据冗余。采用Mongodb 等 nosql 数据库系统存储和管理这些数据。（3）服务开发 基于文本内容，提供全文检索服务。基于格式提供文档资料下载服务。 开发或引进视频图片提取和对比算法，提取有价值信息进一步分析管理。 城市大数据整合与关联对汇集到城市智能中心（IOC）大数据平台的各类城市数据，按照城市资源、产业企业、人口等主题进128、行整合、关联，以期精准描述“城市画像”、“企业画像” 和“人口画像”，为政府资源优化配置、城市资产管理、企业征信服务、人口民生 服务提供大数据模型支撑。1、“城市画像”以精准描述城市资源利用、城市资产运营、城市管理与治理为目标，利用大 数据建模与关联技术，构建“城市画像”。如下图所示。图 6-2“城市画像”2、“企业画像”以精准描述企业运行质态为目标，利用大数据建模与关联技术，综合企业商 事登记、企业运营、企业营销、企业能耗、企业减排、企业人力资源结构、行业 舆情等数据，构建“企业画像”。图 6-3“企业画像”3、“人口画像”以精准描述城市人口状况、人口移动、个人征信等为目标，利用大数据建模与129、关联技术，构建“人口画像”。图 6-4“人口画像”城市智能中心（IOC）大数据平台建设 城市异构数据采集与交换系统建设结合“智慧园区”建设需求，搭建成数据采集与交换系统。实现与政务信息共享交换平台、数字城管、工商业数据采集终端、交通及安防摄像头、各类传感器 等数据采集接口接入，为城市大数据平台构建统一的数据采集体系。一、城市数据采集平台设计1、城市数据采集平台 城市数据采集平台支持城市空间数据、业务表格数据、业务资料数据、视频数据、传感器数据、互联网数据等多样的结构、半结构、非结构化数据的采集与 处理。针对不同采集对象、类型采用了不同的采集方式及采集技术设计及建设统一 接入、统一调度监控的高性130、能数据采集平台，保证数据的及时采集存储。数据采集平台具体技术如下：l城市数据采集平台支持的数据源类型包括但不限于关系型数据库、MPP数据库、HBase、Hive 等；l城市数据采集平台支持的数据类型包括但不限于结构化（数据库表、数 据文件等）、半结构化（XML、文件）、非结构化（视频、图片等）等 类型。l工商业数据采集终端实现对现有工商、税务及进出口等管理系统的数据 接口。l支持多样化的采集策略和多种抽取、汇总方式，可选择主动上报或被动 采集；l针对结构化资源和非结构化资源，以值域映射、数据丰富、数据裁剪、 数据过滤的工具化手段进行数据处理；l提供多种数据交换策略，包括同步/异步、发布/订阅、131、消息路由、服务代 理、服务组合等。l城市数据采集平台采用分布式架构设计，提供高性能的数据加载能力。l城市数据采集平台具有统一的调度监控界面，可实时掌握目前数据采集 的情况并针对问题进行处理，能对数据采集过程进行暂停、停止、启动、 重新启动、取消等操作。2、数据采集更新 数据采集系统应持采集数据的同步和异步更新，支持对历史数据全量采集及增量数据采集。 二、城市数据采集与交换系统（DataTrans+） 目前成熟的数据导入导出工具比较多，但是一般都只能用于数据导入或者导出，并且只能支持一个或者几个特定类型的数据库，随着数据库/文件系统的多 样化，工具数目成线性增长，不同程度的为数据中转带来额外开销132、，效率差别非 常大。数据采集与交换系统（DataTrans+）是一个面向复杂异构大数据环境的数据 高速交换服务。DataTrans+可以支持几乎所有常用操作系统和数据库平台，在异 构的数据存储架构之间，以一致的标准化协议高速传输、同步数据。BDE 使得各 城市应用无需逐一开发自定义数据访问程序，而能够自由使用任何位置任何存储方式的数据，最大限度的利用有限数据资源，实现数据价值最大化。1、系统框架 本系统采用先进的架构构建，支持高速交换数据、模块自动插拔和替换、统一管理交换数据。降低转换数据开销，提升工作和运营效率，真正实现各地各级 部门业务应用系统的互联互通互操作。图 6-5数据采集与交换系统133、结构图2、系统功能（1）分布式文件消息队列 数据网关的核心是一个分布式文件消息队列，其提供了高吞吐、低延迟、异步请求、高可靠、自动负载均衡的数据传输，能够同时支持批处理与实时的使用 模式，支持数据持久化。使用队列语义，实现 O(1)的数据访问，并做到读写分离。 传输的数据允许进行数据压缩（使用 gzip），以减少 IO 开销。（2）高吞吐量的数据传输功能 数据交换平台提供高吞吐量的数据传输能力。数据传输过程在单进程内完成，全内存操作，不读写磁盘，也没有 IPC，实现大量数据在异构数据库、文件系统、 分布式文件系统之间的高速交换。（3）多运行模式透明使用分布式功能兼容已有作业运行模式。异构数据交134、换平台支持在单进程、单机多进程、多机多进程各种模式下对用户透明使用，仅仅提供配置参数用户即可实 现不同模型运行环境的切换，完成运行机制的平滑迁移。（4）任务实时状态汇报 保证任务原子性，对于一个在集群运行的任务，需要保证同步作业成功失败的原子性。支持任务实时状态汇报，保证分布式模式下，用户能够观察到单个作 业整体进度、速度、吞吐量。（5）可追溯的统一管理 异构数据交换平台统一管理数据的导入导出格式，支持全程日志记录。通过统一的信息资源目录体系建立数据交换和共享机制，实现异构数据交换页面的统 一调度配置，实现异构数据交换的统一监控管理。（6）插件自动插拔和替换 针对新增的数据源，开发者可以在极短135、的时间开发的一套 Reader/Writer 插件，即可快速支持任意数据在新的数据库和文件系统之间的互导。插件的灵活性 极大的增强了平台的适用性。3、系统特点l可控的统一异构数据管理平台实现分布式异构数据交换l数据传输过程在单进程内完成，全内存操作，提供高吞吐量的数据传输 能力l统一的配置页面、统一管理、统一监控、统一调度l任务状态的实时汇报，多运行模式的透明使用，增强用户体验。l采用“框架+插件”的结构，框架相当于一个数据中转平台，而插件则为 访问不同类型的数据库(文件系统)提供实现三、工商业数据采集终端 实现与工商、税务及进出口等管理系统的接入，为经开区上万家工业企业开发数据采集终端，采集136、企业注册、投资、经营、效益、分类等行业、企业、产品、 产业链等等经济运行数据，为企业大数据建设奠定基础。 城市大数据组织与存储系统建设一、城市大数据（Hadoop）组织存储设计1、组织与存储 由于本平台涉及城市空间数据、业务表格数据、业务资料数据、视频数据、传感器数据、互联网数据等异构数据类型，数据源范围很广、数据格式多样、数 据内容复杂，数据的逻辑分类组织方法以及数据存储直接影响基于大数据平台应 用的支撑能力、响应效率以及数据的利用率。城市大数据的存储基于以下几个原则进行规划构建：（1）分域存储 按政务管理、企业经营、社会服务等专业领域专题数据进行分域存储，基于基础数据进行处理及分析形成的结137、果数据也应根据不同业务域进行分类存储。（2）分层存储 数据存储基于分域存储的基础上进行分层存储，包括基础数据文件存储、数据仓库、数据集市，实现大数据和传统数据的存储，从而满足应用层不同的业务 需求，并通过数据服务系统满足外部业务对数据的需求。（3）数据文件存储层1）文件存储层主要是存储维度汇总数据，按照维度、事实进行数据组织。 维度汇总数据主要包括基于数据模型的大数据并行计算与传统数据的数据库计 算结果。2）维度汇总数据为系统的应用汇总提供多维的基础数据，同时通过数据服 务系统，向外部系统提供可共享的数据，满足外部系统的应用要求。（4）数据仓库集市存储层1）数据仓库层采用主流的维度建模理论为指138、导，从数据中抽象出事实数据 和维度数据，并分别以事实实体和维度实体的方式表示。2）模型表示采用星形模型或雪花模型，表示出事实实体和维度实体之间的 关联关系。（5）实时处理存储层1）触发式应用场景主要采用流式计算建模，根据动态规则和静态规则进行业务开发。采用流式规则维度建模理论为指导。2）内存计算需要进行关系型分析，提供实时汇总计算，快速数据挖掘，为 流式计算提供动态规则，采用事实实体和维度实体之间的关联关系。3）具备实时处理存储层主要使用内存计算和流处理技术，同时实现数据的 统计分析、实时模型应用分析等功能。结合城市各类异构的基础数据库、数据仓库、数据集市等特点，选择关系型 数据库、列存储数据139、库、Hadoop、流处理引擎等混合架构的数据存储方案，实现 城市大数据的统一存储管理。2、数据索引与智能检索 实现城市大数据的统一组织管理，管理异构平台下的异构数据，满足不同应用场景下，不同数据服务质量、时限要求的大数据服务需求，做到物理上分离、 逻辑上统一的数据组织存储，建立全局数据资源索引库，开发数据资源智能检索 系统及接口，对数据资源进行维护管理以及对大数据服务平台提供数据智能检索 功能保障。（1）全局数据资源索引库 建立大数据平台数据资源目录体系，将存储在大数据平台的所有数据资源按体系进行定义描述，最终形成大而全的全局数据资源索引库。（2）数据资源智能检索系统及接口 基于全局数据资源索140、引库，开发数据资源智能检索系统，主要功能包括数据资源的注册登记、自动更新、注销、版本记录等。数据资源智能检索系统基于大 数据平台的接口规范标准提供相应的资源检索接口供外部系统进行调用，接口方 式将包括 HTTP、WebService 等协议。二、分布式文件系统 HDFS1、分布式文件系统（HDFS）图 6-6分布式文件系统 HDFS 结构图随着信息系统的快速发展，海量的信息需要可靠存储的同时，还能被大量的 使用者快速地访问。传统的存储方案已经从构架上越来越难以适应近几年来的信 息系统业务的飞速发展，成为了业务发展的瓶颈和障碍。Hadoop Distributed File System，简称 141、HDFS，是一个分布式文件系统。HDFS 有着高容错性的特点，并且设计用来部署在低廉的硬件上。而且它提供高吞吐量 来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS 通过一个高效的分布式算法，将数据的访问和存储分布在大量服务器 之中，在可靠地多备份存储的同时还能将访问分布在集群中的各个服务器之上， 是传统存储构架的一个颠覆性的发展。2、系统特点（1）高度容错整个 HDFS 系统将由数百或数千个存储着文件数据片断的服务器组成。实 际上它里面有非常巨大的组成部分，每一个组成部分都很可能出现故障，这就意 味着 HDFS 里的总是有一些部件是失效的，因此，故障的检测和自动快速恢复是 HD142、FS 一个很核心的设计目标。（2）高吞吐量访问HDFS 的每个数据块分布在不同的组服务器之上，在用户访问时，HDFS 将 会计算使用网络最近的和访问量最小的服务器给用户提供访问。由于数据块的每 个复制拷贝都能提供给用户访问，而不是仅从数据源读取，HDFS 对于单数据块 的访问性能将是传统存储方案的数倍。（3）支持大数据集典型的 HDFS 文件大小是 GB 到 TB 的级别。所以，HDFS 被调整成支持大 文件。它应该提供很高的聚合数据带宽，一个集群中支持数百个节点，一个集群 中还应该支持千万级别的文件。三、分布式数据库（Hbase）1、分布式数据库 HBase图 6-7分布式数据库 HBase143、 结构图HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase 技术可在廉价 PC Server 上搭建起大规模结构化存储集群。HBase 是一个面向列的实时分布式数据库，其设计目标是用来解决关系型数 据库在处理海量数据时的理论和实现上的局限性。传统关系型数据库在上世纪七十年代为交易系统设计，以满足数据一致性（ACID）为目标，并没有考虑数据规模扩大时的扩展性，以及系统故障时的可用性。虽然经过多年的技术发展，产 生了一些对关系性数据库的修补（并行数据库），然而受限于理论和实现上的约 束，扩展性从来没有超过 40 个服务器节点。而 HBase 从一开始就是为 TB 级144、 到 PB 级的海量数据存储和高速读写而设计，这些数据要求能够被分布在数千台 普通服务器上，并且能够被大量并发用高速访问。2、系统特点（1）高可扩展性HBase 是真正意义上的线性水平扩展。数据量累计到一定程度（可配置）， HBase 系统会自动对数据进行水平切分，并分配不同的服务器来管理这些数据。 这些数据可以被扩散到上千个普通服务器上。这样一方面可以由大量普通服务器 组成大规模集群，来存放海量数据（从几个 TB 到几十 PB 的数据）。另一方面， 当数据峰值接近系统设计容量时，可以简单通过增加服务器的方式来扩大容量。 这个动态扩容过程无需停机，HBase 系统可以照常运行并提供读写服务，完145、全实 现动态无缝无宕机扩容。（2）数据模型及其特点HBase 是一个面向列的、稀疏的、分布式的、持久化存储的多维排序映射表（Map） 。 表的索引是行关键字、列族名（Column Family）、列关键字以及时 间戳；表中的每个值都是一个未经解析的字节数组。（3）高性能HBase 的设计目的之一是支持高并发用户数的高速读写访问。这是通过两方 面来实现的。首先数据行被水平切分并分布到多台服务器上，在大量用户访问时， 访问请求也被分散到了不同的服务器上，虽然每个服务器的服务能力有限，但是 数千台服务器汇总后可以提供极高性能的访问能力。其次，HBase 设计了高效的 缓存机制，有效提高了访问的命中率146、，提高了访问性能。（4）高可用性HBase 建立在 HDFS 之上。HDFS 提供了数据自动复制和容错的功能。 HBase 的日志和数据都存放在 HDFS 上，即使在读写过程中当前服务器出现故 障（硬盘、内存、网络等故障），日志也不会丢失，数据都可以从日志中自动恢复。HBase 系统会自动分配其他服务器接管并恢复这些数据。因此一旦成功写入数据，这些数据就保证被持久化并被冗余复制，整个系统的高可用性得到保证。 四、分布式计算框架 MapReduce图 6-8MapReduce 分布式计算框架图1、MapReduce 概述MapReduce 是 Google 于 2004 年提出的应用于大规模集群147、进行大规模数据 处理的并行计算模型。MapReduce 的设计目标是方便编程人员在不熟悉分布式 并行编程的情况下,将自己的程序运行在分布式系统上。当前的软件实现是指定 一个 Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的 Reduce（化简）函数，用来保证所有映射的键值对中的每一个共享相同的键组。 与传统数据仓库和分析技术相比，MapReduce 适合处理各种类型的数据，包括 结构化、半结构化和非结构化数据。数据量在 TB 和 PB 级别，在这个量级上， 传统方法通常已经无法处理数据。复杂的数据：业务数据不能适合行列的数据库结构。数据可能来源于多种格 式：多媒体数据、图像148、数据、文本数据、实时数据、传感器数据等等。当有新的 数据来源时， 可能会有新的数据格式的出现。 MapReduce 可以存放和分析各种第 106 页原始数据格式。超大规模数据：很多公司仅仅因为数据存放成本过高就放弃了很多有价值的 数据。 新的数据来源使得问题更为严重， 新的系统和用户带来比以往更多的数 据。 Hadoop 的创新构架使用低成本的常规服务器储存和处理海量的数据。新的分析手段：海量复杂数据分析需要使用新的方法。新的算法包括自然语 言分析、 模式识别等。 只有 Hadoop 的构架才能方便高效地使用新的算法来处 理和分析海量数据。2、系统特点（1）高度可扩展，可动态增加/削减计算节点149、，真正实现弹性计算。（2） 高容错能力，支持任务自动迁移、重试和预测执行，不受计算节点故 障影响。（3）公平调度算法，支持优先级和任务抢占，兼顾长/短任务，有效支持交 互式任务。（4）就近调度算法，调度任务到最近的数据节点，有效降低网络带宽。（5）动态灵活的资源分配和调度，达到资源利用最大化，计算节点不会出 现闲置和过载的情况；同时支持资源配额管理。（6） 经过大量实际生产环境使用和验证，最大集群规模在 4000 个计算节 点。五、数据仓库 Hive1、Hive 概述图 6-9数据仓库 Hive 结构图Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数150、据提取转化加载（ETL），这是一种可以存储、查询和分析存储 在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称 为 HQL， 它 允 许 熟 悉 SQL 的 用 户 查 询 数 据 。 同 时 ， 这 个 语 言 也 允 许 熟 悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。Hive 采用 HDFS 进行数据存储并利用 MapReduce 框架进行数据操作。所以 从本质上来说，Hive 就是个编译器，它把用户的操作（查询或者 ETL）变换成 MapRe151、duce 任务，利用 MapReduce 框架执行这些任务以对 HDFS 上的海量数据 进行处理。Hive 被设计成一种批处理系统。它利用 MapReduce 框架来处理数据。因此， 它在 MapReduce 任务提交和调度上有比较高的开销。即使对于小数据集（几百 兆）来说，延迟也是分钟级的。但其最大的优点是延迟相对于数据集大小是线性 增加的。Hive 定义了一种简单的类 SQL 查询语言 HiveQL，让熟悉 SQL 的用户可 以非常容易的进行查询。与此同时，HiveQL 也允许熟悉 MapReduce 框架的程序员在查询中插入自定义的 mapper 和 reducer 脚本以扩展 Hive152、 内嵌的功能，完成更复杂的分析。2、系统特点（1）对海量数据的高性能查询和分析由于 Hive 的查询是通过 MapReduce 框架实现的，而 MapReduce 本身就 是为实现针对海量数据的高性能处理而设计的。所以 Hive 天然就能高效的处理 海量数据。（2）类 SQL 的查询语言HiveQL 和 SQL 非常类似，所以一个熟悉 SQL 的用户基本不需要培训就可 以非常容易的使用 Hive 进行很复杂的查询。（3）HiveQL 灵活的可扩展性除了 HiveQL 自身提供的能力，用户还可以自定义其使用的数据类型、也可 以用任何语言自定义 mapper 和 reducer 脚本，还可以自定义153、函数（普通函数、聚 集函数）等。这就赋予了 HiveQL 极大的可扩展性。用户可以利用这种可扩展性 实现非常复杂的查询。（4）高扩展性（Scalability）和容错性由于 MapReduce 框架本身具有高度可扩展（计算能力随 Hadoop 机群中机 器的数量增加而线性增加）和高容错的特点，所以 Hive 也相应具有这些特点。六、城市大数据组织与存储系统（X-CloudDB） 城市大数据组织与存储管理考虑到将来经开区各类城市空间、影像、三维、政务、工商业、运营商、行为数据、视频、传感器等海量数据量的激增，所以城 市大数据的存储方案将支持 PB 级以上大数据的存储组织与快速检索应用。1、系统框154、架图 6-10 城市大数据组织与存储技术架构图l分布式执行计划引擎 主要负责分布式执行计划的生成和优化，包括数据定位、负载均衡、成本估算、执行计划的优化等；l分布式调度引擎和查询引擎 分布式执行计划的调度和执行，包括分布式数据加载、数据索引生成、CPU特性优化、并行数据处理、数据的压缩与延迟物化等；l分布式存储引擎 遵循列存数据的整体规划，实现按列方式存储数据的系统架构，包括磁盘存储管理层（Disk Storage Manager）、内存缓冲层（Buffer Manager）、表空间管理 层（Space Manager）、数据库访问管理层（Access Manager）。2、系统功能（1）列存155、数据引擎1）列存数据引擎体系架构 自主研发数据压缩式列存储引擎，遵循列存数据的整体规划，实现按列方式存储数据的系统架构，包括磁盘存储管理层（Disk Storage Manager）、内存缓冲层（Buffer Manager）、表空间管理层（Space Manager）、数据库访问管理层（AccessManager）。2）数据压缩技术图 6-11数据压缩式列存储引擎结构图列存数据针对每个数据库字段进行聚集存储，在同一个字段列中的数据具有相同的数据属性，因此可以设计和采用高效的压缩算法，从而大幅降低存储成本。 同时，经过压缩的数据在每次读取时就可以获取更多的数据，这就意味着更快的 处理速度。目前156、列存数据引擎常用的压缩算法有：位向量压缩（Bit Vector Encoding) 算法、WAH(Word Aligned Hybrid)压缩算法、全局数据字典 GDD(Global Data Dictionary)、局部数据字典 LDD(Local Data Dictionary)、行程压缩 RLE（Run Length Encoding）算法等。3）数据查询优化 为了解决在没有索引的情况下实现最大程度的数据过滤与减少不必要的 IO和内存消耗，列存数据引擎通过优化 SQL 执行树的结构，尽可能延迟对元组（Tuple）数据的读取，从而减少整个 SQL 语句的执行所需的时间和空间，提升数据库的访157、问性能。主要有以下技术难点：延迟物化（Late Materialization）、索 引联接（Invisible Join）、批量数据处理（Block Iterator）、索引（Index）、执行单 元（XO）、实时构建 XO 群组。4）资源管理 为了能够快速而有效地处理海量数据，列存数据需要对硬件资源进行有效地处理，以便加以充分利用。为此需要解决以下难点：ELT（Extraction Loading and Trasformation，即数据抽取、加载和清洗）、缓存策略（Buffer Management） 、 分区（Partition）、资源开销的性能优化（Cost BasedOptimi158、zation）、虚拟机（Virtual Machine）。5）数据安全、恢复技术 当数据库系统运行出现故障或遭遇网络攻击时，为防止数据丢失和错误，列存数据引擎需要支持日志系统，能够尽快恢复数据，并严格保证数据库内数据的 完整性，包括数据的正确性、有效性和一致性，支持数据冗余及备份；采用包括 授权规则，如账户、口令和权限控制、数据加密存储等方法保证数据安全。6）SMP（Symmetric Multi Processing）列存数据引擎支持多 CPU、多线程并发处理，有效的利用硬件资源，提升数 据库性能表现。（2）分布式存储1）数据备份图 6-12分布式存储结构图数据备份是分布式数据存储实现系统高159、可靠性的关键。由于分布式文件系统存在于网络中，而网络又存在不可靠因素，因此必须考虑系统集群中有节点出现 无法连接网络的情况。数据备份能够很好的解决分布式数据存储技术中的因网络 原因导致部分数据丢失的问题。2）存储负载均衡 系统集群存储的数据具有数据量大的特点。在集群中，系统运行一段时间后，必然存在节点之前的数据偏载问题。不能进行存储自动负载，会出现部分节点异 常繁忙，而其他节点空闲的状态，从而降低系统集群的整体响应时间。因此，存 储负载均衡技术在分布式数据存储领域也十分重要。3）在线扩容 随着数据量和使用要求的提高，系统扩容难以避免。当需要进行系统扩容时，如果必须关闭系统，则会导致任务中断，这160、对于部分要求 24 小时在线的任务而 言是无法接受的。因此，必须考虑在线扩容技术，使系统满足 24 小时在线的要 求。4）数据块（Data Pack） 分布式数据存储的大数据量特点，要求在系统执行任务时，同时对目标数据进行并发读取操作，多用户时，并发读取的要求更高。而用户写入数据时又必须 防止其他用户读取到异常数据，因此，需要通过数据块技术实现数据的分片，从 而提高多并发数据读写性能，降低系统响应时间。5）自适应压缩 分布式数据存储中的数据量巨大，使得数据整体的特性具有较大差异，而局部数据仍有可能具有类似特点。为了能够提高数据压缩比，需要针对数据特点， 使用不同的数据压缩算法，即使用自适应压缩161、技术。（3）分布式数据分析引擎图 6-13分布式数据分析引擎结构图分布式数据分析引擎技术包含分布式的执行计划的生成和优化、分布式执行 技术。执行计划优化的关键技术包括数据定位、负载均衡、成本估算、执行计划 的优化；分布式执行技术包括分布式数据存储模型、数据索引技术、CPU 特性优 化技术、并行数据处理技术和压缩技术与延迟物化等组。1）数据定位 进行语句查询时，不需要对全表的数据块进行扫描，而是依据分区和分片的方式，以及数据分布索引，快速定位将要查询的数据，提高 IO 效率，避免扫描 不必要的数据块。2）动态负载均衡 实时地根据各个节点的负载状态以及数据分布信息，尽力均匀的分发任务，避免出现瓶颈162、节点，降低执行效率。对于负担过重的节点，可以将查询任务分配 给存储备份数据的其他节点来执行。3）成本估算 考虑各种分布式的算法的成本，包括分布式的排序算法、分布式的聚集算法、分布式的关联算法等，估算每个操作的计算成本、网络传输成本、IO 成本，用于估算出整个执行计划的成本。4）执行计划优化 可以用启发式优化策略和迭代式动态规划算法，枚举执行计划的同时，忽略掉不可能的计划，当迭代多次后，评价解的集合中的所有解，选取好的执行计划。 这种算法可以快速的缩小解空间，减少产生执行计划的时间。5）分布式数据存储模型使用基于 Data Pack（请参考相关章节）的技术将数据进行划分，Data Pack 内部163、采用新型基于 PAX(Partition Attribute Across)存储页的优化存储模型适用于 分布式数据的存储棤型，结合列存和传统行存的双重优势。6）数据索引技术采用最新科研成果：基于 KISS-Tree 和 CS-Prefix-Tree 的索引技术，大幅度 优化数据查找速度和内存使用的质量。7）CPU 特性优化技术CPU 的速度远远高于内存的访问速度，内存已经成为数据处理的新瓶颈。此 方面优化主要集中在如何减少 cache 以及 TLB 失效，降低内存访问代价方面。8）并行数据处理技术在分布式时代，实施高效并行的 aggregation, sort, join, sort/top 164、k 操作，可以 为缩短查询时间带来直接明显的提升。9）压缩技术与延迟物化 运用适合的压缩技术，减轻内存和网络通讯的负担。可以在数据处理时，将变长繁杂数据转为定长有序数据处理，提升效率。（4）高速数据传输 在分布式集群中数据传输技术成为节点间数据交换、存储、计算的必要支撑，其性能影响分布式计算的并行度和整体执行效率。因此有必要对数据传输技术做 出优化，避免其成为系统瓶颈，这主要体现在如下方面。1) 优化 RPC 服务架构，支持异构系统高效传输。在节点间实现基于二进制 的高性能的通讯中间件，提供了数据序列化的功能和 RPC 服务。图 6-14高速数据传输结构图2）实现压缩传输协议，精简数据传输量。165、对传输的数据进行快速压缩传输， 减小对带宽的占用。图 6-15数据压缩传输协议结构图3）优化数据流调度，减少传输阻塞。对数据流进行动态优化，避免网络负 载过于集中，缓解网络拥堵现象。4）优化传输处理技术，提高传输的并行度和效率。在数据包的封装传输、缓存处理等方面进行优化。3、系统特点l高性能数据加载性能：单机最高加载速度可达每小时 500GB 以上； 数据查询性能：可以提供秒级的实时查询服务。l高并发 单节点最大可以支持上百个用户，并发用户数随节点数线性增长。l大容量可以支撑 PB 级数据的加载和查询。l易扩容 可以支持数百个节点构成的集群，支持在线平滑扩容。l易管理 提供独有的基于浏览器的集166、群安装和管理界面，提供网页、邮件方式的系统异常报警。l高可用性 全面测试的企业级发行版，能保证长期稳定运行。提供特有的灾难备份和恢复机制，同时利用 HDFS 提供的数据自动复制和容错的功能。l更多功能 提供跨数据库虚拟大表功能，实现数据库复制和备份功能。l更低成本整个系统可以部署在 X86 架构的普通服务器上，数据存储在服务器本地磁 盘上，无需昂贵的硬件。高效的压缩技术可以在相同数据规模下有效减少服务器和磁盘数量。 城市大数据分析与挖掘系统一、数据建模（Data Architect）BDA 是一个数据模型综合开发环境。主要用于进行行业数据建模、管理及 整合数据资产，以及开发数据库应用程序。BD167、A 主要提供的建模手段有业务、逻辑、物理、数据对象建模。 BDA 可以验证模型和已部署的数据库，包括命名标准、语法和一致性、规范化以及其他最佳实践验证。同时，BDA 还提供了生 命周期管理功能，包括模型之间的影响分析以及扩展比较和同步功能。BDA 的核心优势在于其强大的建模能力，主要应用与数据生命周期中的设 计阶段，并能够管理模型贯穿数据的开发、部署、治理等各阶段，进行全面的业 务梳理，建立全方位的整体数据视角，为整个数据平台提供一致的基础逻辑，降 低城市数据应用中的重复开发成本，加快数据仓库建设速度。1、系统功能（1）业务建模 业务模型主要解决业务层面的业务需求分解、形式化与程序化。业务模型168、划分整个企业的业务，进行各业务部门数据分界的界定，理清各业务部门之间的关 系，产生不同业务部门的需求域与相关业务概念实体。（2）逻辑建模 逻辑模型主要针对业务概念实体以及实体之间的关系进行数据库层次的逻辑化，包含各概念的实体化，并设计其具体的属性内容。（3）物理建模 物理模型主要针对不同的物理数据库，出于管理的需要或性能的考虑，对逻辑模型做出相应的技术调整，并与各数据库直接连接，执行脚本进行模型落地或 反射物理模型信息。（4）数据对象建模 数据对象模型主要针对物理模型落地后其中存储的数据实例，出于管理的需要，对视为原子的一批数据实例集合跟踪管理。（5）数据命名规范建模 数据命名规范模型指定物理169、模型命名规范，可用于模型自动生成与模型落地检测。（6）模型部署管理 模型部署管理可以将模型直接落地到物理库中，或反射库中的数据生成物理模型，检测模型的规范性以及模型之间的一致性等。2、系统特点l图形化编辑器以更多的拖曳操作方便用户建模l优化支持数据仓库多维建模l模型可用于商业智能分析、数据治理报告等各个方面l可以验证模型与已部署的数据库、可以比较或同步l模型影响分析检测 二、城市大数据整合与计算1、城市大数据整合与计算设计 针对城市各种类型异构的城市空间数据、业务表格数据、业务资料数据、视频数据、传感器数据、互联网数据等提供空间数据转换处理、业务数据整合分析 处理、视频流以及传感器等数据的整合170、与计算能力。城市大数据整合将支持空间数据、关系型数据、半结构化及非结构化等异构 数据源，实现将数据整合及计算过程进行图形化整合流程设计、分布式处理、全 流程监控等功能。（1） 数据源 基于数据管控平台的元数据管理实现大数据整合与计算系统的数据管理。（2） 数据流设计器 提供图形化数据流设计能力，通过拖拽的方式对数据的整合加工过程进行设计。数据流设计器应提供建立映射和映射组件的工具，这样便可以指定如何在源 和目标之间移动和转换数据。（3） 工作流设计器 工作流设计器需实现图形化创建工作流、启动工作流、查看工作流定义。在工作流设计器中可通过图形化拖拽的方式进行工作流的定义，并且可以对工作流 定义进171、行启动、计划和取消等操作。（4） 任务调度 支持对工作流的执行的事件、时间窗口设计，能自动周期对工作流调度，同时与消息与事件服务紧密集成，允许工作流调度与其他应用服务交互。另外提供 通过定义工作流生产数据集、消费数据集的方式，使大数据整合与计算系统能够 自动按照依赖关系调度工作流，并在发生数据重传等异常情况时自动的进行工作 流取消补偿与工作流重新调度。（5） 分布式处理对数据的整合与计算过程提供分布式处理，设计并实现分布式计算引擎。（6） 实时数据处理监控 实时监控是监控正在运行的流程实例情况，各节点执行情况和执行时间。节点在流程中的运行状态，成功、失败或正在运行，流程间的依赖关系，如触发启 172、动，触发流程和被触发流程的关系。1)监控器以 B/S 模式设计。运行工作流、监控工作流和数据流。在实时监 控中，用户可以查看正在运行或已运行完成的工作流的详细信息。用户 也可以在这里暂停、恢复、终止工作流。2)在实时监控中，用户可以查看任务工作状况，包括任务节点名称、启动（结束）时间及执行时长、具体运行状态等信息，系统为用户自动记录 任务执行成功次数，包括源目标次数、源成功次数。3)在实时监控中，通过依赖关系功能，用户可以清楚查看到查看任务依赖 关系。2、系统技术特点（1）高性能l 基于分布式集群的数据处理，高水平扩展处理能力；l 对源与目标库完全无依赖，兼容各种数据源；l 数据整合与计算过程173、基本不占用数据库计算资源。（2）图形化l 图形化的数据流、工作流编辑与展示；l 图形化的工作流监控与操作；l 直观易懂，学习曲线低，易于开发、编辑与维护。（3）易扩展l 在工作流中可以直接集成第三方 MR 程序；l 集中调度 Hive、Pig、MR job、存储过程、shell 等资源，兼容遗 留系统；l 向第三方应用提供分布式集群计算资源的动态申请、调度、管理、 监控。（4）自动调度l 针对按月、按天、按小时的周期数据设计调度架构；l 工作流可按周期声明数据集依赖，框架自动在数据就绪后调度工 作流；l 可随时查看某一个特定周期的数据以及相关工作流的状态。（5）SOA 架构l 数据集成接口作为174、服务发布；l 集群计算资源作为服务发布。 三、城市大数据分析与挖掘（Data Miner） 面向城市空间布局与承载优化、工业与经济分析、社会治理与诚信分析等应用需求，以城市管理及运营指标体系为目标，实现城市数据的空间分析、空间承 载力分析、聚类分析、RFM 分析、时序分析、多维分析、决策树分析、文本挖掘 分析、关系分析、情感分析等大数据分析功能。支持各类大数据分析模型及算法的全生命周期的管理，提供一个企业级数据 挖掘的智能分析管理系统，实现城市管理与运营分析的算法管理、模型管理、算 法部署及版本管理等功能。1、系统架构图 6-17城市大数据分析与挖掘结构图通过算法和模型管理系统根据业务目标的特175、点及相关性构建模型并进行管理，支撑的模型包括但不限于以下模型：l 城市经济趋势预测模型；l 城市企业供应链分析模型；l 城市节能决策支持；l 产业调整决策支持。2、系统功能（1）数据分析挖掘 为解决企业数据挖掘方面日益增长的工作需求，提供支撑日常数据分析挖掘的系统功能，整合从数据导入到分析挖掘，并预置了业界成熟的模型评估方式， 形成一个可视化的完整分析挖掘流程。图 6-18数据分析与挖掘功能图（2）智能分析输出 本系统在业务模型和关键算法的生命周期管理能力基础上，将业务模型、关键算法、运行数据集进行封装，为业务人员和第三方系统提供支撑，充分体现大 数据的价值。（3）智能分析管理图 6-19智能176、分析输出功能图企业范围内的数据挖掘分析散乱无序，为实现企业级范围内数据挖掘过程的可视化管控，提供了一个贯串模型全生命周期支撑企业级数据挖掘的智能分析管 理系统。（4）知识共享图 6-20智能分析管理功能图基于模型和算法知识，通过知识发现、知识使用、知识贡献过程为各级用户提供知识共享能力。3、系统特点图 6-21模型算法知识管理功能图l强大的数据分析挖掘能力，内建丰富数据挖掘算法，支持多种类型的数据挖掘工具l可扩展的算法库，涵盖行业内标准数据挖掘算法，提供灵活自定义算法 能力l积累大量的业务模型，系统提供成熟的模型分类管理体系，实现模型分 类的科学化管理l智能的分析输出能力，满足多种形式的数据价177、值需求，充分体现大数据 的价值l具备规范化的管理流程,完整的模型和算法管理体系以及高效流程管理 体系, 提供了一个企业级数据挖掘的智能分析管理平台l将知识管理的各个环节融入了业务模型和算法的全生命周期管理，可以 多形式、多层次、多角色进行知识管理和分享l可扩展的算法分类管理体系 数据分析涉及的算法种类繁多，系统具有一套全面的算法分类的管理体系，算法包根据算法的特性可以分为关联、预测、序列、分类、聚类等；数 据 分 析 人 员 可 以 自 定 义 算 法 ， 支 持 多 种 类 型 的 业 务 模 型 实 现 方 式（PMML/JAVA/SQL/R 语言）实现对现有算法库的扩充；图 6-22数据178、分析算法分类体系图l成熟的模型分类管理体系 公司多年的数据分析经验，沉淀了多种数据分析模型，涵盖全业务的数据分析，系统对全业务的数据分析模型进行科学规范化的分类管理。图 6-23数据分析模型功能图l规范化的管理流程及灵活的管理方式实现联通企业级范围内模型及算法的统一管理，实现数据挖掘过程的可视化管控及追溯，提供了一个贯串模型全生命周期支撑企业级数据挖掘的智能分析管 理系统；灵活的管理方式，可辅助决策者理解复杂的实际问题、选用合适的模型、提 高决策的有效性具有十分重要的意义，提供可配置的动态化权限管理，有利于保 护数据及模型的安全。图 6-24模型及算法管理流程图l分析挖掘数据准备系统 依托于大179、数据平台的存储及计算能力，建设分析挖掘数据准备系统，能够对大数据平台获取到的基础数据及各种业务数据按应用场景进行整合、过滤、清洗以及采样，为数据挖掘分析做好数据准备。 城市大数据服务平台建设一、城市大数据服务平台概述城市大数据服务平台实现城市数据服务、大数据分析与应用服务的寻址、组 装、配准、共享、分发等功能，统一城市大数据服务的管理，支撑“智慧园区”的 政务服务平台、智慧城管、智慧环保等各类智慧应用项目。城市大数据服务平台 包括服务注册、服务寻址、服务组装、服务配准、服务聚合、服务共享、服务分发等管理功能。1、服务注册管理 实现城市数据服务、大数据分析服务、应用服务的元数据管理及各类服务的注180、册、管理、维护、版本管理。2、服务寻址管理 提供城市数据服务、大数据分析服务、应用服务的统一寻址及元数据查询等功能。3、服务组装管理 面向各类城市管理与运营领域的应用需求，实现城市数据服务、大数据分析与应用服务、城市管理与运营指标等服务的个性化组装、自定义管理等功能。4、服务配准管理 实现城市管理与运营指标与城市基础空间数据、专业空间数据服务的空间匹配与配准服务，为城市管理与运营指标的空间分布、空间布局、空间组合展示提 供服务。5、服务聚合管理 实现城市空间数据服务、大数据分析服务、城市管理与运营指标监控服务、各类政务应用服务的服务编排、聚合管理。6、服务共享管理 实现城市数据服务、大数据分析181、与应用服务的统一注册、全生命周期管理、安全审计、版本管理等功能。7、服务分发管理 实现城市数据服务、大数据分析与应用服务的统一分发、接口管理等功能。 二、城市大数据服务平台功能1、系统框架 本产品以元数据中的数据模型为基础，集成数据仓库、数据集成输出、其他数据资源中的各类数据，提供一致的访问方式。访问方式包含异步的数据缓存中 转、文件消息队列；同步的 Web Service 等。查询中间件支持跨数据源的数据整 合。另外 BDS 通过业务流程管理可以支持以工单流转的方式申请并获取数据。数据服务（BDS）数据缓存查询中间件文件消息队列业务流程数据仓库元数据数据模型数据集成（BDI）2、系统功能1、182、数据源抽象图 6-25城市大数据服务平台架构图数据服务将消费者和物理数据源隔离开来，这使得数据提供者改变数据结构、数据格式、数据持久化机制、数据连接协议都不会对每个消费者产生不利影响。 任何这些变化都只会影响数据服务层，不会要求每个消费者改变其数据访问逻辑。2、数据源聚合 数据服务允许提供者使用一个或多个数据源来构造业务实体。这种思想不仅适用于同构数据源，也适用于异构数据源。例如，聚合可以在两个数据库之间进 行，亦可以在一个数据库和一个 XML 文档之间进行。通过执行聚合，数据服务 为消费者提供了更简单的接口去完成数据的访问。3、支持数据的多个版本 不同版本的数据并存可以让数据服务提供者方便地183、在服务新版本中提供新特性，不用强迫所有消费者同时升级。同理，这也允许数据服务消费者可以优雅地迁移到数据服务的新版本上去。4、基于用户、角色权限的数据安全 通过底层权限管理，维护数据模型对不同用户的可见性，并在获取数据时验证权限，在保障数据安全的同时也避免过于复杂的数据仓库结果对数据消费者造 成的迷惑。5、自动数据集成在必要时以标准化的方式自动在后台产生 ETL 工作流，获取用户申请的数 据存放至数据缓存中，并在数据就绪之后通知用户。6、业务流程集成 数据的获取可以与业务流程集成，如用户以工单的方式申请数据，审批通过后才为其提供数据等。7、数据缓存管理 提供两层数据缓存，一层对不同的数据来源进行184、缓存，一层对数据消费者的数据请求进行缓存，在空间与效率上获得最佳平衡。3、系统特点l隔离数据消费者与物理数据源l支持多数据源聚合l与逻辑数据模型保持一致l支持数据的多个版本l支持同步、异步、订阅、消息队列等多种访问协议l支持自动的 ETL 流程l支持业务流程整合 城市大数据治理与管控（DI）平台建设一、大数据治理与管理目标及流程1、系统目标 针对城市大数据平台数据环境建设对应的数据治理与管控体系，数据治理与管控体系包括数据治理与管控平台、对应的组织架构及管理的流程等。实现对各类城市数据从采集、存储、整合与计算、共享与服务、分析与应用的全过程的端到端实时监控、管理、审计、质量控制等管理，保证城市185、数据的完整性、准确性、 一致性、及时性，及早的发现数据的质量缺陷，确保城市大数据的可靠性。2、系统功能及流程 城市大数据治理与管控平台包括：元数据管理系统、数据质量管控系统等部分。城市大数据治理与管控具体流程如下图所示。图 6-26城市大数据采集、管理与治理功能流程图 二、元数据管理系统（MetaMore）1、系统目标 建立国内易用易学的元数据管理工具，并为行业客户的其他相关系统或产品提供一个数据管理的基础平台。本产品主流开放性良好，是 100%JAVA、J2EE 模式构建、基于 Web 的瘦客 户端架构，支持导入、导出符合 CWM 国际规范的 XML 文件，提供 Web-service 接口186、，易于应用扩展和系统集成。支持快速部署、灵活配置、完全扩展、轻松开 发的全中文直观界面和集中式管理监控。端到端透明的元数据管理轻松地将元数 据融入到日常业务实践中，释放出数据的潜能，提升工作和运营效率，简化元数 据管理流程。2、系统框架3、系统功能图 6-27元数据管理结构图元数据管理系统应能够对大数据平台中不同元数据类型进行管控，对各数据的实体定义和流程管控管理两方面的元数据进行管理，并提供相应的对外服务。 投标人提供的元数据管理系统必须实现元数据自动获取、元数据检索、数据模型 管理、元数据管理、血缘关系、分工监控流程等功能。具体功能要求包括：1）元数据获取方式 根据各种元数据的特性及元数据187、管理工具支撑情况，需提供以下自动和人工两种获取方式。实时的元数据自动获取，采用多种操作方式简化元数据导入的复 杂性，并且支持主流 BI 工具软件的元数据自动获取，保证元数据最新、一致和 可用。2）元数据检索 通过全文检索能迅速查找和关键字匹配的权限范围内的元数据信息，为海量数据分析提供更快、更正确的查询处理、更好的数据质量、更易使用的操作接口 等。3）元数据获取策略图 6-28元数据架构功能图根据元数据获取方式的适用范围，结合建设情况，明确各类工具软件元数据及非工具软件元数据的获取策略。4）数据模型合理化管理 实现两个方面的管理：模型落地检测：实现 PDM 物理模型与数据库中数据对象的比对，检188、测模型 的落地情况。图 6-29数据模型管理图 元数据异常信息观察：通过对异常规则的配置,系统自动监测出异常的信息分类；展现出异常信息的分布情况和异常分类情况以及异常明细情况。图 6-30元数据异常信息观察功能图5）端到端的元数据管理Web 浏览器操作方式，作为真正端到端的元数据管理工具，提供企业级的元 数据统一视图，是一个提供清晰地分析和跟踪业务运作历史数据的实际可行的解 决方案。图 6-31端到端元数据管理功能图6）元数据维护管理 元数据管理模块提供多种方式的元数据维护功能，实现元数据新增、修改、删除、查看、版本管理等。7）清晰的血缘关系追溯追溯根源，端到端透明。数据来源的实现方式：支持通189、过存储过程注释的方式；支持通过 ETL 流程自动生成的方式；支持通过配置表的方式。实现功能： 支持对象级血缘关系；支持字段级血缘关系。图 6-32血缘关系功能图8）切块/切段的分工监控流程 通过对节点权限、设置关键点功能、全文检索和筛选条件的查询实现切块/切段的监控，每个用户可以自定义设置关键点和需要监控的对象，同时也可以监控到全部流程的信息。9）元数据分析图 6-33数据流程监控图要求实现以图形化的方式支持用户进行数据血缘分析、影响分析、一致性分析、冗余分析等分析。10） 元数据质量检查 应提供有效的元数据质量检查机制，及时发现、报告和处理元数据的数据质量问题。11） 数据统一视图 提供企业190、级的元数据统一视图。12） 元数据时间抽 以时间轴的形式对元数据变动进行记录，并展示。13） 数据地图 对元数据、数据处理过程及元数据之间的关系进行图形描述。14） 元数据血缘图 对元数据及其之间的关系进行微观图形描述。三、数据运营监控平台（Data Monitoring） 对企业全数据流程进行端到端的实时监控、管理、审计的解决方案。通过BDM 企业能够及早的发现数据的质量缺陷，尽可能保证数据的完整性、准确性、 一致性、及时性，确保用于商业智能系统的数据的可靠。数据监控（Data Monitoring, 简称“DM”）是一套对企业全数据流程进行端到 端的实时监控、管理、审计的质量管理解决方案。191、通过 BDM，企业能够尽可能 保证数据的完整性、准确性、一致性、及时性，及早的发现数据的质量缺陷，确 保用于商业智能系统的数据的可靠。凭借较好的数据质量，通过商业智能系统获 取的业务洞察力将更可操作、更有针对性。此外，端到端的数据质量管理也增加 了商业报告的可审计性，这对于数据追溯、业务流程监管、风险规避均有重大意 义。BDM 通过元数据管理以及全数据流程的实时监控，可以极大的增强数据的 准确度与可靠性，实现及时、可信赖的决策和准确的报告。1、系统架构2、系统功能图 6-34数据监控平台结构图数据监控通过技术的手段固化流程、监控质量，秉承可视化、端到端、透明化的设计思路，实现数据仓库中数据采集192、加工、稽核、指标的加工及时监控， 及时发现问题，及时处理问题的要求，并尽可能采用技术手段减少出错的环节和 机率、提高数据的采集效率和处理能力。（1）采集监控 数据接口的稳定性是企业数据应用门户及时准确获取源数据的关键，因此需要对接口进行监控，及时发现问题，数据监控的采集监控及时应对，快速解决问 题。提供了一整套标准的接口监控接口，通过技术的手段：发现接口数据的任务 是否到期执行、是否延期执行、是否重复执行等；实时发现数据接口的任务调度 执行，以及数据落地情况；并将采集任务信息以通知的方式推送到反馈流程，使 用户尽早发现问题；并提供人工或者系统自动处理的方式解决问题，同时汇总采 集数据的相关明193、细数据，方便用户使用。（2）稽核监控 数据质量是企业数据应用门户的生命线。影响数据质量的因素比较多，不仅包括数据处理过程中的差错，还包括业务部门的业务规则明确和使用反馈。数据 监控的稽核监控功能主要包含：监控每日进行数据质量检查，将数据处理过程中 的差错准确定位、展示；关联业务规则监控稽核问题，实时监控问题处理流程， 确保问题处理的及时性；监控数据质量发布情况，监控当日数据发布状况。（3）加工监控数据加工是个复杂的过程。由于主机性能、代码错误和规则误差均可能造成 数据加工失败，为了减少重复计算带来的实时性影响，数据监控的加工监控从功 能上满足检查和校验规则程序化，减少手工操作，减少数据处理环节194、的时间，完 成了系统自动化；通过汇报机制，将每一个加工任务实时定位；系统主动的提供 自检、自动纠错、恢复的功能，为数据的及时性提供保障。（4）指标监控 指标监控通过对应的预测算法生成指标波动范围，并按照账期将指标波动预测范围和实际的指标进行比较；数据监控系统及时的判定指标波动的情况，并以 波动图展示当前指标波动。（5）数据地图监控数据地图采集监控-依赖于可视化、端到端、透明化的方式，将仓库中每一个 的采集接口的整体采集加以监控、通报、反馈。l数据地图采集、加工、稽核监控的可视化，丰富的展示了采集模型之间 的依赖血缘关系，以及整体的采集依赖；l数据地图采集、加工、稽核监控的端到端，精确定位到每一195、个采集模型 的当前、历史任务调度以及执行情况，依托于数据地图模型关系进行展 示；l数据地图采集、加工、稽核集监控的透明化，采集信息、采集异常等描 述信息进行地图监控实时监控，并告警，采用短信、邮件提示相关人员 处理。3、系统特点l实时数据监控图 6-35数据地图监控图数据的任何质量权限以推送的方式向数据质量中心报告，达到秒级呈现，使用户在第一时间定位数据质量问题。l端到端的数据质量监控 设立数据质量服务中心，以标准协议收集数据质量信息。BDC 平台各组件会自动的向其报告数据质量信息。对于第三方应用，可以设置数据质量代理以获 取数据质量信息并向数据质量服务中心报告。由此全数据流程的各应用数据质量196、 信息能够紧密集成，统一监控。l可视化数据地图 数据地图将企业的全数据流程在一张地图上集中展示，将全数据流程的状态、监控信息通过可视化的方式在地图上直观展示。用户可以随时把握数据处理的全 局概况，并迅速定位兴趣点，在地图上直接与相关的数据应用进行交互。实现了 真正的端到端的元数据管理。四、工作流调度自动化平台（Workflow Automation） 工作流调度自动化平台（Workflow Automation 简称 WA）是一个面向复杂异构环境的调度平台。WA 从单一控制点集成了全城市的工作流程管理，通过跨 应用程序和跨平台调度功能（例如作业相关性、工作流负载平衡和基于事件的作 业执行），为197、在整个城市中自动执行设定工作流提供了一种一致的方法。WA 可以减少用户培训并提供端到端可见性，因而增加了用户的控制范围，并使他们能够管理整个城市中的任何工作流，而无需环境特定的专业技能，切实提高城市业 务服务的效率。1、系统架构本产品采用 Server-Agent 的架构构建，一个 Server 可以支持多个 Agent， Agent 与不同计算资源或应用进行直接交互。对于 Oracle 等常见资源，Server 也 可以不通过 Agent 直接通过原生支持对 Oracle 进行调度。BWA ServerBWA Agent BWA AgentHadoopOracle Hadoop Hadoop198、Applications2、系统功能图 6-36工作流调度系统结构图图 6-37工作流调度监控图（1）可视化工作流开发提供图形化的工作流开发，用户可以以一致的界面、简易的拖曳方式设计工 作流。（2）可视化工作流实时监控 通过图形化的工作流监控界面，用户可以看到作业流的执行状态，如果作业执行流执行过程中有问题，可以通过 BWA 监控界面来对作业进行干预和控制。（3）跨平台跨应用的自动调度全面集成 FTP、Web Services、Java、消息、数据库、Hadoop 等资源，灵活 的作业定义与周期调度、支持事件触发的调度机制、支持资源自动负载均衡。（4）工作流审计与分析报告 支持对工作流执行状况199、与各资源使用状况的审计分析报告，通过对历史执行状况的统计，提供工作流预期执行时间预测分析、能够对潜在的工作流延迟进行 告警，发出电子邮件或短信通知，以便相关人员最及时的进行处理。3、系统特点l跨平台的统一调度界面，减少手动调度造成的故障与延迟l支持扩展与集成l根据业务优先级自动调度流程l对常见计算平台与企业应用支持无代理调度，显著减少部署开销l快速的问题检测和处理 五、数据质量平台（DQC）1、数据质量管控系统(DQC)数据质量管控系统实现各类城市数据从数据到服务、从服务到应用、从数据 到指标的质量检查、流程稽核、流程监控与质量报告等功能。数据质量管控系统包括城市空间数据质量检查、城市业务数据200、稽核等子系统。（1）城市空间数据质量检查子系统 建设城市空间数据质量检查子系统，实现对空间数据各阶段的数据质量检查，这些阶段包括：原始数据接受阶段、整理加工阶段、数据入库阶段、地图配置与 发布阶段。数据质量检查采用自动检查和人机交互检查相结合、全检与抽检相结合的方法进行。1）自动检查和人机交互检查相结合 对空间数据与以结构化方式存储的数据应使用自动检查的方法完成，检查内容包括完整性、属性表结构符合性、属性值域规范性、空间数据拓扑关系正确性 及逻辑一致性进行检查。对于一些非结构化数据中无规律性且无法通过软件自动识别的内容，需由人 机交互进行检查，如检查影像数据接边是否正确等。2）全检与抽检相结合201、 对于因软件工具可能产生的问题应提供抽检方式，对于因人工操作失误可能产生的问题提供全检方式。（2）城市业务数据稽核子系统 基于元数据实现数据的采集、加工、质量稽核、应用过程进行端到端实时监控，发现追踪数据质量问题等功能。1）运行监控 实现对数据质量稽核任务执行情况、稽核问题生成、处理、流程的执行情况的监控，针对稽核对象所处数据层级、稽核账期等进行分类监控。2）问题管理 对所有生成的稽核问题提供展示，并提供相应的查询、高级查询等功能。3）稽核结果分析 对于稽核任务生成的结果进行分析展示。4）规则分析 针对所有的不同类型的对象配置的规则进行列表、分析查询的界面展示。5）稽核异常工单 根据稽核问题结202、果，生成问题异常工单，描述异常内容。6）稽核处理流程定义 自定义问题处理流程，流程驱动问题工单处理。（3）数据质量知识库： 建立数据质量知识库保存在大数据使用及运维过程中，由数据质量管理收集的有关数据及过程问题的处理经验总结。这些知识可作为今后数据质量问题解决方法的参考，并可以按关键字的形式进行索引和分类管理。数据质量知识主要来源于对数据质量问题的总结，同时，对数据质量问题的 不同解决方案以及对知识本身的评价也是对数据质量知识的补充与完善。通过调 用大数据知识库的知识生成接口提交数据质量知识。2、系统架构3、系统功能图 6-38数据质量管控系统结构图（1）注入流程调度控制数据质量平台可在 ET203、L 调度中注入稽核流程控制,当稽核出影响后续加工的 关键问题时数据加工流程就会停止,待问题处理完毕后 ETL 流程会自动继续执行。图 6-39数据流程调度控制功能图（2）展现数据血脉关系 根据血缘关系锁定在仓库中使用频率较高的对象，进行高级安全管理，避免误操作。图 6-40数据血缘关系展示功能图（3）稽核过程可配置 实现从监控页面节点中直接对稽核规则的配置、实现对当前节点是否稽核关。图 6-41数据稽核过程配置功能图（4）稽核流程可监控 通过对节点权限、设置关键点功能、全文检索和筛选条件的查询实现切块/切段的监控，每个用户可以设置自己需要监控的对象，同时也可以监控到全部流 程的信息。图 4-4204、2数据稽核流程监控功能图（5）问题处理流程化 稽核出的数据质量问题系统会自动根据错误分类走不同的问题处理工单，工单中实现通过 WEB、短信、邮件、电话的方式与问题处理流程中各个角色的互 动。图 6-43数据问题处理过程查看功能图（6）数据质量评估报告 数据质量评估是对数据稽核及数据处理结果一种综合评估，通过评估定位数据问题，或确保数据的可用性。l智能产生数据评估结果l实时展示错误数据l及时反馈数据进展情况l数据错误精确定位4、系统特点l自动化数据质量探查依赖预定义的数据质量知识库，BDQ 可以自动进行列值探查、表格结构探 查、多表参照探查，无需人工干预。探查结果会放置在全局存储库中，可供其他 205、应用访问。l一致、可重用的知识库 数据质量的相关知识定义在全局存储库中集中管理，并在各处重复使用相同的规则，以产生更高一致性的数据，保障跨应用的普遍深入的数据质量控制。l可视化工作台 提供易用的图形化界面，方便业务人员设计规则、记分卡。l与 BDC 平台其他组件的集成与 BDE、BDI 集成以对更广泛的数据源进行访问与清洗，与 BDG 集成将数据质量信息反馈至高层的仪表盘与数据地图。以面向服务的接口为所有第三方应用提供数据质量服务，以放置劣质数据进入应用。 六、数据集成服务（DI）企业数据集成服务系统（Data Integrator 简称 DI）是一个提供城市级数据集 成项目所必须的工具与服务206、的系统。传统的城市数据集成架构是以应用为中心， 数据与数据集成逻辑分裂在各应用之间，其中充斥着大量的手工编码，城市必须 花费很高的成本在维护数据集成的正常运转以及处理各种复杂情况上。随着大数 据时代的到来，数据成为支持城市战略和运营决策的重要资产，要求城市必须降 低数据集成的成本，最大限度的发挥数据的价值。DI 提供一个全面、一致、历史兼容的统一数据集成平台，能够集成城市内 所有数据孤岛，与第三方无缝交换数据，确保数据质量，使用分布式集群经济高 效的完成数据集成，使城市变为以数据为中心驱动，提高数据处理效率，降低开 发和部署、运维的开支，从而显著降低城市数据集成的成本。1、系统架构DI 服务采207、用 E-T-L 架构，数据集成服务根据用户的设计，从数据源将指定 数据抽取到执行引擎环境中进行转换处理，再将数据载入数据目标。第 109 页2、系统功能图 6-44 数据集成服务结构图（1）数据源设计器数据源设计器提供了建立映射和映射组件的工具，这样便可以指定如何在源 和目标之间移动和转换数据。在数据源设计器中可以创建源定义、目标定义和转 换以建立映射。数据源设计器可以同时使用多个工具，以及同时在多个文件夹或资料库中工作。工具带有窗口，可以方便的查看文件夹、资料库对象以及任务。（2）工作流设计器图 6-45数据源设计器功能图除常见的按周期调度外，工作流调度还与 BDC 消息与事件服务紧密集成，208、允许工作流调度与其他应用服务交互。另外可以通过定义工作流生产数据集、消 费数据集的方式，使 BDI 能够自动按照依赖关系调度工作流，并在发生数据重 传等异常情况时自动的进行工作流取消补偿与工作流重新调度。（3）工作流监控器图 6-46工作流设计器功能图工作流监控器以 BS 模式设计。运行工作流、监控工作流和数据流，生成工作日志和报告。在工作流监控中，用户可以查看正在运行或已运行完成的工作流 的详细信息。用户也可以在这里启动、暂停、继续、取消工作流。图 6-47工作流程监控器功能图（4）异构数据源支撑 具备处理异构数据的能力，满足海量数据抽取的高性能要求，具有良好的兼容性，保证多源的集中操作，提209、高数据处理效率。本产品支持的平台包括 SUN Solaris、HP-UX、IBM AIX、AS/400、OS/390、Sco UNIX、Linux、Windows 等。本产品支持的数据源有：DB2、Informix、Oracle、Sybase、SQL Server、Teradata、 OleDB、SAS、Text、Excel、SAP、Peoplesoft、IMS、VSAM、QSAM on 390、FTP、 XML、MessageQueue、Weblog 等。（5）基于图形界面简易操作的端到端 ETL 管理 用户在该产品强大的图形化画布上通过一系列的功能组件标示数据集合的流程来构建一个数据整合应210、用。产品可优化用户在建立、升级和管理数据整合架 构时的速度、灵活性和效率。减少了用户的学习周期、简化了管理、优化了开发 资源的使用、减少了数据整合应用的开发和维护周期。Web 浏览器操作方式，作 为真正端到端的 ETL 管理工具，提供企业级的 ETL 统一视图，是一个提供清晰 地分析和跟踪业务运作历史数据的实际可行的解决方案。图 6-48数据 ETL 管理功能图（6）方便的异常恢复 可在列表中或图形中分别查看节点异常的详细信息和概要信息；以节点重入的方式来恢复流程执行；流程制定调试时以脚本日志作为用户的调试信息；流程 运行错误时以脚本日志作为用户的参考信息。3、系统特点第 119 页l高性能基211、于 Hadoop 集群的数据处理，水平扩展处理能力； 对源与目标库完全无依赖，兼容各种数据源； 基本不占用数据库计算资源。l图形化 图形化的数据流、工作流编辑与展示； 图形化的工作流监控； 直观易懂，学习曲线低，易于开发、编辑与维护。l易扩展在工作流中直接集成第三方 MR 程序；集中调度 Hive、Pig、MR job、存储过程、shell 等资源； 向第三方应用提供 Hadoop 计算资源的动态申请、调度、管理。l自动调度 针对按月/天/小时的周期数据设计调度架构，支持事件触发； 工作流可自动在数据就绪后调度； 可随时查看某一个特定周期的数据以及相关工作流的状态。l弹性云化 数据集成服务可由212、多个物理节点提供； 服务网关接受客户端或第三方应用请求，转发至负载较轻的节点处理；可以不停服务的在线加入、退出节点。 城市大数据展示（BI）与应用系统建设一、城市大数据展现系统（BI）设计城市大数据展现平台利用城市数据立方体或城市管理与运营指标库，向城市 管理者、企业和公众用户提供多种灵活的交互工具，满足客户数据需求，创造交 互式的“千人一面，一人一面”的目标数据分析与数据共享服务。城市大数据展现平台实现包括自定义报表、自定义报告、自定义流程、即席 查询、数字仪表盘、地图展示、指标导航、指标管理、信息推送、BI Market、交互式探索等功能。1、即席查询 基于元数据管理的指标与维度语义管理体213、系智能化查询取数。提供规则定义取数、模板取数、预约任务取数、文件上传取数、SQL 模板取数等取数方式。2、个性化定制工具采用 RIA 技术及可视化软件构建技术实现对表格、图形、表单等页面元素 的可视化拖拽操作，实现轻松快速的分析页面构建，简化开发流程。l通过权限与用户多属性无缝绑定实现权限灵活控制；l提供丰富的 SDK/API，全面支持平台的二次开发和功能扩展；l支持集群部署，支持高并发访问；l遵循 W3C、J2EE、HTTP 相关规范，能够很好的运行在各类环境中，兼 容多款浏览器。l具有丰富可扩展的商业智能组件，包括查询条件、表格、选项卡、文本、 嵌入地图等基础类元素；l支持地图、柱状图、折214、线图等丰富的图形展示以及单元格多样化设置。1、自助报表 支持行式报表、交叉式报表等多种展现样式，支持可视化报表设计，多种函数以及具有完善的报表管理工具。2、交互式探索分析 交互式探索分析平台提供多种分析手段，以更加直观、丰富的视图来展示数据分析结果，从而深入洞察数据间的关联性和相互影响性，并且可以对用户的分 析成果进行固化、发布以及共享。l提供计算列、汇总行、交叉表等分析过程中常见的数据操作；l提供柱状图、折线图、散点图、气泡图、复合图等多种经典分析方法；l提供频数分布、预测类、分类等多种数据挖掘方法；l以图形化方式自动记录用户在分析过程中的操作，同时可以对复杂的分 析方法和数据分析流程可以保215、存并复用。二、自动报表（Reporting）1、系统架构2、系统功能图 6-49自动报表功能结构图（1）多种报表格式支持l行式报表, 列表形式展示数据，可以进行分组显示，对数据进行求和， 平均数等计算。l交叉式报表, 以不同角度或不同层面展示数据。l复杂报表，一个报表中可以嵌入多个报表，在一个平台展示多方面的数 据。图 6-50复杂报表功能图（2）可视化的报表设计 数据集选取、数据集删除、添加表达式、页面选项、查询条件设置、查询条件项删除、表格设置、表格右键、表格清除、表格组件关闭等报表设计操作均在 可视化界面下完成。图 6-51报表设计器功能图（3）多种函数的支持l数据选取函数、统计函数、时216、间函数等多种函数的支撑。（4）报表管理l报表预览：设计即可预览功能，加速用户感知结果呈现。l报表导出：支持 EXCEL、CSV、文本等多种格式文件的导出，满足大数据量的数据导出。l报表保存与另存：可保存当前报表或另存报表。l报表发布：作为正式报表内容予以发布。l报表收藏：收藏常用报表。3、系统特点l免编程：使用人员完全不需要任何编程知识，便能构建复杂的报表l可视化设计：采用富有表现力的 RIA 技术和可视化软件构建技术，提 供给用户丰富的应用自由度，能够更好的支撑用户的各类报表的设计l多种报表格式的支持：列表、分组、交叉等多种报表l多种函数支持：数据选取函数、统计函数、时间函数等多种函数的支撑217、l方便的表达式计算：类 Excel 方式书写表达式，支持向量运算等功能l权限控制灵活：权限可与用户多个属性无缝绑定，无需额外设置，真正 做到同一个设计，不同数据展现l二次开发能力：提供丰富的 SDK/API，全面支持平台的二次开发和功能 扩展l水平扩展能力：支持集群部署，支持高并发访问l标准化：遵循 W3C、J2EE、HTTP 相关规范，很好的运行在各类环境中l跨浏览器：兼容现流行的多款浏览器l跨平台：支持 Windows、Linux、Unix 多种操作系统l跨数据库：支持多种数据库 三、个性化定制工具（IntelliBuilder）1、系统架构2、系统功能图 6-52个性化定制工具功能结构图218、（1）元数据驱动的配置化开发l面向业务语言的元数据驱动，完全消除了技术门槛，为各类使用者提供 了基于业务语言的数据配置能力。l易用的操作方式实现商业智能应用的配置化开发：鼠标拖放式操作、类 Office 软件操作、数据计算函数的自动提示等操作满足不同技术层面人 员的应用界面配置。l所见即所得方式的应用展现：应用配置结果随时预览，随时保存、随需 共享。图 6-53元数据驱动的配置化开发界面图（2）丰富的、可扩展的商业智能应用组件l基础类元素：查询条件、表格、选项卡、文本、嵌入和地图等。图 6-54商业智能（BI）应组件组装界面图l单元格多样化设置图 6-55商业智能应用组件图l布局:设置表格的高219、度、宽度。l表格样式：可以根据自己的需要，选择自己需要或者喜欢的表格样 式。l表格设置：具备分页、导出、排序、定制表头、锁定表头、同值合并 等功能。l扩展设置：包括不扩展、从左到右、从上到下三个选项。l单元格条件样式：阈值预警、图标样式、字体样式、文本值、图标集、 反转图标次序。l逻辑类元素：迭代、判断等。l支持柱状图、折线图、条形图、面积图、饼图、散点图、气泡图、雷 达图等丰富的图形展示。3、系统特点（1）系统特点图 6-56数据仪表盘展示图l免编程：使用人员完全不需要任何编程知识，便能构建丰富的分析应用l可视化设计：采用富有表现力的 RIA 技术和可视化软件构建技术，提 供给用户丰富的应用220、自由度，能够更好的支撑用户的信息获取、数据分 析、业务监控、规律发现等需求l权限控制灵活：权限可与用户多个属性无缝绑定，无需额外设置，真正 做到同一个设计，不同数据展现l二次开发能力：提供丰富的 SDK/API，全面支持平台的二次开发和功能扩展l水平扩展能力：支持集群部署，支持高并发访问l标准化：遵循 W3C、J2EE、HTTP 相关规范，很好的运行在各类环境中l跨浏览器：兼容现流行的多款浏览器（2）其中对业务部门l减少对 IT 部门的依赖，利用自己熟悉的业务语言来展现数据、分析数 据。l易用的自助化模式，业务人员可以开发自己的 BI 应用展现界面并与同 行分享。（3）对 IT 部门l面向业务221、部门，从“授人以鱼”向“授人以渔”转型，不但提供满足业务需 求的商业智能应用，而且提供了强大易用的自助化的数据展现和应用构 建能力。l利用强大的商业智能应用平台构建功能，快速满足业务部门需求，展现IT 部门价值。l对 BI 应用开发商l以配置的方式快速构建商业智能应用，降低对编程开发的依赖，实现项 目的快速实现和快速部署。l开放、可扩展的系统平台，可以满足应用开发商的深层次定制需求。 四、即席查询（ADQ）1、系统架构第 129 页2、系统功能图 6-57即席查询功能结构图（1）统一的指标与维度维度语义管理体系由元数据平台提供统一的指标与维度语义管理体系，避免重复定义维度和指 标，独立、业务语222、义管理与物理数据层的管理各自独立且通过映射关联，具备更 强的灵活性和可扩展性，关注业务、查询面向业务人员，业务人员不需要了解数 据物理上是如何存放、如何理解、如何获取，只需要知道自已在业务上想要什么 数据。图 6-58指标和纬度管理体系图（2）智能化查询取数 后台可以根据立方体配置信息，自动选择表及表关联进行查询。保证找到数据量最小，运算量最小的数据进行取数。系统可进行自动优化，对于汇总级较快 的查询，直接展示，对于明细级较慢的查询，自动生成后台任务；并且可以根据 系统的使用情况进行自组织管理，自动优化数据存储、优化数据查询语句、优化 数据索引、自动重复利用数据缓存等。图 6-59智能化查询示223、意图（3）多样化取数方式 包括规则定义取数、模版取数、预约任务取数、文件上传取数、SQL 模版取数等取数方式。l规则定义取数：用户可以根据实际需求通过页面自己自定义自己的取数 规则。通过设定描述性的维度约束、设定查询特定的指标数值范围来实 现。l模板取数：针对在一定时期内存在需要重复多次但约束条件变更不大的 需求。在规则定义取数基础之上，将按一定规则配置的取数查询，保存 为共享的模版，通过定制好的模版提供查询，为快速查询提供了良好的 解决方式。l预约任务取数：在规则定义取数时，如果是明细查询，查询数据时会自 动转为任务执行，任务在一定的时间段内才会被执行，出于系统的性能 考虑，需要对系统的任务224、执行情况作相应的调度和控制。l文件上传取数：主要用于小规模小范围，而且需求比较明确的快速查询， 可以省去通过自己构建维度来查询，大大的方便了操作人员的使用。在 取数时，上传文件作为查询的条件限定。上传预先准备好的文件，上传 完毕后选择上传的文件即可。在查询界面，即可进行文件上传取数。lSQL 模板取数：通常情况下，专业 IT 人员如果想要操作数据库，必须使用数据库客户端工具连接到数据库服务器上进行操作，SQL 模板取 数提供了一个 WEB 版的 SQL 客户端工具，用户通过使用浏览器即可 对数据库进行数据操作、查询。3、系统特点l免编程：使用人员完全不需要任何编程知识，便能快速查询和提取数据l225、可视化设计：采用富有表现力的 RIA 技术和可视化软件构建技术，提 供给用户丰富的应用自由度，能够更好的支撑用户的数据获取需求l多种报表格式的支持：列表、分组、交叉等多种报表l多种函数支持：数据选取函数、统计函数、时间函数等多种函数的支撑l方便的表达式计算：类 Excel 方式书写表达式，支持向量运算等功能l权限控制灵活：权限可与用户多个属性无缝绑定，无需额外设置，真正 做到同一个设计，不同数据展现l二次开发能力：提供丰富的 SDK/API，全面支持平台的二次开发和功能 扩展l水平扩展能力：支持集群部署，支持高并发访问l标准化：遵循 W3C、J2EE、HTTP 相关规范，很好的运行在各类环境中226、l跨浏览器：兼容现流行的多款浏览器l跨平台：支持 Windows、Linux、Unix 多种操作系统l跨数据库：支持多种数据库 五、探索式数据分析（EVAP） 该应用面向行业用户提供前所未有的人机交互能力，使用户以全面可视化和所见即所得的直观方式进行数据探索，加深对目标数据的理解。 交互式探索提供多种分析工具，使用户以更加直观及丰富的视图来展示结果，从而深入观察各数据之间的关联性及潜在的相互影响性，最大程度的达到或接近 分析人员的操作目的，并支持用户对分析结果进行保存，以便用户对分析成果进 行固化、发布、共享。图 6-60数据探索式分析示意图1、系统架构2、系统功能图 6-61探索式分析功能结227、构图（1）前所未有的交互性业界领先的探索式数据分析平台面向业务部门和数据分析师，提供了前所未 有的交互操作能力：l面向业务语言的元数据驱动数据的交互选取，完全消除了技术门槛，为使用者提供了全面了解数据的能力。l基于浏览器的用户界面，直接在图形、图表上进行操作，通过框选、点 击等简单操作聚焦热点数据。l在数据分析的过程中支持数据的随时导出。图 6-62探索式分析系统界面图（2）丰富的数据分析方法 探索式数据分析平台提供了丰富的数据分析方法探索数据价值，实现了分析方法的动态扩充和集成：l提供计算列、汇总行、交叉表等分析过程中常见的数据操作支持。l提供柱状图、折线图、散点图、气泡图、复合图等多种经典228、分析方法。l提供频数分布、预测类、分类等多种数据挖掘方法支持。图 6-63探索式分析功能图（3）完整的数据分析思路共享 探索式数据分析平台充分考虑了知识共享需求，提供了分析思路的完整记录和复用共享：l数据分析流程自动记录：平台自动记录使用者在数据分析过程中的操作， 并允许使用者进行分析流程调整。l成熟的分析方法和数据分析流程可以保存并复用。图 6-64 探索式分析功能图（4）高效的数据分析计算能力 为满足数据分析过程中的快速计算，以及交互性分析的处理效率要求，交互式数据探索平台集成了本公司专利技术的数据服务引擎，实现千万级数据秒级响 应的计算能力：l支持在千万量级记录数、几百字段的数据源上进行229、实时分析计算。l专利技术的数据压缩、内存计算、列式存储技术的结合使用，比基于传 统数据库技术的分组、汇总等分析计算效率整体提升 10 倍以上，解决 了交互分析中的计算效率问题。3、系统特点（1）零门槛l不需要数据挖掘知识l不需要统计分析知识l不用填写 SQL 和统计公式（2）友好交互l成熟的客户端技术l符合行业用户使用习惯的交互方式l丰富的数据展示形式（3）实时反馈l秒级的查询速度和统计速度lMPP 性能可接近线性增长l无字段数量和记录数量限制（4）深度分析l深入探索数据规律l发掘数据价值和业务问题l解决“胖数据、瘦服务”的现状（5）成果共享l分析成果共享l分析思路共享l一次分析，重复利用 六230、应用商店（BI-Market）应用商店（ AppMart）是针对商业智能应用领域，研发的一款实现应用展现、 发布分享、订阅下载的自主服务软件。同市面上流行的 Portal、App Store 等产品 的背景不同，BAM 比他们更强大而简单，更贴合 BI 产品的管理需求。应用商店 产品实现了用户的单点登录、权限管理、内容聚集、应用开发、应用部署、应用 管理和应用生命周期管理等。实现应用展现、用户发布及订阅、应用管理的一款自主服务软件。用户能自 主订阅、下载所感兴趣的应用，使得服务更加具有差异性；甚至将自己构建的应 用发布到应用商店中，使得用户参与 BI 的建设，进一步提高用户的积极性和 BI 231、的建设质量。1、系统架构2、使用场景图 6-65数据分析应用商店结构图图 6-66数据分析应用商店场景图3、系统功能（1）基于 BI 应用市场架构的应用共享商业智能应用构建平台内建了 BI 应用市场机制实现应用的群组共享发布 以及每个系统用户的个性化展现。基于应用商店机制实现应用的上架申请、审批、 权限、预览、下载选择等应用，实现统一开发的应用、用户自行开发的应用可统 一管理，统一共享，实现 BI 应用的价值最大化和零成本推广。图 6-67基于 BI 应用市场功能界面图（2）完整的审批管理流程 应用的共享从申请、审批、下载选择等有不同的管理流程，系统管理可控。第 139 页（3）单点登录图 6232、-68应用市场应用审批流程图单点登录是目前较为流行、成熟的企业业务整合的解决方案之一。在集成多个企业应用系统时，有效的实现用户的统一身份管理，简化应用认证用户身份的 流程。所有应用系统共享一个中央身份认证系统，用户只需要登录一次就可以访 问所有相互信任的应用系统。图 6-69应用市场单点登录流程图（4）应用灵活维护 集成了我的应用、应用商店等各种应用。并可定制。各种企业资源整合（应用资源、信息资源、分析成果、知识库、第三方资源等）。4、系统特点l实现应用的上架申请、审批、权限、预览、下载选择等应用，用户自行 开发的应用可统一管理，统一共享，实现 BI 应用的价值最大化和零成 本推广l提供对第三233、方应用开发、部署和运行时的支持。第三方应用使用平台提 供的 SDK 和各种服务，在平台发布后，即可与其它固有或自助应用一 样，形成固化应用，供使用者下载安装。l实现了对用户的单点登录、权限管理、内容聚集、应用管理和应用生命 周期管理等。七、掌上商务智能 (Mobile Analytics)掌上商务智能（Mobile Analytics）是以移动终端应用为中心新一代 BI 的最 新变革，将传统 BI 过程移至指掌之间，充分发挥了移动终端的强大优势，其全 新的设计理念和优秀的客户体验，满足用户随时随地、分秒之间掌控城市运营情 况，为及时决策提供可能。1、系统架构2、系统功能图 6-70掌上商务智能234、结构图（1）可视化的业务数据系统元数据管理平台提供可视化的业务数据管理功能，业务人员可选择重点 数据，结合系统丰富的数据分析展示功能对业务数据进行 360 度全景展示。图 6-71业务数据可视化功能图（2）自助化的 BI 构建 可以通过拖拽表格、图形、表单等页面元素来构建页面，支持业务人员个性化设置个人页面，使得系统更加符合个人使用习惯。图 6-72自助化 BI 创建功能图（3）高效安全的数据缓存机制即时缓存：所见即所得模式，看过哪些数据，缓存哪些数据，下次查看如果 在有网络的情况下获取服务器上最新数据，如果没有网络的情况下读取本地缓存 数据。可实现离线业务办理，确保业务办理的连续性。系统联网235、后离线业务数据 自动上传服务器，保证数据的时效性。图 6-73数据缓存分析功能图（4）丰富灵活的图表展现 系统提供柱状、饼状、折线、曲线、环形、仪表盘、热力图、地图、报表等丰富灵活的图表展现方式，满足客户不同业务需要。图 6-74智能数据图表展示图（5）自助工作平台设置突出个性化统一提供一站式 portal 个人工作平台管理，工作平台内容用户可根据不同时 期业务需求灵活定制业务布局和功能模块展现，实现全自助式工作平台管理。3、系统特点图 6-75智能个性化数据图表展示图l具备业务数据开放能力、自助式分析能力l随时随地的 BI 活动l基于图形的交互式分析处理，丰富的展现方式l企业关键指标的多角度236、展示，包括不同时间粒度的趋势分析、地域分 析l人机互动交互式图表分析针对系统提供的各种图表，提供丰富的人 机互动交互式图表信息展示，图表承载业务思想可以与用户发生有 意义的交互。用户可针对关注信息对图表进行灵活操作，可直观查看 图表内含信息城市智能中心（IOC）运营平台建设 城市运营管理平台建立大数据平台运营机制，依托于大数据平台交付的基础设施，通过科学的管理，建立可执行的运维机制，最终实现对外服务和对内保障的数据运营的目标。 以提高效率、降低成本；确保大数据平台风险可控、降低故障率；改进服务质量、提升竞争力为目标，建设城市大数据运营管理体系。 大数据运营管理体系建设包括人员与组织、流程与制度237、产品与技术三个方面。大数据运营管理平台的运营内容如下图所示。图 6-76 大数据运营平结构图 大数据运营管理平台的运营内容包括：l数据存储管理；l网络管理；l应用软件；l数据标准及质量；l数据服务和产品；l基础环境等。1、大数据运营管理人员与组织 组建大数据运营团队，运营团队组织结构如下图所示。图 6-77 大数据运营团队结构图 运营团队人员应具备以下能力：l懂业务：了解业务对运营环节的影响，只有了解业务才能量化工作；l懂运营：将运营中的意外管理变为过程管理，并能持续改进、持续优化；l懂开发：以满足各种特定的情况或者对一些好的思想的实现。2、大数据运营管理流程与制度建设 大数据运营管理流程如238、下图所示。图 6-78 大数据运营管理流程图实现事件管理、问题管理、发布管理、安全管理、服务报告、变更管理、配 置管理、服务级别管理八大类管理流程与制度，以下是对流程的描述：1、事件管理 确保具有检测事件、尽快解决事件的能力。2、问题管理 通过识别引起事件的原因并解决问题，预防同类事件重复发生。3、发布管理 确保一个或多个变更的成功导入，统一发布，经验共享。4、安全管理 提供符合信息安全要求的服务。5、服务报告 确保通过定义、签订和管理服务级别协议，满足需方对服务质量的要求。6、变更管理 通过管理、控制变更的过程，确保变更有序实施。7、配置管理 维护运行维护服务对象的必要记录，并保证配置数据的239、可靠性和时效性，关联支持其他服务过程。8、服务级别管理确保通过定义、签订和管理服务级别协议，满足需方对服务质量的要求。3、大数据运营管理支撑产品 开发大数据运营管理平台，配合大数据运营组织团队及流程制度，提升经开区管委会对大数据产品和服务的运营能力。大数据运营管理平台功能结构图如下 图所示。图 6-79大数据运营管理平台功能图 大数据运营管理平台包括以下功能：l大数据平台设备监控软件(Data Monitoring)实现以图形化的方式对大数据平台各应用软件、网络、存储、服务器等硬件 设备进行实时监控。l大数据产品及服务管理系统(Data Services)提供大数据产品及服务的注册、发布、更新240、维护、下线、注销等管理。l工作流管理平台(Workflow Automation)开发工作流管理平台，快速支撑大数据平台不断变化的工作流需求和业务功 能需求，实现工作流的自动化调度。l故障与工单管理系统 实现对运营过程中发现的故障及问题进行报告，生成故障处理工单，启动问题跟踪流程管理。实现故障工单模板及问题跟踪流程可视化设计功能。l审计软件 实现对大数据平台关键操作的审计，包括但不限于：大数据平台存储文件操作、应用软件操作等。l短信平台开发短信平台，通过短信端口与互联网连接实现对指定号码进行短信批量发 送和自定义发送。 数据运营监控平台（Data Monitoring）对企业全数据流程进行端到241、端的实时监控、管理、审计的解决方案。通过BDM 企业能够及早的发现数据的质量缺陷，尽可能保证数据的完整性、准确性、 一致性、及时性，确保用于商业智能系统的数据的可靠。数据监控（Data Monitoring, 简称“DM”）是一套对企业全数据流程进行端到 端的实时监控、管理、审计的质量管理解决方案。通过 BDM，企业能够尽可能 保证数据的完整性、准确性、一致性、及时性，及早的发现数据的质量缺陷，确 保用于商业智能系统的数据的可靠。凭借较好的数据质量，通过商业智能系统获 取的业务洞察力将更可操作、更有针对性。此外，端到端的数据质量管理也增加 了商业报告的可审计性，这对于数据追溯、业务流程监管、风242、险规避均有重大意 义。BDM 通过元数据管理以及全数据流程的实时监控，可以极大的增强数据的 准确度与可靠性，实现及时、可信赖的决策和准确的报告。1、系统架构第 141 页2、系统功能图 6-80数据监控平台结构图数据监控通过技术的手段固化流程、监控质量，秉承可视化、端到端、透明化的设计思路，实现数据仓库中数据采集、加工、稽核、指标的加工及时监控， 及时发现问题，及时处理问题的要求，并尽可能采用技术手段减少出错的环节和 机率、提高数据的采集效率和处理能力。1）采集监控 数据接口的稳定性是企业数据应用门户及时准确获取源数据的关键，因此需要对接口进行监控，及时发现问题，数据监控的采集监控及时应对，快243、速解决问 题。提供了一整套标准的接口监控接口，通过技术的手段：发现接口数据的任务 是否到期执行、是否延期执行、是否重复执行等；实时发现数据接口的任务调度 执行，以及数据落地情况；并将采集任务信息以通知的方式推送到反馈流程，使 用户尽早发现问题；并提供人工或者系统自动处理的方式解决问题，同时汇总采 集数据的相关明细数据，方便用户使用。2）稽核监控 数据质量是企业数据应用门户的生命线。影响数据质量的因素比较多，不仅包括数据处理过程中的差错，还包括业务部门的业务规则明确和使用反馈。数据 监控的稽核监控功能主要包含：监控每日进行数据质量检查，将数据处理过程中 的差错准确定位、展示；关联业务规则监控稽核244、问题，实时监控问题处理流程， 确保问题处理的及时性；监控数据质量发布情况，监控当日数据发布状况。3）加工监控 数据加工是个复杂的过程。由于主机性能、代码错误和规则误差均可能造成数据加工失败，为了减少重复计算带来的实时性影响，数据监控的加工监控从功 能上满足检查和校验规则程序化，减少手工操作，减少数据处理环节的时间，完 成了系统自动化；通过汇报机制，将每一个加工任务实时定位；系统主动的提供 自检、自动纠错、恢复的功能，为数据的及时性提供保障。4）指标监控 指标监控通过对应的预测算法生成指标波动范围，并按照账期将指标波动预测范围和实际的指标进行比较；数据监控系统及时的判定指标波动的情况，并以 波动245、图展示当前指标波动。5）数据地图监控数据地图采集监控-依赖于可视化、端到端、透明化的方式，将仓库中每一个的采集接口的整体采集加以监控、通报、反馈。 数据地图采集、加工、稽核监控的可视化，丰富的展示了采集模型之间的依赖血缘关系，以及整体的采集依赖； 数据地图采集、加工、稽核监控的端到端，精确定位到每一个采集模型的当前、历史任务调度以及执行情况，依托于数据地图模型关系进行展示； 数据地图采集、加工、稽核集监控的透明化，采集信息、采集异常等描述信息进行地图监控实时监控，并告警，采用短信、邮件提示相关人员处理。第 149 页3、系统特点l实时数据监控图 6-81数据地图监控图数据的任何质量权限以推送的246、方式向数据质量中心报告，达到秒级呈现，使用户在第一时间定位数据质量问题。l端到端的数据质量监控 设立数据质量服务中心，以标准协议收集数据质量信息。BDC 平台各组件会自动的向其报告数据质量信息。对于第三方应用，可以设置数据质量代理以获取 数据质量信息并向数据质量服务中心报告。由此全数据流程的各应用数据质量信 息能够紧密集成，统一监控。l可视化数据地图 数据地图将企业的全数据流程在一张地图上集中展示，将全数据流程的状态、监控信息通过可视化的方式在地图上直观展示。用户可以随时把握数据处理的全局概况，并迅速定位兴趣点，在地图上直接与相关的数据应用进行交互。实现了 真正的端到端的元数据管理。 工作流调247、度自动化平台（Workflow Automation）工作流调度自动化平台（Workflow Automation 简称 WA）是一个面向复杂异构环境的调度平台。WA 从单一控制点集成了全城市的工作流程管理，通过跨 应用程序和跨平台调度功能（例如作业相关性、工作流负载平衡和基于事件的作 业执行），为在整个城市中自动执行设定工作流提供了一种一致的方法。WA 可 以减少用户培训并提供端到端可见性，因而增加了用户的控制范围，并使他们能 够管理整个城市中的任何工作流，而无需环境特定的专业技能，切实提高城市业 务服务的效率。1、系统架构本产品采用 Server-Agent 的架构构建，一个 Server248、 可以支持多个 Agent， Agent 与不同计算资源或应用进行直接交互。对于 Oracle 等常见资源，Server 也 可以不通过 Agent 直接通过原生支持对 Oracle 进行调度。BWA ServerBWA AgentBWA AgentHadoopOracleHadoopHadoopApplications2、 系统功能图 6-82工作流调度系统结构图图 6-83工作流调度监控图1）可视化工作流开发 提供图形化的工作流开发，用户可以以一致的界面、简易的拖曳方式设计工作流。2）可视化工作流实时监控 通过图形化的工作流监控界面，用户可以看到作业流的执行状态，如果作业执行流执行过程中有249、问题，可以通过 BWA 监控界面来对作业进行干预和控制。3）跨平台跨应用的自动调度全面集成 FTP、Web Services、Java、消息、数据库、Hadoop 等资源，灵活 的作业定义与周期调度、支持事件触发的调度机制、支持资源自动负载均衡。4）工作流审计与分析报告 支持对工作流执行状况与各资源使用状况的审计分析报告，通过对历史执行状况的统计，提供工作流预期执行时间预测分析、能够对潜在的工作流延迟进行 告警，发出电子邮件或短信通知，以便相关人员最及时的进行处理。3、系统特点l跨平台的统一调度界面，减少手动调度造成的故障与延迟l支持扩展与集成l根据业务优先级自动调度流程l对常见计算平台与企业250、应用支持无代理调度，显著减少部署开销l快速的问题检测和处理城市智能中心（IOC）监控与调度平台建设 系统总体架构建立城市智能中心（IOC）监控与调度系统，为城市管理者提供集成信息，使城市管理人员更加迅速地做出准确的决策。作为管理控制中心可以使不同部门 协同工作, 并且可以实现不同部门之间的信息共享。城市智能中心（IOC）监控与调度系统应包括业务流程调度系统、智能监控 管理系统、智能 UI 平台三个部分。其中业务流程调度系统可以应对不同的城市 事件，自动适配相应的业务流程，对事件的所有情况进行综合管理，以提供最便 捷有效的管制环境，使得管理者可快速制定应对方案，同时通过与其他系统之间 的信息传达251、，可以共享和有效利用信息。智能监控管理系统是通过大屏幕显示监 控影像及信息数据等的大型显示系统、监控系统、发生事故时的音频警告系统， 将操作终端、监控器、移动影像等实时地以 IP Network 方式传输并显示在 Video Wall(DLP，等离子电视，LFD)，并对其进行管理。智能 UI 平台为用户提供简单 方便的界面，用窗口部件实现各控制环境因素，提供多种个性化的管理环境。图 6-84城市智能中心（IOC）监控与调度系统架构图 大屏幕调度系统现有的监控系统大多是通过音频电缆连接监控影像的 Matrix 系统,存在噪声大、影像受损、无法同时显示多处影响等缺点。因此需要建立新型方便和智能的 252、监控管理系统，该系统应在无需其他的设置的基础上通过网络传输监控器、计算 机、移动设备的影像，并且影像不受损。1、系统架构 大屏幕调度系统架构如下图所示。图 6-85城市智能中心（IOC）大屏幕展示系统架构图2、系统功能 系统特征及功能包括：l高清监控影像传输，无距离限制；l数字化方式的影像传输，提供高清画质（没有噪声）；l基于 IP Network，搭建或扩大监控室时，无需电缆工程，节省工程费用；l只需追加 S / W 许可证，就可以分阶段增设（需购买必需数量）；l不分显示器，影像自由缩放，重复（Overlap），可配置；l支持输入源和输出显示之间的一对一，多对一，一对多配置；l支持模拟、数字253、等多种监控影像之间的连接与显示；l与智能影像监测系统相互联系，支持 GIS 连动 MAPPER 和大型智能显 示器；l在显示器显示影像时，显示的 LED DID 的数量没有限制，视频信号显 示器画面之间没有划分，要能够以操作员想要的自由布局结构显示的设 备。具体功能及技术要求如下：l操作 PC 和监控 PC 的影像要直接通过网络收集影像，无论哪种排列都 可以在 LEDDID 有效地显示多种分辨率的影像；l要提出可以构成多重 Display Video Wall 和自由显示操作员想要画面的 方案；lFull HD 级(1080p/30fps)以上视频信号要实时显示；l大容量高分辨率影像要不损失分254、辨率和帧显示；lVideo Wall 控制要以 Drag & Drop 形式一次性显示；l要支持大屏幕要求的分辨率；l要具有影像画面临近 LEDDID 的界线位置时自动适应屏幕大小布局的 磁铁功能和把显示屏一个画面分割成多画面的网格功能；l要具有保存显示出的影像布局和一键实现重新载入的布局功能，具有已 登记的布局中经常使用的布局用收藏夹登记的功能（预置功能）；l影像画面无关 LEDDID 的边界，可以用鼠标自由放大，缩小，移动；l在显示的影像上要可以重叠显示其他视频信号；l要能够调节重叠影像的优先级，设置想要的影像排列顺序；l要能够通过操作 PC 放大显示想要显示影像的区域；l要具有 On/O255、ff LED DID 的电源管理及源节体的功能；l要能够对大屏幕显示的各影像调整个别分辨率大小；l多显示器 PC 的情况下要支持所有用个别显示单位另外传输和多重传输；l提供按照时间、日程自动运行各种情况的迅速屏幕切换及可应对的布局 设置的功能（脚本功能）；l应具有控制大屏幕的输入影像管理、影像显示、脚本结构的综合控制器功能；l操作 PC 设置的 Agent 软件无需另外增加设备，要能够只用软件支持Window7 / Window8 / Window Vista OS；lLED DID 支持额外安装和显示时一台的 IP Wall 设备不能支持 Video Controller 数量的情况下，用额256、外 IP Wall Controller 设备扩展，即使 LED DID 数量多，也要能够通过分散处理全部显示。扩展支持时 IP Wall Controller 之间 LED DID 界面显示影像的情况下，IP Wall Controller 间 的影像要能够支持同步显示在 Wall Video 上；l要能够确认 IP Wall Manager 的 IP Wall Controller 的 CPU, Memory 使用 量；l远程查看 PC 通过 IP Wall Manager 连接已登记的操作 PC 列表与 IP WallController，能够显示操作 PC 列表；l远程查看器 PC 选257、择操作 PC，要能够显示想要的影像，为提高用户的便 利性，要提供另外的布局结构；l远程查看器 PC 通过与操作 PC 直接连接，能够得到影像数据；l一个 IP Wall Manager 可连接和控制多个 IP Wall Controller；l要提供 IP Wall Controller 存在的 PPT，Excel、视频、图片、网页链接文 件通过 IP Wall Manager 运行和控制的(page up/down, Slide Show, play, stop 等)功能；l操作 PC、监控 PC 上安装的 Agent 软件要能够设置影像传输时 Frame 和Resize；l不驱动额外的远程258、控制程序，要能够对 IP Wall Manager 中操作 PC 进行 远程控制，多显示器 PC 的情况下，IP KVM 开关形态要能够多重同时 远程控制；l提议的设备的无缝交货和免费维护期间，为保障售后服务及技术支持， 制造商要提交“成品供应证书”和“技术援助承诺”；l与相关系统的联动按照一般的联动状态由稳定高效的系统构建，并遵守 标准规格，要确保联动系统之间的匹配性；l要容易与综合控制系统联系，以便提供服务器（Controller）的 API； 智能应用门户系统建立智能应用门户系统实现智能化的高端用户型部件环境建设平台，是可以提供把想要的信息(事件、日志、地图、传感器测量值等)以 web 259、形式自由布局和 控件布置功能的 UI 平台软件，能够根据用户的界面设定，用多界面显示管理中 心系统实时生成的数据。智能应用门户系统能够提供于集成网络、图标、监控影像、地理信息等为一 体的监控服务，为管理员、企业负责人等相关人员提供实用性高，且适合自己的 管理面板。1、系统架构 智能应用门户系统架构如下图所示。图 6-86城市智能中心（IOC）智能应用门户系统架构图2、系统功能 智能应用门户系统具体功能包括：l要提供能够自由布置和变更控件大小的功能；l要能够保存用户类别多个布局和更改为已保存布局；l要能够保存和管理通用布局；l要能够提供控件的添加、修改、删除功能；l要能够管理控件的权限类别访问权260、限；l要提供控件之间连接的 API 和开发模板（例如：在事件列表选择事件时， 移动到地图相应事件的发生位置，点击地图的 CCTV 图标时，显示控件 CCTV 影像等）；l要具有不受跨域限制，相互不同域的控件布置功能；l要提供不受跨域限制，相互不同域的控件之间的连接方案；l以现有 Web 系统构建的 Legacy 系统的画面要能够以控件形式使用；l要提供添加开发控件的指南文件。 业务流程调度系统（RTD）业务流程调度系统（RTD）应为智能型综合管理平台，并提供集成控制操作环境，能与基础地理、物联网以及终端显示等系统及数据进行有机结合，一旦发 生城市事件，可将相关视频、位置、设施及状态信息通过智能261、监控及 UI 显示在 监控大屏幕中，并将信息发送给相关人员，使其快速制定应对措施。1、系统架构 业务流程调度系统架构如下图所示。第 159 页图 6-87城市智能中心（IOC）业务流程调度系统架构图2、系统功能 具体的系统功能及技术要求如下：l应具有良好的兼容性、可移植性以及可自由扩展性；l应基于 B/S 架构，提供标准接口各种协议（HTTP，TCP Socket、WebService）；l应提供基于 Web 的工作流设计器及路由设计器，通过拖拽方式简单快 速地实现业务流程；l应能立即反映由于业务变化导致的进程更改事项；l要能够与显示屏操作系统联系，根据活动的显示屏脚本操作；l单元模块应基于 262、Java 库并能够上传，应该对上传的单元模块能够进行热 部署；l要能够对工作流的执行信息进行监控；l要提供通过工作流按照脚本自动传播情况（SMS，Email 等）的功能；l要能够按照分类体系业务流程调度系统上要使用的活动；l要能够分析发生的活动（情况），具有执行识别新事件的功能；l应提供新事件识别规则集设置功能；l要提供与内/外部系统对接的标准接口及传递消息的路由功能；l在不能接受标准接口的情况下，应提供开发驱动适配器的功能；l应提供能够定义和管理内/外部系统之间的信息的功能；l应提供登录并管理内/外部联系系统的功能；l应提供能够管理内/外部连接系统的发送、接收连接信息的功能；l应能即时反映内263、/外部联系系统的信息变更；l要提供事件故障事件的管理功能；l要提供平台上收集的情况/故障事件的统计功能；l要提供数据共享的综合数据库；l要提供遵守 oneM2M 国际标准协议的物联网网关；l要提供各种设备的通信管理和传输的各种协议（TCP，HTTP，MQTT 等） 的 SDK；l要提供物联网装置和网关的模拟模块；l要提供 物联网装置及数据流的管理功能；l要能够对物联网装置的数据进行采集、交换、加工、共享；l要提供物联网装置连接的安全密钥管理，认证功能。城市智能中心（IOC）主题应用建设综合运用城市规划、国土资源、城市建设、地下管线、产业布局、企业主体、 社区及人口等城市大数据，实现城市空间布局264、及资源集约利用、工业经济监控及 宏观分析、人口及公共服务、城市环境监测与应急处置等智能化应用主题，满足 城市的系统性、综合性的需求。 经开区城市资产全生命周期管理主题应用1、城市资产的重要性城市资产是指在市场经济条件下，具有商品属性，在等价交换中能够实现价 值的资源的总称。主要包含三个方面内容：（1）自然资产，包括土地、园林、河流、森林等；（2）功能载体，包括道路、桥梁、房屋、车船等；（3）无形资产，指依附于有形资产之上的无实物形态的资产，如开发权、使用权、经营权、冠名权、广告权、特色文化等。对于经开区的城市建设与经营，需要统计城市资产的总量与使用情况，不仅 需要针对有形资产进行开发、使用和运265、营，推向市场运作，盘活存量资产，使城 市的实力不断增强，同时，也要重视挖掘无形资产的潜力，充分发挥其商业价值 的作用，使新区既得实惠又增光彩。城市资产全生命周期管理的主题应用，以“城市资产”为核心进行数据的收集 整理、整合、分析和统计利用、决策建议等。城市资产以政府财政投资方向、国 有企业投资等各方面进行梳理，包括：城乡建设、交通运输、资源发掘、教育科 技、节能环保、文体传媒、商业服务等各方面。对新区资产进行统计，从规划、 布局、建设、合同、使用、运营、收益、服务等全方位全生命周期进行管理。图 6-88城市资产管理主题应用功能及流程图2、城市资产“一张图”展示分析 通过“一张图”分类并综合展示266、，城市土地、楼宇、道路、桥梁、公共基础设施、路灯，垃圾桶等城市资产的分布及开发利用情况。综合展示经开区城市有形 资产的总量、位置、分布、分类、时序变化等，综合展示无形资产的载体、位置、 分布、分类、价值总量、时序变化等信息。3、城市资产各项物权综合展示 通过“一张图”分类并综合展示，城市有形资产、无形资产的各项物权信息，包括资产位置、名称、从属关系等基本信息，以及依附于有形资产之上的无实物 形态的资产物权，包括所有权、开发权、使用权、经营权、冠名权、广告权、特色文化等物权信息。4、 城市资产规划与建设分析 通过大数据和地图“一张图”综合展示和分析城市资产的规划、开发、建设周期的信息综合分析与展267、示。包括综合分析和展示城市资产的基本信息、历年规划 与计划信息、历年投资及使用信息、历年建设及进度信息等情况，评估城市资产 的建设情况，并在“一张图”上进行直观展示。5、城市资产经营情况分析 通过大数据和地图“一张图”综合展示和分析城市资产的售卖、租赁以及招商等城市资产经营情况。包括城市资产已售卖和租赁城市资产招商、价格、合同、 时限、盈利等情况，待售卖和租赁的城市资产的招商、价格以及预测等状况，以 及闲置资产等的整体的分布及亏损情况，整体评估城市资产的经营状况。6、政府城市资产运营决策分析 通过大数据对于资产使用、建设、经营情况进行综合分析，得出资产使用状况报告，并分析预测资产增值空间、闲置268、情况，以及城市资产的合理配置，供决策者进行分析与研判。 经开区企业运行质态与宏观分析主题应用综合运用工业和商业企业的工商、税务及进出口等大数据，按工业类型实现产业发展趋势、投资收益、供应链、能耗与产出等分析，实现经开区经济形势分 析、经济运行监控、经济运行分析等的“一张图”展示。图 6-89工业经济监测与宏观分析主题应用功能及流程图1、工商业产业发展趋势分析 通过采集经开区各类工业、商业类型的企业的营销数据，通过大数据分析，一、二、三产及各类细分产业的 GDP 总量及占比、营销增减分析、进出口增减 分析、税收增减分析，以及各项指标的环比及同比分析等。综合运用各项产业发 展趋势指标，分析各类工商269、业的增长情况，便于决策者分析经济问题，找准症结 或者淘汰落后产能。（1）经济（GDP）增长率实现经开区宏观经济 GDP 的统计分析与展示，包含：l工业经济总量分析l人均 GDP绿色 GDP = GDP - 自然资源损耗 - 环境资产损耗l三大产业对经济的贡献率的指标为：第一产业增加值对 GDP 贡献率 = 第一产业增加值的增量(可比价格)/GDP增量(可比价格)100%第二产业增加值对 GDP 贡献率 = 第二产业增加值的增量(可比价格)/GDP增量(可比价格)100%第三产业增加值对 GDP 贡献率 = 第三产业增加值的增量(可比价格)/GDP增量(可比价格)100%l 三大需求对国民经济的270、贡献率的指标为：投资对 GDP 贡献率 = 总投资增量(可比价格)/GDP 增量(可比价格)100% 消费对 GDP 贡献率 = 总消费增量(可比价格)/GDP 增量(可比价格)100% 净出口对 GDP 贡献率 = 净出口增量(可比价格)/GDP 增量(可比价格)100%l 规上企业经济增长率（GDP）l 分经济类型经济增长率（GDP）：包括：国有、集体、股份制、外商等l分产业门类经济增长率（GDP）：包括：采矿、制造、能源；或者分工 业、商业、房地产、服务业等l 分区域或者分工业园经济增长率（GDP）l GDP 随时间变化（年、季、月等）l 高新技术制造、先进制造业占比l 企业 GDP 贡271、献前 10 名，企业定位及企业介绍等。（2）消费弹性系数与投资弹性系数 消费需求弹性系数是一个反映消费需求对经济增长的影响作用或制约性的分析指标。各类主要商品、大宗商品占 GDP 的贡献率，例如房地产、高科技制 造、能源、电力等；投资弹性系数用来揭示投资增长对经济增长的弹性作用大小。各类投资类型 占 GDP 的贡献率，例如：地方财政投入、各类专项资金（例如：企业转型升级、 科技进步投入）、税收等。（3）社会消费品零售总额 社会消费品零售总额反映国内消费支出情况，对判断国民经济现状和前景具有重要的指导作用。包括：l 社会消费品零售总额、比率的同比、环比；l 规上企业消费品零售总额、比率等；l 社272、会消费品零售总额、率/GNP、GDP 的占比（4）外贸及进出口额 外贸进出口总额以及增速，主要贸易伙伴以及外贸商品排序。包括：l 出口总额和增长率曲线；l进口总额和增长率曲线；l排名前 10 名外贸伙伴及外贸交易额、增长率；l排名前 10 名外贸企业及外贸交易额、增长率；l一般贸易、加工贸易、易货贸易的占比、额度、增速等；l排名前 10 外贸商品交易额、增长率等。（5）居民消费价格指数（CPI）CPI 是居民消费价格指数的简称。居民消费价格指数，是一个反映居民家庭 一般所购买的消费商品和服务价格水平变动情况的宏观经济指标。包括：l居民消费价格指数(CPI)；l零售业价格曲线；l能源价格曲线；l273、通货膨胀率；l生产价格指数（PPI）l居民可支配收入水平；（6）生产价格指数（PPI） 生产价格指数（PPI）是衡量工业企业产品出厂价格变动趋势和变动程度的指数，是反映某一时期生产领域价格变动情况的重要经济指标，也是制定有关经 济政策和国民经济核算的重要依据。PPI 对于衡量 CPI 具有一定的前置性。包 括：l生产价格指数（PPI）；lPPI 和 CPI 对比；（7）投资及城镇固定资产投资 总投资是指常住单位在核算期内对固定资产和存货增量的投资支出合计。总投资，反映投资的总规模，对于研究投资规模、投资效益、投资结构、投资需求 与有效供给之间的关系，有着重要意义。城镇固定资产投资：指城镇各种登274、记注册类型的企业、事业、行政单位及个 体户进行的计划总投资（或实际需要总投资）500 万元及 500 万元以上的建设项 目投资、房地产开发投资、城镇和工矿区私人建房投资。包括：l固定资产总投资、累计投资及增长率；l民间固定资产投资额度、占比及增长率；l农村固定资产投资额度、占比与增长率；l房地产开发投资额度、占比与增长率等。l按行业分类的投资额度、占比与增长率；l按投资主体分类的投资额度、占比与增长率；l地方公共财政投入计划总额、增长率等；（8）房地产价格指数 房地产价格指数包括房地产销售指数、租赁指数和交易指数，衍生土地价格指数等。包括：l建设用地项目位置、分布；l房地产企业位置、分布；l房275、地产项目位置、分布；l房价波动及指数；l土地交易价格波动及指数；l房屋租赁价格、结构及增长率；（9）居民可支配收入城镇居民可支配收入指一定时期内，居民家庭在支付个人所得税、产税及 其他经常性转移支出后所余下的实际收入。包括：l城乡居民总收入曲线；l城镇居民人均可支配收入曲线；l农村居民家庭总收入曲线；l农村居民家庭纯收入曲线；l基尼系数曲线；（10）人力资源及社会保障 通过城镇就业率、新增就业人数、登记失业率、五险一金参保率等乙系列指标表征区域人力资源和社会保障水平。包括：l就业率；l新增就业人数及增长率；l登记失业率；l五险一金参保率；（11）科技投入及转型升级通过工业企业科技及 R&D 研276、发投入的变化，以及与工业企业 GDP 的比对 分析，分析工业、制造业以及新型信息化产品的影响等。包括：l高新企业分布及统计图；l科技及 R&D 研发投入；l企业研发机构数量及人员统计；l企业专利数量合计；l规上新兴产业企业 GDP 统计；l新兴电子及制造产业 GDP 统计；2、工商业运营质态分析 通过采集经开区各类工业、商业类型的投资、成本、营销、进出口、纳税等数据，通过大数据分析工商业运营情况。例如投入产出比、产出与进出口比、产 出与纳税比、产出与能耗比等。3、工商业供应链分析 通过采集经开区工业、商业类型的采购、库存、物流、销售等数据，叠加昆明、云南、全国或者世界地图，叠加水、陆、航空交通277、数据，分析各类工商业的 原料、大宗商品、产品的供应链条、原料供应通道、产品行销渠道等信息。通过采集经开区工业、商业类型的上游企业、下游企业，叠加经开区各类自 然资源、产业资源、人口资源，分析各产业关联度，便于企业选址及优化供应链。4、工商业能耗与产出分析 通过采集经开区各工业、商业的水、电、能源消耗数据，以及各产业的营销数据，在“一张图”上分析各产业工业能耗与产出对比，便于城市管理者监控高耗 能企业和淘汰高耗能企业。通过采集经开区各工业、商业的污水、气体及固态污染物的排放数据，以及 各产业营销数据，在“一张图”上分析各产业排放与产出对比，便于城市管理者监 控高排放企业和淘汰高排放企业。（1）工278、业能耗 通过各工业类型企业的能耗、用电量等统计，分析工业、规上企业的能耗、用电量统计。包括：l企业（或者规上企业）总能耗及增长率、排名等；l企业（或者规上企业）用电量的总量、增长率、排名；l新兴行业产值及能耗比对分析图；（2）工业用水量 通过各工业类型企业的用水量、排污量等统计，分析工业、规上企业的水耗和排污统计。包括：l企业（或者规上企业）用水量、增长率、排名；l企业（或者规上企业）排水量、增长率、排名；l规上企业用水量、排水量对比分析图； 城市空间布局与承载优化主题应用综合运用城市规划、国土资源、城市建设、地下管线、产业布局、人口分布等城市大数据，实现城市资源、产业、人口等资源的空间布局分279、析、资源集约利 用分析、资源承载力分析等功能，实现城市规划更科学、空间布局更合理、产业 升级转型更科学、人力资源布局更合理。 人口大数据及民生服务主题应用1、人口及社区数据宏观分析通过人口和社区大数据分析人口的年龄、教育程度、社区分布、从业分布等 结构性分析，指导和针对性制定人口、教育、医疗、养老以及人才引进等方面的 政策。2、人口资源的空间承载分析 综合运用人口及流动人口、城市规划、土地管理、房产管理、水资源管理等大数据，分析城市的人口流动、人口迁徙、人口密度以及与城市空间、土地资源、 房地产项目、水资源等的承载分析，便于城市管理者从人口角度分析城市的承载 能力；3、人口与公共服务能力分析第280、 169 页综合运用人口及流动人口与社区、公安警力、交通运输、学校教育机构、卫生医疗服务机构的大数据，分析人口对公共资源消费的趋势，开展城市公共服务 能力与人口资源的匹配度评估。4、人口聚集与维稳监控 通过综合人口分布、电信运营商位置数据以及基础地理信息等，实现人口聚集、人口迁徙、人口密度等分析，为社会维稳提供应急预案。5、人口与交通运输分析 通过综合人口分布、人口迁徙、公交、出租车、长途汽车、机场、铁路等客运大数据，实现交通模型、交通接泊等智能化分析。6、城市心情分析 通过综合人口与电信运营商位置、互联网大数据等，分析城市人口的互联网行为，分析公众对城市和政府管理公众的舆情，分析城市心情是正281、面、负面等情 况。具体是基于微博等文本数据，评价不同街道办事处或者地块的城市心情状况， 如正常、愉悦与低落，实时显示。7、城市意象分析 抓取各大网站的准实时的用户分享的照片，对其进行必要的自动的主题识别和内容识别，进而体现游客和居民视角的经开区城市意象；8、城市公共服务水平评价 基于兴趣点数据中包括的多年的城市公共服务设施分布，评价多年来的规模和分布的变化，将其与公共服务设施规划目标和内容进行对比，实现这一部分规 划内容的评价。此外，还可以从覆盖率水平等角度对公共服务的空间分布进行评价，有望与规划文本中的相应内容进行对比进而实现评价。 城市环境监测与应急主题应用1、城市运行及社会治理分析基于经282、开区行政区划图，叠加交通运营、犯罪、治安、社区、教育、卫生等 数据，分析城市交通拥堵指数、城市犯罪率、城市治安状况及社区治理情况等。包括普通市民关心的交通拥堵指数、打车指数、公交通达指数、治安隐患点、文化服务指数、医院床位、医师资源等信息。例如通过 GIS 地图展示各路段的实时路况、指定时间路况预测、途经线路路 况展示、实时展示各类交通事件。综合运用城市大气、水环境及地下管网运行监控数据，实现城市环境实时监 控，结合城市智能中心大屏，实现城市各类信息应急会商、应急指挥等功能。2、大气环境监测与污染源分析 通过大气监测数据分析，分析造成城市大气污染的污染源来源、结构等情况，对城市防污治污提供趋势283、性分析意见。3、水环境监测与污染源分析 通过综合水环境监测与城市排污数据，分析造成城市水污染的污染源的来源、结构等情况，对城市水污染防治提供分析意见。4、城市三防数据分析与应急指挥 通过综合分析城市气象、防汛、防风、抗旱等大数据，结合城市三防会商和专家决策意见，为城市三防指挥提供应急预案。5、地下排水监测与城市防汛应急指挥 综合地下排水的雨情、水情、工情、水质、毒气等监测数据，结合城市易积水点（区）和城市视频数据等，为城市排水应急指挥提供应急预案。6、城市安防视频监控与应用 通过城市交通、安防和社区摄像头，综合监控城市安防，和视频智能分析功能，第一时间处置突发和群聚性事件。 智能视频分析及应用284、功能包括：（1）视频监控分布分析功能动过 GIS 地图动态显示各类视频摄像头的点位信息，并可以通过点位信息 查询视频摄像头的隶属单位及基本信息等。（2）进入禁区检测功能： 检测是否有人、车辆或其他物体进入预定区域，对未经允许而进入特定区域的行为产生报警；系统支持任意形状的检测区域设置。（3）区域离开检测功能：检测是否有人、车辆或其他物体离开预定区域，对未经允许而离开特定区域的行为产生报警；系统支持任意形状的检测区域设置。（4）单向越界监测功能： 检测是否有人、物体或者车辆突然从某个指定方向越过预定边界，对未经允许而越界的行为产生报警，单方向进行检测，也称“单向绊线”；（5）双向越界监测功能： 285、检测是否有人、物体或者车辆突然从任意方向越过预定边界，对未经允许而越界的行为产生报警，双方向进行检测，也称“双向绊线”；（6）滞留、徘徊检测功能： 检测是否有可疑人、物体或车辆在指定的区域内长时间停留，当滞留或者徘徊时间超过预设值，系统将发出报警，用以识别可疑人员在禁停区域的长时间逗 留；（7）打架检测功能： 通过对视频监控下相关人员的运动特征、运动轨迹、肢体剧烈变化的自动识别，实时检测是否有打架斗殴事件，以防事件的进一步恶化。它是城市治安监控 的典型应用；（8）聚众检测功能： 检测区域内人群的密集程度获得拥挤的估计值，实时检测是否有群体聚集现象，当区域范围内人员数量超过预设值时自动预警。典型286、应用如广场、出入口、 交通要道等；（9）异常奔跑检测功能： 重点关注可疑人员的快速移动与突然加速等行为，实时检测是否有人员快速奔跑、追逐，以便及时发现偷盗或抢劫等行为，是城市治安监控的典型应用；（10）智能人流量统计 该功能可以对区域内人流量进行准确有效的统计，这为大型活动安全管控及突发事件预警提供重要数据。系统可统计通道口出入及指定区域人数，并提供人 群流动方向与速度等信息。（11）清晰度检测： 自动检测视频中由于聚焦不当、镜头损坏或异物遮蔽引起的视野主体部分的图像模糊；自动检测镜头对准无意义物体的情况；（12） 视频噪声检测:自动检测视频图像中混有杂乱的“横道”、“波纹”，或其他干扰导致的图像模 糊、扭曲及叠加噪声等现象；（13）亮度异常检测:自动检测视频中由于摄像头故障、增益控制紊乱、照明条件异常或人为恶意 遮挡等原因引起的画面过暗、过亮或黑屏现象；（14）视频缺失检测： 自动检测因前端云台、摄像机工作异常、损坏、人为恶