1、无锡市智慧交通综合信息服务应用示范项目工程可行性研究报告目录1 项目概述41.1 项目背景41.2 建设目标61.3 建设内容71.4 项目投资91.5 建设条件101.6 编制依据112 需求分析和项目建设必要性122.1 城市发展现状122.2 无锡市交通发展现状及趋势152.3 无锡市交通信息化发展现状及问题202.4 国内外对比分析232.5 需求分析312.6 项目基础条件392.7 项目的意义和必要性473 项目总体方案503.1 建设思路及原则503.2 总体目标513.3 阶段目标523.4 建设任务534 项目建设方案564.1 智慧交通基础支撑体系584.2 智能化综合交通2、管控平台2484.3 多元化交通信息服务平台3075 硬件部署及集成方案3495.1 硬件网络部署3495.2 硬件集成方案3586 项目实施方案3736.1 实施计划及内容3736.2 建设及运营模式3767 项目经费估算3797.1 项目投资总预算3797.2 项目投资分期支出计划3797.3 估算依据3797.4 项目估算3808 效益评估3968.1 社会效益3968.2 经济效益3978.3 产业效益3979 项目风险与风险管理3999.1 项目风险识别和分析3999.2 项目风险对策和管理4001 项目概述1.1 项目背景“十二五”期间，是无锡市交通运输转变发展方式、扩大规模、调整3、结构、优化管理、提升服务，促进综合运输体系建设和发展的关键时期。2014年12月，习近平总书记视察江苏时，充分肯定了江苏经济社会发展和各项工作取得的成绩，发出了“迈上新台阶、建设新江苏”的动员令。2015年无锡市政府工作报告中，明确提出了“迈上新台阶、建设新无锡”发展主题，大力实施创新驱动发展战略，加强推进国家传感网创新示范区建设。而智慧交通建设是国家传感网创新示范的重要应用领域，更是提效、节能、减排的惠民工程。无锡国家物联网产业发展平台和关键技术应用，推动智慧交通建设。物联网是信息技术和产业发展的新兴浪潮，物联网产业是以高端研发为引领、先进制造为支撑、平台集成服务为特征的新兴产业。物联网产业4、应用受到世界各国政府的重视和关注，美欧日等主要信息化发达国家和地区陆续启动以物联网技术研发和大范围应用为核心的国家战略计划，我国的物联网研究已形成以应用为驱动的特色发展路线。无锡物联网产业重点围绕物联网感知层、网络层和应用层，着力在云技术、传感技术、识别技术、嵌入式系统、微电机技术、电信网络物物通信曾强技术、认知无线电和环境感知技术、下一代无线电和环境感知技术、下一代互联网技术、SOA（面向服务体系架构）等9大技术领域实现关键技术突破。在云计算技术领域，在解决海量数据存储和共享问题的基础上，重点攻克海量信息智能处理技术问题；在传感技术领域，重点攻克传感网的通信和组网技术，在识别技术领域，重点研5、发超高频的RFID应用。这些关键技术的攻克和应用，为交通大数据分析、全面的交通感知等智慧交通应用提供了充分的能力支撑。国家“互联网+”计划、“促进大数据发展行动”，助力智慧交通建设。2015年3月，克强总理提出的“互联网+”计划，4月交通运输部部署“互联网+”工作计划，提出互联网产业与传统交通运输业进行有效渗透与融合，重点部署四个方面的工作：一，推进政企合作模式的综合交通出行信息服务科技示范工作；二，积极用好大数据技术来支撑交通运输行业科学决策；三，在交通运输领域有序推进国家物联网的应用示范工作；四是倡导大众创业、万众创新的互联网+交通新模式发展。全球范围内，运用大数据推动经济发展、完善社会治6、理、提升政府服务和监管能力正成为趋势。2015年8月，国务院为全面推进我国大数据发展和应用，印发了促进大数据发展行动纲要，纲要专栏1“政府数据资源共享开放工程”提出优先开放交通等领域的政府大数据；专栏4“公共服务大数据工程”中提出探索开展交通、公安、气象、安监、地震、测绘等跨部门、跨地域数据融合和协同创新。建立综合交通服务大数据平台，共同利用大数据提升协同管理和公共服务能力，积极吸引社会优质资源，利用交通大数据开展出行信息服务、交通诱导等增值服务。显然，国家“互联网+”计划、大数据发展行动，积极地推动着移动互联网技术驱动下的智慧交通建设。智慧交通建设，助力“无锡智慧城市试点”建设。智慧城市是在7、物联网、云计算等新一代信息技术支撑下，形成的一种新型信息化的城市形态。无锡作为首批入选的国家智慧城市试点，在中国智慧城市发展年会上，已连续三年蝉联中国智慧城市发展第一名，荣获中国智慧城市建设示范领先奖。2015年5月，无锡成为唯一的亚洲城市成功入选IEEE（国际电气和电子工程师协会，电子技术与信息科学领域最著名的国际性专业技术学会）智慧城市试点计划。智慧交通是智慧城市建设的重要组成部分，可以直观体现智慧城市中物联网、云计算、大数据等前沿技术的深度融合，并且在智慧城市建设中最直接反映信息惠民应用体系，将为智慧城市建设创造巨大的经济和社会效益。智慧无锡建设三年行动纲要（2014-2016年）中，在8、智慧交通能力提升方面，作重要的工程部署，包括加快交通动态信息感知网络建设，建设交通诱导和停车场诱导系统，大力推进一站式交通信息服务平台建设，推广大数据分析、交通仿真、公交智能查询等智能技术，优化交通运行管理模式，开发智能交通信号控制系统，完善人行横道智能检测系统等，着力提高城市交通畅行率。以“共筑中国梦，建设美丽中国”为主线，按照国家关于促进大数据发展纲要、加快推进无锡市物联网产业发展、创建国家智慧城市的相关政策、规划、指导意见的要求，以实现智慧交通服务于经济、社会、民生为目标，依据2013年12月无锡市政府发布无锡市物联网发展专项资金重大物联网项目管理办法，正式申报智慧交通综合信息服务应用（9、无锡）示范项目（以下简称“本项目”）。智慧交通综合信息服务应用既能够对城市大数据中心进行强有力的数据支撑，又能够服务于智慧城市建设的四个平台，在智慧城市的整体建设中起到了至关重要的作用。1.2 建设目标项目依托无锡物联网产业高地优势，采用多元采集能力、倡导多网络融合、推动技术突破和创新、助力产业格局发展，推进网络平台、业务产品、商业模式、以及机制体制等多领域、多层面的创新。项目规划设计了集交通信息采集、交通大数据分析、智能控制、诱导服务于一体的综合信息服务应用平台。项目建成后将在提升无锡市道路管控水平、强化交通信息服务能力、创新交通大数据应用、开拓物联网产业化推广渠道等方面发挥重要作用。满足用10、户服务需求多元化的趋势是本项目的核心建设目标，其中包括对政府、个人和企业三方面的内容。其中在服务于政府方面主要包含全面感知城市交通的运行状况，多元信息标准化融合处理，全面提升交通信号控制智能化水平，有效提升城市道路交通管理应用水平，构建智慧交通协同运作体系；服务于个人方面主要包含交通出行安全畅通的保障，交通出行应急疏导，综合信息服务的体验；服务于企业方面主要包括综合服务内容和增值服务。项目建设周期分为三期，总体目标为：创新寓管理于服务的智慧型政务模式，打造“智于管理、惠及民生”的智慧交通示范体系，实现城市道路交通管理及民生服务的跨越式发展，形成智慧交通产业化示范。1、形成“智于管理”的道路交通11、管控体系，打造“智慧交管”应用示范，提升道路交通科学化管理水平。结合无锡市道路交通运行特征和智慧交通发展趋势，综合运用物联网、云计算、大数据等前沿技术，充分感知人、车、路等交通要素，实现信息采集全面化、交通控制智能化，应急处置科学化，交通发布人性化，有效提高路网通行效率，提升道路交通管控能力，保障道路交通安全，降低环境污染，形成对道路交通服务体系的有效支撑，实现人、车、路与环境的协调发展。2、打造“惠及民生”的道路交通信息服务体系，创新“寓管理于服务”的交管政务品牌。充分利用“智慧交管”的信息资源，在现有服务手段的基础上，拓展信息服务渠道，打造集移动互联网、车联网、云服务等技术应用于一体的智慧12、交通服务体系，全方位、个性化的满足百姓的出行需求，让市民在接受便捷交通信息服务的同时，实现了路网交通流的均衡，达到更安全更畅通的管理目标。3、建立智慧交通商业模式，形成智慧交通信息服务在物联网领域的产业化示范。在智慧交通信息服务产品化的基础上，建立一个多元、开放、共赢的商业模式，引入产品的市场化运营机制，拉动交通信息服务产品的研发、生产、应用的产业化，推进“北斗”定位系统的民用化，形成智慧交通信息服务在物联网领域的产业化示范，为全国性推广奠定基础。1.3 建设内容项目将在全国率先打造集信息采集、大数据分析、智能控制、诱导服务、信息共享为一体的智慧交通综合信息服务应用示范，全面提升无锡道路交通智13、能化管理水平和综合信息服务能力；在交通大数据服务、交通信息服务等领域创新成熟有效的商业模式，形成示范性效应并推动产业化发展，进一步巩固无锡物联网标杆城市地位；缓解道路交通拥堵，方便百姓出行，降低综合能耗，为无锡市民提供更便捷、更绿色的生活出行方式，打造“智慧无锡”的“智慧交通”品牌。为了实现“智于管理、惠及民生、产业示范”的总体目标，“无锡市智慧交通综合信息服务应用示范项目”主要完成：智慧交通基础支撑体系、综合交通智慧管控平台、多元交通信息服务平台这一个体系、两个平台的建设。通过建设交管云计算中心，为“城市大数据中心”提供有效的数据资源；通过建设综合交通智慧管控平台，为“城市管理综合信息平台”14、提供应用支撑；通过建设道路交通信息服务体系，为“民生服务综合信息服务平台”提供多元化、个性化出行服务。通过实现智慧交通与智慧城市各领域间的数据共享，有效提升城市综合管理水平。（一）建设一个为智慧交通提供云计算、网络安全、信息共享交换、应用支撑的基础支撑体系。一是在充分利用无锡市现有城市大数据中心的基础上，建立智慧交通信息服务系统的交管云数据中心。二是为保障数据的安全性，网络的可靠性，并按照政府网络安全管理的相关规范，建设网络安全子系统。三是为实现本示范项目内不同系统间数据流、服务流的交互，保障数据的一致性、规范性，系统间的独立性，建立信息服务总线子系统。四是为实现本示范项目内的信息系统与智慧城15、市信息交互总平台的信息共享，建设共享接口管理子系统。（二）打造一个集信息感知、数据分析、智能管控、信息发布、应急处置为一体化的综合交通智慧管控平台，作为城市管理综合信息平台的应用基础，为实现城市管理综合信息平台提供数据及应用支撑。 具体是建设以下功能模块：一是多源交通信息感知模块。通过整合现有各类交通信息，在关键交通节点增设2917套交需确认这些设备还建不建，费用估算在那边。通信息采集设备，创新交通信息采集手段，丰富采集内容，拓展采集范围。二是交通大数据分析模块。基于海量道路交通数据，建立多源数据智能融合分析模型，分析道路交通态势，为道路交通管理提供决策支持。三是智能交通信号控制模块。通过新建16、智能化交通信号控制系统，对主城区及重要道路的600个交叉口进行升级改造，实现路网交通的自适应控制及区域协调控制。四是动静态一体化道路交通发布模块。根据交通需求分布和路网结构，在城市主要交通节点增设100块可变情报板，在重点商圈停车场周边新建30块停车诱导屏，结合路网诱导策略，实现路况信息和实时停车场泊位信息的预案化、自动化发布。五是道路交通应急管理模块。全面掌握与应急处置相关的各类资源的基础信息和使用情况，及时对应急事件的发生进行预警与检测，及时部署应急方案，从而达到事件负面影响最小化、尽可能恢复道路通行能力的目的。（三）打造一个多元化、人性化、一体化的道路交通信息服务平台。具体是建设以下功能17、模块：一是出行信息服务应用模块。以综合交通管理管控平台的数据为基础，利用微信、互联网、手机APP、导航终端等信息服务渠道，整合各类交通类信息，实现路况信息的实时推送，交通违法信息的实时提醒，停车泊位信息的智能提示，最佳路径的智能导航，出行方式的合理建议，周边出行兴趣点的实时告知。二是行车辅助应用模块。通过车载联网终端将实时车况信息回传至车况诊断平台，实现车辆异常状态的在线诊断，异常报警，为驾车人提供安全行车的保障。三是行业车辆管理应用模块。为行业车辆加装定制化的车载服务管理终端，实时采集车辆的定位信息，对车辆的运行线路、实时车速、行车时间进行监控，同时提供个性化的路线定制、路况推送、突发事件诱18、导、驾驶行为分析等服务。四是服务支撑模块。在通用化出行服务的基础上，建设并整合集电话服务中心，救援中心、保险理赔中心、在线支付中心等个性化服务单元与一体的服务支撑子系统，为出行过程中的个性化需求提供全方位的增值服务。1.4 项目投资项目预计建设周期为3年，具体分为三期建设，第一期为建设期，时间为2016年1月至2016年12月；第二期为深化期，时间为2017年1月至2017年12月；第三期为推广期，时间为2018年1月至2018年12月。建设费用可申请政府财政资助1.88亿元，其余申报单位自筹。根据投资估算，本项目推荐方案的投资估算如下：工程总投资： 78100万元。其中：第一期（2016年119、月-2016年12月）投资：29380万元；第二期（2017年1月-2017年12月）投资：17810万元；第三期（2018年1月-2018年12月）投资：17810万元；1.5 建设条件（1）物理场地外场环境：无锡市主城区和重要道路网基础设施建设，以及电信光纤传输网络的部署，为智慧交通外场的设备的安装、通信提供必备的物理条件。内场环境：中国电信集团物联网分公司IDC机房。（2）网络通信中国电信集团物联网分公司已经搭建有支撑示范项目的基础通信网络条件，包括有线、无线网络。（3）核心技术储备无锡市智慧交通综合信息服务应用示范项目拟将交警的交通管理和控制、交通运营商运营服务以及服务商的交通信息服务20、有机的整合，在共享交通信息的基础上保障城市交通的畅通安全，人民出行的舒适方便。项目的实施中需整合信息采集、数据传输、数据处理、交通综合应用等多方面的核心技术。在国内顶级专家的指导建议下，通过反复论证，采用了一批国际领先的先进技术，包括：大数据，汽车移动物联网，区域联网系统控制技术，交通应急核心技术，安全辅助核心技术，节能减排分析技术等。（4）已有项目基础充分利用中国电信物联网应用和推广中心以及无锡市公安局在这两个领域各自具备大量的应用试点和推广经验，发展城市交通管理综合业务与通信业、信息业的产业融合实现智慧交通产业链。如中国电信集团车联网平台（TAP平台）实验平台已于2012年6月建设完成、车21、联网智能交通信息服务系统已在无锡首发上线；从2002年至今，无锡市先后完成了“市公安交通指挥中心建设项目一期工程”、“市公安交通指挥中心建设项目二期工程”、“市公安交通指挥中心三期工程”、“无锡公安交通指挥中心移建项目”等智能交通系统建设项目；同时，本项目的各技术支撑单位在云计算、大数据等国际前沿技术也具备国内领先的水平，为本项目的应用和推广保驾护航。1.6 编制依据本应用示范项目的编制依据如下：(1) 国家电子政务工程建设项目可行性研究报告编制要求，国家发展和改革委员会第55号令，国家发展和改革委员会，2007年；(2) 无锡市“十二五”城乡建设规划（2011-2015），无锡市人民政府，222、011年2月；(3) 无锡市“十二五”综合交通发展规划，无锡市交通运输局，2011年7月；(4) 无锡国家传感网创新示范区发展规划纲要（20122020年），工业和信息化部，2012年8月；(5) 无锡国家传感网创新示范区建设三年实施计划(2013-2015年)，锡政办发2013216号，无锡市人民政府，2013年9月；(6) 无锡市物联网发展专项资金重大物联网项目管理办法，无锡市人民政府，2013年12月；(7) 智慧无锡建设三年行动纲要（20142016年），锡政发201445号，无锡市人民政府，2014年3月。(8) 促进大数据发展行动纲要，国务院201550 号印发，2015年8月。223、 需求分析和项目建设必要性本章主要介绍无锡市城市发展现状以及道路、车辆交通设施及交通管控的发展现状，结合当前无锡交通信息化的建设情况及存在的问题，对比借鉴国内外智慧交通的先进经验，通过从提升无锡市交通管理水平、智慧无锡的建设要求、无锡传感网创新示范区的发展等多个方面进行分析，阐述了无锡建设智慧交通综合信息服务应用示范项目建设的必要性和意义。2.1 城市发展现状2.1.1 城市区位及空间发展概况无锡，简称“锡”，古称梁溪、金匮，被誉为“太湖明珠”。无锡市位于长江三角洲平原腹地，江苏南部，太湖流域的交通中枢，京杭大运河从中穿过。全市总面积4627平方公里，其中水域面积1294平方公里，站28%，城24、市建成区面积328平方公里。截止2014年下辖7个行政区、2个县级市：崇安区、南长区、北塘区、滨湖区、惠山区、锡山区、新区，江阴市、宜兴市。无锡城市区位及行政区划图无锡北倚长江，南濒太湖，东接苏州，西连常州，构成“苏锡常”都市圈。无锡是长三角区域和江苏省较为重要的经济文化城市和交通枢纽。无锡与长三角其他城市的联系图2.1.2 城市规模现状l 经济发展2014年无锡地区生产总值（GDP）8205.31亿元，同比增长5.6%。2014年固定资产投资4634.21亿元，同比增长15.4%。无锡GDP、固定资产投资情况（来源：无锡统计年鉴2015）十二五规划中，无锡市发改委根据国务院批准的长江三角洲地25、区区域规划出台战略研究报告，提出提升无锡市战略地位的相应对策建议。研究报告提出了提升无锡市在长三角区域战略地位的总体思路。其中重要的战略举措，即通过物联网的发展以及产业的顺利转型升级，使无锡能成为与深圳类似、长三角唯一一家的国家级创新型城市。因此，十二五规划期间，高新技术产业持续稳步增长。截止2014年，高新技术产业总产值占规模以上工业产值比重为41.2%。高新技术产业总产值占规模以上工业产值比重（%）（来源：无锡统计年鉴2015）l 人口规模截止2014年末，无锡市区平均人口244万，人口密度1495人/平方公里。2014年无锡人口统计表地区总户数平均每户平均人口人口密度（人/平方公里）全市26、1,597,8422.994,746,8431,031市区851,8402.882,441,7701,495崇安区69,7202.67185,64311,285南长区122,6732.64324,20713,554北塘区100,3532.55255,0938,215锡山区128,3083.36429,1041,081惠山区138,4143.24443,8341,381滨湖区175,5462.68467,161749新区116,8262.92336,7301,549市（县）746,0023.102,305,073776江阴市369,1743.341,224,7221,248宜兴市376,828227、.871,080,3515422.2 无锡市交通发展现状及趋势2.2.1 道路发展现状近年来，无锡市委、市政府高度重视道路交通畅通工作，始终坚持把其作为事关经济民生和城市管理的重要战略任务来抓，规划、建设、管理、教育多管齐下，不断推进道路交通管理工作的优化升级。全市道路以城市快速路系统为基本骨架，初步建成的内环快速路网，完成太湖大道快速化改造，机场路、高浪路、金城东路、新锡路及新华路高架等建设，形成了“一环八射”，“环”在城区、“射”达城郊的15分钟城市快速路网骨架。同时，加快城市主次干道建设，相继完成了广勤路、塘南路、凤宾路北延等一批城市主次干道改建和蠡湖新城、太湖新城、锡东新城等外围新城路28、网建设，加强了主城与外围镇区之间的联系，缓解了城区过境穿行交通的压力。加快城市支路网络建设，通过打通断头路、拓宽支小路，以及调整道路线形，改善行车视距，增建、改造人行道体系等措施，因地制宜地疏通城区路网交通“微循环”。两横两纵快速路、五横六纵主干道、六横九纵次干道的交通骨架网络基本形成。截止目前，全市共有等级以上道路4800余公里，其中城市主干道达到632公里，次干道总长815公里。无锡市城区主干道分布示意图无锡市城市结构与快速路网分布关系示意图2.2.2 机动车发展现状截止2014年末，无锡全市拥有车辆约152万辆，市区车辆约80万辆。私人汽车全市约100万辆，市区私人汽车约58万辆。20129、4年的千人汽车保有量约225辆。截止2014年6月，机动车驾驶人175.5万人，其中汽车驾驶人154万人。表2014年全社会车辆拥有情况（来源：无锡统计年鉴2015年）指标全市分区市区江阴市宜兴市年末车辆数1,522,944802,224413,756306,964汽车1,266,237744,551318,551203,135私人汽车1,024,604583,190269,967171,447在汽车中：大型汽车63,65542,68812,9797,988客车15,85911,3732,8491,637货车43,94429,0879,0825,775专用汽车3,8522,2281,0485730、6小型汽车1,202,582701,863305,572195,147客车1,161,506674,855296,726189,925货车39,44125,9548,4924,995专用汽车1,6351,054354227农用运输车373171202摩托车256,33457,67395,034103,627二轮摩托车237,15357,66584,07695,412轻骑1,09712118852014年私人车辆拥有情况（来源：无锡统计年鉴2015年）指标全市分区市区江阴市宜兴市汽车1,024,604583,190269,967171,447摩托车256,33457,67395,034103,631、27拖拉机7,9221,2621,9084,7522.2.3 交通流特性现状随着城市化进程的加快,无锡的道路设施建设也在不断进行，道路建设在完善城市功能、拓展新城区、缓解老城区交通压力方面起到了重要作用。然而由于无锡市路网体系特殊、新老城区资源不平衡等特点，造成老城区、重点商圈、进出城主干道等区域的平均行车速度较低。主要原因有：老城区人口密度高，功能相对集中，道路建设跟不上机动车辆的增加，造成平均车速过低；潮汐现象明显，早高峰进城车辆多，进城方向的车道较为拥堵，晚高峰是出城方向交通量比较大；公共交通出行比例过低，私家车保有量和出行次数的增加引出急剧增长的、多样化的、时变的交通需求，交通拥挤程度32、不断增加和拥挤区域迅速扩大；自行车、电动车等非机动车交通参与者交通法规意识淡薄，与机动车混行，干扰正常有序的交通秩序。通过对不同时段、不同区域的交通流进行实际调研和统计分析，目前无锡主要城区的关键交叉口交通流趋于饱和，在高峰时段，解放环路内以及进出城关键交叉口5%的道路饱和度接近100%，快速路内环高架道路饱和度达到60%70%左右，其余道路饱和度为50%60%；平峰时段，解放环路内道路饱和度为5060%，快速路内环、城区主干道饱和度均在40%左右。总体而言，目前无锡市道路交通畅通处于较高的水平，但是随着汽车保有量的急剧上升，预计未来3到5年，处于饱和状态的路口会越来越多，道路通行压力会越来越33、大。2.2.4 交通管理现状全市现有交通民警1593人，协警员1156人。其中市区交警924人，协警员909人。公安交警部门在重点路口、路段投入大量的警力进行疏导和管理。但是，随着全市机动车总量和道路里程持续高速增长，警力缺口日益突出，工作任务空前繁重。因此，支队积极转变工作理念，坚持走科技强警增效之路，向科技要警力、要战斗力，通过信息化智能交通建设应用，来提升城市道路交通管控水平。2.2.5 交通发展趋势（一）综合交通能力体系提升展望未来，区域经济、城乡发展、城市建设和低碳经济的发展对无锡综合交通建设提出了更高的要求。联系当前，运输通道、运输枢纽、运输站场和感知交通的发展为无锡综合交通建设奠34、定了良好的基础。无锡交通运输发展已进入综合运输的提升期，加强以各种运输方式合理分工、互相协调、经理衔接、互相沟通为特征的综合运输体系，是“十三五”期间需要不断深化的重要内容。（二）智能交通体系的提升未来无锡将以全市构建传感网信息技术创新高地、人才高地和产业高地的目标，以交通运输感知源点的不是优化为重点，完善各种交通信息采集系统、传输系统、处理系统和应用平台，切实解决交通运输要素分布极广、流动分散给交通运输建设、管理、组织、指挥带来的困难，进一步拓展智能交通的服务领域。（三）低碳交通的建设无锡交通将进一步的加强低碳研究，加强低碳创新，加强低碳实践，积极法制低碳运输方式和低碳交通工具，结合智慧交通35、综合信息服务体系的建设，努力构建以低能耗、低污染、低排放、高能效为主要特征的低碳交通运输体系，为国家节能减排的目标和无锡生态城市的建设，做出交通运输行业应有的贡献。（四）法制交通的完善无锡交通将根据依法治国的基本方略，结合智能交通综合信息服务体系的建设，交通基础设施规划控制、建设养护、产权保护方面以及交通运输主题资质标准、行为规范、违章处理方面的新问题，进一步健全行政执法机构，提供执法科技化水平，提供执法人员的素质，完善与国家法律及监管体系相配套的地方性交通法规、规章、规范性文件、信息化系统，拓展交通法治范围，提高交通法治智能化水平，大力开创交通管理的智慧化、法治化新局面。2.3 无锡市交通信36、息化发展现状及问题2.3.1 交通信号控制系统现状无锡市交通信号控制路口已达到1350多个，其中市区688个，与交通指挥中心实现联网控制的路口为653个，共72条道路的280余个路口实施了绿波带控制。中心使用的控制系统是大为科技公司的早期产品，系统基于数据库的配置信息、流量信息以及控制协议完全开放，但控制功能比较简单，主要包括制定相位方案、模拟手动、线控方案（即信号机根据中心发送的相位序列号、相位时间、相位差执行）。无锡市目前65%左右的道路交叉口使用的是江苏大为科技公司生产的2000型信号机（具体见下表），该信号机功能较为单一，主要采用单点多时段的控制模式，可进行人工手动“绿波带”线控配置，37、同时全市信号灯交叉路口的流量检测设备均无法为信号控制系统提供实时的流量数据，且系统不具备自适应控制功能，因此整套信号控制系统的控制效率较低，在老城区以及拥挤的市区主干道，老的信号控制系统所呈现出的控制能力不足已十分明显。同时，目前无锡市的信号控制系统的配时工作只能依靠人工配置并跟踪优化，因此，现有的信号配时工作主要采取层级管理的办法，由支队交通指挥中心和大队科技设施民警分级包干，目前从事信号配时的专兼职管理民警共8人，最多的民警要管理300余个路口，信号配时人员严重不足。表 21 无锡信号机现状信号机型号功能配置TSC2000（无锡70%左右）TSC2010（无锡30%左右）CPUC51ARM38、7内部通信架构422CAN与中心通信接口232232、网络路口本地通信接口检测器485输入或检测器电平输入检测器485输入信号灯驱动可扩展性无最多扩展到64路可变车道扩展无有公交优先扩展无有通信倒计时扩展无有2.3.2 交通流信息采集现状目前，无锡市城区交通流信息采集来源主要有信号控制系统、车辆检测系统、“320”机动车轨迹抓拍系统、浮动车GPS等四类，其中路口线圈9000余个，“320”机动车轨迹系统200余套，快速路车辆检测系统89套，断面线圈724个（双线圈362个），浮动车4000余辆。其中，地面道路交通信息采集主要通过布设于停车线上游10m-30m处的单线圈，可采集交通流量和空间占有39、率，数据上传频率为510分钟/次，线圈的完好率不足50%；快速路交通信息采集最主要通过布设于断面的双线圈，可采集交通流量和时间空间占有率，线圈完好率约为70%；“320”机动车轨迹系统在记录过车信息的同时，通过道路断面单线圈的模式，记录断面流量和空间占有率，线圈完好率约为85%；浮动车则主要通过实时获取出租车GPS定位信息，采集车辆位置及速度信息（GPS信息间隔一分钟上传一次）。目前，我们对现有的各类交通信息源进行了融合应用，可实现70%左右的城市道路的交通状态准实时判别，然而由于交通信息采集手段匮乏、灵活度不高，地面道路交通状态判别准确率只能达到60%左右，快速路交通状态判别准确率达到80%40、左右，且无法对行程时间进行预测，交通信息诱导发布仍主要依赖视频监控人工判定。2.3.3 交通信息发布现状目前交警部门主要通过广播电台、手机APP,微博以及室外大屏等渠道发布道路通行状况等交通信息。广播电台每半小时向社会公众发布全市道路交通状况、交通事件和交通管制信息等；通过中国电信天翼看交通手机APP客户端和“智慧无锡”手机客户端发布道路实时视频和路况文字信息；“无锡交警”新浪和腾讯微博每天不定时地以视频截图和文字方式发布道路通行状况和影响通行的交通事故信息。市区范围内现有LED信息发布屏18块，主要以发布交通安全宣传提示告知信息为主，因数量较少，形不成系统，后台操作繁琐，很少发布路况示意图或41、路况文字信息。2.3.4 问题与不足无锡市交通管理系统经过十余年的发展，已形成集指挥调度、路况监测、信息发布等功能于一体的信息化智能交通管控系统，但与智慧城市的建设目标相比，仍存在一些不足和问题。1. 缺乏统筹规划的顶层设计目前，存在信息化规划不系统，顶层设计缺乏 。信息化系统各自为政现象依然存在，导致重复建设，或者各部门之间信息化相互脱节、相互制约，使得信息难以集成，信息化建设成本与收益极不对称。2. 信息化应用协同能力不够信息化系统建设以满足单一部门需求或局部业务需求为主，业务覆盖不全面，同时信息化应用尚处于业务线条应用与部门整合应用为主的阶段。业务应用不协同，系统之间相互割裂，形成一个个42、信息“孤岛”和“烟囱”，信息化与业务融合的广度和深度不够，影响了信息化带动交通管理和服务的现代化综合效能的发挥。3. 信息资源共享开放程度不够交通信息资源共享交换难度大，部门之间的信息壁垒难以破除，同时现有信息资源缺乏整合，数据质量不高，开发利用程度较低，其价值难以得到充分体现，严重削弱了信息化应有效果。4. 基础设施资源利用率不高信息化建设仍然摆脱不了“上一个项目，上一批设备”的传统建设模式，缺乏对信息基础设施的统筹规划和整体设计，为保证某一系统的可靠性，采用冗余容错的技术手段，主机、存储等资源利用效率不高，此外由于缺乏统一的运维管理工具支撑，系统运维管理难度较大，信息化建设的总体拥有成本（43、TCO）较高。2.4 国内外对比分析智能交通系统起源于上个世纪六十年代末，由信号控制发展到全面的交通管理和诱导，其中美国是应用智能交通较为成功的国家。1995年3月，美国交通部出台了“国家智能交通系统项目规划”，明确规定智能交通系统的7大领域和29个用户服务功能，并确定了到2005年的年度开发计划。据报道，目前传统的智能交通系统在美国的应用已达80%以上，因此也需要新技术来引领其产业的发展，在近几年通过VII、SmartDriver和Connected Vehicle等项目的推进，开展了智能交通领域的最新研究，虽然其项目名称不同，但是其核心研究内容都是在共享交通信息的条件下提高车辆的安全性和道44、路通行能力。目前Connected Vehicle项目已经在一定范围开展规模试验，其推广的立法工作也在推进中。美国政府要求将智能交通的发展与建设纳入各级政府的基本投资计划之中，大部分资金由联邦、州和各级地方政府提供，也注重调动私营企业的投资积极性。日本早在1973年就开始了对智能交通系统的研究。其智能交通规划体系包括先进的导航系统、安全辅助系统、交通管理最优化系统、道路交通管理高效化系统、公交支援系统、车辆运营管理系统、行人诱导系统和紧急车辆支援系统。智能交通主要应用在交通信息提供、电子收费、公共交通、商业车辆管理以及紧急车辆优先等方面。其最有特色的系统是车辆信息通讯系统（VICS）系统，其核45、心是在车载终端上增加通信功能，以获取实时的、多方面的道路交通信息，目前在日本已有超过1800万汽车安装了VICS导航系统。日本ITS系统建设以实用化为主，不太注重总体设计和基础理论研究，能用能推广的先建设。其商业模式走政府与民间企业相互合作的道路，特别是VICS的运作方式极大地调动了企业的积极性，加速了日本智能交通的开发与应用。欧洲在智能交通应用方面的进展介于日本和美国之间。由于欧洲由多个联系密切国家组成（交通和路网都是直通的），某个交通政策和系统的推广执行需要多个国家共同推进，难度非常大，因此其主要采取标准先行，企业跟进的方式进行ITS的推广。目前正在进行Telematic的全面开发，计划在46、全欧洲建立专门的交通（以道路交通为主）无线数据通信网，正在开发先进的出行信息服务系统（ATIS），先进的车辆控制系统（AVCS），先进的商业车辆运行系统（ACVO），先进的电子收费系统等。中国引入智能交通概念是上世纪90年代，起步晚于发达国家和地区。但十余年来借助后起优势发展非常快，由公安部、交通部主管的智能交通建设项目已经在大、中、小城市及高速公路广泛推广，覆盖了交通秩序管理、道路管理、车辆管理和交通信息服务的多领域。但建设和运维过程中，当前国内智慧交通主要还是体现在对传统交通的信息化和智能化管控方面，多数都是体现在松散的交通管理业务系统建设上，缺乏对智慧交通的顶层设计和总体布局，存在信息孤47、立和封闭的弊端，同时缺少为民服务功能。对于一些经济较发达的城市，如上海、深圳、宁波等，在大力的推进智慧城市的建设，其具体建设情况如下：一、 上海智慧交通建设情况上海市智慧交通建设围绕智慧出行、智慧管理与决策、智慧运营和智慧物流四方面，形成覆盖全行业的智慧交通发展体系，促进交通运输服务方式、运营组织方式、管理决策方式等转型升级。（一）智慧出行以互联网+交通的思维，聚焦公众出行需求，整合交通出行服务信息，在公共交通、出租汽车、道路交通、公共停车，以及公路客运等领域扩大信息服务覆盖面，使公众出行更便捷。1、综合交通信息服务。面向公众出行信息需求，通过移动终端、网站等多种载体，提供涵盖公共交通、对外交48、通和道路交通的综合性、多层次信息服务，包括交通资讯、实时路况、公交车辆动态信息、停车动态信息、水上客运、航班和铁路动态等，提供出行路径规划、出租召车、出行过程中的信息交互等服务。2、公共交通信息服务。聚焦公共交通出行信息需求，巩固动态信息（车辆位置信息）和静态信息（地面公交、轨道交通线网站点等）的查询与发布，拓展车辆到站动态预报范围。提升基于网站和移动应用的公共交通出行规划、换乘信息查询等信息服务。稳步推进基于有线电视等其他载体的出行全过程信息服务。3、出租汽车信息服务。通过将全市出租汽车、约租车和租赁车接入信息服务平台，利用网站、移动终端等方式，为公众提供营业性客运车辆的召车服务入口和投诉评49、价入口，方便公众叫车和用车投诉等需求。同时公开出租汽车企业服务水平、诚信等级、服务特色等信息。4、道路交通信息服务。深化高速公路、快速路和地面道路交通信息采集与处理，完善公路出行信息采集网络，通过移动终端、网站、可变信息标志等载体，丰富道路出行信息发布渠道，方便公众出行。5、公共停车信息服务。以上海市公共停车信息平台建设为重点，大力推进公共停车场（库）信息采集系统、道路停车场电子收费系统、公共停车信息综合管理服务系统的建设，全面提升停车行业信息化服务水平，最终实现停车行业与动态交通的有效衔接。6、公路客运信息服务。巩固公路客运行业联网售票成果，优化升级现有平台，为开展多元化售票方式提供安全保障50、和系统支撑。在此基础上，建立第三方票务管理和票款清分等长效运营管理机制，利用网站、移动终端等方式，为出行者提供高效便捷的班次查询和购票结算服务，促进公路客运行业持续发展。（二）智慧管理与决策以系统整合和信息交互的思维，整合行业数据，强化交通大数据应用，提高管理效能和决策水平。1、交通行政综合服务。以行政审批改革为契机，通过信息化促进业务受理审批的流程整合和简化，不断提高许可事项的网上办结率，确保委内信息贯通，构建事前审批、事中和事后监管的统一平台，创新行政服务模式、规范权力运行。2、营运车船动态监管。完善营运车船动态监管系统，提高“两客一危”车辆、“四客一危”船舶、重型载货汽车、牵引车、地面公51、交和出租汽车的接入率，加强对行业运行安全和服务水平的监管。推动北斗卫星导航示范应用。实现客运班线车辆、旅游包车和危险品货运车辆信息与全国道路运输车辆动态信息公共交换平台对接。3、安全保障应急处置。利用信息化手段支撑交通运输企业安全生产标准化考评管理，切实促进企业安全生产工作。通过数据融合掌握行业动态，强化监测预警工作，落实政府安全监管责任。完善热线处置系统，与后端信息系统互联互通，形成协同工作格局。深化应急预案，完善视频建设，发挥信息技术在应急指挥体系中的作用。4、综合交通大数据应用。汇聚整合行业基础数据、监管数据、营运数据，加强源头采集质量管控，确保数据的完整性、准确性和更新的及时性。强化大52、数据管理，推进交通信息资源向社会开放。强化大数据分析，探索车联网等技术应用，通过数据建模和挖掘，围绕公交线网优化、公交专用道建设、缓解道路拥堵等重点课题，为行业发展趋势研判、政策制定及效果评估等提供支撑保障。5、外部数据融合共享。加强与交通运输部、长三角、本市公安、建管、环保等相关职能部门的数据交换共享，发挥数据融合优势，加快实现与其他大数据平台的对接，在推进法人信息共享、黄标车老旧车淘汰、大气污染防治、公共信用信息整合等重点领域取得突破。（三）智慧运营以信息化促进传统行业转型的思维，逐步形成地面公交、出租汽车、轨道交通、路网建设、汽车服务等领域的一体化智能管理，实现交通系统有机整合、高效运行53、。1、公交运营综合管理。以一体化智能车载信息系统的完善升级为基础，实现运营管理所需数据的采集精准化、常态化和动态化，为科学调度、安全监管和应急处置提供支撑。逐步实现大范围、大规模的区域公共交通线路智能集群调度，在此基础上，实现公交调度、行车安全监控、公交场站管理、票务统计清分等业务管理的集成，支持公交安全、服务、成本管控的全过程管理和交互，促进传统公交企业的转型升级。2、出租汽车运营服务创新。打通出租汽车电调平台与互联网召车平台之间的信息渠道，提供多渠道便捷的召车服务，实现对出租汽车服务质量的动态跟踪、评估和管理。完善出租汽车信息服务平台，实现跨平台的信息互通，强化对车辆和驾驶员等要素的集约化54、管理，提高营运数据采集效率，推动出租汽车行业向站点招车和预约叫车模式转变，促进出租汽车行业改革，引导规范专车等新兴运营模式。3、轨道交通运营安全管理和应急协同。促进轨道交通线网基础设施、运行状况、运营数据、服务质量、隐患治理、安全保护区等综合检测和行政管理系统的建设，实现政府与企业在数据监测和采集方面的信息共享和互通，为运营安全服务考核、监管提供依据，为突发事件应急联动协同提供支持。4、路网信息基础设施建设。加快推进高速公路不停车收费系统（ETC）基础设施和服务网络建设，提高ETC收费车道、服务网点的覆盖率，着力提高高速公路收费站通行效率。以交通信息采集、汇聚和加工为核心，重点完善新城、新市镇55、交通流信息采集基础设施的建设，建立道路新建、改扩建时期交通信息采集基础设施同步建设机制，实现交通基础信息采集的准确化、精细化、动态化和全面化。5、驾培行业计时培训模式。坚持推进以驾培行业计时培训模式为核心的信息化体系建设，全面实现培训过程可监控，培训内容可追溯，提高行业集约化、信息化程度，促进驾培行业健康、长效发展。6、汽车综合性能检测智能化。通过专网建设，实现检测企业与监管部门实时信息互通，通过与营运车辆库的联通，实现各综合检测站网上车辆信息实时采集，采用限流、限量、锁定等一系列功能，规范车辆性能检测行为，确保营运车辆检测信息准确、完整。（四）智慧物流充分发挥平台经济和电子商务优势，推进上海56、国际航运中心建设，发挥新型物流信息平台作用，促进城市配送优化发展，构建高效率、低成本的本市现代物流体系。1、航运中心综合信息服务。围绕上海国际航运中心建设，加快建设集口岸监管、物流运输、航运信息等为一体的航运综合信息平台。建立统一数据交换系统，深化口岸监管业务改革，提高港口物流作业效率，建设满足特大型港口集疏运业务需求的多式联运信息系统，逐步完善航运服务体系，不断丰富上海航运指数产品，持续建设完善航运金融衍生品交易信息系统。2、新型物流信息平台。发挥物流平台供需撮合优势，针对大宗物流、空箱转运等需求，培育若干物流交易平台，以信息化促进市场在资源配置中的决定性作用，降低物流成本，实现平台经济效应57、。发挥物流平台数据交换优势，实现物流产业链的业务单据、车辆船舶动态、通关状态等要素信息的跨行业、跨区域贯通，提高物流效率，提升平台经济效应。3、城市配送优化发展。支持物流企业在融合信息技术和现代物流管理技术的基础上，加快城市物流配送平台建设，提高城市配送的集约化和专业化水平。鼓励物流企业适应电子商务和连锁经营发展的需要，在本市发展面向流通企业和消费者的社会化共同配送服务，发挥物流行业规模效应，促进城市配送的集约化发展。鼓励物流（快递）配送站、智能快件箱等物流设施建设，支持快递服务网络延伸，促进流通的现代化和消费升级。二、 深圳智慧交通建设情况深圳市智慧交通以“智慧深圳”的建设总体规划为依据，依58、托现代化综合交通体系和交通信息服务体系的建设，而现代化综合交通体系需要智慧交通体系、交通信息化体系、交通信息服务体系的支撑，交通信息服务体系主要基于交通物联网、交通云计算、交通云服务、交通云管理、交通云存储等交通“云”群的环境。建立深圳市ITS在构成区域与城市相结合的ITS体系结构与交通物联网深度融合上，协同快速建设与发展。（一）建设新一代ITS“1+6”工程：深圳市新一代ITS“1+6”（一个平台、六大系统）工程建设内容包括：交通信息交换平台；交通综合监测系统；道路交通综合调控系统；交通运输管理系统；交通运行指挥系统；公众出行信息服务系统；交通管理及应急仿真决策支持系统。（二）整合与提升智慧59、交通信息平台：通过技术层面和体制层面的整合，推进深圳市智慧交通信息平台建设，在合理的范围内实现信息和资源的充分共享，为城市交通运输系统的最佳运行提供决策支持。1、构建深圳市智慧交通信息平台：平台由交通监控指挥中心、交通运行指挥中心、城市交通信息中心三个“分中心”组成。2、整合原规划、交通、交警等已有平台。整合与提升原规划部门“城市空间地理信息平台”和“城市交通仿真平台”，形成智慧交通信息平台的规划子平台；整合与提升原交通部门出租车GPS监管平台等系统；整合与提升原交警部门智慧交通信息平台模式，包括交通信号监控、动态车辆车牌识别、交通违章查询、交通事故采集与分析、交叉口冲闯红灯违章抓拍等系统建设60、，形成城市交通微观层面的监控、疏解、管理支撑数据环境。3、建立统一的城市交通信息源总体接口。在城市间、城市内部部门各自分配的IP通道地址下，实现与城市交通信息源环境的信息共享。如面向政府部门交通信息交换与共享，通过城市交通信息中心信息源服务IP地址、分别与交通运输委信息源服务IP地址、公安局交通警察局信息源服务IP地址、规划与国土资源委信息源服务IP地址等进行交换与共享。（三）协同构建交通信息源网，实现九网合一，包含出行分布网、道路交通网、公交线路网、轨道客流网、信号控制网、停车诱导网、出租电招网、枢纽换乘网、设施位置网（T-GIS）。（四）加强路网运行监测与调控能力：在深圳市智慧交通信息平台61、基础上，逐步实现对区域与城市道路交通网络宏观调控，对交通拥堵常态化中观优化，对关键节点与关键路段微观疏解，对道路和区域交通状况进行辨识，增强行业管理部门对全网交通状况的监测与调控能力。（五）深化智能公交都市服务内涵：以服务广大公众出行为出发点，以“全面掌控、快捷透明、调控有度、安全保障”为总体目标，力争到“十二五”末期，建成“政府-企业-公众、大公交信息一体化”系统，实现公交车辆调度指挥电子化，建成城市的公交基础信息采集网络，实现公共交通出行信息服务网络化和行业监管信息化，集多方力量，吸引公众采用低能源消耗、低环境污染、低财政负担、低土地占用、低出行成本的交通出行方式，缓解城市交通拥堵。（六）62、丰富交通信息服务体系（两横两纵一平台）：深圳市交通信息服务“两横两纵一平台”体系，两横向：多模式与四级逻辑；两纵向：综合交通与交通“云”群环境；一平台：城市交通信息源中心平台。（七）推进区域与城市智慧交通架构：深圳市ITS体系结构是基于区域与城市相结合新模式设计的，用户服务领域主要包括九个方面：智慧交通信息平台，政府决策支持，公共交通管理，交通控制与管理，交通协同与应急指挥，道路基础设施管理，交通信息服务，电子收费，交通安全与车辆安全。经过优化与交通物联网融合，设计出深圳市ITS定义用户领域9项、用户服务47项、用户子服务154项。（八）支撑现代化综合交通运输体系，以深圳市的实际情况为基础，以63、适应城市工业化、快速城市化建设，有效满足城市交通运输需要为目标，以现代技术和科技进步为重要支撑，加快现代化城市交通系统建设，发挥组合优势，节约资源，实现可持续发展。为深圳实现“建设全球性物流枢纽城市、打造国际水准的公交都市、构建国际化现代化一体化的综合交通运输体系”战略目标提供技术支撑。三、 宁波智慧交通建设情况宁波市将以“固化一个战略（以服务为核心的国际水准智慧交通战略）、构筑六大体系（智慧交通状态感知与交换体系、智慧运输体系、智慧交通网管理体系、智慧港航物流信息服务体系、智慧交通运行调控指挥与协同体系、智慧化交通出行服务体系）、提供六类服务（服务城市运行、服务政府决策、服务行业监管、服务企64、业运营、服务百姓出行、服务产业发展）、形成四项机制（标准化与安全保障机制、信息整合与共享机制、智慧交通建设协同推进机制、智慧交通产业投入与产出机制）”为总体任务，推动人、车、船、路、港一体化发展，加快构建具有国际港口特色的智慧城市。综上所述，国内外城市对于智慧交通非常重视，已经将智慧交通作为智慧城市发展重点，在城市交通管控与通信行业的融合发展上已经先行的基础上，可以预见，城市综合交通管控，通信业和信息业的深度融合，将是未来智慧交通发展的方向。在建设和运维管理模式上，无锡尚需要打破行业壁垒，更好的鉴戒国内外成功经验，将各行业优势咨询整合利用，才能实现健康有序的交通生态系统。同时，对于国内外在智慧65、交通领域走了很多弯路，值得无锡借鉴： 车联网项目应用推广缓慢。具有代表性的是美国，他是系统提出车联网项目最早国家，也是基础研究最扎实的国家。但在应用推广中遇到了“先有鸡还是先有蛋”的问题，即：政府认为建设路测设备时如果没有车厂车载终端的配合发挥不了作用，而车厂在没有大量路侧设备支持前提下，不会主动加装车载设备。 总体设计和集成度不够。日本是实用主义引导产业发展，有用就建设，没有全面的总体设计和规划。其结果是前期投入的系统和设备不能支持新的应用，影响系统的建设。如，VICS最早用于信息服务采用移动通信技术，而最早的车和路侧设备安全应用数据传输采用红外方式，统一后需要采用新的标准推广，但到现在增加66、车车数据交互时又需要重新定义通信标准。 欧洲是松散的结合体，以标准推进带动企业自主发展，主动性不够。本项目将充分借鉴了智慧交通在国内外发展的问题和现状，具备较强的竞争力，表现在： 政策引导下的各行业融合协作：我国智慧城市发展和无锡市物联网发展相关政策都与智慧交通产业做出准确定义，尤其对各行业创新和融合做出要求，确保本项目的实施没有国外出现的行业壁垒； 科学定义规划和发展的关系：由于大量参考了的国外的经验和教训，我们在本项目开展过程中采用科学系统的方法进行项目规划，充分考虑无锡市以及全国的物联网发展趋势，制定务实可行的发展计划； 企业自主和政府督导结合：本项目的申报既代表了我国物联网产业各参与企67、业的自主性和自觉性，也代表了政府在宣导和推广方面做出的巨大努力。 国内外领先技术的继承和发扬：本项目的技术支撑单位将引入国内领先的行业专家和企业，也包括全球领先的软件公司。2.5 需求分析2.5.1 无锡传感网创新示范区发展需求工信部在无锡国家传感网创新示范区发展规划纲要（2012-2020年）指出无锡示范区拥有一批具有自主知识产权的物联网核心技术，形成具有国际竞争力的产业集群，基本形成结构合理的物联网产业体系，实现一批重点领域的典型示范与推广应用，构建一支高素质人才队伍，促进物联网标准化工作。其中，特别强调要建设智能交通作为四大示范工程之一和三大面向基础设施和安全保障领域的应用示范之一，提高68、市政基础设施建设管理与运营能力、重大突发事件快速响应能力、环境监测和保护能力，形成综合集成物联网应用的典型解决方案，加大推广力度，带动规模化应用和物联网产业发展。2.5.1.1 应用体系需求纲要专栏列举的“智能交通应用示范工程”应用示范工程中“以交通流量监测、停车和行车智能诱导、智能交通大平台、公交和客运智能化、道路桥梁健康监测系统和汽车移动物联网应用等为切入点，加强物联网和3G网络融合，打造跨区域、跨部门、标准规范、信息共享的综合智能交通服务平台，形成高集成、系统化、综合性的智能交通体系。”2.5.1.2 关键技术需求智慧交通是一项复杂的大型系统工程，对于涉及的相关关键技术提出了很高的要求，69、具体如下：1. 感知技术，包含地理位置感知与导航终端，传输技术，重点加强近距离无线通信、低功耗传感器节点、无线传感器网络、M2M终端、异构网络融合、网络可管可控等技术的研发与应用。2. 大数据技术：本工程中包含海量的异构数据，包含结构化数据以及图片、视频、文本信息等非结构化数据，因此在数据采集、处理、存储、分析、挖掘等方面上需要依托于大数据处理技术，才能满足在平台对性能的应用需求。其具体需要具备的能力如下： 海量数据处理，支持TB、PB级别数据存储与计算。 存储类型多样，支持结构化、半结构化、非结构化数据，比如图像、视频的分析处理。 高可扩展性，支持动态横向扩展，可部署在廉价x86物理机和虚拟70、机上。 高容错能力，无单点故障，通过自身软件容错，对硬件无特殊要求。 灵活性好，用途广泛，如：数据处理、推荐系统、数据仓库、市场活动分析、征信、反欺诈等多种业务。 性能优异，通过多节点并行处理方式提升性能，处理TB数据只需要几分钟时间。3. 同时，要求加强物联网体系架构、标识与寻址、频谱与干扰分析、信息与网络安全、产品标准测试等共性技术的研发与应用。2.5.1.3 产业发展需求智慧交通的建设要符合纲要提出的根据物联网发展需求，结合无锡实际，以经济运行、基础设施和民生服务等领域应用为重点，分步骤、分层次开展先导应用示范。形成通用性、标准化、技术自主掌控的应用平台。加强统筹协调，鼓励业务创新，探索71、商业模式，加快形成市场化运作机制，推进产业、技术与应用协同发展。同时，对完善服务平台提出了与电信运营企业共同建立服务平台的政策要求，“建设物联网应用推广服务平台。与电信运营企业等联合建立移动通信网、广电网融合的应用推广服务平台；与骨干企业建立面向行业应用的关键技术研发和标准应用推广服务平台，实施试点示范工程。”2.5.2 无锡“智慧城市”建设的需求无锡“智慧城市”建设中明确提出了智能交通建设，要求以高速公路管理、城市交通管理、道路桥梁检测、公共车辆调度、交通信息服务为切入点，加强物联网技术在感知、数据处理、服务推送等方面的综合应用，提高交通畅通、安全和绿色节能管理水平。2.5.3 无锡交通管理72、水平提升需求“无锡市智慧交通综合信息服务应用示范项目”建设需求：“一个体系、两个平台的建设”，即智慧交通基础支撑体系、综合交通智慧管控平台、多元交通信息服务平台这。通过建设交管云计算中心，为“城市大数据中心”提供有效的数据资源 ；通过建设综合交通智慧管控平台，为“城市管理综合信息平台”提供应用支撑；通过建设道路交通信息服务体系，为“民生服务综合信息服务平台”提供多元化、个性化出行服务。通过实现智慧交通与智慧城市各领域间的数据共享，有效提升城市综合管理水平。2.5.3.1 基础支撑体系需求建设一个为智慧交通提供信息感知、网络传输和安全、云计算基础平台、信息数据共享/交换/分析、应用服务支撑的基础73、支撑体系，具体包括：l 多源信息感知基础平台多源信息感知是智慧交通的信息感知基础，围绕智慧交通管控和交通信息服务的需求，拓展信息采集的手段、内容和范围，除传统交通信息感知外，还充分整合现有资源，利用先进的物联网感知技术和智能终端（RFID设备、车联网应用服务平台推广的车联网智能终端等），通过有线、无线、物联网络，针对人、车、路、环境、相关企业、机构等的信息，进行多源信息感知。l 网络传输和安全子系统网络传输子系统主要负责完成城市光纤网、物联网、蜂窝网络（3G/4G）、WIFI和DSRC无线网络等多网融合的互联互通传输任务。同时为保障数据的安全性，网络的可靠性，并按照政府网络安全管理的相关规范，74、建设网络安全子系统，通过物理隔离、网络监管、入侵检测、安全审计、病毒防杀等手段，为互联网、公安网、政务网三网的互联互通、安全可靠提供保障。l 云计算基础平台在充分利用无锡市现有云资源的基础上，建立智慧交通信息服务系统云计算基础平台，利用资源聚合、弹性调整、虚拟化等云计算关键技术，按需分配资源，实现基础设施的集约化、规范化管理，为智慧交通综合信息服务应用系统提供一个节能环保、能灵活扩充并可持续发展的、支持复杂业务逻辑、存储数据资源的云基础平台。l 信息数据共享管理子系统为实现本示范项目内的信息系统与智慧城市信息交互总平台的信息共享，建设共享管理子系统，制定相关规范，实现智慧交通与智慧城市其他领域75、间的数据交互，促进职能部门间的协作共赢。l 大数据分析子系统大数据分析子系统，基于海量数据，提供数据处理、分析的基础服务，针对多元数据格式，结合动态信息变化的特点，提供多种方式的计算分析框架、统计分析和数据挖掘方法，供智能交通管控和交通信息服务平台使用，为其决策分析提供基础服务。l 信息服务支撑总线子系统为实现本示范项目内不同系统间业务流、数据流、服务流的交互，保障业务数据和服务的一致性、规范性、共通性，系统间的独立性，建立信息服务支撑总线子系统，制定相关的规范，抽离公共的应用服务，为综合交通管控和交通信息服务的各类应用提供标准的公共服务以及接口。2.5.3.2 智能化综合交通管控平台需求一体76、化的综合管控平台，包括智能交通信号控制、动静态一体化道路交通发布和诱导、道路交通应急管理等子系统。具体包括：l 多元交通信息采集子系统系统整合现有各类交通信息，并在关键交通节点增设100套交通信息采集设备，创新交通信息采集手段，丰富采集内容，拓展采集范围，汇聚由固定流量检测器、视频监控、浮动车、RFID、交通信息服务终端等设备采集的交通信息，建设高效一体化的交通信息感知系统。通过该系统全方位采集包括交通流量、行驶速度，排队长度在内的交通运行参数；实时获取各类浮动车（包括校车、工程车、大客车、公交车、出租车、交通信息车载终端等）运行状态信息；全面掌握各类大型停车场的位置信息和实时停车泊位信息；动77、态监控交通感知网络各个节点（包括智能设备、通信设备、供电设备）的运行状态；实时获取各类交通突发事件信息、环境（气象）预警信息；准确采集勤务排班、岗点设置、警务线路、警员警力等交通管理信息，为交通事故自动发现、交通拥堵自动感知、交通信号智能控制、出行信息优质服务、交通秩序客观评价等提供全面、实时、准确的信息数据支持。l 交通大数据分析子系统交通信息大数据分析子系统。基于海量道路交通数据，建立多源数据智能融合分析模型，分析道路交通态势，为道路交通管理提供决策支持。具体内容为：建立全市路网出行量分析模型（OD分析），得出整体路网的交通运行规律；建立交通状态分析模型，实时展示路网的运行状态；建立行程时78、间计算模型，根据实时采集的交通信息，分析快速路上下匝道间、地面干道主要交叉口间的车辆行驶时间；根据警情严重程度、发生次数等因素，展示出拥堵、事故的热点效果；考虑路况、警情、警力的时空分布特点，计算四色分级管理指标；针对不同时段、不同区域，对信号策略的实施效果进行评价，提出改善建议；结合信号配时方案和交通流量，预测前位置前方小范围内的路段交通状态。利用分析得到的结果，为信号控制、交通诱导、应急管理、信息服务等应用提供数据支撑。l 智能交通信号控制子系统无锡市现有交通信号控制系统的智能化水平无法满足自适应协调控制的要求。系统通过新建智能化交通信号控制系统，并对主城区及重要道路的600个交叉口进行升79、级改造，实现路网交通的自适应控制及区域协调控制。信号控制系统根据不断变化的交通需求，自动调整周期、绿信比和相位差，实现信号系统的自适应控制；根据不同饱和度或不同控制策略，自动生成不同的单点或区域协调控制方案；针对节假日、大型活动、异常交通事件等特殊情形下的交通组织方案，提供最优的路口交通控制方案；结合警卫任务、特种车辆等个性化安保需求，实现基于位置的信号优先控制；对公交（有）对具备条件的公交线路行经路口路段，实施公交优先控制；在潮汐特征比较明显的道路和路口，实行智能可变车道控制；根据交通仿真的输出结果，对每个路口的放行周期进行调整，并分配信号周期内不同相位时长。l 动静态一体化道路交通发布和诱80、导子系统通过多种渠道，全方位发布道路交通信息，根据交通需求分布和路网结构，在城市主要交通节点增设100块可变情报板，在重点商圈停车场周边新建30块停车诱导屏，结合路网诱导策略，向公众及时发布当前主要道路的交通状态，方便其选择最佳的路径，减少交通堵塞，实现路况信息和实时停车场泊位信息的预案化、自动化发布，并为交通广播、互联网站、微博微信等交通信息发布媒介提供全方位的数据支撑。l 道路交通应急管理子系统全面掌握与应急处置相关的各类资源的基础信息和使用情况，根据紧急程度及影响范围逐项编制应急响应预案；从多种渠道，获取各种类型的道路交通事件信息，按照相应的预案，联动视频图像监控、信号控制、勤务管理、交81、通发布等相关信息系统，对事件救援过程进行实时监控，跟踪事件发展状态，优化调整应急处置指令，支持各级应急管理人员进行事件信息首报、续报、终报的流转；对事件处理情况进行后评估，根据事件处理过程中的各项反馈信息，对预案进行优化调整。2.5.3.3 道路交通信息服务平台多元化、人性化、一体化的信息服务平台。为了实现交通信息服务由传统的盲目发布、被动接收向智能的精确推送、主动交互的转变，本项目将构建智慧型交通信息服务体系，提供车联网综合应用服务。核心围绕在第三方交通信息采集、交通诱导信息多渠道发布、车联网服务支撑等方面。包括出行信息服务、行车辅助应用、行业车辆管理、服务支撑等子系统。具体包括：l 出行信82、息服务应用子系统以综合交通管理管控平台的数据为基础，利用微信、互联网、手机APP、导航终端等信息服务渠道，整合路况信息、停车泊位信息、视频信息、管制信息、天气信息、POI（交通出行兴趣点）信息，实现路况信息的实时推送，交通违法信息的实时提醒，停车泊位信息的智能提示和诱导，最佳路径的智能导航，出行方式的合理建议，周边出行兴趣点的实时告知等。l 行车辅助应用子系统通过交通监控系统和机动车辅助驾驶系统，对行人或非机动车的安全状态进行识别和判断，并采取预警等相应措施通知车辆驾驶员，确保行人和行车的安全。本系统由实时视频检测、危险冲突识别、预警信息发布三部分组成。实时视频检测对运动目标进行提取、分割，并83、提取其位置、速度等信息；危险冲突识别分析所有可能发生的冲突，发出预警信号；预警信息发布通过无线网络将预警信号传送给车辆和控制中心，为减少交通事故、降低行人因交通事故的死亡率以及重大交通事故的快速报警与紧急事件处理提供帮助。并且可通过车载联网终端，为驾车人提供安全行车的保障，降低因车辆故障引发交通事故的风险。同时分析驾驶行为，辅助用户纠正不正确驾驶习惯，提高驾驶安全性和降低油耗。所有的分析结果可以在车联网信息终端、智能手机和个人用户门户上展现。l 行业车辆管理应用子系统给工程车、公务车、校车、客运车、特种车、危化品车辆、公交车、物流车等行业车辆加装定制化的车载服务管理终端，实时采集车辆的定位信息84、，对车辆的运行线路、实时车速、行车时间进行监控，同时提供个性化的路线定制、路况推送、突发事件诱导、驾驶行为分析等综合服务。l 服务支撑子系统在通用化、综合化的出行和车联网服务的基础上，建设并整合集电话服务中心，救援中心、保险理赔中心、在线支付中心等个性化服务单元与一体的车联网服务支撑子系统，为出行过程中的个性化需求提供全方位的增值服务。负责交道路通信息针对车联网终端设备和包括个人电脑、智能手机和平板电脑在内的统一发布，同时集成来自城际在线的车载信息服务和第三方的增值信息服务，为智能交通管控平台信息采集提供更加广泛全面的交通信息。服务支撑子系统主要包含服务交付、业务支撑、信息采集与交互和运营管理85、四大部分。2.6 项目基础条件2.6.1 与项目直接相关的核心技术情况无锡市智慧交通综合信息服务应用示范项目拟将交警的交通管理和控制、交通运营商运营服务以及服务商的交通信息服务有机的整合，在共享交通信息的基础上保障城市交通的畅通安全，人民出行的舒适方便。因此项目的实施中需要整合信息采集、数据传输、数据处理、交通综合应用等多方面的核心技术。在国内顶级专家的指导建议下，通过反复论证，采用了一批国际领先的先进技术，包括：大数据，汽车移动物联网，区域联网系统控制技术，交通应急核心技术，安全辅助核心技术，节能减排分析技术等： 信息采集方面本项目中的交通信息不仅包括路面的交通流量信息，还包括用于出行前后的86、出行需求和停车场等信息，除传统的路面线圈、微波、视频检测器外，还包括现代信息技术发展带来了很多的新交通信息方法和核心技术。 通过RFID采集交通信息技术。项目将以安装了射频卡的出租车、公交车等车辆作为交通信息检测单元，在路网中铺设一定数量的读卡器，交通信息控制中心，实时采集RFID读写器传回的信息，实现这些车辆信息的实时定点采集。系统关键技术包括RFID读写器优化分布布局、对检测点交通流信息的准确估计、综合数据处理等。 停车泊位信息采集技术。停车泊位信息采集技术主要有两种类型：通过统计出入口车辆间接获取停车场内空余车位数；在每个停车位安装传感器，检查是否有车，从而直接获取停车场空余车位数。前者87、简单，一般停车场均具备该功能，但只能获取停车空位的数量，而不能获取空位的位置，不能进行停车场内诱导；后者较复杂，需增加投资，但可以获得空车位位置，方便进行停车场内车辆诱导。本项目拟在车流密集区停车场采用后者来获取停车泊位信息，进行车辆停车诱导。 数据传输方面本项目需要整合交警、交通运营商、信息服务商三方面的应用，各种应用对数据传输的要求是不一样的，交通安全、信号控制要求采集的数据能实时传输，而信息服务要求有大带宽的数据传输通道。单一的网络系统无法保证整个项目的传输需求，需要将多种网络有机的融合在一起。 汽车移动物联网和多网融合核心技术。由于本项目主要考虑用车联网实现信息服务功能，因此可以认为将88、已有的标准化电信传输模块来实现移动车辆的信息传输就是我们的车联网。多网融合是指将已有的多种类型异构网络有机结合起来，建立互通的数据传输通道。首先是在物理层实现通过网关实现“接入融合”，其次，也是融合的核心即通过协议协商实现“信息融合”、数据的统一分析与管理。 数据处理方面本项目涉及多方面的业务，实时、准实时、离线数据、以及各种中间处理产生的各种数据是海量的，为了保证数据的准确性、有效性和可用性，需要采用大数据平台来统一管理。大数据平台的海量数据分布式存储及检索技术的基础是分布式存储、检索技术和规范的数据统一存储、文件缓存、智能检索等。其核心技术是对海量数据的快速存取与检索，技术主要基于文件名、89、文件内容关键字等条件对文件进行快速检索，并支持任意大小文件统一存取和大规模应用。 交通管理综合应用服务方面本项目的用户、服务对象多样，应用差应性很到，也导致了其应用核心技术的多样性。在本项目中既需要采用传统交通管理中常用的区域联网协同控制技术、交通应急技术，也需要基于车路协同的交通安全辅助技术和将车辆排放、交通流有机结合进行环境估计与节能减排控制的技术。 区域联网协同控制技术。区域联网协同控制技术是指基于完备或准完备的网络化全景交通信息环境、实现区域交通出行调控、网络化诱导、时空动态优化的协同联动控制技术，能够有效提升交通运行效能、缓解交通拥堵。其主要包括网络化交通信息获取与交互技术、交通信号90、智能化分析与控制技术、区域动态协同优化控制技术和网络化智能诱导控制技术。通过建立区域交通基础信息环境、辨识和控制区域交通流量，进而合理引导和优化路网交通流分布，提升整个区域的交通效率。 交通应急核心技术。城市交通应急组织涉及众多部门，是一项复杂的系统工程，其核心技术包括重大交通突发事件评估流程设计与指标体系、交通突发事件态势评估、重大突发事件应急交通道路组织方法、城市交通实时运行性能评价系统。通过对重大突发事件的现场态势进行及时正确的评估，指导交通应急管理决策者有序获取、处理和评价所需数据，展开态势分析、预测与评估，自动生成应急交通组织措施和方案，实时评价执行效果，及时反馈，掌握突发事件处理进91、程。 安全辅助核心技术。运动目标识别技术以实时视频为数据源，对运动目标进行提取、分割，获取其位置、速度等信息，进而判断其类别（车辆、自行车或行人）并进行目标跟踪。危险冲突识别技术利用当前各目标类别和运动信息，分析所有可能发生的冲突，并根据行人安全识别的相关理论判别冲突危险程度，并对较危险的冲突发出预警信号。预警信息发布共享技术通过网络将预警信号传送给涉及的车辆和电子屏上，从而减少交通事故、降低行人因交通事故的死亡率。 节能减排分析技术。基于交通数据进行机动车尾气排放监测及分析的核心技术包括微观车辆排放建模和宏观区域排放建模。微观车辆排放模型用于描述特定车辆的排放与车辆运行工况的关系，通过定量分92、析不同污染物排放率与车辆运行参数的对应情况，拟合获取不同类型车辆的排放模型。宏观区域排放模型用于预测宏观区域内车辆的总体排放情况，通过微观车辆排放模型与宏观区域内各类型车辆的权重相结合确定特定区域内车辆排放的宏观预测模型。综上所述，本项目运用了交通，通信，信息领域的一系列国内外最先进技术和系统集成技术。2.6.2 项目已有基础本项目商业模式的创新点是通过城市交通管理综合业务与通信业，信息业的产业融合实现智慧交通产业链，在这个新商业模式的创建上，主要采用了智能交通物联网技术和汽车移动物联网的商业模式和相关技术。中国电信物联网应用和推广中心以及无锡市公安局在这两个领域各自具备大量的应用试点和推广经93、验，同时，本项目的各技术支撑单位在云计算、大数据等国际前沿技术也具备国内领先的水平，为本项目的应用和推广保驾护航： 汽车移动物联网应用和技术基础中国电信股份有限公司物联网应用和推广中心于2009年11月在无锡市揭牌成立，自成立以来，中心依托中国电信的网络、技术和渠道资源，结合现有物联网相关产品，研究与开发物联网产品和移动互联网产品。作为主网运营商，中国电信的数据和语音通信能力已经广泛应用在车联网领域，包括上汽安吉星，德赛、华阳等。现今中国电信股份有限公司在无锡已实施的项目平台有：中国电信江苏金融数据中心、中国电信车联网平台、M2M平台等。其中，数据中心的China Net及CN2的总出口带宽已94、达500G；中国电信集团车联网平台（TAP平台）实验平台已于2012年6月建设完成，车联网智能交通信息服务系统已在无锡首发上线，无锡、南京已有2000余辆汽车安装此系统，将可为无锡市提供各类服务应用的整合、汇聚、开放；在车载联网后视镜的研究中对车辆管理、实时路况导航、交通信息发布、紧急救援的相关技术也进行了深入的探索。近期，遵循无锡市加大对于公车监管的规定，中国电信股份有限公司物联网应用和推广中心为无锡市经信委实施了行政车辆管理系统，该系统是本项目的试点项目，主要是针对政府、企业、事业单位等针对单位内部行政车辆管理推出，使用对象是单位行政人员或车辆调度管理人员,功能主要包括车辆档案、驾驶员档案95、车辆保险、车辆年检、维修保养管理、加油管理、违章管理、事故管理、车务提醒、车辆状态、出行管理及各种统计报表。 中国电信拥有覆盖全国城乡、通达世界各地的通信信息服务网络，有着信息服务项目建设方面的丰富经验，为本项目的实施和未来车联网扩展奠定了良好的建设基础。 智能交通物联网应用和技术基础2011年11月，国家发改委、财政部授予无锡市公安局物联网项目“国家物联网应用示范工程”荣誉称号，标志着无锡市公安物联网工作达到了一个全新的高度。同年12月，公安部正式批复无锡市公安局率先开展全国公安物联网示范工程建设。根据无锡市委市政府国家“感知中国”示范区（中心）建设纲要中的要求，智能交通物联网作为“感知中96、国”示范区的示范工程之一，我支队十分重视，以实战应用为导向，强化技术突破和自主创新，积极推进智能交通物联网应用示范工程建设。目前无锡市智能交通系统所使用的主要技术手段有检测、传感、通讯、信息处理、信息发布、交互控制等，都是物联网技术。无锡市已基本建成覆盖全市的智能交通物联网雏形。从2002年至今，无锡市先后完成了“市公安交通指挥中心建设项目一期工程”、“市公安交通指挥中心建设项目二期工程”、“市公安交通指挥中心三期工程”、“无锡公安交通指挥中心移建项目”等智能交通系统建设项目，10年来无锡市智能公安交通指挥控制系统累计投入建设资金近8亿元。这个系统除具备常规的交通控制、交通监控功能外，还包含道97、路综合监测、信息诱导发布，非现场执法、交通安全监管和治安防控等强大的功能。无锡市的智能交通物联网依托公安交通指挥中心系统平台建设，目前覆盖范围为城区1350多个主要路口（段），达到建成区的95%，主要由以下几个子系统组成：（一）机动车流量采集系统；（二）交通监控系统；（三）交通信号控制系统；（四）交通违法监测系统；（五）动态诱导系统；（六）机动车轨迹系统；（七）停车诱导系统；（八）公安交通管理设施设备智慧运维系统。2.6.3 项目的政策优势本项目作为无锡市智慧城市建设的重点项目，符合各方面的政策发展需要。 符合国务院关于推进物联网有序健康发展的指导意见在国务院关于推进物联网有序健康发展的发展目98、标中要求实现交通等领域实现物联网试点示范应用，部分领域的规模化应用水平显著提升。主要任务中要求推动应用示范，针对交通等重要基础设施，推动物联网技术的集成应用，抓好一批效果突出、带动性强、关联度高的典型应用示范工程。 符合国家智慧城市发展规划在国家智慧城市暂定管理办法将智能交通作为国家智慧城市（区、镇）试点指标体系的考核指标，定义“智能交通，指城市整体交通智慧化的建设及运行情况，包含公共交通建设、交通事故处理、电子地图应用、城市道路传感器建设和交通诱导信息应用等方面情况。” 符合工信部针对无锡传感网创新示范区的发展规划工信部在无锡国家传感网创新示范区发展规划纲要（2012-2020年）指出：“到99、2015年，无锡示范区拥有一批具有自主知识产权的物联网核心技术，形成具有国际竞争力的产业集群，基本形成结构合理的物联网产业体系，实现一批重点领域的典型示范与推广应用，构建一支高素质人才队伍，促进物联网标准化工作”。其中特别强调要建设智能交通作为四大示范工程之一和三大面向基础设施和安全保障领域的应用示范之一，提高市政基础设施建设管理与运营能力、重大突发事件快速响应能力、环境监测和保护能力，形成综合集成物联网应用的典型解决方案，加大推广力度，带动规模化应用和物联网产业发展。应用体系：本项目的建设内容满足纲要专栏列举的“智能交通应用示范工程”应用示范工程中“以交通流量监测、停车和行车智能诱导、智能交100、通大平台、公交和客运智能化、道路桥梁健康监测系统和汽车移动物联网应用等为切入点，加强物联网和3G网络融合，打造跨区域、跨部门、标准规范、信息共享的综合智能交通服务平台，形成高集成、系统化、综合性的智能交通体系。”关键技术：在重点技术对应用的技术和创新做了具体要求“感知技术，包含地理位置感知与导航终端，传输技术，重点加强近距离无线通信、低功耗传感器节点、无线传感器网络、M2M终端、异构网络融合、网络可管可控等技术的研发与应用。处理技术。重点加强大数据存储、实时数据库、智能分析和决策、物联网应用中间件、高性能系统集成等技术的研发与应用共性技术。重点加强物联网体系架构、标识与寻址、频谱与干扰分析、信101、息与网络安全、产品标准测试等共性技术的研发与应用”。产业发展：同时，智慧交通的建设符合纲要提出的根据物联网发展需求，结合无锡实际，以经济运行、基础设施和民生服务等领域应用为重点，分步骤、分层次开展先导应用示范。形成通用性、标准化、技术自主掌控的应用平台。加强统筹协调，鼓励业务创新，探索商业模式，加快形成市场化运作机制，推进产业、技术与应用协同发展。商务模式：同时，对完善服务平台提出了与电信运营企业共同建立服务平台的政策要求，“建设物联网应用推广服务平台。与电信运营企业等联合建立移动通信网、广电网融合的应用推广服务平台；与骨干企业建立面向行业应用的关键技术研发和标准应用推广服务平台，实施试点示范102、工程。” 符合公安部信息化发展要求交通安全、交通堵塞及环境污染是困扰当今国际交通领域的三大难题。近几年，随着中国城市信息化的步伐加快，各地政府对城市交通投入增加，城市交通智能化建设也取得了初步成效。2012年随着各地智慧城市建设的推进，在智能交通行业IT应用投资方面加大了力度，2012年比2011年增长了27.56%，规模达到了317.5亿。CMIC专家预计受益于公安部道路交通安全“十二五”规划、道路交通科技发展十二五规划等多项政策扶持，未来10年国内智能交通投入将在1820亿元之巨。2012年12月，公安部正式批复我局率先开展全国公安物联网示范工程建设，也成为无锡公安局开展本项目建设的基础。103、 符合江苏省推动物联网产业的支持国务院关于无锡国家传感网创新示范区发展规划纲要（20122020年）的批复中要求“对于无锡国家传感网创新示范区的建设和发展要坚持创新驱动、应用牵引、重点突破、协同发展原则，把技术创新作为物联网发展的核心驱动力，以应用带动产业发展，积极创新商业模式，重点突破关键核心技术，先行先试，探索经验，打造具有全球影响力的传感网创新示范区，充分发挥促进我国物联网健康、持续发展的示范作用。”并提出支持“国务院各有关部门结合各自工作职能，加强对无锡国家传感网创新示范区建设和发展的指导，按照规划纲要要求制定出台具体政策措施，在规划实施、项目安排、财税优惠、金融服务、人才建设等方面给104、予积极支持。江苏省人民政府要认真做好规划纲要的具体实施工作，抓紧落实工作责任，完善工作机制，统筹资源，加快推进，确保完成各项目标任务” 符合无锡传感网建设三年计划无锡市在下发的市政府办公室关于印发无锡国家传感网创新示范区建设三年实施计划（2013-2015年）的通知的重点工作中要求建立智慧交通示范工程，要求“以城市交通管理、停车诱导、交通信息服务为切入点，在交通信息的感知与采集、数据融合处理、服务的推送与应用等方面推进物联网行业应用，促进交通的畅通、安全、绿色节能”。其中，特别就城市智能交通综合管理系统做出规定：建设城市智能交通综合管理系统，建设智能停车诱导系统，建设智能交通信息服务系统。在重105、点工作中，提出建设物联网综合应用示范工程要求。对商业模式提出的要求上下游协作的新型商业模式，并特别支持电信运营商的参与鼓励和支持电信运营、信息服务、系统集成等企业参与物联网应用示范工程的运营和推广。 符合无锡公安局的发展规划本项目基于规划的要求建立“以金盾工程为基础，以新一轮信息化建设为抓手，利用物联网、云计算等技术，构建集警务指挥、打防犯罪、社会管理和服务群众等为一体的物联网公共服务体系架构与基础平台；针对社会公共安全领域的重大问题，开展建设智能安防、智能交通等物联网应用示范工程”。对数据的分析，感知，获知，处理提出要求：“逐步实现重大事件预警感知、重点人员活动感知、机动车行踪动态感知、以及106、海量信息存储、云计算模式下的智能分析处理，充分整合社会信息资源，注重科技手段统筹运用”。提出“智慧公安”建设重点包括建设物联网共性平台和交通信息采集和发布示范工程。并特别提出“物联网共性平台作为公安物联网的重要支撑保障，深化公安机关与其他部门信息资源的共享和开发应用，将反映人员社会活动状态的信息资源（包括人、车、物、事等数据）进行动态汇聚，在最低投入下通过数据活化技术实现对已有社会数据的充分利用”；“探索基于云存储、云计算和云安全的桌面云试点应用，确保信息的采集端和应用端安全有序”。 符合智慧无锡建设三年行动纲要(2014-2016)该纲要提到要以“感知中国、智慧无锡”为主线，以“惠民、强企、107、优政”为宗旨，以“让城市更宜居、让产业更发达、让生活更便捷、让百姓更幸福、让社会更和谐”为方向，以“政府主导、企业主体、社会参与、市场运作”为原则，按照“整合、优化、共享、外包”的理念，整合资源，整合系统，整合服务，进一步提升无锡的城市管理、电子政务、经济运行和为民服务水平。2.7 项目的意义和必要性2.7.1 项目建设的必要性2.7.1.1 是转变无锡交通发展方式，推动无锡现代交通业发展的需要利用先进的信息技术，提升新的发展手段，立足于面向提高政府管理效率的同时，重点向社会提供公共服务，按照平台即服务的理念 构建面向政府、行业的云平台基础支撑体系，为转变无锡市交通发展方式、推动无锡现代交通业108、发展提供技术支撑。2.7.1.2 是支撑无锡交通信息化建设，提升无锡交通管理和服务水平的需要今后一段时期将是无锡市交通信息化快速发展的重要机遇期，行业将以智慧交通为愿景，以重大工程为牵引，以重点领域为示范，以基础条件为重点，全面推进全市交通信息化建设。为实现跨部门、跨层级、跨区域的信息资源共享和业务协作，为最大程度的实现信息基础设施的集约化建设，通过构建行业统一的、公共的、基础的云平台支撑环境，全面支撑无锡交通信息化建设，并通过信息化效能的发挥，提升无锡市交通管理和服务水平。2.7.1.3 是响应国家发展物联网、大数据产业战略部署，提高信息化建设水平的需要无锡市政府审时度势地提出要大力发展以物109、联网、大数据、云计算等新一代信息技术产业为代表的战略性新兴产业，以推动无锡市经济和社会发展、推动全市产业结构转型。通过在交通管理行业构建开放的智慧交通体系和平台，在满足行业管理自身需求的同时，也为其他社会企业、市民预留并开放了相关资源，在探索行业发展模式的同时，为政府全面发展物联网、大数据产业提供了经验借鉴，走出了一条符合无锡交通特色的信息化可持续发展道路。2.7.2 项目建设的意义本项目致力于打造“智于管理、惠及民生”的智慧交通示范体系，将大数据处理、云计算、物联网技术、数据通讯传输、电子控制及可视化等技术进行融合，运用于整个交通运输监管和服务体系中，通过“一个体系、两大平台”实现城市道路交110、通管理及民生服务的跨越式发展，形成智慧交通产业化示范，对于社会和经济具有重大而深远的意义。1、技术水平高，方案可行，可操作性强，能有效提升无锡交通的管理水平和综合信息服务能力；2、作为智慧城市建设的重要组成部分，对无锡市创建国家智慧城市意义重大；3、无锡市作为国家物联网高地的先进性、示范性得以充分体现，创新和孕育大量关键技术和标准，重大应用可在全国范围内复制与推广，形成规模效应； 4、产业前景广阔，经济效益巨大，可复制推广性强，对推进无锡市国家物联网产业创新示范区建设意义重大，带动整个无锡车载信息服务和物联网产业链的发展，达到年产值近300亿的市场效应，形成智慧交通的“无锡模式”，成为向整个市111、场推广的态势。5、服务社会、服务民生、社会效益巨大，节能环保，打造“魅力、创新、创业、幸福”的“四个无锡”，继而成为建设“美丽中国”的重要组成部分。3 项目总体方案3.1 建设思路及原则本示范项目建设思路及原则可概括为“立足交通、服务社会，需求导向、技术引领，统筹规划、分步实施，以人为本、服务为先，整合资源、重视长效，创新模式、应用示范”。（1）立足交通，服务社会本示范项目主要面向无锡市交通管理部门、交通运输企业以及社会公众等目标用户，重点支撑交通管理、企业运营和公众服务等业务领域。在满足无锡市交通管理和交通运输行业信息化建设需求的基础上，示范项目还将实现智慧交通与智慧城市其他领域间的数据交互112、，促进职能部门间的协作共赢。（2）需求导向，技术引领把握交通管理行业、交通运输乃至智慧城市的发展需求，从战略高度认知无锡市智慧交通综合信息服务的定位，以技术引领的理念建设云计算基础平台，充分发挥先进技术作用，促进交通各要素资源的有效组织和配置，实现信息化智能化引领交通管理转型升级，推动交通管理现代化发展。（3）统筹规划，分步实施本示范项目将在无锡市政府的统一领导下，统筹各级机构协调发展，统一发展思路，加强指导，明确任务，重点突破，分步实施，打破条块分割，推动集约建设，避免重复浪费，促进资源共建、共享、共用，缩小不同业务领域和各市区在智慧交通建设方面的差距，促进全市智慧交通协调、全面发展。（4）113、以人为本，服务为先积极响应党的十八大提出的“加快建设服务型政府”的要求，始终将“以人为本，服务为先”的理念贯穿于智慧交通综合信息服务建设中，引领无锡市智慧交通发展，促进政府服务转型。（5）资源整合，重视长效以业务为主线，以市郊巡警支队等核心部门数据为基础，充分利用现有网络、业务系统和数据资源，通过试点应用推进信息资源整合与共享，实现部门间业务协同，发挥各应用系统的综合效益，并根据项目要求进一步整合交通、城管、气象等监控体系和信息系统，实现资源更高效、更规范、更可靠的共享。同时，应通过优化信息化发展环境和管理制度等措施，保证项目的长效运行。（6）创新模式，应用示范本项目将坚持“政府引导、市场运作114、企业主体”的推进方式，在智慧交通综合管控、信息服务产品化的基础上，建立一个多元、开放、共赢的商业模式，引入产品的市场化运营机制，拉动交通信息服务产品的研发、生产、应用的产业化，形成智慧交通信息服务在物联网领域的产业化示范，为全国性推广奠定基础。3.2 总体目标到2018年末，依托无锡物联网产业高地优势，采用多元采集能力、倡导多网络融合、推动技术突破和创新、助力产业格局发展，推进网络平台、业务产品、商业模式、以及机制体制等多领域、多层面的创新。面向政府、市场和公众在政府决策管理、企业运营、百姓出行等方面的需求，建立智慧交通基础支撑体系，智能化综合交通管控平台、多元化交通信息服务平台，推动基础设115、施、运载工具和环境动态感知、行业内外数据资源整合共享、业务应用协同服务等建设，创新云计算、大数据产业发展模式，助力无锡市交通管理与信息服务业由传统产业向现代服务业转型，为无锡市经济社会实现跨越式发展提供有力支撑。满足用户服务需求多元化的趋势是本项目的核心建设目标，其中包括对政府、个人和企业三方面的内容。其中在服务于政府方面主要包含全面感知城市交通的运行状况，多元信息标准化融合处理，全面提升交通信号控制智能化水平，有效提升城市道路交通管理应用水平，构建智慧交通协同运作体系；服务于个人方面主要包含交通出行安全畅通的保障，交通出行应急疏导，综合信息服务的体验；服务于企业方面主要包括综合服务内容和增值116、服务。项目在提升道路管控水平、强化交通信息服务能力、开拓产业化推广渠道等方面开展了深入探索和研究，打造国内首创的兼具“交通信息采集”、“信息诱导服务”等多项功能于一体的“车联网”信息服务终端，规划设计集信息采集、智能控制、诱导服务于一体的综合信息服务应用平台。3.3 阶段目标根据无锡国家传感网创新示范区发展规划纲要（20122020年）、智慧无锡建设三年行动纲要（2014年-2016年），按照“基础构建、应用示范、应用拓展”的发展路径，以2016年、2017年、2018年为主要节点，分三个阶段推进示范工程建设。（1）基础构建期（2016年）发展路径：依托中国电信物联网应用和推广中心建设无锡市智117、慧交通综合信息服务应用的基础设施支撑体系，逐步建设前端多源信息感知、后端网络传输、安全、计算、管理、分析、GIS服务等构成的基础设施层；初步建设智能化综合交通管控平台和多元化交通信息服务平台，并接入新建及无锡市公安局交巡警支队现有各类业务应用系统数据，建设统一的交通管理数据资源中心。建设目标：到2016年，全面建成稳定可靠、安全高效、动态扩展、弹性伸缩的由云计算基础平台、多源信息感知基础平台、网络传输与安全系统、信息数据共享管理系统、数据资产管理平台，GIS服务系统、信息服务支撑平台构成的基础设施支撑体系；初步建成由多元交通信息采集、智能交通信号控制、交通大数据分析构成的智能化综合交通管控平台118、，以及出行信息服务应用系统为主的多元化交通信息服务平台，并建成统一的交通管理数据资源中心，逐步接入无锡市公安局交巡警支队现有业务系统的相关数据。（2）应用示范期（2017年）发展路径：在已有智慧交通基础支撑体系基础上，按需扩充信息基础设施能力，丰富和完善智能化综合交通管控平台、多元化交通信息服务平台的内容，逐步拓宽应用领域和应用深度，全面整合无锡市综合交通数据资源，深入开展交通大数据分析应用。建设目标：到2017年，新建信息数据共享管理子系统，形成完整、高效的智慧交通基础支撑体系；丰富和完善智能化综合交通管控平台、多元化交通信息服务平台内容，深化交通信息采集、智能信号控制、交通大数据分析和出行119、信息服务应用，重点新建动静态一体化道路交通发布和诱导子系统、道路交通应急管理子系统、路侧停车智能管理系统、精准化执法系统等；路侧停车智能管理系统、精准化执法系统、行车辅助应用子系统、行业车辆管理应用子系统、服务支撑子系统等；全面整合铁路、航空等数据资源，实现与公安、城管、气象等单位的信息资源交换和共享，推动交通运输大数据资源的聚集，向全社会提供交通诱导、应急指挥、智能出行、智能停车等服务。（3）应用拓展期（2018年）发展路径：在已有智慧交通基础支撑体系、交通管控和信息服务平台基础上，继续深化和拓展智能化综合交通管控平台、多元化交通信息服务平台的服务内容、应用领域和应用深度，全面整合无锡市综合120、交通数据资源，深入开展交通大数据分析应用。建设目标：到2018年，拓展智能化综合交通管控平台应用领域，新建交通事故快速处理及信息管理系统、执法全流程监管系统；拓展多元化交通信息服务平台的服务领域和内容，新建智能营销系统、交通诚信管理系统、智慧公交决策管理系统、智慧旅游决策管理系统、交通出行分析与辅助决策系统等，全面提升无锡城市整体的管理效率和服务水平。3.4 建设任务无锡市智慧交通综合信息服务应用服务项目的总体建设任务归纳如下：（1）构建功能完备的智慧交通基础支撑体系l 通过建设多源信息感知、网络传输与安全、云计算平台、大数据分析中心、数据资产管理、信息共享与管理、信息服务支撑总线、统一安全认121、证、GIS服务支撑等信息基础设施，实现技术支撑体系一体化。l 构建面向全无锡市交通管理行业统一的计算、网络、存储虚拟化资源池，实现资源平台根据业务需求动态扩展，为业务的可持续发展提供保障。l 建成统一的交通大数据资源中心，形成相对稳定的大交通数据资源框架体系，整合无锡市公安、交通、气象等单位的信息监控体系，适时开展大数据深度分析应用。l 建立统一高效的管理门户，实现对基础设施资源、综合交通管控、交通信息服务应用进行统一管理、权限配置、动态调度和自动管控。（2）建设智能化综合交通管控平台l 根据无锡市公安局交巡警支队等应用部门的业务需求，建设相关业务系统，实现多源交通信息采集、智能信号控制、动静122、态交通一体化发布和诱导服务、交通大数据应用分析、道路交通应急管理、路侧停车智能管理等业务应用。（3）建设多元化交通信息服务平台l 基于综合交通管控平台的交通大数据资源，建设相关业务系统，实现交通信息服务、行车辅助服务、行业车辆管理、智慧营销、交通诚信管理、智慧公交决策支持、旅游应急管理、交通出行分析与辅助决策等业务应用。（4）形成丰富的项目无形资产成果l 通过示范项目，总结形成无形资产成果，包括至少10项软件著作权、5项发明专利、3个行业标准、2本专著和若干篇论文等内容。l 总结并申请至少包括如下10个系统的软件著作权：数据资产管理系统、信息服务支撑总线子系统、动静态一体化道路交通发布和诱导系123、统、道路交通应急管理系统、智能交通信号控制系统、交通大数据分析系统、信息数据共享管理系统、路侧停车智能管理系统、出行信息服务应用系统、行业车辆管理应用子系统。l 总结并申请至少包括如下5项发明专利：多类型的实时交通数据采集及控制装置、交通事件信息定位方法及装置、交通数据信息服务系统及实现交通数据信息服务的方法、交通状态发布方法、交通状态图生成方法、装置及系统。l 总结形成至少包括如下3项行业规范：多元感知信息采集行业标准、信息数据共享交互行业标准、信息数据资产管理行业标准。l 总结形成至少包括如下2本专著：交通大数据理论方法研究、无锡市智慧交通综合信息服务应用实践。4 项目建设方案通过建设我市124、智慧交通综合信息服务平台，一方面实现我省交通行业基础设施一体化、运维管理集中化、技术支撑平台化、数据资源整体化、业务应用协同化、公众服务人文化和大数据产业化，构建新型智能交通管理与服务体系；另一方面能够做到以科技创新为动力，以信息化为依托，全面提升公安交通管理科技水平，提高整体素质和战斗力，为创造有序、安全、畅通的道路交通环境提供支持和保障。本期项目总体架构主要分为感知层、传输层、平台层、应用层、交互层5个层次，在5层架构的基础上，具体划分为“一个体系、两个平台”的建设内容：智慧交通基础支撑体系、智能化综合交通管控平台、多元化交通信息服务平台。总体架构图如下：考虑到无锡交通现有信息化程度及数据125、完整性因素，智慧交通综合信息服务平台计划分三期进行建设。一期实现交通行业数据源的统一管控与分析，完善智慧交通基础支撑体系，并能够实现基础的智能化综合交通管控和出行信息服务。一期建设内容包括： 多源信息感知基础平台 网络传输和安全子系统 大数据分析子系统 信息服务支撑总线子系统 云计算基础平台设计 数据资产管理 GIS可视化展示 门户管理 安全认证子系统 多元交通信息采集子系统 交通大数据分析子系统 智能交通信号控制子系统 出行信息服务应用子系统二期做到智能化综合交通管控平台和多元化交通信息服务平台的完善。二期建设内容包括： 信息数据共享管理子系统 智慧交通基础支撑体系改造 动静态一体化道路交通126、发布和诱导子系统 道路交通应急管理子系统 路侧停车智能管理系统 精准化执法 智能化综合交通管控平台改造 行车辅助应用子系统 行业车辆管理应用子系统 服务支撑子系统建设方案三期进一步完善智能化综合交通管控平台，并做到有效支撑智慧城市建设。二期建设内容包括： 智慧交通基础支撑体系改造 路侧停车智能管理系统 交通事故快速处理及信息管理 执法全流程监管 智能化综合交通管控平台改造 智慧城市能力支持4.1 智慧交通基础支撑体系4.1.1 多源信息感知基础平台4.1.1.1 系统概述多源信息感知是智慧交通的信息感知基础，围绕智慧交通管控和交通信息服务的需求，拓展信息采集的手段、内容和范围，除传统交通信息感127、知外，还充分整合现有资源，利用先进的物联网感知技术和智能终端（RFID设备、车联网应用服务平台推广的车联网智能终端等），通过有线、无线、物联网络，针对人、车、路、环境、相关企业、机构等的信息，进行多源信息感知。4.1.1.2 体系架构交通传感网要赋予城市交通灵敏、高效、泛在的感知能力，需要建立覆盖交通的信息采集、信息交换和信息服务的感知系统，构筑感知网，建设数据采集与汇聚软硬件体系，传感网信息采集与交换平台，制定物联网信息交换标准。智慧交通统一感知中心总体架构如图所示4.1.1.3 多源感知平台建设（一） 信息采集设备覆盖汇聚由固定流量检测器、视频监控、浮动车、RFID等设备采集的交通信息，实128、现无锡市城区主要道路、进出城区主干道交通信息采集的全覆盖。（二） 北斗地基增强系统该系统基于虚拟参考站（VRS）的网络RTK/RTD技术作为系统实时服务的主要技术手段，可以利用地面上精确坐标已知的基准站网，对卫星导航系统的空间信号各类误差进行校准，大幅提升用户定位精度，从而可以实现米级精度的北斗车道级导航。（三） 创新的感知技术应用1） 引入新的视频感知技术，检测、识别特定区域的车辆、行人运动，后期实现智能动态提取，补偿传统线圈技术的不足，同时服务与社会治安等用途，提高视频信息的使用效率。目前正在业内进行技术的调研与论证。2） 雷达感知新技术的引入：国内率先将中国航天科技集团军用的相控阵多目标129、跟踪雷达，结合视频设备，用于交通管理领域，目前正在无锡进行道路实测，计划于上半年通过行业及国家标准监测。（为今后项目实施的设备选型打好基础）3） 依托中国电信集团天翼全球眼系统，作为干道、支路的交通信息采集补偿手段。经许可，适度开放视频源，服务公众，提高交通服务的直观性和接受度。全国接入百万4.1.1.4 关键技术智慧交通统一感知中心主要有信息获取层、信息传递层、信息服务标准层和应用服务层构成，每一层都有相应的关键技术支撑中心的运行和维护。4.1.1.4.1 信息获取层信息获取层对应交通物联网的感知层，物联网的皮肤和五官即识别物体，采集信息。首先通过传感器、数码相机等设备采集外部物理世界的数据130、，然后通过工业现场总线、蓝牙、红外等传输技术传输数据。感知层所需要的关键技术包括检测技术、短距离无线通信技术等。交通传感网的信息获取层可以分为专用感知、视频感知、ETC感知、手机感知等。（1）专用感知传感器技术。传感技术同计算机技术与通信技术一起被称为信息技术的三大支柱。按仿生学观点，传感器就是“感觉器官”。微型无线传感技术以及以此组成的传感网是物联网感知层的重要技术手段。射频识别技术（RFID）。属于物联网的信息采集层技术。在国内，RFID已经在身份证件、电子收费系统和物流管理等领域有了广泛的应用。虽然RFID技术市场应用成熟，且标签成本低廉，但RFID一般不具备数据采集功能，多用来进行物品131、的身份甄别和属性的存储，且在金属和液体环境下应用受限。微机电系统（MEMS）。微机电系统（MicroElectroMechanicalSystems，简称MEMS）是指利用大规模集成电路制造工艺，经过微米级加工，得到的集微型传感器、执行器以及信号处理和控制电路、接口电路、通信和电源于一体的微型机电系统。MEMS技术近几年的飞速发展，为传感器节点的智能化、小型化、功率的不断降低制造了成熟的条件，目前已经在全球形成百亿美元规模的庞大市场。近年更是出现了集成度更高的纳米机电系统（Nano-ElectromechanicalSystem，简称NEMS）。具有微型化、智能化、多功能、高集成度和适合大批量132、生产等特点。MEMS技术属于物联网的信息采集层技术。全球定位系统GPS。GPS（GlobalPositioningSystem）是具有“海、陆、空”全方位实时三维导航与定位能力的新一代卫星导航与定位系统。GPS由空间星座、地面控制和用户设备等三部分构成。GPS测量技术能够快速、高效、准确地提供点、线、面要素的精确三维坐标以及其他相关信息，具有全天候、高精度、自动化、高效益等显著特点，广泛应用于军事、民用交通(船舶、飞机、汽车等导航、大地测量、摄影测量、野外考察探险、土地利用调查、精确农业以及日常生活(人员跟踪、休闲娱乐)等不同领域。GPS作为移动感知技术，是物联网延伸到移动物体采集移动物体信息133、的重要技术，也是物流智能化、可视化和智能交通的重要技术。（2）视频感知智能视觉物联网它是未来物联网中重要组成部分，对视觉感知范围内的人、车或其他物件等目标赋以“身份”标签，并识别目标的实际“身份”。利用网络化特点对大范围中的目标标签进行关联，有效地分析目标标签物体的实时状态，感知各类异常事件，就异常事件的发生向相关受体提出自动警示。其典型应用包括面向公共安全的物联网“三网合一”人脸识别系统平台（针对“人”类型的视觉标签），其中“三网合一”融合电信网、互联网、电视网，它支持移动终端、固定终端、视频终端的视觉或图像设备，实现反恐身份识别、电子商务、身份管理。在智能交通领域的应用（针对“车”类型的视134、觉标签），包括车辆规章管理等。未来发展的更高境界是智能视觉物联网综合应用系统平台。（3）ETC感知与车联网智能交通系统是利用现代信息技术为核心，利用先进的通讯、计算机、自动控制、传感器技术，实现对交通的实时控制与指挥管理。交通信息采集被认为是ITS的关键子系统，是发展ITS的基础，交通智能化的前提。无论是交通控制还是交通违章管理系统，都涉及交通动态信息的采集，交通动态信息采集也就成为交通智能化的首要任务。（4）手机感知基于便携式移动终端的虚拟地理环境协同感知兼有传统CSCW（ComputerSupportCooperativeWork）和MobileGIS的优点，不仅使群组协同方式有了更多、更135、灵活的选择，同时也使得各用户对虚拟地理环境的认知跳出了第一人称（firstperson）视点的局限，在移动性的基础上，为用户提供了多样化感知和适应技术，使得协作更加自然、流畅，实现人人都是传感器，人人都是信息机。因此，基于便携式移动终端的虚拟地理环境和社会性对协同感知与服务提出了更高的要求。（5）其它多源感知中心的信息获取层除上述方式外，也存在专业部门或机构的车载机动信息获取手段，如各类执法车，以下描述三类执法车得数据采集方法。路政执法车的数据采集摄像及图像采集系统：车顶配置摄像机，具有防水和红外夜视和被变焦功能，在无光的条件下可以观察景物，实现抓拍。对检测现场实时监控，检测全过程连续录像及存136、储、备份（预留专用接口、端子）。车载云台摄像机：云台控制可360度无限位旋转，仰视角度无盲点，通过同轴电缆将采集的模拟视频信号输入到无线编码器上。流动执法车的数据采集摄像设备采集视频信号传给笔记本电脑和车牌识别主机。当车辆经过激光测速仪时，测速仪判断是否超速，若超速，则控制摄像机进行违章证据捕捉。 另一路信号有车牌识别主机进行车牌识别功能，随后将结果传输给执法软件系统，系统记录信息，并与数据库中的车牌进行对比。土地监察执法车的数据采集由PDA（含CDMA无线上网模块），高精度GPS移动站，实地可查软件组成实地核查系统，能以土地利用现状数据、地图、遥感影像数据作为地图数据，实现地类图斑或宗地信息137、的快速采集、显示及发送。由车载工业控制机，车载信息服务软件实现对土地利用现状数据，基本农田保护数据，土地利用规划数据，遥感影像数据等数据的采集。4.1.1.4.2 信息传递层信息获取层获取的信息，首先要进入数据网络。传感器的数据传输通道千差万别，但是在大规模应用条件下，都会通过网关设备，将专用通道上的数据送入公共数据网（IP网）的数据存贮服务器。比较重要的网关设备有无线传感网的网关即WSN网关，由于通信技术、芯片技术的进步，很多的传感器直接通过WiFi或者4G网络，也可以快速将数据回传。若要实现不同感知网络的协议接入和解析，按照应用的场景既可以是某种特定的协议，也可以是某几种协议的组合，甚至可138、以通过外插模块实现多协议的扩展，达到融合接入的能力，这一点在公共服务应用领域尤为重要。4.1.1.4.3 信息服务标准层在物联网背景下，边缘操作的设备正在从嵌入式系统演变为物理网络，网络使得物体综合了计算过程和认知过程。认知装置、嵌入式计算机和网络，可以通过反馈回路监视和控制物理过程，反过来，物理过程也影响着计算和认知过程。这种物理计算和认知装置的集合（无线传感器网络、移动电话、嵌入式系统、嵌入式计算机、微型机器人等），为网络提供了新的设计机遇和挑战，也需要一些新的研究以解决数据和信号处理技术问题。虚拟世界和支持Web驱动的物体的典型特征是具有设备模型异质性、通信和认知能力，这种异质性带来了不139、同的执行模型：同步的、异步的、实时的和非实时的，也带了同步和异步两种通信模式，以及实时处理的调度方法。4.1.1.4.4 应用服务层应用服务层提供标准化的接口为智慧城市的各类应用提供服务。可以接受任何安装有协议驱动程序的设备发送的数据。在网络应用层支持的协议包括BACnetI/P、Modbus（ASCII、RTU、TCP、UDP）、OPCDA、1-wire、SNMP、SQL、HTTP、POP3、NMEA0183、MBus、DNP3、OpenV、网络摄像、vmsta（虚拟内存统计），底层则支持众多硬件供应商开发和使用的专有协议。甚至支持虚拟数据源，可用于生成基准数据或测试。另外，依据规则添加新的140、协议。4.1.1.5 交通数据分类4.1.1.5.1 根据采集技术和模式划分根据数据的采集技术和模式可划分为三大类：传统检测交通数据、现代检测交通数据、信号实时配时数据。每类交通数据的详细划分、所在位置总结如下表：序号数据大类数据细分数据归口备注1传统模式交通数据线圈交管局/交警支队、公路局/高管局传统检测模式数据主要由公安部、交通部主导建设，公安部（交管局/交警支队）重点负责城市道路交通流检测内容；交通部（公路局/高管局）重点负责高速公路、国道、省道的交通情况调查内容2压电3地磁4微波5超声波6激光7视频可见光8视频红外线9现代模式交通数据RFID电子车牌交管局/交警支队目前处于起步阶段，公141、安部在2013年与工信部签订了协议，共同推进RFID在公共安全领域应用10第三方公司如重庆市交通信息卡公司11GPS/北斗定位车载出租车公司浮动车信息采集处理12第三方公司如现代品牌汽车委托第三方公司实现基于车辆位置信息的增值服务13汽车厂商部分汽车厂商采集汽车轨迹信息14公交车公司实现公交车辆的实时监控和调度15GPS/北斗定位手机百度、高德用户通过安装运行百度、高德的导航地图APP，获取手机用户的位置信息16手机厂商如三星、华为华为、中兴等厂商17手机定位话务数据通信运营商（移动、联通、电信）用户在产生计费数据时的位置信息，话单数据类型有限，仅能记录出行轨迹的片段18手机定位信令数据通信运142、营商（移动、联通、电信）手机用户发生信令事件时的位置信息，能较全面地反映出行者的连续出行轨迹19网络舆情数据百度、谷歌等如节假日期间，通过获取网上的对旅游景点搜索记录，宏观上预测人们出行对高速公路/国省道的影响20火车-飞机-汽车订票数据火车站、航空公司汽车站公司有助于判断未来交通OD变化，尤其能从宏观上预估机场、火车站、汽车站交通枢纽的客流集散量21信号灯配时实时数据信号灯配时实时数据交管局/交警支队利用路口信号状态实时数据，提升路段和路网的短时预测精度4.1.1.5.2 根据数据归口划分从数据所属归口单位角度分类，最大的好处是有利于数据接入处理软件的落地和分步实施；划分为七个归口单位，详细143、如下表。序号归口单位数据类型1省交通厅/市交通委交调数据中心接入高速公路、国道、省道的交通流数据，分车道、分方向、分车型的断面统计流量，统计间隔可以灵活设置，最小间隔为1分钟；交调战采用的具体检测技术包括线圈、压电、微波、超声波、激光、视频以及多种技术组合。2交管局/交警支队指挥中心接入城市道路、路口的交通流数据和交通信号控制实时配时数据；原始统计间隔可以灵活设置，最小间隔为2分钟；具体检测技术包括线圈、地磁、微波、超声波、视频、RFID电子车牌以及多种技术组合。3通信运营商（移动/联通/电信）接入手机定位数据（话务、信令数据）；不同的定位技术（基于网络、移动台、混合定位）得到的数据类型有所差144、别。4地图导航公司（百度/高德/其他）获取手机用户（下载并运行导航APP软件的用户）定位数据，定位技术包括GPS、北斗导航技术。5汽车管理服务公司（出租车/公交车/第三方）从出租车管理公司、公交车管理公司、第三方公司（如现代品牌汽车）获取城市出租车、公交车和社会车辆的轨迹数据，定位采用包括GPS、北斗以及混合导航技术。6航空/火车/汽车公司从航空公司、火车站和长途汽车站获取购买机票、火车票和汽车车票记录统计数据。7互联网公司（百度/谷歌）从百度、谷歌等互联网公司获取景点等搜索记录数据，目前该类原始数据的质量不高，需要经过深入加工后方可作为预测人们交通出行量的一个参考。4.1.1.5.3 根据采145、集点和性质划分根据交通数据采集点和性质划分为五类，如下表序号分类数据描述1断面交通流数据高速公路、国省道的交通调查数据；城市道路断面交通流数据；主干道卡口数据。2路段行程数据包括路段平均行程时间、平均行程速度，可以直接匹配计算获取（如城市交警支队建设的基于视频的旅行时间检测系统），也可以通过基于车载GPS/北斗定位数据（出租车、公交车、社会车辆）综合计算得出。3路口交通流数据城市道路交叉口各进口、各方向的交通流数据。4交通出行数据用户手机定位数据；手机GPS/北斗定位数据；票务（飞机、火车、长途汽车）数据；网络舆情数据。5交通信号配时数据路口总体信号配时方案，当前执行的配时方案号，周期、相位以146、及绿灯时长；包括已联网和未联网路口。4.1.1.5.4 根据原始或加工数据划分根据接入数据是否原始数据还是统计加工后的数据标准，划分为原始数据和统计加工数据，具体如下表。序号分类数据描述1原始数据主干道卡口数据；路口信号控制配时实时数据；用户手机定位数据（话务、信令数据）；手机GPS/北斗定位数据；车载GPS/北斗定位数据（出租车、公交车、社会车辆）；网络舆情数据；2统计加工数据高速公路、高速公路/国省道的交通调查数据；城市道路断面交通流数据；路口流量数据；主干道卡口数据；票务（飞机、火车、长途汽车）数据；说明：主干道卡口数据即可以接入原始数据（记录每一辆车的经过信息），也可以是加工后统计数据147、（统计间隔灵活设置，如最小间隔2分钟），具体与交管局/交警支队的沟通情况而定。4.1.1.5.5 根据实时性划分根据数据是否满足实时性要求，划分为实时性数据和历史数据；实时性数据对接入程序通信有实时性能要求，历史数据可以通过批量离线拷贝方式接入。具体如下表。序号分类数据描述1实时性数据高速公路、国省道的交通调查数据；城市道路断面交通流数据；主干道卡口数据；路口流量数据；路口信号控制配时实时数据。2历史数据用户手机定位数据（话务、信令数据）；票务（飞机、火车、长途汽车）数据；网络舆情数据；以及实时性数据存储后变为历史数据。4.1.1.6 数据内容及接入方式传统检测模式按照检测技术细分为线圈、压电148、地磁、微波、超声波、激光、视频；按照具体检测场景地点分为路段、路口流量检测；按照系统建设归口单位，分为省交通厅/市交通委、交管局/交警支队。下边主要以系统建设归口单位划分，分析检测数据接入方式和策略。4.1.1.6.1 传统检测数据内容汇总传统检测数据的内容汇总如下表：序号分类原始数据（中间结果）统计加工数据1高速公路/国省道交调数据1、 线圈+压电：车道、车型、速度、温度、总重、轴数、幅值、总轴距、总过车数、检测日期、检测时间、加速度；2、 激光：序号、车型、车道、速度、车长、车宽、车高、检测日期、检测时间交通流统计数据：机动车类型、流量、地点速度、跟车百分比、车头时距、车头间距、时间占有149、率2断面流量数据检测器编号、断面编号、行驶方向、统计时间、流量、平均车速、时间占有率、长车数量3路口流量数据路口名称、进口编号、方向编号、统计时间、流量4卡口检测数据卡口名称、车道号、行驶方向、车牌号码、号牌颜色、车身颜色、车辆类型、车速、通过卡口时间、行驶状态、处理状态卡口名称、断面编号、行驶方向、统计时间、流量、平均车速5路段状态数据（旅行时间检测）记录编号、进入节点编号、离开节点编号、进入时间、离开时间路段名称、路段方向、起点名称、终点名称、计算时间、平均行程时间、平均行程速度4.1.1.6.2 高速公路及国省道交调数据接入（一）接入方式2008年10月26日，交通运输部在公路交通情况调150、查工作研讨会上发布了国家高速公路网交通量调查观测站点布局规划（简称规划。高速公路交通量调查工作，在国家高速公路网加速建设之际，进入一个新阶段。从规划的总体布设效果看，全国8.5万公里国家高速公路范围内共布设一类调查站2100余个，二类调查站22000余个，平均布设间距分别为40公里和4公里。（二）接入数据内容统计交通流参数：机动车类型、流量、地点速度、跟车百分比、车头时距、车头间距、时间占有率。其中，一类交调站与二类交调站除了平均布设间距不同外，要求采集机动车类型也不同，一类交调站满足二级分类要求（9种车型），二类交调站满足一级分类要求（6种车型）。机动车类型划分（参考交通运输部于2010年1151、0月29日发布了关于调整公路交通情况调查车型分类及车辆折算系数的通知）如下表：公路交通情况调查机动车车型分类表车型一级分类二级分类额定荷载参数轮廓及轴数特征参数备注汽车小型车中小客车额定座位19座车长6m , 2轴小型货车载质量2吨车长6m , 2轴包括三轮载货车中型车大客车额定座位19座6m车长12m,2轴中型货车2吨载质量7吨6m车长12m,2轴包括专用汽车大型车大型货车7吨20吨车长12m或4轴以上；且车高4.2m集装箱车载质量20吨车长12m或4轴以上；且3.8m车高4.2m摩托车摩托车发动机驱动包括轻便、普通摩托车拖拉机拖拉机包括大小拖拉机注：各车型的额定载荷、轮廓及轴数的特征参数均152、可作为判别车型的依据4.1.1.6.3 城市道路流量数据接入（一）接入方式城市道路（路段、路口）交通流采集由各城市交管局/交警支队负责，路段流量分为常规检测（线圈、地磁、微波、超声波）和卡口流量检测，路口流量检测主要有线圈、地磁技术。数据接入方式如下图：（二）接入数据内容（1）卡口采集交通流数据l 原始采集数据：即前端设备采集存储上传到交警支队卡口监测系统的数据，各个厂家采集的数据虽然细节上有所差异，但基本的字段（11个）内容：卡口名称、车道号、行驶方向、车牌号码、号牌颜色、车身颜色、车辆类型、车速、通过卡口时间、行驶状态、处理状态。l 统计加工数据：交警支队上端的卡口监测系统对原始采集数据以153、一定时间间隔（如2分钟）统计的断面交通流数据。基本字段（6个）内容：卡口名称、断面编号、行驶方向、统计时间、流量、平均车速。（2）路段交通流数据：交警支队上端的流量采集系统对原始采集数据以一定时间间隔（如2分钟）统计的断面车流量数据，基本字段（8个）内容：检测器编号、断面编号、行驶方向、统计时间、流量、平均车速、时间占有率、长车数量。（3）路口交通流数据：分进口分车道的交通流量，最小统计间隔为15分钟。基本字段（5个）内容：路口名称、进口编号、方向编号、统计时间、流量。4.1.1.7 各类检测器基本原理及数据类型4.1.1.7.1 线圈检测数据（一）基本原理感应线圈检测器的工作原理为：当车辆进154、入环形线圈形成的磁场时，引起电路调谐的频率上升，检测处理单元就是通过对频率改变或者相位偏移的响应，得出一个检测到车辆的输出信号，结构示意如下图：感应线圈检测的优点是经过几十年的发展到现已标准化，技术成熟、易于掌握，计数非常精确，同时系统非常稳定，不受环境的影响。它的缺点是安装过程对可靠性和寿命影响很大，维修或安装需中断交通，破坏路面，影响路面寿命。同时线圈易被重型车辆、路面修理等损坏，而且它的维护难度较大。（二）数据类型路段流量的数据类型：系统进行计算后得出车流方向、流量、平均速度、时间占有率、平均车长、平均车间距等信息。数据字段包括：采集时间（UPDATE_TIME）、车道（LINK_ID）155、平均速度（KPH）、流量（FLOW）、占有率（OCC）。4.1.1.7.2 地磁检测数据（一）基本原理车辆本身含有的铁磁物质会对车辆存在区域的地磁信号产生影响，使车辆存在区域的地球磁力线发生弯曲。当车辆经过传感器附近，传感器能够灵敏感知到信号的变化，经信号分析就可以得到检测目标的相关信息。采用低功耗、高灵敏度的强导磁材料，将地磁磁通线集中约束在比较小的空间，当车辆停驻、慢速接近或通过时，被约束的磁力线发生变形，产生原始信号，经转换、处理后形成一个电压随时间变化的曲线，如下图这些曲线具有如下特点：(1)各种车辆车体的铁金属材料分布不同，对地磁通线产生的变形影响不一样，所得出的电压-时间曲线形状156、也各不相同，各具特色。这一现象可以用来区分大货车和小客车、检测车身长度，也为识别车型提供了基础。(2)车辆车速改变，曲线的形状发生变化，而且时间轴的压缩量明显与车速成正比。车辆磁映像技术可检测小型车辆，包括自行车，缺点是很难分辨纵向过于靠近的车辆，安装费时费力。（二）数据类型（1）路段数据类型：流量、速度、占有率、车辆长度等；（2）路口数据类型：分进口分车道的交通流量数据：路口各进口各方向的交通流原始数据，如沈阳市SCATS系统（地磁检测）流量数据输出（TXT文本格式）如下，统计时间间隔为15分钟。4.1.1.7.3 微波检测数据基本原理微波传感器是以低功率微波信号在道路上覆盖的椭圆型区域内发157、射连续的调制微波，微波在经过车辆的表面会反射，形成回波，仪器接收到回波之后，通过对回波的分析，滤除背景及干扰因素，得到车流量、车型、车速等交通流相关数据。微波检测技术具有以下特点：全天候工作，在恶劣的天气下性能出色；可以检测静止的车辆；可以侧向方式检测多车道。不过微波对车辆依旧不能准确分型。单向安装双向安装目前，国内交通流检测的微波相关产品品牌情况如下表：数据类型检测数据结构类型：时间、速度、流量、长车流量、占有率、车道编号；统计间隔为2分钟。4.1.1.7.4 超声波检测数据（一）基本原理超声波传感器是靠发射某种频率的声波信号，利用物体界面上超声放射、散射检测物体的存在与否。超声波在空气中传158、播时如果遇到其他媒介，则因两种媒质的声阻抗不同而产生反射。因此，向空气中的被测物体发射超声波，检测反射波并进行分析，从而得到障碍物的信息。超声波传感器由于信息处理简单、快速并且价格低，在交调市场得到了广泛应用，但是其固有的一些缺陷仍旧得不到解决：（1）探测波束角过大，方向性差，往往只能获得目标的距离信息，不能准确地提供目标的距离信息，也即是说分车型误差极大，在实际应用中，往往采取其他传感器来补偿，或采用多传感器融合技术来提高测量精度等。（2）超声波受环境温度、湿度等条件的影响，以及超声固有的宽波束角，超生传感器在测距时与实际的值误差较大。现在安装效果如下图：（二）数据类型检测数据结构类型：时间159、速度、流量、长车流量、占有率、车道编号；统计间隔为2分钟。4.1.1.7.5 激光检测数据（一）基本原理以特定角度安装在立杆上的双激光高速扫描传感器会在车辆行驶断面上形成前后两束光幕，光幕之间的距离能够精确测定，当正常行驶的汽车闯入第一束激光幕时，激光传感器会迅速通过信号线缆传向中央数据采集控制器，并计算其触发时间、车辆高度以及宽度信息。通过前后间隔两束光幕还能进一步计算出车辆的速度以及长度，当汽车完全通过检测区域以后，系统会根据原始信息，包括长、宽、高以及一些局部特征，精确重构车辆三维轮廓，从而进行精确车型识别、数据存储以及打包，按照交通运输部规定的数据处理周期将统计的数据通过网络进行定时160、上传。系统平面布置图。现场安装如下图（龙门架）。（二）数据类型系统监测的原始数据字段（9个）包括：序号、车型、车道、速度、车长、车宽、车高、检测日期、检测时间。4.1.1.7.6 视频检测数据（一）基本原理视频检测车流量属非接触式的检测方法，也称为图片处理或人工视觉，是一种结合视频图像和电脑化模式识别的技术，主要有可见光视频检测和红外线视频检测两种。通过软件在显示器视频图像的车道上设置虚拟车道检测器，每个虚拟车辆检测器代表一个区域，当车辆通过任何一个虚拟检测器时，就会产生一个检测信号，再经过软件数字化处理和计算得到所需的交通数据，如车型、车流量、车速、车头距离、占有率、车辆排队长度等。视频检测161、技术存在大量的优点：由于是在显示器视频图像的车道设置虚拟检测器，因而在维护时无须封闭车道，无须开挖路面，也不会因道路重铺或拓宽车道而影响车流量的检测。检测点的变化只在监视器的图像上设定虚拟检测器的位置就可完成，不因道路的维修而中断交通检测。视频检测技术的缺点也很明显：大型车辆会遮挡随行的小型车辆，阴影、积水反射或昼夜变换也会造成检测误差，红外线视频检测昼夜可采用同一算法解决昼夜转换的问题，但可能需要很好的红外焦平面检测器，也就是要通过提高功率，降低可靠性来实现高灵敏度。（二）数据类型基于视频检测技术，根据具体应用场景的不同可以分为卡口检测应用、旅行时间检测应用。（1）卡口检测数据l 原始采集数162、据：即前端设备采集存储上传到交警支队卡口监测系统的数据，各个厂家采集的数据虽然细节上有所差异，但基本的字段（11个）内容如下：卡口名称、车道号、行驶方向、车牌号码、号牌颜色、车身颜色、车辆类型、车速、通过卡口时间、行驶状态、处理状态。l 统计数据：交警支队上端的卡口监测系统对原始采集数据以一定时间间隔（如2分钟）统计的断面车流量数据。基本字段（6个）内容如下：卡口名称、断面编号、行驶方向、统计时间、流量、平均车速。（2）旅行时间检测数据运用视频流数据，基于汽车牌照自动判别算法，通过在两个相邻的检测点对同一辆车的车牌进行判别分析，可以获得车辆的行程时间，行程速度等参数。若在给定的时间段内有多辆车163、经过特定路段，还可以得到该路段的平均行程时间和平均行程速度。交管局建设的旅行时间检测分析系统经过车牌比对筛选处理后输出的数据字段包括：记录编号、进入节点编号、离开节点编号、进入时间、离开时间。主要参数结构样式如下：4.1.1.7.7 RFID检测数据（一）概述RFID 技术及其在交通领域中的应用20 世纪 80 年代，由于大规模集成电路技术的成熟，射频识别系统的体积大大缩小。 使得射频识别技术进人实用化的阶段，成为一种成熟的自动识别技术。 该技术是利用射频方式进行非接触式双向通信。 以达到识别并交换数据的目的。 （二）基本原理最基本的 RFID 系统由三部分组成：射频卡(T 醒)、阅读器(Re164、ader)、天线(Antenna)，阅读器通过发射天线发送一定频率的载有加密数据的载波信号 。 当射频卡进入发射天线工作区域时产生感应电流 射频卡获得能量被激活 。 同时将加密的载有目标识别码的高频加密载波信号采用某种调制方式经卡内高频发射模块发射出去；系统接收天线接收到从射频卡发送来的载波信号，经天线调节器传送给阅读器，阅读器对接收的信号进行解调和解码，然后再送到后台主系统进行相关处理，如图 所示。目前， RFID 技术已经被广泛地应用到道路交通运输方面，可以收集到车辆流量、 平均车速 、车辆种类、车辆停止侦测及转向比等重要信息。 此外还在门禁管制、隧道监测、火车管理、交通信号优先权、乘客信165、息系统、公车站管理和火车定位等方面有着广泛的应用。RFID 技术具体应用到车辆中时，把射频标签安装在车辆挡风板上，由于需要频繁读写，所以采用微波无源标签；为了保证每个标签和车辆是一一对应关系 。 把卡号和车辆的相关信息都存人到卡的存储器中；阅读器采用防冲突技术，用一个阅读器和天线覆盖多个车道，实现多卡同时阅读。 同时对传输的数据进行加密，防止不法分子盗取数据以作它用 。 (具体参见下图)。基于 RFID 技术的实时交通信息采集处理技术的整体框架基于射频卡的交通信息采集处理技术应由以下三部分组成： RFID 读写器优化分布网络、信息采集车辆、交通信息中心。 系统将安装了射频卡的出租车、 公交车等166、车辆作为交通信息检测单元。 利用光纤或者同轴电缆构建一个通信网络。在交通信息控制中心，实时采集 RFID 读写器传回的信息，实现这些车辆信息的实时定点采集，以监测信息车辆经过路段的行驶状况和路段的行程时间，然后运用信息融合技术得到整个交通网状况的分析和预测，进而为有效地进行城市交通诱导提供决策依据。具体分为三个环节。1） 优化分布 RFID 读写器首先根据所在城市的拓扑网络结构，对各个主要路段的交通流信息进行调查，综合各种因素在该城市路网中安装 RFID 读写器。2） 实时采集数据将 RFID 读写器获得的定点瞬时速度、时间、车型、车牌、流量，通过数据检验、挖掘和参数估计算法转换为信息采集单元167、所在路段的区间平均速度、交通流量、行程时问 。3） 处理数据，分析预测利用信息融合技术。根据已有参数得出本路段当前时段的交通状态，并分析预测下一时段的交通流量和行程时间，再通过交通诱导系统，扩展到整个路网。由于信息车辆运动的随机性。利用RFlD技术检测网络可以实现对整个路网内主要路段交通状况较全面、同步、动态的了解。该方法对驾驶者的驾驶行为不做任何特殊的要求，信息的传递可自动完成。该方法可以实现整个路网数据全天候、实时采集处理；可以集定位、通信、交通诱导、信息服务等多种功能为一体。（三）关键技术将 RFID 技术应用到交通信息采集中，需要解决的关键技术有以下几个方面。1） RFID 读写器优化168、分布网络的建立RFID 读写器优化分布网络的建立RFID 读写器采集到的交通数据能否如实反映该路段的交通运行状态，与读写器在整个路网上的分布有着很大的关系。如果每一条路段都安装读写器，所需费用是十分昂贵的。在期望采集到完整的路网交通信息的基础上。尽可能地减少读写器的数目。这就是读写器优化分布的宗旨。优化分布的思路如下：由于出租车和公交车的运行线路大部分都在车流量比较大的城市主干道和快速路上。 因此在行程时间调查的前提下，可结合主干道和快速路的行程时间参数，以及整个城市路网交通流量的参数提出主干道或快速路上 RFID 自动识别系统的布设个数和基于图论的读写器布点方案。 其流程如图所示。2） 信息169、车辆的数目与整个交通流信息之间的联系选取多少个信息检测单元才可以达到对该检测点整体交通流信息的准确估计是该技术可行性的基石。参照蜂窝定位下的方法，在网络交通流平均密度为 p、平均路段长度为 、车辆漏测率为 p 的情况下，若需要达到对路网 E的测量结果，则需要的交通信息采集单元占整个交通流的百分比为：其中E 为检测准确率。假设在 L=500m、p=0.16 辆 m、p=O.1 时，欲达到 E =95 的检测准确率，则 a=4.16。在城市的主干道上。分布着大量的公交车和出租车,所以选取城市的公交车、出租车作为信息采集单元，所采集的数据可以较全面地反映出整个路段的交通状况。3） 对采集所得数据应该170、及时处理，过滤病态数据，并根据有效数据，采用合适的算法。得到各项参数,为交通预测和诱导提供依据。A、 数据过滤由于各种原因会导致测量数据不同程度地失效, 如不同类型检测单元的行为特性不同、不合理的驾驶行为、RFID 检测器检测范围有限、装有 RFID 卡车辆之间的干扰、通讯故障导致的数据丢失等,这些客观原因都会导致大量的病态或丢失数据仍存储于原始测量数据中。数据过滤包括对错误数据的剔除和丢失数据的补偿,其中数据剔除通常采用阈值法和交通流机理法；丢失数据的补偿通常采用历史均值法、时间序列法、车道比值法和自相关分析法等同。B、 单一路段基本交通流参数的估计路段平均速度是极为重要的交通流参数之一, 171、通常可以根据经典的流量 - 速度 - 密度关系曲线求出路段的流量、密度等参数。 由于在同一路段不同的检测位置上,信息采集车辆的速度特性具有一定的差异性，因此选用区间平均速度。 考虑离散时间的第 k 个采样间隔。 假设路段i 上的交通流平均速度为 ui(k)，且该路段有 nd(k)瞬时速度测量值 ui1， ui2、uind，则可根据公式(2)对路段平均速度进行实时估计。4.1.2 网络传输和安全子系统4.1.2.1 网络传输需电信提供网络传输子系统主要负责完成城市光纤网、物联网、蜂窝网络（3G/4G）、WIFI和DSRC无线网络等多网融合的互联互通传输任4.1.2.2 云平台安全设计4.1.2.172、2.1 云平台安全需求分析信息系统的安全保护等级由两个定级要素决定：等级保护对象受到破坏时，所侵害的客体和对客体造成侵害的程度。受侵害的客体包括三个方面：(1) 公民、法人和其他组织的合法权益；(2) 社会秩序、公共利益；(3) 国家安全。等级保护对象受到破坏后对客体造成损害的程度归结为以下三种：(1) 造成一般损害；(2) 造成严重损害；(3) 造成特别严重损害。定级要素与信息系统安全保护等级的关系如下表所示。受侵害的客体对客体的侵害程度一般损害严重损害特别严重损害公民、法人和其他组织的合法权益第一级第二级第二级社会秩序、公共利益第二级第三级第四级国家安全第三级第四级第五级根据本工程系统服务173、对象和业务应用功能需求，结合定级要素与信息系统安全等级保护之间的关系，深入分析本系统工程建设内容对国家安全、社会秩序和公共利益三个方面的影响，确定本工程的、应急数据、运输管理数据、公众出行数据等，具有一定的保密要求，一旦信息泄露或者系统被破坏，有可能会对公民、法人和其他组织的合法权益产生严重损害，或者对社会秩序和公共利益造成损害，但不损坏国家安全。因此，建议在系统安全上均应满足信息系统安全等级第二级的相关要求，高安全要求业务参考安全等级第三级的相关要求。云计算数据中心要面对来自局域网、广域网和Internet网等不同用户的访问，由于访问用户所处的位置不同，访问的内容也不一样，因此其安全威胁的特174、点和等级都各不相同，有必要针对不同的用户采取不同的安全防护策略。如针对Internet网的用户需要进行DDos的检测防御、安全权限的控制以及木马、病毒的检查；面对内网用户主要进行安全区域的隔离和病毒的检查。图 数据中心安全框架无锡市智能交通数据中心部署在交通运输专网，安全威胁主要来自局域网内部和互联网的攻击。相应的防范措施主要包括设置防火墙、网络入侵防御系统、安全域隔离、防病毒网关、主机防病毒、虚拟化安全等。4.1.2.2.2 数据中心安全场景设计安全类别特性名称安全解决方案备注基础设施安全物理安全网络安全VPN接入服务网络入侵检测网络入侵防御流量清洗防火墙/虚拟防火墙运维堡垒主机网闸防病毒网175、关漏洞扫描应用安全WEB应用防火墙网页防篡改邮件安全主机安全主机病毒防护虚拟化安全虚拟机模板加固虚拟机隔离（安全组）虚拟化层安全云主机vFW、vIPS安全防护，防止云内虚拟机内部攻击数据安全防数据丢失数据加密（Guest 操作系统 Encryption 全盘加密）文档权限管理数据销毁身份认证管理密钥管理（PKI）双因子强认证身份识别与访问管理IAM安全管理安全管理中心安全设备管理合规性检查4.1.2.2.3 物理设施安全设计参考GB/T 22080 信息技术 安全技术 信息安全管理体系 要求和GB/T 22239 信息安全技术 信息系统安全等级保护基本要求中的相关描述，数据中心物理安全需满足以176、下要求：GB/T 22080 信息技术 安全技术 信息安全管理体系 要求GB/T 22239 信息安全技术 信息系统安全等级保护基本要求A.1 物理和环境安全技术要求 物理安全A.1.1安全区域目的：防止对组织场所和信息的未授权物理访问、损坏和干扰A.1.1.1物理周边安全使用安全周边（诸如墙、卡控制的入口或有人管理的接待台等屏障）来保护包含信息和信息处理设施的区域2.物理访问控制A.1.1.2物理入口控制安全区域应由合适的入口控制所保护，以确保只有授权的人员才允许访问2.物理访问控制A.1.1.3办公室、房间和设施的安全保护应为办公室、房间和设施设计并采取物理安全措施A.1.1.4外部和环境177、威胁的安全防护为防止火灾、洪水、地震、爆炸、社会动荡和其他形式的自然或人为灾难引起的破坏，应设计和采取物理保护措施1.物理位置的选择4.防雷击5.防火6.防水和防潮A.1.1.5在安全区域工作应设计和应用用于安全区域工作的物理保护和指南A.1.1.6公共访问、交接区安全访问点（例如交接区）和未授权人员可进入办公场所的其他点应加以控制，如果可能，应与信息处理设施隔离，以避免为授权访问2.物理访问控制A.1.2 设备安全目的：防止资产的丢失、损坏、失窃或危及资产安全以及组织活动的中断A.1.2.1设备安置和保护应安置和保护设备，以减少由环境威胁和危险所造成的各种风险以及未授权访问的机会3.防盗窃和178、防破坏7.防静电A.1.2.2支持性设施应保护设备使其免于由支持性设施的失效而引起的电源故障和其他中断8.温湿度控制9.电力供应A.1.2.3布缆安全应保证传输数据或支持信息服务的电源布缆和通信布缆免受窃听或损坏3.防盗窃和防破坏10.电磁防护A.1.2.4设备维护设备应予以正确的维护，以确保其持续的可用性和完整性A.1.2.5组织场所外的设备安全应对组织场所的设备采取安全措施，要考虑工作在组织场所以外的不同风险A.1.2.6设备的安全处置或再利用包含物理介质的设备的所有项目应进行核查，以确保在处置之前，任何敏感信息和注册软件已被删除或安全的写覆盖A.1.2.7资产的移动设备、信息或软件在授权179、之前不应带出组织场所如上表所示，GB/T 22080 信息技术 安全技术 信息安全管理体系 要求中A.1物理和环境安全中说明了对于物理和环境共13项安全控制要求，GB/T 22239 信息安全技术 信息系统安全等级保护基本要求中针对14级信息系统的物理安全分别从物理位置的选择、物理访问控制、防盗窃和防破坏、防雷击、防火、防水和防潮、防静电、温湿度控制、电力供应、电磁防护10个方面阐述了具体要求。在云平台数据中心物理安全基础设计中，需按照数据中心所运行信息系统安全评级的最高等级，将对应级别的物理安全要求作为物理安全的完整需求。4.1.2.2.4 网络安全设计云平台数据中心聚集了大量生产、办公服务180、器，地理上一般集中部署在中心机房。为了保障数据中心业务系统的网络安全，交通厅用户和下属单位都要访问数据中心应用，必须要考虑用户接入的安全。同时在内部也存在各安全级别不同的业务系统与区域，通过采用合理的安全区域划分，将数据中心的网络功能分区划分到不同的安全区域内，实现严格的安全区域划分和细微的访问控制；在数据中心边缘和内部主要存在如下的网络安全威胁：(1) DOS/DDOSDDOS攻击分为带宽消耗性攻击（大流量攻击）和主机资源消耗性攻击。带宽消耗型攻击会对内部数据中心出口造成流量压力，阻塞内部数据中心业务网络，影响内部云业务运行。主机资源消耗型攻击使服务器处理大量并发攻击请求，严重影响服务器内存181、数据库、CPU的处理性能。(2) 僵尸网络僵尸网络是采用一种或者多种传播手段，将大量主机感染僵尸Bot程序，从而在控制者和被感染者主机之间形成的一个一对多控制的网络。(3) 垃圾邮件和垃圾邮件web攻击针对上面所述的这些威胁和攻击，提出了安全域划分、安全域隔离、异常流量清洗、入侵检测和防御四方面解决方案。（1）安全域划分安全域是一个逻辑范围或区域。同一个安全域中的信息资产具有相同或相近的安全属性，如安全级别、所面临安全威胁、安全弱点、风险等。同一安全域内的系统相互信任。安全域级别定义与划分是各类安全控制设计和部署的基础。安全域设计参考下图的安全域模型：图 安全域模型将云平台数据中心的网络功能182、分区从总体上划分为四个安全域类别，即公共区、过渡区、受限区和核心区：安全域类别说明公共区公共区是数据中心与外部公共网络存在直接连接的区域，区域内的安全实体包括自身所拥有的Internet接入设备。该区域连接不在直接控制范围内的实体和区域，包括来自Internet的用户资源、线路资源等。此区域定义为非安全区域，安全风险等级高，需要对从此区域来的数据流进行严格的控制。过渡区过渡区在逻辑上是位于公共区与受限区/核心区的中间地带，用于分割两者之间的直接联系，隐藏受限区/核心区内的资源，使之不被外部了解，不会有直接的网络数据流通于这两个分隔的区域之间(公共区与受限区/核心区)。l 过渡区内的安全实体包含183、了所有能被非信任来源直接访问并提供服务的系统和设备；l 数据中心对外提供服务的系统和设备，如Web服务器、DNS服务器、应用前置服务器、应用网关、前置通讯机等。过渡区是易受攻击的半信任区，机密数据应尽量不放置于此。受限区受限区是数据中心内部网络中安全级别较高的区域，区域内的安全实体通常包括内部终端，如业务终端、办公终端等，非核心的OA办公应用、开发测试服务器区域也可以定义为受限区。受限区属于被信任区域，原则上从公共区到受限区不应该有直接的访问数据流，应通过过渡区的服务器作为网关/代理进行转接。如果由于应用的限制存在直接的访问数据流，则必须经过严格的安全控制。核心区核心区是安全级别最高的网络区域184、，包含了重要的应用服务器，提供关键的业务应用；也包含核心的数据库服务器，保存有机密数据；还包含管理控制台和管理服务器，具有管理所有系统的权限和功能。因此核心区应该受到最全面的安全技术手段的保护，同时对其内部系统和设备的访问及操作都需要通过严格的安全管理流程。核心区属于被信任区域，原则上从公共区到核心区不应该有直接的访问数据流，应通过过渡区的服务器作为网关/代理进行转接。如果由于应用的限制存在直接的访问数据流，则必须经过严格的安全控制。受限区与核心安全区的互访也应该经过严格的安全控制。（2）安全域隔离 云平台数据中心网络为“分层分平面”的网络架构，整体组网分为核心层与接入层两个层次以及管理、计算185、存储、业务4个平面。a. 管理和业务平面隔离：计算、管理在不同的VLAN平面b. 应用三层架构平面隔离：可以根据业务需要，把WEB-APP-DB划分在不同的VLAN平面。 各业务区根据需要可以划分为不同的VLAN实现二层隔离。对于重要的服务器安装基于主机的IDS软件，识别各种攻击； 通过在数据中心出口安装统一安全网关UTM或者防火墙来实现对安全区域的隔离。（3）异常流量清洗流量清洗技术是采用基于DPI技术的检测机制，深入分析各个报文的每个字节，可以有效的识别流量型攻击、应用型攻击、扫描窥测型攻击和畸形包攻击等多种类型，自动下发引流策略到核心路由设备，将异常流量引入清洗设备进行清洗。同时，可查186、看报表、攻击事件，清洗情况。以DDOS为首的异常流量攻击已经成为一种趋势，攻击方式多样，攻击流量剧涨，导致带宽拥塞，影响业务存活。同时基于应用层的CC攻击不断发展，流量小且危害大，难以识别与防御。流量清洗的具体解决方案如下图所示。图 异常流量清洗异常流量清洗方案通过动态流量模型、深度包检测、报文特征匹配等技术对各种对数据中心的流量型FLOOD攻击和应用层的CC攻击进行精准识别和防护。异常流量清洗方案先把流量镜像到DPI检测设备上，进行流量旁路检测，然后根据检测的结果对包含异常流量的部分引流到清洗设备、清洗完成后把正常流量进行回注。由于是旁路检测和清洗，因此在有效清洗的同时并不影响数据中心网络的187、可靠性。异常流量管理中心提供安全策略管理和下发功能并输出各种攻击报表，包括清洗前后流量对比图，攻击源IP当前攻击的详细信息（攻击的目标、攻击开始的时间、流量所在的FW、当前的攻击流量等）、攻击日志、流量趋势等报表。（5）入侵检测和防御随着网络攻击技术的不断提高和网络安全漏洞的不断发现，防火墙无法发现隐藏在允许通过的流量中的攻击流量。入侵检测系统IDS（Intrusion Detection System）对掺杂在应用数据流中的恶意代码、攻击行为、DD操作系统攻击等进行侦测，并实时进行响应。可以根据预先设定的安全策略，IDS引擎可以深度感知并检测流经的数据流量，对流经的每个报文进行深度检测(协议188、分析跟踪、特征匹配、流量统计分析、事件关联分析等)，如果一旦发现隐藏于其中网络攻击，可以根据该攻击的威胁级别立即采取抵御措施。这些措施(按照处理力度)包括向管理中心告警、丢弃该报文、切断此次应用会话、切断此次TCP连接等，对滥用报文进行限流以保护网络带宽资源。4.1.2.2.5 数据安全设计随着智能交通建设的逐渐深入，数据面临着诸如数据丢失、数据被篡改、数据被盗等各种数据安全问题。尤其是云计算技术在数据中心的应用，又引入了新的数据安全问题。针对传统和现在的一些数据安全需求，本方案从数据的传输、存储、数据访问控制等方面提出了解决方案：（1）数据加解密数据的加解密主要依赖于加解密算法和加解密密钥。189、同时，加解密密钥的管理也决定了加密数据的安全。在云计算中心相关的数据加解密业务中，对于用户数据均采用对称算法和对称密钥实现加解密。（2）用户卷访问控制系统对每个卷定义不同的访问策略，没有访问该卷权限的用户不能访问该卷，只有卷的真正使用者（或者有该卷的访问权限）才可以访问该卷，每个卷之间是互相隔离的。（3）存储节点接入认证存储节点采用标准的iSCSI进行访问，并且支持CHAP（Challenge Handshake Authentication Protocol）认证功能，CHAP 认证功能可以提高应用服务器访问存储系统的安全性。存储系统启用CHAP 认证以后，应用服务器侧也必须启用CHAP 认190、证，同时在存储系统中把应用服务器的信息加入到存储系统的合法CHAP用户， 只有经过CHAP认证通过以后才能连接到存储系统并存取数据。（4）剩余数据删除数据销毁又称剩余信息保护，是指用户敏感数据（系统管理数据、用户鉴权数据、重要业务数据等敏感数据）所使用存储空间在被重新分配给其他用户使用前要被彻底擦除，以确保原用户敏感信息安全性。在诸多的数据安全技术中，数据销毁作为其中一项关键技术，从而使云平台的用户无需担心自己的敏感数据信息会因存储资源的重分配而遭泄漏。（5）数据备份云平台数据中心的数据存储采用多重备份机制，每一份数据都可以有一个或者多个备份，当数据因存储载体（如硬盘）出现故障的时候，不会引起191、数据的丢失，也不会影响系统的正常使用。系统同时对存储数据按位或字节的方式进行数据校验，并把校验的信息均匀的分散到的阵列的各个磁盘上。阵列的磁盘上既有数据，也有数据校验信息，数据块和对应的校验信息会存储于不同的磁盘上，当一个数据盘损坏时，系统可以根据同一带区的其他数据块和对应的校验信息来重构损坏的数据。（6）传输安全用户数据在传输过程中可能遇到被中断、复制、篡改、伪造、窃听和监视等威胁，需要保证信息在网络传输过程的完整性，机密性和有效性。云平台数据中心传输安全由以下几个方面保证： 管理信任域与非信任域之间全部SSL加密； 用户管理接入支持Https，安全性要求高的提供SSL VPN接入； 运维人192、员接入管理提供SSL VPN接入方式； 用户远程访问虚拟机支持SSH； 分支机构与总部数据中心的数据传输支持IPSec VPN。4.1.2.2.6 主机安全设计（1）主机安全威胁目前的病毒破坏力异常强大，在功能上已经超越了单纯感染文件的范畴，而是通过与黑客技术相结合，通过感染客户端，如开发人员的台式机等，在这些主机上留下“后门”，因为这些客户端与业务服务器相连，之间有一定的信任关系，因此恶意的用户可以利用这些“后门”获取相应主机的控制权，继而控制业务服务器，对整个交通厅业务数据造成重大威胁。同时，恶意的工作人员还可通过在云计算中心网络中散布病毒，借助病毒程序极强的扩散能力占据大量的网络带宽，对193、业务系统的关键主机形成拒绝服务攻击，造成整个系统的性能急剧下降，影响整个数据中心网络的正常运行。因此，在考虑数据中心病毒防护工作的时候，应从整体的角度出发，充分考虑到每一个可能导致病毒入侵的环节，对云计算中心自有设备进行统一管理，避免遗漏任何病毒的入侵点。（2）病毒防护设计本方案建议在数据中心部署网络版的病毒防护系统，对关键服务器进行重点的病毒防护。对需要进行病毒防护的主机安装agent，通过部署于运行管理区的AV Server统一进行病毒防护策略管理。针对数据中心防病毒的要求，对基于Windows、linux、UNIX平台的服务器提供全方位的病毒防护能力，能有效地捍卫重要业务服务器和局域网内194、的信息安全，免于计算机病毒的攻击。病毒防护技术通过实施监控和扫描磁盘发现病毒时进行查杀、隔离、删除等操作，以达到保证主机安全的目的。4.1.2.2.7 虚拟化安全设计（1）虚拟化安全威胁用户在利用虚拟化技术带来好处的同时，也带来新的安全风险。首先，虚拟层能否真正地把虚拟机和主机、虚拟机和虚拟机之间安全地隔离开来，这一点正是保障虚拟机安全性的根本。其次，传统意义上的网络安全防护设备无法预防云内部虚拟机之间的恶意攻击。数据中心生产数据部署在虚拟化平台，考虑到当前针对虚拟化平台的安全威胁主要包括： 虚拟机攻击Hypervisor 虚拟机之间的攻击和嗅探 Hypervisor自身漏洞产生的威胁 可以导195、致虚拟机无法正常提供服务，数据安全（机密性、完整性和可用性）被破坏。 病毒蠕虫带来的数据完整性和可用性损失，以及虚拟化网络可用性损失。 系统配置缺陷，系统自身存在安全缺陷，使攻击、滥用、误用等存在可能。（2）功能设计针对虚拟化层所面临的安全威胁，云平台在虚拟化层面需要提供的安全功能特性包含： 支持vLAN的网络隔离通过虚拟网桥实现虚拟交换功能，虚拟网桥支持vLAN tagging功能，实现vLAN隔离，确保虚拟机之间的安全隔离，从而确保同一物理服务器运行的虚拟机之间通信数据安全。Bridge支持vLAN tagging功能，分布在多个物理机上的同一个虚拟机安全组的虚拟机实例，可以通过vLAN 196、tagging对数据帧进行标识，网络中的交换机和路由器可以根据vLAN标识决定对数据帧路由和转发，提供虚拟网络的隔离功能。 支持安全组的网络隔离虚拟机安全组是一组虚拟机的集合，也是关于这组虚拟机的网络安全规则的集合。同一个虚拟机安全组中的虚拟机可能分布在多个物理位置分散的物理机上，因此虚拟机安全组的作用是在一个物理网络中，划分出相互隔离的逻辑虚拟局域网，提高网络安全性。本功能允许最终用户自行控制自己的虚拟机与自己的其它虚拟机，或与其他人员的虚拟机之间的互联互通关系。虚拟机之间的互通限制是通过配置安全组组间互通规则来实现的。一个用户可以创建多个安全组，但一个安全组仅属于一个用户所有。用户在创建虚197、拟机时，可以制定该虚拟机所在的安全组。属于同一个安全组的虚拟机，是默认全部互联互通的。属于不同安全组的虚拟机，是默任全部隔离的。安全组规则属于单向的白名单规则。用户可以设置允许自己的某个安全组内的虚拟机接收来自其他安全组内的虚拟机的请求，或来自某个IP地址段的请求。请求类型也是可以配置的，比如TCP，ICMP等等。安全组规则随虚拟机启动而自动生效，随虚拟机的迁移在计算服务器间迁移。用户只需要设定规则，无须关心虚拟机到底运行在哪里。 虚拟机防护运行在虚拟机中的客户操作系统也存在与物理系统相同的安全风险。虚拟化无法消除这样的风险。不过，对单个虚拟机的攻击只会危及该虚拟机自身的安全，而不会危害到运行198、该虚拟机的虚拟化服务器。虚拟机病毒防护系统由端点保护服务器和虚拟化服务器上的端点保护客户端构成，端点保护服务器统一控管整个网络的端点保护客户端，包括主机防病毒、主机IPS、主机防火墙策略的设定和配置，日志的收集，病毒码、扫描引擎等组件的更新。通过在每一个运行的虚拟机上部署防病毒客户端，用于保护虚拟机的安全。 虚拟机模板加固在模板中获取加强了安全性的基本操作系统映像（未安装任何应用程序），可以确保创建的所有虚拟机都具有已知基准级别的安全性。随后便可以使用该模板创建其他特定于应用程序的模板，也可以使用应用程序模板部署虚拟机。确保随时更新模板中的修补程序和安全工具。 虚拟机资源管理虚拟化平台能够精确199、控制主机资源的分配。通过使用云平台的资源管理功能，如份额和限制，可以控制虚拟机所消耗的服务器资源，因此，受到攻击的虚拟机不会对在同一台物理主机运行上的其他虚拟机造成影响。可以利用这一机制来抵御拒绝服务攻击，此攻击会导致被入侵的虚拟机消耗大量的主机资源，致使同一台主机上的其他虚拟机无法运行其指定功能。 虚拟机到物理主机的通信管理虚拟机可以将故障排除信息写入虚拟机日志文件，该文件存储于云平台系统中。对虚拟机用户和进程有意或无意的配置会导致其滥用日志记录功能，将大量数据注入日志文件。经过一段时间后，日志文件会占用物理主机文件系统的大量空间，将硬盘填满，致使主机系统无法再正常运行，这就构成了拒绝服务攻200、击。可配置系统使其在日志文件达到一定容量后轮换或删除日志文件。（3）恶意VM防护 防止VM的地址欺骗Hypervisor的Vswitch将VM的IP地址和MAC地址绑定，限制虚拟机只能发送本机地址的报文，防止VM 的IP地址欺骗和ARP欺骗。 VM的恶意嗅探Hypervisor中得vswitch为交换型以太网（非像Hub的共享型广播网），不同VM的数据包被转发到指定的虚拟端口，即使在同一台物理宿主机上得VM也接收不到其他的数据包，防止VM的恶意嗅探。（4）云OS的裁剪与加固对云计算平台各节点的操作系统均进行了裁剪加固和安全设置。 操作系统裁剪云平台所使用的操作系统，根据系统安装最小化原则进行了201、裁剪：即只安装业务需要的组件，其它无关组件一律不安装。裁剪后的操作系统软件体积大幅缩减，大大降低了系统遭受攻击的威胁和风险。 安全配置各节点的操作系统参考CIS（Center for Internet Security） Linux操作系统安全benchmark进行了安全配置：如关闭不安全的服务，设置账号密码复杂度策略、合理设置文件和目录的权限等等。本工程配置的虚拟化软件能够满足虚拟化安全的要求。4.1.2.2.8 云安全管理设计 云安全管理包括数据库审计和运维审计。 数据库审计设计数据库是任何商业和公共安全中最具有战略性的资产，通常都保存着重要的商业伙伴和客户信息，这些信息需要被保护起来，以202、防止竞争者和其他非法者获取。互联网的急速发展使得企业数据库信息的价值及可访问性得到了提升，同时，也致使数据库信息资产面临严峻的挑战，概括起来主要表现在以下三个层面：管理层面：主要表现为人员的职责、流程有待完善，内部员工的日常操作有待规范，第三方维护人员的操作监控失效等，致使安全事件发生时，无法追溯并定位真实的操作者。技术层面：现有的数据库内部操作不明，无法通过外部的任何安全工具（比如：防火墙、IDS、IPS等）来阻止内部用户的恶意操作、滥用资源和泄露企业机密信息等行为。审计层面：现有的依赖于数据库日志文件的审计方法，存在诸多的弊端,比如:数据库审计功能的开启会影响数据库本身的性能、数据库日志文203、件本身存在被篡改的风险，难于体现审计信息的真实性。伴随着数据库信息价值以及可访问性提升，使得数据库面对来自内部和外部的安全风险大大增加，如违规越权操作、恶意入侵导致机密信息窃取泄漏，但事后却无法有效追溯和审计。为了解决数据库信息安全领域的深层次、应用及业务逻辑层面的安全问题及审计需求，以独立硬件审计、旁路监听的工作模式，完整的协议解析，灵活的审计策略配置，智能的建模白名单自学习机制，完整的数据库审计与操作回溯，实时的性能监控和快速精确的全文检索，解决各行业核心数据库所面临的“完整数据审计、越权使用、权限滥用、异常接入”等安全威胁，满足合规性要求。 运维审计设计图 运维审计平台功能结构统一运维审204、计平台功能设计如上图所示，主要考虑3方面的问题：用户接口、平台管理、资源控制等。采用模块化和组件化的设计思想，将整个运维平台分为6个功能子系统，结合用户接口、系统接口来完成图示的所有功能。模块 分类功能模块功能子模块功能细项身份管理身份管理用户管理支持管理员创建用户、用户自注册，实现系统用户与自然人间一一对应。从账号管理支持用户在所有权限的资源上建立账号，及配置扩展属性。密码管理按照SOX方案要求定义用户密码强度，自动更新周期、计划更新时间，可通过邮件方式通知用户修改后的密码。策略管理对于用户有效期、密码有效期、密码修改有限制认证管理认证管理认证策略管理支持从用户、资源的角度分别定义认证强度。205、认证方式管理支持第三方认证方式的接入，如数字证书、双因素等认证方式。认证服务普通用户认证模块支持对普通用户类型(以符合密码策略的字符串作为密码)的认证标准的Radius认证接口提供标准的Radius认证接口，可以很好的第三方的认证系统结合认证策略用户认证策略用户登录资源时所采用的认证方式。资源认证策略资源所拥有的认证方式，资源认证策略级别高于用户认证策略，即当资源和登录它的用户拥有同等级别的认证策略时以资源策略为准。授权管理授权管理岗位管理屏蔽掉各个主机、网络设备、应用系统授权方式的不一致，统一按岗位的方式给用户授权。网络设备授权支持包括、Cisco、华为、Juniper、Foundry、Ex206、treme、Alcate、中兴、Redback、3Com等各大主流厂商在内的各种网络设备授权Unix网关授权支持Solaris,IBM AIX,HP-Unix, UNIXWARE, SCO Unix,DEC,Linux 系列操作系统命令级别权限控制审计管理审计管理协议分析支持通过Telnet、SSH、RDP、X11、VNC、SFTP、FTP等方式的运维操作协议进行审计关联分析系统实时接受审计事件并建立用户、资源、从账号间关联并还原会话信息。告警管理支持按关键字、操作者、用户、资源定义告警策略，并及时向管理员告警；告警方式除了管理界面中的实时显示外，提供了邮件告警方式事件维护支持按月、按天定时备207、份、删除原始事件，提高系统运行效率报表管理报表管理操作会话审计 改密日志审计事件日志审计登录事件审计配置日志审计综合日志报表系统 管理平台管理安全管理 为了加强系统本身安全，系统采用SSL加密访问、登录采用强身份认证同时可限制访问时间、访问来源。运行管理显示本系统平台CPU占用率、内存使用，分区使用情况等服务器运行状态以及数据库占用空间、系统各个服务运行状态单点登录用户接入访问网关支持Solaris,IBM AIX,HP-Unix, UNIXWARE, SCO Unix,DEC,Linux 系列主机Telnet/SSH接入并提供单点登录功能。登录门户支持B/S结构、C/S结构应用系统单点登录功208、能并提供用户自服务功能。4.1.3 信息数据共享管理子系统4.1.3.1 系统概述为实现本示范项目内的信息系统与智慧城市信息交互总平台的信息共享，建设共享管理子系统，制定相关规范，实现智慧交通与智慧城市其他领域间的数据交互，促进职能部门间的协作共赢。4.1.3.2 数据采集接入4.1.3.2.1 数据采集平台提供多种类型的数据接入手段，以满足无锡IT系统对数据采集现状的要求，如：采集手段可包括“推”模式、“拉模式”、web上传模式、直连模式等。4.1.3.2.1.1 离线采集离线采集，即非实时采集；采集可分为 “推”模式和“拉”模式两种。离线采集“推”模式：即，各行政单位定期将数据推送到信息共209、享资源平台指定的前置机存储设备进行存储，可采用FTP可SFTP等相关方式；平台负责周转前置机设备实现数据的入库等相关操作。离线采集“拉”模式：即，各行政单位具备自有IT系统数据缓冲前置机的，由信息共享资源平台定期到指定设备进行数据采集。4.1.3.2.1.2 实时采集实时采集主要以“推”模为主，即在信息共享资源平台前置设备建立数据监听机制，监听各行政单位是否将数据推送到信息共享资源平台指定的前置机存储位置，当发现存储设备有数据产生时，实时地将数据采集到信息共享资源平台，用于数据的处理工作。4.1.3.2.1.3 WEB服务采集针对各行政单位IT系统无法提供数据文件的，通过信息共享资源平台提供W210、EB页面，用户登录系统，可进行数据录入或直接上传文件数据。基于WEB的采集，系统提供自定义表单的功能，以满足不同行政单位数据采集的需要。4.1.3.2.1.4 接口服务采集基于各行政单位IT系统提供的数据接口，信息共享资源平台通过调用接口服务，实现数据文件的采集。4.1.3.2.2 清洗转换数据清洗转换指对前端采集过来的数据进行清洗与转换处理，包括数据过滤、数据剔重、类型转换、编码映射、文件拆分与合并、维度转换等功能。数据清洗转换的任务主要是进行不一致的数据转换、数据粒度的转换、数据去脏和一些转换规则的计算。其中不一致转换过程是数据整合的过程，侧重于将来源于不同业务系统的相同类型的数据进行统一211、处理；数据粒度转换需要对数据进行统一归整；转换规则计算按照设计的计算归则对数据进行重新计算。系统支持批量清洗和实时清洗，针对批量离线数据进行分布式并行清洗转换，针对实时数据进行不落地清洗转换。4.1.3.2.2.1 转换规则配置数据清洗系统提供数据转换规则配置，以图形化的界面来实现灵活的数据处理规则配置，主要提供的数据转换规则设置包括：对数据进行计算、合并、拆分的规则配置、对空值替换规则的配置、对数据格式化规则的配置等。4.1.3.2.2.2 处理过程记录数据清洗系统提供数据处理过程记录功能，支持对数据处理过程的日志进行记录，记录的信息主要包括：元数据记录、转换后数据记录、运用的转换规则、转换212、的时间等内容。4.1.3.2.2.3 数据转换组件数据清洗系统提供丰富的数据转换处理组件，主要包含如下： 支持任意合理的数据格式转换，包括但不限于：时间类型的转换、字符编码转换、数据类型转换； 支持统一编码映射，为了保障数据的一致性，需要对不同来源的数据进行统一的编码，如公民唯一标识，各种纬度参数等。 支持多字段的混合运算，运算规则可灵活配置，包括但不限于：sum、max、min、avg等； 支持各种字符操作，包括但不限于：字符替换、字符截取、字符连接； 支持数据粒度的转换，保证转换后的误差在规定的范围内； 支持数据格式化，包括时间、数值、字符、计量单位等数据； 支持复杂条件过滤，过滤条件可灵213、活配置； 支持数据去重处理，可按照用户定义的规则自动判断重复数据，并按照用户定义的规则处理重复的数据； 支持记录间合并、支持将一条记录按照可配置的规则拆分为多条记录； 支持行、列变换； 支持数据清洗及标准化； 支持处理过程支持各种字符集的转换等。4.1.3.2.2.4 硬编码数据转换基于硬编码实现数据转换依托于插件方式来实现，采用将不同的数据转换过程通过硬编码的形式封装为相应的处理插件置入到数据处理工作流程，针对此类模式主要支撑以下应用场景： 时间类型的转换； 码表映射； 记录拆分； 字符集转换 4.1.3.2.2.5 库外数据转换基于库外计算进行数据转换操作，需要借助Hadoop、流式计算引214、擎等海量数据计算处理平台来完成，借助并行计算处理能力来满足复杂数据转换来进行。主要支撑以下业务应用场景： 多字段的混合运算。 过滤、去重、清洗。 复杂条件过滤。 排序、统计、合并计算、行列变换等。4.1.3.2.3 数据加载数据加载主要指将采集与清洗转换的数据，准确、及时地存储到不同目标库中（如：RDBMS、MPP、Hadoop等）中，依据数据的加载方式包括文件加载、流加载、压缩加载、不落地加载等。依据数据加载技术特点，可分为全量数据加载、流式（实时）数据加载、文件落地双加载、内存不落地加载。对于不同的数据库加载、不同的方式加载，在数据加载过程的工作原理基本相同，数据加载能力要求包含：1.默认215、情况下提供基础通用的加载控件，支持将数据源加载到不同的数据库中，加载的数据支持接口、文件加载策略或流式策略。2.加载方式支持全量或实时方式，全量加载方式则采用落地加载策略，并且需要结合运用不同平台的加载工具; 实时加载与实时采集必须配套使用，二者之间共享内存实现同步数据交换，通过引入插件机制来屏敝不同数据源差异性。3.支持加载时事物提交的参数配置，允许设定数据文件相关输入路径与加载文件匹配规则等信息，由数据装载完成发现文件、文件获取、加载数据、数据校验等操作流程后完成数据入库操作。4.在加载实现过程中支持提供SQL、HQL、SHELL等不同类别的行为定义脚本，数据加载执行组件将根据定义行为脚本216、类型调起相应的脚本执行来加载到数据。5.数据加载结束或失败时，都需要记录操作日志，为后续数据稽核与问题排查提供详细信息。6.在加载触发模式上支持自动加载与手工执行的二大类型。支持数据自动加载的设计与执行，当数据加载出错时，应提供操作界面以人工干预的方式来重新启动数据的接收和加载。4.1.3.2.3.1 全量数据加载全量加载是将数据一次性加载到接口机上，是准实时加载，主要应对数据加载数据源以较大文件形式对外提供数据时可采用此种采集模式，全量数据加载取具备多协议数据加载和并发加载控制两种能力，多协议数据加载提供了文件和数据库等多种目标数据库进行加载，包括支持：高性能关系型数据中心、MPP分布式数据217、中心、HDFS等，接口协议可以根据需要随时添加；并发加载控制是运用大规模并行计算多个加载任务发布到集群中并行处理，可控制并发数和任务优先级。4.1.3.2.3.2 流式（实时）数据加载流式数据加载主要应对海量数据，采用流式计算方法进行高性能的实时计算实时加载。4.1.3.2.3.3 文件落地双加载包括文件从接口机到ETL服务器不同的传输方式；管道、FTP传输、CFS传输等传输方式；双进程异步方式读取接口文件多节点/多分区加载到双库，两个进程互不影响。4.1.3.2.3.4 内存不落地加载不落地实时加载主要是采用分布式内存数据计算，以多进程管道方式并行读取不同的接口文件，每个接口文件以KEY的方218、式分块计算，计算完把各节点上聚合结果汇总到内存池，调用LOAD API 加载到数据库。4.1.3.2.3.5 数据加载过程控制数据装载过程中，针对数据加载中断或者出错，支持采用断点续传、一致性保障等方法进行过程控制，避免重新启动数据的接收和加载。数据装载过程控制主要包括如下功能：断点续传：由于网络中断或者其他原因造成传输中断，提供断点续传功能，在下次传输时能够接着前面的传输进度继续进行，节省时间，提高速度。一致性保障：支持两阶段提交，提供访问的多种数据源发起两阶段提交任务，两阶段提交可以保证在多个数据源上执行的任务包含在一个事务中，当一个数据源加载失败时，其他数据源可做数据回滚，确保多个数据源219、的数据保持一致。4.1.3.2.4 数据校验数据校验包括数据采集、数据加载、数据分发等过程中数据校验。在数据采集过程中通过对数据源与目标数据库之间的数据进行对比分析，从而进一步来分析、发现与解决在数据抽取过程可能产生的异常错误信息。4.1.3.2.5 异常处理在数据整合过程中会出现不同种类的异常现象，如：采集异常、数据节点异常、数据清洗转换异常、数据加载异常等，系统通过异常处理机制来保障系统的稳定性。4.1.3.3 数据交换服务依据数据提供单位、数据使用单位的特点，数据交换主要提供三种服务能力，即：1.对接入单位的IT系统提供公共基础数据，为IT系统提供通用信息资源以及数据的导入；2.对大数据220、主题应用提供元数据信息及主题数据信息；3.对前端门户界面展示提供数据传输服务。4.1.3.3.1 数据交换请求管理用户通过门户发起数据交换请求，该请求总体分为两大类：第一类指数据传输采集交换，即由接入单位的IT系统、大数据主题应用发起数据采集请求；该请求通过审核审批后，直接传输到数据采集抽取系统；第二类指数据界面展现请求，即用户通过门户查询基础数据、主题数据及目录数据等，通过API形式（含jdbc等）将数据传输到门户界面进行展示，该请求无须审核，根据用户的权限进行数据展示。系统提供数据交换请求的管理与审批。4.1.3.3.2 ETL数据抽取与加载服务ETL采集与抽取工具，接收到数据采集指令后，221、执行数据采集任务，对基础数据、主题数据、非结构化数据进行采集，支持离线批量采集与实时采集；采集完成的数据通过ETL工具压缩进行传输。采集的数据由ETL传输到信息共享资源平台的前置服务设备进行存储，待接入单位或主题应用单位进行采集。4.1.3.3.3 消息通知服务用户请求交换的数据完成采集后，系统通知相关用户，告知用户数据已完成采集，由用户自行到信息共享资源平台的前置服务设备进行下载。4.1.3.3.4 API数据交换服务用户通过门户检索、查询目录系统等相关数据时，由系统自动调用API服务，根据数据量、计算规模的大小，实时或非实时地将数据推送给门户界面。4.1.3.4 统一管理提供对平台接口的注222、册、审批、回收的管理功能，实现采集、交换、加载每个过程中的接口的统一管控，减少接口的重复抽取，同时提供数据流图，为数据流治理提供参考，为系统之间交互的数据流量分析与统计和系统扩容、优化提供帮助。4.1.3.4.1 支持统一任务调度 支持跨Hadoop、MPP、传统RDBMS等平台及数据库的任务调度，实现对流处理平台、Hadoop平台、MPP平台等应用库的调度。 支持调用Oracle等传统关系型数据库系统中的存储过程，并且支持调用DB2、GreenPlum等MPP数据库系统中的脚本。 支持并行调度任务总数100000+； 支持时间触发、条件触发、事件触发及触发方式组合等调度策略； 支持手工调度、223、任务重试调度； 支持跨平台/跨系统任务调度； 支持Hadoop、MPP等执行引擎； 支持图形化调度开发； 支持优先级调度、权重调度、负载均衡调度； 支持PUSHDOWN，包括资源下推、任务下推等； 支持图形化方式展现各作业的运行状态，包括等待、运行、成功和失败等状态，形成动态的后台数据运行流图； 支持任务告警与日志记录； 支持对外调度接口； 支持外部脚本调度，包括Shell/Java/Python/存储过程等；4.1.3.4.2 支持可视化任务开发 通过图形化可拖拽的界面开发，减少开发人员编码灵活性所可能引发的质量差异和对系统可能造成的影响； 支持任务的批量开发； 支持将编码内容以标准SQL的224、方式进行输出和执行； 支持任务的权限管理，包括查看、编辑、审批、授权、执行等； 支持任务的版本管理能力，具备历史版本的比对、历史版本的回退等；4.1.3.4.3 可视化统一监控 支持任务执行过程的实时监控； 支持任务可视化配置过程的日志信息； 支持日志审计； 支持调度日志记录及展现； 支持组件运行日志记录及展现，例如采集、装载、处理等日志； 支持集群健康度监控，包括内存使用率、I/O吞吐量、CPU使用率等信息； 提供告警机制，例如短信、邮件等方式；4.1.3.5 关键技术4.1.3.5.1 不落地多管道数据传输通过多进程并发处理结合管道技术实现数据不落地传输，采用分布式内存数据计算，以多进程管225、道方式并行读取不同的接口文件，每个接口文件以KEY的方式分块计算，计算完把各节点上聚合结果汇总到内存池，调用LOAD API 加载到数据库。图、不落地多管道数据传输1. 通过建立一个大小可配置的内存缓冲池；一个进程通过建立PIPE管道的方式循环读取文件。2. 建立内存块，有专门的进程循环从管道读取一个内存块大小的数据放到内存块。3. 根据业务、投诉、客服等不同域的要求进行数据清洗、转换、标准化等操作。4. 分别写入两个缓冲池，利用两个库的API建立两个LOAD进程，负责将缓冲池里的数据写入数据库。4.1.3.5.2 内存压缩技术采用管道技术，对不同数据库采用并行抽取，将数据分块写入内存，通过多226、线程并行处理做数据计算、转换、清洗等，调用底层压缩API将结果数据在内存中压缩，数据量变小，节省内存，在后续传输过程中节约网络带宽，提升了传输速率，落地成文件也节约存储，如下所示：图、内存并行抽取压缩4.1.3.5.3 ETL并行加载异常处理在并行加载过程中通过采用“不落地”方案来完成数据加载，在计算过程中主要面对Agent系统资源故障与加载过程内部计算异常二种不同粒度异常情况，如图所示：图、双加载异常机制从并行加载方案的实现方式分析，主要异常涉及到以下二个层面：l Agent节点出现故障，导致作业中断或失败问题：ETL作业过程采用分布式多节点并发作业来提升系统处理速度，在作业过程中某个节点失227、效会导致作业中断或挂起。解决方案：l Agent与Master通过Heartbeat进行状态通信，使Master第一时间掌握节点状态。l Agent所有Task皆由Master分发，并周期性向Master汇报每个Task执行状态。l 当Agent1节点出现异常，将由Master重新将Task分发到其它节点重新运行。l 任务内部计算过程出现异常问题：作业在节点内划分为采集、转换与加载三个核心组件，组件之间通过内存交换数据，处理过程中会面临计算异常问题，此类型异常处理强调保障数据一致性。解决方案：图、任务内部异常处理机制l 在数据采集阶段会将内存中数据在本地进行快照保存，防止数据丢失，并将采集状态228、保存在“检查点”中以备在异常时进行恢复。l 在数据转换过程，对计算过程中的异常零容忍，保证数据一致性。l 在数据加载过程中，双向加载线程将同时向检查点汇报，只有最终状态一致，工作任务才宣告完成，否则将进行重试等操作。4.1.3.5.4 跨平台统一调度管理能力ETL软件提供跨传统RDBMS数据库、MPP数据库、Hadoop平台统一调度与管理能力。支持多个平台独立调度及多个平台间依赖调度；提供独立工作区和用户，各平台可自行管理调度和ETL作业；操作人员可设置ETL作业和调度，监控人员只提供查询权限。ETL软件还提供多系统、多用户协同统一调度能力，在单一平台或者数据库作业依赖其它平台或者数据库作业的229、情况下，只需要拥有跨平台操作的用户配置相应的作业调度关系，即可实现多系统、多用户的协同调度。目前ETL软件提供时间触发、循环触发、条件触发、事件触发、组合触发等调度触发方式。4.1.3.5.5 大文件拆分并行处理能力针对大数据平台存在大文件采集、处理情况， ETL软件支持对单个大文件分布式处理,首先将依据事先设定的文件拆分策略（策略也可以人工调整），将大数据文件进行拆分，并给各个节点，然后对拆分后的所有小文件同时进行采集、转换和加载，使得单个大任务得到了并行处理的效果。大文件拆分并行处理能力4.1.3.5.6 高可用集群与负载均衡能力ETL软件采用分布式架构，对服务端Server服务器采用HA230、，主、备Server服务器之间保持实时通信和管理信息同步，当主Server服务器出现故障时，通过选举算法从备份Server服务器中选择一台自动接管。主Server服务器与Agent服务器之间采用心跳技术实现数据实时通信，当单一Agent服务器出现故障时，主Server服务器重新将分配给此Agent服务器的任务分配给另外一台或者几台Agent服务器完成，确保系统稳定。如下图所示：高可用集群与负载均衡能力4.1.3.5.7 在线扩展能力ETL软件采用基于X86的分布式架构，能够利用系统可视化界面方便、快捷实现节点动态扩展，并且产品性能随着服务器扩展呈线性扩展。ETL软件采用组件化设计与开发，可以视231、软件使用需求，动态开发、扩展、注册相应组件，具有很好的扩展性。ETL软件的硬件节点扩展、软件组件扩展可通过可视化界面完成。在线扩展能力4.1.3.5.8 丰富的图形化、定制化能力ETL软件支持各种复杂作业关系配置，使用人员可通过前端配置界面，通过拖拽操作实现对ETL任务配置、调度配置等设计，无需编写代码、无需IT编码技能就可实现对ETL的设计与处理，使用门槛低、用户体验好。图形化/定制化能力4.1.3.5.9 插件式开发及集成能力ETL软件采用插件式开发，同时将对外服务、集成功能封装成API供其他软件调用，可以方便集成符合工具API接口的第三方软件。插件式开发及集成能力4.1.3.5.10 问232、题分析技术提供问题定位分析，对问题的节点进行回溯，定位问题可能原因，分析其处理路径上可能存在的问题。提供问题影响分析，能对问题的严重性、影响面做出判断，并对重要问题提前进行预警。4.1.3.5.11 数据质量评估技术系统可以从数据的集成度、分布、冗余度、数据热度、重要性等多个角度进行评估分析，并可基于评估结果对数据进行相应的处置。4.1.3.5.12 数据质量监控技术提供数据映射分析，以拓扑图的形式对大数据分析平台的各类数据实体、数据处理过程元数据进行分层次的图形化展现，并通过不同层次的图形展现粒度控制，满足开发、运维或者业务上不同应用场景的图形查询和辅助分析需要。提供根据预先定义的质量规则，233、在应用运行时进行自动化监控。对数据采集层数据质量进行监控，主要包括文件接口、数据库接口、采集接口监控。对数据处理过程进行监控，主要包括数据处理任务执行的情况，包括是否按时调度，是否成功等状态消息。提供定期提供数据质量监控报告，就系统健康状态按模板生成文本、图形等结果信息。4.1.4 大数据分析子系统4.1.4.1 整体解决方案4.1.4.1.1 采集预处理数据采集层核心功能紧紧围绕构建商业智能系统在数据处理层面上涉及到的数据采集、清洗、转换与加载的核心数据加工流程展开。在设计理念上应借鉴国内外同类主流产品的技术理念，围绕分布式计算思想展开系统设计。架构可扩展：在分布式计算的理念下需要将计算与平234、台之间是关系进行弱化，从而使得系统具备高度扩展性，具备动态调度系统计算容量的能力，系统支持在保障系统计算性能的前题条件下通过横向水平扩展方式来提升能力。系统可伸缩：产品应对目前主流的硬件资源平台保持兼容，在系统设计实现过程中应充分考虑平台移植方面的诉求而选择具备多种平台无关性的技术来实现以保障系统具备高可伸缩性；在易用性方面产品以统一任务调度为枢纽，配合提供完善的图形化操作管理界面提供良好的用户体验降低产品使用难度。根据项目的建设需求，数据采集预处理层应实现企业内外部数据的采集、转换、加载、处理以及调度、管控等功能。需要具备以下的特点： 统一数据获取接入。支持多源数据抽取，包括传统关系型数据库235、MPP数据库、日志文件、数据文件、消息等，源数据通过相关功能组件统一接入到大数据处理平台。 支持结构化和非结构化数据采集，加工。 支持数据采集、转换、加载等关键数据处理过程，实现企业数据的标准化过程。 从周期上，支持批量的数据采集，实时的数据采集 满足大数据平台数据加工，处理以及对外提供数据分发、同步的需求。 支持全过程的数据稽核。包括事前、事中、事后的稽核方式。以及灵活的稽核规则管理，算法管理。 全过程的可视化开发配置管理。通过可视化的开发配置，测试和部署上线。4.1.4.1.1.1 数据采集4.1.4.1.1.1.1 功能描述平台需内置提供多种数据抽取功能来满足企业内部数据采集诉求，包括236、HBASE抽取、HDFS抽取、TD数据库抽取、MPP数据库抽取（GP、Gbase等）、关系型数据库抽取（Oracle、MySQL等）、消息队列（kafka等）抽取等组件。在抽取触发模式上支持自动触发与手工执行的二大类型；在数据抽取形式上支持全量抽取与增量数据抽取二大类；在抽取数据源类别上支持消息队列、RDBMS、MPP、HADOOP等多种类型。具体支持功能的如下表所示：序号功能功能描述1支持手工和自动两种抽取方式手工方式通过人为方式启动任务，自动方式基于调度程序，定期定时执行抽取任务2支持多种抽取模式与策略定义具备全量和增量数据抽取；允许灵活定义多种抽取策略；允许对抽取的字段进行动态修改；支持237、在抽取过程中设置断点，对抽取行为进行跟踪与监控3支持对数据压缩包进行解压能够对数据压缩包文件进行抽取，支持对数据压缩包的解压处理4具备灵活的数据源定义管理能力支持对数据源的统一管理，对可支持的各种不同类型的数据源，允许以统一方式进行配置并获取访问5支持异构数据源进行数据抽取支持异构数据源系统的数据抽取、支持多种数据抽取接口，现阶段主要支持的数据源包括：各种主流的关系型数据库如Oracle、DB2、MySQL、Teradata、MPP数据库、分布式数据库、文本文件、任意格式XML文件、HDFS文件、各种消息队列等。6支持多种数据库连接方式支持使用包括专用数据库驱动接口、JDBC、ODBC接口等数238、据库连接方式7提供丰富的数据抽取作业执行状态监控管理能力提供丰富的图形化界面设计和监控数据抽取过程执行状态8具备数据抽取容错处理机制提供对错误数据的进行检测和处理能力，如进行记录的过滤，能将发生错误的数据记录到响应的错误表中。例如对文件的输入，可以过滤不符合规范的数据并且捕获这些数据9数据抽取过程日志记录支持在数据抽取过程中对数据记录条数、开始时间、完成时间，错误信息等信息进行记录保存4.1.4.1.1.1.2 关键技术4.1.4.1.1.1.2.1 FTP文件采集 基于FTP/SFTP接口，系统支持普通文件、压缩文件、压缩文件流等不同类型文件的采集与上传，其支持的文件格式包括： XML格式、239、Excel格式、CSV格式等。基于这些不同的文件类型、文件格式，通过采集、抽取过程可形成新的数据文件，以满足不同目标数据库的需要。FTP接口适合于对实时性要求不高的场景下的大数据量信息交换。文本文件输入：处理有列分隔符（限定符、逃逸字符）的文本文件。功能选项丰富、有错误处理机制。CSV 文件输入：简化了文本文件输入通过 NIO、并行、延迟转换提高性能固定宽度：列固定宽度的文件，不用解析字符串，性能好。4.1.4.1.1.1.2.2 Sqoop数据高速同步采集采用开源的Sqoop来实现大数据平台和关系型数据库、HBASE的高效数据同步。共用基础平台数据分发的功能。运行原理：Sqoop在运行时，根240、据split-by参数来进行切分,然后将切分出来的区域分配到不同map中。每个map中再处理数据库中获取的一行一行的值，写入到HDFS中。优化策略：Sqoop根据split-by根据不同的参数类型有不同的切分方法，如比较简单的int型，Sqoop会取最大和最小split-by字段值，然后根据传入的num-mappers来确定划分几个区域。如提交sql如下：select XXX from table where split-by=1 and split-by=501 and split-by=1000。这样会导致在不同区间中的数据量偏差特别大，导致有些map时间特别长。需要根据实践经验采取了一些241、优化手段：如借鉴db2的partition key的算法，采用取余数进行拆分，如按号码取取余进行抽取、用数据库的原生的提供数据导入，导出命令等。4.1.4.1.1.1.2.3 基于Kafka消息队列的实时数据采集kafka是一种高吞吐量的分布式发布订阅消息系统，kafka的设计初衷是希望作为一个统一的信息收集平台，能够实时的收集反馈信息，并需要能够支撑较大的数据量，且具备良好的容错能力。具有如下特性： 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间复杂度的访问性能。 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条以上消息的传输。 支持K242、afka Server间的消息分区，及分布式消费，同时保证每个Partition内的消息顺序传输。 同时支持离线数据处理和实时数据处理。 Scale out：支持在线水平扩展。Kafka 的整体架构非常简单，是显式分布式架构，producer、broker和consumer都可以有多个。 Producer、Consumer实现Kafka注册的接口，数据从producer发送到broker，broker承担一个中间缓存和分发的作用。broker分发注册到系统中的consumer。broker的作用类似于缓存，即活跃的数据和离线处理系统之间的缓存。客户端和服务器端的通信，是基于简单、高性能且与编程243、语言无关的TCP协议。比起大多数的消息系统来说，Kafka有更好的吞吐量，内置的分区，冗余及容错性，这让Kafka成为了一个很好的大规模消息处理应用的解决方案。消息系统 一般吞吐量相对较低，但是需要更小的端到端延时，并尝尝依赖于Kafka提供的强大的持久性保障。4.1.4.1.1.1.2.4 基于Flume的日志文件采集Flume是典型的、成熟日志收集系统，具有分布式、高可靠、高可用性等特点,对海量日志采集、聚合和传输,Flume支持在日志系统中定制各类数据发送方， 同时，Flume提供对数据进行定制化处理，并将收集到的日志输出到多种数据接受方。Flume作为分布式的、海量日志收集技术方案具有244、高可靠行、高伸缩性、高管理性和高扩展性等优势。1) 高可靠性Flume提供3中数据可靠性选项，包括End-to-end, Store on failure和Best effort,其中End-to-end使用了磁盘日志和接受端Ack的方式,保证Flume接受到的数据会最终到达目的.Store on failure在目的不可用的时候，数据会保持在本地硬盘。Best effort使Flume尽最大粒度发挥作用。2) 高伸缩性Flume高伸缩性表现在，可以根据业务的扩大、数据量的扩大而采取收集节点的平滑横向扩展或节点的数量减少以满足数据收集的需求。3) 高管理性由于Flume提供Web UI来监控数245、据收集的情况，这样为Flume的可管理性带来了极大的方便。4) 高可扩展性Flume的高可扩展性是基于Java技术的，用户可以为Flume添加各种新的功能，如通过继承Source，用户可以实现自己的数据接入方式，实现Sink的子类，用户可以将数据写往特定目标，同时，通过SinkDecorator，用户可以对数据进行预处理。Flume除了具有以上显著特点以外，还具有部署的简单性。可以对多个节点的连接与组合。4.1.4.1.1.1.2.5 Solr搜索服务Solr是一个开源的企业级搜索服务器，底层使用易于扩展和修改的Java来实现。服务器通信使用标准的HTTP和XML。它具有强大的全文检索功能，可246、以高亮显示检索结果，支持动态集群，数据库接口和电子文档(Word,PDF等)的处理。而且Solr具有高度的可扩展，支持分布式搜索和索引的复制 SolrCloud 是基于Solr和Zookeeper的分布式搜索方案，它的主要思想是使用Zookeeper作为集群的配置信息中心。Solr搜索具有以下几个特色功能： 1）集中式的配置信息 2）自动容错 3）近实时搜索 4）查询时自动负载均衡基于Solr的动态分类实现: 对已有文本语聊建索引，文档内容向量化 检索词向量化 求空间向量夹角 数据本身不绑定至某个分类，而是基于规则动态分类，如google、百度 易用性高 4.1.4.1.1.1.3 采集管理平247、台应提供图形化的配置界面对内外部数据进行统一管理。并提供统一采集工具进行开发配置管理。通过前台界面可视化，拖拽式实现采集的开发，降低开发难度，提升开发效率。提供数据源采集统一运维监控功能，支持重传、自动重做，人工重做等常见的异常重做，实现采集层的统一运行监控。4.1.4.1.1.2 数据清洗转换4.1.4.1.1.2.1 功能描述数据清洗转换任务主要是进行不一致的数据转换、数据粒度的转换和一些商务规则的计算。其中不一致转换过程是数据整合的过程，侧重于将来源于不同业务系统的相同类型的数据进行统一处理；数据粒度转换需要按照数据仓库粒度对数据进行统一归整；商务规则计算按照设计的计算归则对数据进行重新248、计算，实现对数据价值的分拆挖掘。在数据转换方面需要的主要功能如表所示：序号功能功能描述1数据转换规则配置提供图形化的界面来实现灵活的数据处理规则配置，主要提供的数据转换规则设置包括：对数据进行计算、合并、拆分的规则配置、对空值替换规则的配置、对数据格式化规则的配置等；2数据处理过程记录支持对数据处理过程的日志记录，记录的信息主要包括：元数据记录、转换后数据记录、运用的转换规则、转换的时间等内容；3内置丰富的数据处理组件 支持任意合理的数据格式转换，包括但不限于：时间类型的转换、字符编码转换； 支持任意合理的数据类型转换； 支持数据内容转换，如通过关联关系，将A数据源中的数据转换为数据源B中的数249、据； 支持多字段的混合运算，运算规则可灵活配置，包括但不限于：sum、max、min、avg等； 支持各种字符操作，包括但不限于：字符替换、字符截取、字符连接； 支持记录和字段的抽取，支持对抽取的数据进行字段扩展； 支持数据粒度的转换：将业务系统数据按照数据仓库粒度进行聚合。保证转换后的误差在规定的范围内； 支持空值处理：捕获空值，根据规则替换为对应数据； 支持数据格式化：统一数据源中同类数据的格式，具体包括时间、数值、字符、计量单位等数据； 支持数据替换：根据规则用标准数据替换原来的数据，支持各种码表映射，例如用标准编码替换业务系统自定的编码； 支持复杂条件过滤，过滤条件可灵活配置； 支持脏250、读； 支持环境变量动态修改； 支持数据去重处理，产品可按照用户定义的规则自动判断重复数据，并按照用户定义的规则处理重复的数据。； 支持记录间合并、支持将一条记录按照可配置的规则拆分为多条记录；支持行、列变换； 支持一个数据表中多个列的合并； 支持跨异构数据库的关联；支持将多个异构数据表合并为一个表； 支持将一个数据表拆分为多个数据表； 支持多种规则排序； 支持多种统计方式； 具备度量衡等常用的转换函数； 在转换过程中支持数据比较的功能； 支持数据预览； 支持数据清洗及标准化； 支持按行、按列的分组聚合； 具备良好的参数处理机制等； ETL处理过程支持各种字符集的转换； 支持样品数据抽取4数据转251、换异常处理支持校验点，当外部数据记录特别庞大时，如果因为某种原因发生故障中断后，可以从最近的校验点开始恢复处理4.1.4.1.1.2.2 关键技术围绕库外计算+并行处理来实现对大数据量、转换规模复杂类型转换处理应用场景诉求，具体实现技术如图所示：图基于库外计算展开数据转换实现思路示意图在基于库外计算进行数据转换操作时，需要借助Hadoop、流式计算引擎等海量数据计算处理平台来完成，借助并行计算处理能力来满足复杂数据转换来进行。主要应对的业务场景如下所述： 多字段的混合运算。 过滤、去重、清洗。 复杂条件过滤。排序、统计、合并计算、行列变换等4.1.4.1.1.2.3 可视化配置管理平台需提供可252、视化界面实现对数据转换配置及处理。如利用可视化界面实现对文件转换、字段转换规则、缺省值设置等操作。在文件转换过程中需要先设置相应的转换规则，规则之间允许相互组合形成复杂转换规则。在规则设置过程中提供图形化功能操作界面允许用户深度定制相应的转换规则。4.1.4.1.1.3 数据加载 数据加载功能需具备将采集、处理后的数据源文件保存到不同数据库（DB2、Greenplum、HDFS、Hbase等）中。加载过程中支持数据存储落地和不落地两大类。对于不同的数据库加载、不同的方式加载，在数据加载过程的工作原理基本相同，仅在实现层面针对不同数据库或者方式进行个性化控件处理，总体数据加载工作原理如下：1. 253、默认情况下提供基础通用的加载控件，支持将数据源加载到不同的数据库中，加载的数据支持接口、文件加载策略或流式策略。2. 加载方式支持全量、增量或实时方式，全量加载方式则采用落地加载策略，通过引入插件机制来屏敝不同数据源差异性。3. 支持加载时事物提交的参数配置，允许设定数据文件相关输入路径与加载文件匹配规则等信息，由数据装载完成发现文件、文件获取、加载数据、数据校验等操作流程后完成数据入库操作。4. 在加载实现过程中支持提供SQL、HQL、SHELL等不同类别的行为定义脚本，数据加载执行组件将根据定义行为脚本类型调起相应的脚本执行来加载到数据。5. 数据加载结束或失败时，都需要向在ETL系统相应254、的数据库日志表中记录操作日志，为后续数据稽核与问题排查提供详细信息。6. 在加载触发模式上支持自动加载与手工执行的二大类型。支持数据自动加载的设计与执行，当数据加载出错时，提供操作界面以人工干预的方式来重新启动数据的接收和加载。7. 在加载数据库类别上支持DB2、Greenplum、HDFS、Hbase、Teradata、MySql等多种数据库。4.1.4.1.1.4 对外接口支持平台需提供标准开放的对外接口，可与外部第三方系统进行良好的无缝集成，可被外部应用通过命令，Web Services，API等方式进行直接调用；支持和元数据管理工具的良好集成，所有数据处理规则、作业设置及流程定义到元数255、据沉淀，并且元数据为开放结构；支持客户化的开发接口，提供SDK可通过其他开发工具进行二次开发及配置；支持多用户、多租户同时使用，可多人同时进行开发测试工作，并通过权限管理和逻辑划分或物理划分区分不同用户环境；4.1.4.1.2 存储与计算层非实时计算层面引入Hadoop批处理计算引擎，即针对海量数据批处理场景，实现通过Hadoop技术，完成数据采集、数据转换能力、数据加载能力的全面支持；内存迭代计算、实时计算层面引入Spark、Spark Streaming技术框架，在存储策略上，Hadoop大数据处理平台负责海量的数据存储和批处理等应用需求。大数据平台数据存储处理功能框架如下图所示：图 大数256、据分析平台存储计算框架计算与存储引入大数据技术，满足资源统一管理能力、计算能力线性扩展、多租户能力、数据汇总能力； 充分利用Hadoop海量数据计算挖掘及非结构化处理能力、资源廉价特点4.1.4.1.2.1 分布式存储4.1.4.1.2.1.1 分布式文件系统为了满足对内外部数据整合的需求，并且通过分布式架构实现海量的结构化、半结构化、非结构化数据的长期存储与高效处理，在存储层基于HDFS分布式文件系统加HBASE数据库的方式进行数据存储，满足历史数据归档、高并发大数据量查询等多类业务场景需求，同时保障系统的高可用和灵活扩展性，并对数据导入、分析处理和事务服务提供有效支持。该分布式文件系统，应257、支持结构化、非结构化、半结构化不同类型数据，同时具备分布式文件系统的动态扩展能力，并对数据导入、分析处理和事务服务提供有效支持。1. 应支持硬件错误容错 硬件错误是常态而不是异常。HDFS可能由成百上千的服务器所构成，每个服务器上存储着文件系统的部分数据。我们面对的现实是构成系统的组件数目是巨大的，而且任一组件都有可能失效，这意味着总是有一部分HDFS的组件是不工作的。因此错误检测和快速、自动的恢复是HDFS最核心的架构目标。 2. 支持流式数据访问 运行在HDFS上的应用和普通的应用不同，需要流式访问它们的数据集。HDFS的设计中更多的考虑到了数据批处理，而不是用户交互处理。比之数据访问的低258、延迟问题，更关键的在于数据访问的高吞吐量。POSIX标准设置的很多硬性约束对HDFS应用系统不是必需的。为了提高数据的吞吐量，在一些关键方面对POSIX的语义做了一些修改。分布式文件系统应支持流式数据访问，满足数据应一次写入、多次读取的访问模式。3. 大规模数据集 运行在HDFS上的应用具有很大的数据集。HDFS上的一个典型文件大小一般都在G字节至T字节。因此，HDFS被调节以支持大文件存储。它应该能提供整体上高的数据传输带宽，能在一个集群里扩展到数百个节点。一个单一的HDFS实例应该能支撑数以千万计的文件。 4. 支持数据复制及多副本存放策略 HDFS被设计成能够在一个大集群中跨机器可靠地存259、储超大文件。它将每个文件存储成一系列的数据块，除了最后一个，所有的数据块都是同样大小的。为了容错，文件的所有数据块都会有副本。每个文件的数据块大小和副本系数都是可配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定，也可以在之后改变。HDFS中的文件都是一次性写入的，并且严格要求在任何时候只能有一个写入者。 副本的存放是HDFS可靠性和性能的关键。优化的副本存放策略是HDFS区分于其他大部分分布式文件系统的重要特性。这种特性需要做大量的调优，并需要经验的积累。 5. 支持多种接口的访问方式 HDFS给应用提供了多种访问方式。用户可以通过Java API接口访问，也可以通260、过C语言的封装API访问，还可以通过浏览器的方式访问HDFS中的文件。通过WebDAV协议访问的方式正在开发中。6. 存储空间回收，支持文件的删除和恢复 当用户或应用程序删除某个文件时，这个文件并没有立刻从HDFS中删除。实际上，HDFS会将这个文件重命名转移到/trash目录。只要文件还在/trash目录中，该文件就可以被迅速地恢复。文件在/trash中保存的时间是可配置的，当超过这个时间时，Namenode就会将该文件从名字空间中删除。删除文件会使得该文件相关的数据块被释放。注意，从用户删除文件到HDFS空闲空间的增加之间会有一定时间的延迟。只要被删除的文件还在/trash目录中，用户就可261、以恢复这个文件。如果用户想恢复被删除的文件，他/她可以浏览/trash目录找回该文件。/trash目录仅仅保存被删除文件的最后副本。/trash目录与其他的目录没有什么区别，除了一点：在该目录上HDFS会应用一个特殊策略来自动删除文件。目前的默认策略是删除/trash中保留时间超过6小时的文件。将来，这个策略可以通过一个被良好定义的接口配置。 7. 支持机架感知分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机架之间机器的网络262、通信通常受到上层交换机间网络带宽的限制。具体到Hadoop集群，由于Hadoop的HDFS对数据文件的分布式存放是按照分块block存储，每个block会有多个副本(默认为3)，在通常情况下，Hadoop集群的HDFS在选机器的时候，是随机选择的，也就是说，很有可能在写数据时，Hadoop将第一块数据block1写到了rack1上，然后随机的选择下将block2写入到了rack2下，此时两个rack之间产生了数据传输的流量，再接下来，在随机的情况下，又将block3重新又写回了rack1，此时，两个rack之间又产生了一次数据流量。在job处理的数据量非常的大，或者往Hadoop推送的数据量非263、常大的时候，这种情况会造成rack之间的网络流量成倍的上升，成为性能的瓶颈，进而影响作业的性能以至于整个集群的服务。因此分布式文件系统需要具备机架感知方案，通过该方案使Hadoop集群可以分辨某台slave机器是属于哪个机架，在Hadoop的namenode启动初始化时，会将这些机器与机架的对应信息保存在内存中，用来作为对接下来所有的HDFS的写块操作分配datanode列表时（比如3个block对应三台datanode）的选择datanode策略，做到Hadoop allocate block的策略,将三个副本分布到不同的rack。4.1.4.1.2.1.2 列式数据库基于分布式NoSQL构264、建列式数据库，能够对大型数据提供随机、实时的读写访问。提供大数据量结构化和非结构化数据的高速读写操作，为高速在线数据服务而设计。需具备有以下特性： 海量数据存储能力（PB级） 支持数据的自动切分和分布，支持动态扩容，无需停机； 高可靠，数据冗余备份，数据存放在HDFS分布式文件系统之上，不会丢失； 支持面向列的数据压缩，8：1以上的压缩比，有效降低磁盘I/O，提高利用率； 提供高效的数据整合能力，支持灵活的表结构，可动态改变和增加维度（包括行、列和时间戳）； 高效，海量数据秒级查询，支持多维度查询，支持全文检索 提供多种API调用与二次开发接口 支持BulkLoad批量数据导入 可以很好的支持265、二级索引、多维索引、全文索引 支持高并发、低延时的二级索引，保证数据一致性 集成lucene支持全文索引 Hbase集群灾备，提供工具进行数据的迁移和恢复4.1.4.1.2.1.3 备份策略及可视化配置管理 在大数据平台项目中主要通过Hadoop的hdfs分布式文件系统保存海量的结构化、半结构化和非结构化数据。HDFS被设计成能够在一个大集群中跨机器可靠地存储超大文件。它将每个文件存储成一系列的数据块，除了最后一个，所有的数据块都是同样大小的。为了容错，文件的所有数据块都会有副本。每个文件的数据块大小和副本系数都是可配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定，266、也可以在之后改变。 平台应可以直接通过图形化界面进行HDFS文件系统相关参数的详细设置，包括文件块大小、副本数、内存使用量、目录日志等信息，参考的配置界面如下：4.1.4.1.2.1.4 可靠性保障 写入过程高可用 HDFS的主要目标就是即使在出错的情况下也要保证数据存储的可靠性。每个Datanode节点周期性地向Namenode发送心跳信号。节点宕机、网络割裂等情况会导致一部分Datanode跟Namenode失去联系。Namenode通过心跳信号的缺失来检测这一情况，并将这些近期不再发送心跳信号Datanode标记为宕机。当文件导入分布式文件系统过程中，数据节点发生故障，则系统不会再将新的267、IO请求发给它们。系统会自动选择运行正常的数据节点，创建文件副本。任何存储在宕机Datanode上的数据将不再有效。Datanode的宕机可能会引起一些数据块的副本系数低于指定值，Namenode不断地检测这些需要复制的数据块，一旦发现就启动复制操作。 读取过程高可用在数据处理及读取过程中从某个Datanode获取的数据块有可能是损坏的，损坏可能是由Datanode的存储设备错误、网络错误或者软件bug造成的。系统在客户端软件实现了对HDFS文件内容的校验和(checksum)检查。当客户端创建一个新的HDFS文件，会计算这个文件每个数据块的校验和，并将校验和作为一个单独的隐藏文件保存在同一个268、HDFS名字空间下。当客户端获取文件内容后，它会检验从Datanode获取的数据跟相应的校验和文件中的校验和是否匹配，如果不匹配，客户端可以选择从其他Datanode获取该数据块的副本。4.1.4.1.2.1.5 压缩策略目前在Hadoop中用得比较多的有lzo，gzip，snappy，bzip2这4种压缩格式，平台应支持多种数据压缩方法，以降低存储占用，提高数据传输效率，应支持的压缩算法包括但不限于：Lzo、Snappy、Gzip。4.1.4.1.2.1.6 平台扩展平台产品产品应具备线性的集群动态扩展能力，支持集群的横向与纵向扩展功能。即通过增加集群节点来提高集群存储能力和数据处理能力。产269、品应支持通过配置对新增服务器存储空间进行合理、有效的分配，要求增加节点后，存储能力显性偏移度不低于90%。在增加节点时，应保证其它节点能够正常进行数据处理任务。平台可以便捷的实现集群的节点扩容，管理员无需登录服务器进行复杂的部署调试工作，只需要建立服务器的互信后直接通过管理界面即可完成集群的扩容工作。4.1.4.1.2.1.7 负载均衡在大数据平台中企业的内外部采集的全量数据都是存储在HDFS分布式文件系统中。HDFS的数据也许并不是非常均匀的分布在各个DataNode中。特别是当现有的集群上增添新的DataNode节点。当新增一个数据块（一个文件的数据被保存在一系列的块中）时，NameNod270、e在选择DataNode接收这个数据块之前，会基于负载均衡考虑到很多因素。其中的一些考虑的是： 将数据块的一个副本放在正在写这个数据块的节点上。 尽量将数据块的不同副本分布在不同的机架上，这样集群可在完全失去某一机架的情况下还能存活。 尽量均匀地将HDFS数据分布在集群的DataNode中4.1.4.1.2.1.8 数据访问及处理接口企业大数据平台通过采集存储海量数据，并对这些数据通过分布式计算、内存计算等方式进行高效处理，形成业务分析模型、业务指标、KPI统计等关键信息。大数据平台产品是一个开放的平台，支持Thrift、Java API、HTTP、FTP等多类接口。 查询服务对上层业务提供灵271、活的数据查询，屏蔽下层不同存储处理方式的查询。通过统一的接口让使用者和物理数据源隔离了开来。这使得不同的数据结构或异构的数据存储，都不会对使用者产生不利影响。l 半/非结构化数据查询：使用OpenApi的形式，通过HTTP协议来查询小批量数据，系统提供高稳定性与低延迟的性能保证。适用与指标库、标签库等类应用的数据访问。l 结构化数据查询：使用各种复杂的SQL中聚合分组语法来获取数据，导出XML、JSON等格式数据，适用于稍大数据量的即时分析类查询需求。4.1.4.1.3 分布式数据计算4.1.4.1.3.1 基于MR的批量数据处理Hadoop实现了 MapReduce 计算模型的开源分布式并行272、编程框架，与传统数据仓库和分析技术相比，适合处理各种类型的数据，包括结构化、半结构化和非结构化数据。数据量在 TB 和 PB 级别。满足大规模批量数据处理的需求。MapReduce提供了以下的主要功能：1）数据划分和计算任务调度：系统自动将一个作业（Job）待处理的大数据划分为很多个数据块，每个数据块对应于一个计算任务（Task），并自动 调度计算节点来处理相应的数据块。作业和任务调度功能主要负责分配和调度计算节点（Map节点或Reduce节点），同时负责监控这些节点的执行状态，并 负责Map节点执行的同步控制。2）数据/代码互定位：为了减少数据通信，一个基本原则是本地化数据处理，即一个计算节273、点尽可能处理其本地磁盘上所分布存储的数据，这实现了代码向 数据的迁移；当无法进行这种本地化数据处理时，再寻找其他可用节点并将数据从网络上传送给该节点（数据向代码迁移），但将尽可能从数据所在的本地机架上寻 找可用节点以减少通信延迟。3）系统优化：为了减少数据通信开销，中间结果数据进入Reduce节点前会进行一定的合并处理；一个Reduce节点所处理的数据可能会来自多个 Map节点，为了避免Reduce计算阶段发生数据相关性，Map节点输出的中间结果需使用一定的策略进行适当的划分处理，保证相关性数据发送到同一个 Reduce节点；此外，系统还进行一些计算性能优化处理，如对最慢的计算任务采用多备份执274、行、选最快完成者作为结果。4）出错检测和恢复：以低端商用服务器构成的大规模MapReduce计算集群中，节点硬件（主机、磁盘、内存等）出错和软件出错是常态，因此 MapReduce需要能检测并隔离出错节点，并调度分配新的节点接管出错节点的计算任务。同时，系统还将维护数据存储的可靠性，用多备份冗余存储机制提 高数据存储的可靠性，并能及时检测和恢复出错的数据。4.1.4.1.3.2 基于Yarn实现分布式资源管理系统通过改进的Yarn资源管理框架，可以在同一数据集上运行多种计算框架，动态创建SQL统计、数据挖掘、机器学习、流处理等计算集，满足企业多部门数据和计算资源统一管理的需要。Yarn是一个分275、布式的资源管理系统，用以提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。Yarn支持多种计算框架，基于一个全局的资源管理器，所有接入的框架要先向该全局资源管理器申请资源。 提供资源隔离与动态调整。不同的框架中的不同任务往往需要的资源（内存，CPU，网络IO等）不同，它们运行在同一个集群中，会相互干扰，资源统一管控与调度平台提供一种资源隔离机制避免任务之间由资源争用导致效率下降。4.1.4.1.3.3 通过Hive实现海量数据汇总分析Hive是建立在 Hadoop 上的数据仓库基础构架，提供了一系列的工具，它可以将结构化的数据文件映射为一张数据库表，并提供简单的类sql276、查询语言，可以将sql语句转换为MapReduce任务进行运行。可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用。基本数据类型支持：应支持多种不同长度的整型和浮点型数据，支持布尔型，也支持无长度限制的字符串类型。例如：TINYINT、SMALINT、BOOLEAN、FLOAT、DOUBLE、STRING等基本数据类型。这些基本数据类型和其他sql方言一样，都是保留字。集合数据类型支持：支持使用struct、map和array集合数据类型。大多数关系型数据库中不支持这些集合数据类型，在大数据系统中，使用集合类型的数据的好处在于提高数据的吞吐量，减少寻277、址次数来提高查询速度。还应提供自定义函数接口，支持UDF函数的定义开发，支持DB2、Oracle、Mysql等常用数据库中的函数语法。4.1.4.1.3.4 通过Spark内存计算框架加速数据处理采用传统的计算框架面临着不同数据处理场景下输入输出数据无法无缝共享；每个开源软件都需要一个开发和维护团队；在同一个集群中对各个系统协调资源分配比较困难等问题。Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce278、的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。与Hadoop相比，Spark的中间数据放到内存中，对于迭代运算效率更高。 Spark更适合于迭代运算比较多的ML和DM运算。提供的数据集操作类型包括map、filter、flatMap、sample、groupByKey、reduceByKey、union、sort,partionBy等多种Transformations操作类型.同时还提供Count,collect,reduce,lookup,save等多种actions操作。这些多种多样279、的数据集操作类型，给给开发上层应用的用户提供了方便。各个处理节点之间的通信模型不再像Hadoop那样就是唯一的Data Shuffle一种模式。用户可以命名，物化，控制中间结果的存储、分区等。可以说编程模型比Hadoop更灵活。大数据平台通过MapReduce分布式计算框架无法支持迭代运算、交互式查询等场景。因此引入Spark实现基于内存的数据处理，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，处理效率大幅提高。 以Spark为基础的一套软件栈包括Spark sql、Spark streaming280、等，利用基于内存的通用计算模型，可以同时支持批处理、交互式查询、流处理等各类应用场景需求。4.1.4.1.4 基于流计算的复杂事件处理4.1.4.1.4.1 关键技术4.1.4.1.4.1.1 流处理引擎流式数据是一系列顺序、海量、高速、持续到达的数据序列，一般情况下，流式数据可被视作一个随时间延续而无限增长的动态数据集合流处理引擎是一个工具，它根据一系列处理规则来操作，这些规则描述了输入流里的信息应该如何即时处理来产生新的流作为输出。同一个流里的信息元素(Information items)不需要是顺序的，也不需要是同样的类型。他们都是信息块，有它们自己的语义和关系。流处理将这些信息元素作为281、输入，接收到后尽快的根据一系列处理规则来一个接一个的处理它们，生成新的流，这些规则定义了如何过滤，合并，汇总不同的信息流。4.1.4.1.4.1.1.1 Spark Streaming实时数据处理的高效实现Spark streaming是构建在Spark上的流数据处理框架，基本的原理是将流数据分成小的时间片断（一般是秒级），以类似batch批量处理的方式来处理这小部分数据。这里的批处理引擎是Spark，也就是把Spark Streaming的输入数据按照batch size（如1秒）分成一段一段的数据（Discretized Stream），每一段数据都转换成Spark中的RDD（Resili282、ent Distributed Dataset），然后将Spark Streaming中对DStream的Transformation操作变为针对Spark中对RDD的Transformation操作，将RDD经过操作变成中间结果保存在内存中。整个流式计算根据业务的需求可以对中间的结果进行叠加，或者存储到外部设备。图 Spark Streaming 运行机制相比于传统的storm流程处理框架，Spark streaming具备更好的扩展性和吞吐量。Spark streaming集群规模可以轻易的扩展大上百台节点，以数秒的延迟处理以GB为单位的数据（60M records/s），其吞吐量也比St283、orm高25倍。如下是利用WordCount和Grep两个用例所做的测试，在Grep这个测试中，Spark Streaming中的每个节点的吞吐量是670k records/s，而Storm仅有115k records/s。图 Spark Streaming VS Storm 吞吐量通过Spark streaming为基础把流计算转换为近实时的批处理，通过scala编程语言实现数据预处理，利用Spark sql对标准sql语言的支持快速实现业务需求。 适合场景: 允许延迟在2-5秒以上的业务，对吞吐量要求较高,且增长迅速的业务 流计算的优势：可以直接写SQL处理数据，可以方便的使用或更新批处理284、的数据 使用到外部数据常用方法：外部数据量远大于流数据时，使用Hbase, redis, memcache等外部系统进行逐条存储, 查询；外部数据不是很大,且需要读写操作，直接使用Spark读取并关联外部数据以批处理的方式进行查询和更新；外部数据很小, 且只读，使用广播变量的方式将外部数据提前广播到各个节点图 Spark Streaming 应用说明4.1.4.1.4.1.1.2 Spark SQL 流处理任务快捷开发Spark SQL是一个新的基于Spark的SQL解析引擎，通过它实现执行计划的解析、生成、优化、映射工作，使系统可以基于Spark做类sql、标准sql甚至其他查询语言的查询，285、Spark SQL复用了Hive的meta store数据、hql解析、UDFs、SerDes，在执行DDL和某些简单命令的时候，调的是Hive客户端。后续逻辑执行优化、物理执行计划翻译及执行过程，都是使用的Spark sql组件提供的内容，最终的执行引擎是Spark。由于Spark sql实现对标准SQL和HQL的支持可以同时处理RDD和HDFS上的数据，对与传统平台迁移到Hadoop无需大幅改造sql，已经实施的大数据项目也可以便捷的迁移到Spark上，并且可以很好的将批处理与流处理结合起来，因此成为one size first all通用方案。具有以下特点：一，能在Scala代码里写SQ286、L，支持SQL语法检查，能把RDD指定为Table存储起来。此外支持部分SQL语法的DSL。二，支持Parquet（Parquet是一种供Hadoop使用的列式存储格式。Parquet为Hadoop生态系统中的所有项目提供支持高效率压缩的列式数据表达，而且与数据处理框架、数据模型或编程语言都没有关系）文件的读写，且保留Schema。三，能在Scala代码里访问Hive元数据，能执行Hive语句，并且把结果取回作为RDD使用。 图：Spark SQL 运行机制4.1.4.1.4.1.2 复杂事件处理及规则引擎规则是比数据更复杂的实体。现有的系统中可以找到很多不同的表达规则的方法。可以粗略的归为两287、个宏观类型：转换规则和检测规则。转换规则是一个执行计划，它是一张由很多基础算子节点互相连接形成的图。每个算子将多个信息流元素作为输入，并产生新的信息，这些新产生的信息可以转发给其他算子或者直接发送到信宿。执行计划可以是用户自定义或者编译生成。用户自定义的执行计划允许规则管理器精确定义算子执行流程；编译生成的执行计划，系统将使用高级语言编写的规则编译为执行计划。OC-Stream支持使用Spark SQL语句和Scala语言来定义规则，通过编译生成执行计划。检测规则明确区分了条件部分和动作部分。条件部分通过一个逻辑谓词来捕获信息元素中的关注的模式，动作部分采用一个专门的结构来定义相关信息应如何被288、处理和聚合以产生新的信息。流平台使用检测规则来指定如何触发新事件。复杂事件实现具体流程如下： 事件源注册：对于事件的来源，事件的格式及接口方式进行注册，事件相关字段进行统一管理; 分别对每个事件数据源通过各自适配器接入流处理引擎，适配器根据各数据源的数据量大小和并发考虑采用分布方式实现; 在每个适配器中进行相关数据源的预处理，预处理根据各地业务场景和事件源特点，进行不相关数据过滤（如信令中某些事件类型如：BSC内切换、补充业务。只保留业务相关的事件类型），以及去除不相关的字段。最终保留有意义的数据，提高系统的有效性能及处理能力; 根据数据量大小及实时性要求，接口方式可以有：socket、文件、289、消息等。实时事件解析利用事件规则管理模块预先定义的事件规则进行事件规则的一一匹配，如果符合事件规则，则触发对应事件。l 事件规则解析，规则中常用的规则有过滤类型和累积统计类型的规则。n 过滤类型如：在某个时间段出现在某个逻辑区或开关等事件。根据注册的事件源及相应字段，通过后台的管理人员的操作，将业务使用到的事件规则与数据源进行关联;n 累积统计类型如：在某个时间段打电话次数，在某个逻辑区停留时长。l 规则执行，当规则提交到引擎后并启用状态，规则开始执行，如果数据流中有满足规则的数据则进行及时结果的反馈。实时事件关联匹配支持跨多事件源的事件进行组合匹配。如可以跨信令与上网事件，进行结合关联匹配。290、 l 当事件触发后，根据事件规则要求输出最终的结果数据，比如某一事件触发后，输出触发该事件的用户明细数据。l 对满足条件的用户数据通过消息接口进行反馈；l 各事件规则使用者，通过消息接收满足自己规则的实时结果数据。4.1.4.1.4.1.3 消息中心流数据处理需要非常高的时效性，针对实时消息数据不断接入平台并且快速完成数据处理，因此平台中需要提供一个消息传输通道，为了满足大数据量快速传输的需求平台基于Kafka技术提供高吞吐量、低延迟、高扩展的分布式消息中心，以发布-订阅模式支持不同业务系统对数据资源的隔离消费。满足多系统之间高性能、高可靠、低延迟数据流转交换需求，降低系统耦合度。4.1.4.291、1.4.1.3.1 基于kafka构建可扩展的分布式消息中心Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。现在它已为多家不同类型的公司 作为多种类型的数据管道（data pipeline）和消息系统使用1）Kafka维护按类区分的消息，称为主题（topic）2）生产者（producer）向kafka的主题发布消息3）消费者（consumer）向主题注册，并且接收发布到这些主题的消息4）kafka以一个拥有一台或多台服务器的集群运行着，每一台服务器称为broker生产者（produ292、cer）通过网络发消息到kafka集群，而kafka集群则以下面这种方式对消费者进行服务在本项目流处理平台首先作为消费者，接受应用系统传输过来的消息数据，并针对消息数据进行实时处理。当消息数据处理完成后，流平台又作为生产者把处理后的结果数据通过消息通道发送给其他业务系统。基于Kafka的分布式消息队列具有高吞吐量。对于单次请求，可以实现请求时间低于5毫秒；对于高并发应用场景的请求，可以实现万次/秒、通过增加服务器数据可以实现更高的吞吐量。4.1.4.1.4.1.3.2 消息持久化为了保障消息数据的高可靠性，Kafka系统接收到的消息数据可以持久化的存储在HDFS分布式系统中，通过HDFS系统自293、身的多副本机制保障持久化的数据不会丢失，即集群中单台机器出现宕机故障导致消息丢失时，可从其他节点中恢复丢失的消息。Kafka系统可以通过多副本接收机制保证消息可靠，一个消息分区的多个replica分布在不同的Broker上，由leader replica负责日常读写，通过zookeeper监督failover，不同的分区的leader replica均衡负载到不同的Broker上。在这种情况下，producer可以选择不等待leader replica的Ack，部分Ack，或者完全备份完毕后Ack等不同的ack机制4.1.4.1.4.1.3.3 服务高可用在Kafka中使用ZooKeeper实294、现分布式系统的协调和促进。ZooKeeper用于管理、协调Kafka代理。每个Kafka代理都通过ZooKeeper协调其它Kafka代理。当Kafka系统中新增了代理或者某个代理故障失效时，ZooKeeper服务将通知生产者和消费者。生产者和消费者据此开始与其它代理协调工作4.1.4.1.4.1.3.4 动态扩展在Kafka系统没有一个中心节点，broker之间是对等的，broker可以随时添加与删除。类似的，生产者与消费者可以在任何时间动态启动。每个borker在zookeeper上注册一些元数据。生产者与消费者可以利用zookeeper来发现主题，并且在生产与消费之间协调。随着boker295、服务节点的增多整个消息队列的吞吐量也将大幅增加。4.1.4.1.4.1.3.5 消息订阅与消息管理在大数据平台中通过图形化界面对分布式消息队列提供量好的管理能力。系统可以详细定义不同的用户角色，分配相应的操作权限包括消息队列的配置、删除、消息队列数据的查看等功能。支持数据的加密、解密，实现去隐私化管理。在kafka中消息数据的发送和接收可以划分为多个Topic主题，Topic在逻辑上可以被认为是一个queue，每条消费都必须指定它的Topic，可以简单理解为必须指明把这条消息放进哪个queue里。为了使得Kafka的吞吐率可以线性提高，物理上把Topic分成一个或多个Partition，每个P296、artition在物理上对应一个文件夹，该文件夹下存储这个Partition的所有消息和索引文件。通过这种机制针对不同应用系统可以划分为多个主题，保障消息数据接收的并发性，不会因为一个业务占据消息队列的绝大部分服务时间，导致其他业务无法与消息队列正常通信。同一个topic可被多个订阅者订阅，当相关topic的消息进入总线，总线自动推送给订阅者。支持消息的动态订阅和接入。平台提供可视化管理界面，可以灵活的进行一键式的“消息队列”相关操作，即可对消息队列进行特定排序。可进行“创建队列”、“删除队列”、“修改队列属性”、“查询队列”、“获取访问API的Key”等相关消息处理操作。当消息队列发生异常时297、，可视化管理界面中可以进行报警提示或错误信息的发送。对每个业务应用，可视化管理界面中可对消息队列进行限制和监控。即可设置队列个数、单队列最大访问量等参数，设置系统性能指数，控制报警阈值。4.1.4.1.4.1.4 缓存中心流处理平台的业务处理往往需要关联其他系统提供的历史数据，而其他系统的数据存储方案又大相径庭且查询性能低下，因此流计算平台提供基于codis的数据缓存中心，在内存中建立cache，提高数据的高效读写与访问效率。同时需要提供数据同步工具，定期或准实时的将其他系统的数据同步到codis 高速缓存中。在内存中建立cache，提高数据的高效读写与访问效率，构建高性能、高可用、可扩展的分298、布式内存数据存储中心。为企业各个应用服务提供统一高效的内存数据库服务，提高业务系统的查询效率和并发度。 以Codis分布式内存数据库作为数据缓存中心的底层服务，可以通过封装优化数据写入、读取的操作接口，达到数据的高效查询、高吞吐、高可用。4.1.4.1.4.2 事件管理事件处理中心通过对数据源采集，及时的规则库匹配，内存数据库及流计算技术的引入等，以实时模式，识别客户事件，保障及时准确的触发营销活动。事件管理通过图形化界面提供包括事件定义、事件注册、事件的启用、停止、事件订阅等功能。4.1.4.1.4.2.1 事件定义与事件注册用户可通过界面配置，对不同数据接口的数据通过定义标准SQL 表达式299、，生产各种复杂多变的业务事件数据模型。对于实时的事件模型，可进行codis数据中心缓存、kafka消息中心输出、关系型DB输出、分布式FS输出等等。4.1.4.1.4.2.2 事件规则管理用户可以通过界面化配置，在已接入的经过业务标签加强后的数据流上，根据业务条件，设置事件规则，生成在单一数据流上满足完整业务条件的数据集。4.1.4.1.4.2.3 事件订阅基于各种单一数据流上定义的业务事件规则，订阅一个或多个业务事件，构成复杂业务事件。根据不同的专题业务需求，对不同数据源不同业务事件进行数据订阅。4.1.4.1.4.2.4 流程化作业开发提供图形化界面完成快速开发配置：事件及数据处理逻辑的开300、发和配置，不需要关注底层数据模型，通过开放的图形化配置界面，使用拖拽和参数输入的形式，迅速的完成开发。并且可以图形化监控整个系统。1. 内置多种数据源的接入适配器及用于分析、规则、统计的工具包，可以极大的简化开发过程。2. 基于SparkSQL和Scala语法，可以提供强大的函数库（包括内置的和外部扩展的），完全兼容SQL92标准，内置运算符和工具包包括如用于关系运算的过滤、聚合、分类、合并等运算符；功能型操作如分流、去重、等待、转换、解析、格式化、解压缩等运算符。同时支持自定义函数的实现，通过注册可以集成到流平台； 3. 提供基于高级语言API自定义开发适配器，支持独立于平台本身的适配器以及301、与平台统一管理的嵌入式适配器两种方式。实现该平台与周边系统的对接以及数据的交互。4. 支持基于集成开发环境的部署，并提供命令行编译、部署接口。支持远程部署，远程部署时自动上传执行代码，无需源代码支持。4.1.4.1.4.3 容错机制 由于Spark Streaming中所有的数据的变换操作都是基于RDD的，因此只要输入数据集存在，所有中间结果都是可被计算的。4.1.4.1.4.3.1 工作节点失效 针对不同的输入源，一般有以下两种失效情况： 使用HDFS作为输入源：数据是存储在HDFS上的。因此所有的数据都能被重新计算，不会因为任何失败的情况丢失 使用基于网络接收数据的数据源：此时接收到的数据302、会在集群中的不同节点间复制，因此一旦有一个工作节点失效，系统能够从另一份还存在的数据中重新计算。在Spark streaming中，DStream的数据模型是建立在RDD上的，并且包含了确定依赖关系，因此任务的重算都会得到相同的结果。4.1.4.1.4.3.2 驱动节点时效 对于需要7*24小时运作的流处理程序，Spark streaming有机制确保其能够在驱动节点时效后重新恢复。可以周期性地将DStream的元信息写入到HDFS分布式文件系统中。一旦驱动节点失效，丢失的StreamingContext可以从已经保存的记录点信息中恢复出来，并且重新启动。4.1.4.1.5 统一资源管理通过y303、arn的核心机制来统一管理和调度计算资源统，可以按需将资源分配给MR2和Spark使用，避免MR2和Spark之间互相争抢资源。计算资源包括：CPU、内存、硬盘I/O、网络I/O，计算资源的分配主要是依据CPU虚拟核数和内存量。yarn中 ApplicationMaster负责一个 Job 生命周期内的所有工作，类似老的框架中 JobTracker，它是一个可变更的部分，MR2和Spark分别定义了自己的AppMst，使其都能够跑在Hadoop集群中。图：Hadoop资源池分配机制通过使用Yarn组件实现资源的统一调度，可以实现：统一集群：统一的HDFS和YARN集群，多个计算引擎共存并且访问304、同一份数据，避免创建隔离的多个集群，减少数据拷贝或者远程访问，提高效率，也可降低维护成本动态部署：可以动态创建和销毁计算集群，灵活部署业务。适合对非7x24不间断业务（例如周期性统计业务）的动态部署 资源隔离：通过YARN的资源隔离和配额管理，可以避免使用同一个计算集群使用单一调度算法时出现的计算资源争抢现象，保证每项业务都能顺利完成。 资源共享：在申请资源配额后，如果当前用户的资源紧张或受限，可以动态调配其他用户的闲置资源加入，当其他用户使用时再归还4.1.4.1.6 多租户管理平台应提供多租户管理，将数据能力和数据平台数据处理能力按需、可控的进行开放，在保障数据安全性、数据可控性的前提下，305、通过标准化封装的数据操作，可视化开发工具开放给业务运营部门，由其自行进行数据操作开发.4.1.4.1.7 租户用户管理系统中的账户包括租户、用户和角色，租户对应于使用系统的一个厂商或是一个部门，系统会为每个租户分配一定的计算和存储资源供其使用，这部分资源都是动态分配可以根据系统实际运行情况动态调整，当系统资源不足时可以根据优先级设置，高优先级的任务枪长低优先级任务的资源，以满足业务需求。每个租户下面对应多个用户，即每个厂商或是部门下存在多个使用系统的人员，在系统中会为这些创建相应的用户信息。由于这些用户都是从属与租户，因此他们提交的任务占用的资源都是在租户使用范围之内。不同的用户由于权限的不同306、会被授予相应的角色，例如开发人员拥有数据文件及Hive表的增删改查权限，以便进行相关业务逻辑的开发实现；而测试人员只拥有数据的读权限，通过编写脚本进行数据质量的校验以及功能性能等方面的测试。4.1.4.1.7.1 计算资源管理为每个租户在OC-Hadoop上分配由yarn管理的计算资源，此资源为租户的独占资源，在租户内部各任务根据优先级抢占资源，租户计算资源可指定用于MR2或Spark。使用MR2时，独占资源耗尽后可抢占系统共享的空闲资源。每个租户根据名称分配一定的存储资源，指定使用的存储空间大小。当存储资源不足时会造成文件操作失败，需要管理员重新调整资源配额。图：多租户资源管理与分配通过Ya307、rn的资源隔离和配额管理，可以避免多租户之间出现的计算资源争抢现象，保证租户的业务能顺利完成。为了更好的利用平台计算资源，在申请资源配额后，如果当前租户的资源紧张或受限，可以动态调配其他租户的闲置资源加入，当其他租户使用时再归还。这样通过YARN实现对租户的增加、修改、删除、查询、停用、启用等操作。在每个租户下都可以开设多个用户账号，这些用户可使用租户分配的计算资源和存储资源。4.1.4.1.8 集群管控层 4.1.4.1.8.1 监控运维平台应提供自底层硬件到上层处理流程的全面监控体系，帮助运维人员快速定位问题解决问题，使系统持续健康稳定的运行。系统提供针对Hadoop集群及相关服务组件的端308、到端运维管理工具，提供Hadoop集群的自动化全生命周期运维管理能力。包括部署、监控、诊断、控制、优化五大功能模块：部署：提供了Hadoop集群服务及相关组件的自动化部署功能监控提供集群主机和服务的监控功能，可通过短信、邮件通知或系统监控界面迅速获知系统异常情况，并能查看到集群的服务信息及服务相关CPU、内存、网络、磁盘IO使用情况。诊断针对异常告警服务，可以直接链接查看其配置及最新日志信息以定位问题，对于可能引起问题的异常日志，可通过实时扫描的方式，提前发现问题，产生预警。控制提供集群服务整体启停以及单个服务进程启停的控制功能，并记录详细的控制命令操作历史。提供对集群资源划分和变更的控制功能309、。优化实时记录集群MapReduce任务执行详细信息，包括执行时长、占用资源数等，对历史任务进行分析，找到占用资源大、执行时间长的任务，进行分析优化。将集群任务执行情况与集群整体负载、各主机资源负载进行对比，找到集群资源瓶颈，通过参数配置和任务调度进行优化。4.1.4.2 信息安全4.1.4.2.1 安全可靠对于大数据平台安全可靠性是开发建设必须考虑的重要内容，在本项目中需要通过网络、数据库、操作用户和日志管理等方面全面实现安全控制方案，确保大数据平台操作和数据管理的安全性要求。4.1.4.2.1.1 主机安全支持通过Kerberos服务提供用户认证，对于集群内服务操作的提交通过Kerbero310、s服务进行认证。 与集群主机通信分为三种情况：1) 服务器到服务器：通过集成Kerberos，集群所有节点上都部署keytab文件，服务器之间使用密钥进行通信，确保不会出现冒充服务器的情况，例如伪装的DataNode、NodeManager。2) 授权Client到服务器：集群内配置授权服务器，通过Kerberos提供认证，确保客户端可以执行必要操作，防止用户恶意冒充执行操作。3) 非授权Client到服务器：非授权服务器只能通过调用平台开放的Rest API实现数据处理操作，无法直接向集群提交作业。4.1.4.2.1.2 权限控制4.1.4.2.1.2.1 HDFS权限管理支持对多用户和多用311、户组授权可读/写/执行HDFS文件。unnamed user (file owner)文件的拥有者unnamed group (file group)文件的所属组named user除了文件的拥有者和拥有组之外，的其它用户named group除了文件的拥有者和拥有组之外，的其它用户组Mask权限掩码，用于过滤named user和named group的权限为了对正确的用户和应用程序提供精确的访问级别，平台需要提供了细粒度级、基于角色的授权以及多租户的管理模式：1) 能够在Hadoop中存储更敏感的数据2) 使更多的终端用户拥有Hadoop数据访问权3) 创建更多的Hadoop使用案例4) 312、构建多用户应用程序5) 符合规范（例如SOX，PCI，HIPAA，EAL3）4.1.4.2.1.2.2 用户与权限管理根据系统使用者，分配不同的操作权限，并对其访问过程中进行可视化监控。用户在对作业进行各种操作之前，通过统一的认证鉴权服务判断是否具有该操作的权限。通过日志审计模块，可记录、查询和展示系统运行日志、用户访问操作日志等。用户层面规划：根据系统使用角度划分为三大角色，监控人员、运维人员、业务人员。每一类人员作为一个用户组，根据其职能进行不同的权限划分。一个用户只能属于一个用户组，一个用户/用户组可以有多个权限。一个权限可以分配给多个用户/用户组。Hive Hbase MR任务 hdf313、s 资源池 table db table 文件 目录 用户 增 增 增 提交 读 读 使用 删 删 删 终止 写 写 - 改 改 改 优先级设置 - - - 查 查 查 查看 - - - 用户组 增 增 增 提交 读 读 使用删 删 删 终止 写 写 - 改 改 改 优先级设置 - - - 查 查 查 查看 - - - 表：用户与权限管理4.1.4.2.2 日志管理日志管理对业务功能实现过程和结果进行跟踪和记录，包括全部应用功能关键行为信息。日志主要包括业务操作日志和系统日志。4.1.4.2.2.1 业务操作日志管理操作日志是用户在对数据质量管理系统实施操作时自动生成的记录，可以提供异常更改、错误定位时的判断依据。操作日志主要包含如下内容：l 用户名：具体登录操作的用户名；l 操作对象：具体操作的对象，如进行某类问题的解决情况登记等；l 动作：操作的具体行为，如增加、修改、删除等；l 时间：操作时间；