1、基于cProc的智慧交通云平台一、项目背景为提升道路交通科学管理水平，创新社会管理方式，加快公安信息化发展，更好地服务公安机关指挥疏导交通、防范交通事故、维护社会稳定、打击违法犯罪。实现对重点车辆的自动比对和动态管控、对异常车辆行踪的自动研判预警、对特定车辆行车轨迹的自动生成、对重要节点道路交通信息的远程再现、对基层单位和执勤民警的勤务实施管理等建设目标，为交通管理、治安管控、侦查破案、巡逻防范、反恐处突等各项公安工作提供服务保障，某市公安局开展图像资源库和道路监控综合应用系统建置项目。基于交通信息数据量大和公安对系统实时性及可靠性的要求高,系统需要具备的功能和性能如下：1. 海量历史交通监控2、数据汇总能够对千亿级的海量历史交通监控数据进行汇总处理。2. 海量原始交通监控数据上报能够对千亿级的海量上报交通监控数据进行上报处理。3. 海量原始数据实时入库、生成索引能够对流量超过10000条/m的全量原始交通监控数据流进行实时处理。4. 海量数据存储、计算能够存储千亿级别的数据， 并完成各种复杂业务应用计算。5. 千亿级数据秒级查询能力高效索引算法，智能化调度任务系统，满足秒级查询速度。6. 秒级实时业务响应高效实时数据通道，对于像实时监控、告警等实时业务，提供秒级响应时间。二、智慧交通云平台解决方案cProc将海量数据分解到由大量X86架构计算机构成的低成本云计算平台上进行实时处理，依3、靠分布式云处理软件进行容错，从而提升智慧交通云平台海量数据分析的实时性和性价比。1系统基本组成与构架智慧交通云平台是一个处于交管数据采集与交管数据监测应用之间的系统。从系统基本组成与构架上来看，该共享平台由7个主要部分组成：历史数据汇总处理系统，上报数据上报系统，实时数据入库系统，交管数据存储系统，交管数据查询分析应用系统，数据管理系统以及系统管理。智慧交通云平台的基本组成与构架在基础设施构架上，该平台将架构将构建在公安云计算平台之上，利用公安所提供的计算资源、存储资源和网络资源，作为智慧交通云平台的基础设施和支撑平台。交管数据通过cProc提供的数据写入接口，实时写入数据信息到云处理平台。通4、过提供的查询接口，可以高效、快速、准确的返回结果给客户端。2 系统总体构架与功能模块基于以上基本的系统组成和功能构架，系统的详细总体构架和功能模块设计如图所示。智慧交通云平台总体构架与功能模块图上图中，自底向上分为五个层面。最下层是硬件平台层，将使用市公安局云计算中心所提供的计算、存储和网络资源。从系统处理系统的角度看，这一层主要包括云存储计算集群，此外还包括接口和管理服务器、包括用于实现客户端访问的Web服务器。第二层是系统软件层，包括移动的云存储系统软件，综合分析云计算软件平台，以及Web服务软件等。云存储系统将提供基于Sybase ASE关系数据库的结构化数据存储访问能力，以及基于HDF5、S的分布式文件系统存储访问能力，分别提供基于JDBC/SQL的数据库访问接口以及HDFS访问接口。综合分析云计算软件平台可提供对HDFS、Hbase数据的访问，并提供MapReduce编程模型和接口、以及非MapReduce模型的编程接口，以及用于实现并行计算任务负载均衡和服务器单点失效恢复的Zookeeper。第三层是智慧交通云平台中的数据层，包括原始交管数据、索引数据、用于分析的中间数据、以及系统配置数据等。其中，原始交管数据、索引数据等海量数据将存储在公安局云存储系统的HDFS分布式文件系统中，用HDFS接口进行存储和访问处理；而其它用于分析的中间数据等数据量不大、但处理响应性能要求较高6、的数据，将存储在云存储系统的关系数据库系统中，用JDBC/SQL进行存储和访问处理。第四层是交管数据处理软件层，主要完成智慧交通云平台所需要提供的诸多功能，包括实时监控、报警监控、车辆轨迹查询与回放、电子地图、报警管理、布控管理、设备管理、事件检测报警、流量统计和分析、系统管理等功能。最上层是客户端用户界面软件，主要供用户查询和监视相关的数据信息，除了事件检测报警不需要用户界面外，其它部分都需要实现对应的用户界面。三、实施效果基于云存储和云计算的智慧交通云平台，为公安提供了一个大流量数据入库、海量数据存储、实时数据分析、快速数据查询的交通管控平台。1 系统查询界面系统采用B/S方式作为界面展示7、，用户可以通过对所要的查询条件进行输入，点击查询后，系统能够快速返回结果。2 提供大流量数据入库能力，防止数据堆积对于流量超过10000条/m的实时交通监控数据，传统的关系数据库已无法满足要求。而智慧交通云平台却能通过大量计算机的并行计算，将交通监控数据实时的存入云存储系统。这样可以避免因数据入库能力的不足，造成的数据堆积。3 系统查询性能指标查询、统计操作的首次响应时延小于1秒；对任何实时分析操作的反应时间小于10秒；并发操作终端数大于30个 ；基于交管数据的统计，记录5000万条以内，1秒可以统计完成。4 系统入库吞吐量指标 下图为现场多次性能测试的平均值 系统对于大数据量的读写，具有很好的自适应和均衡能力。对于存储内容大小的直线上升，系统吞吐指标趋于平缓。四、客户受益在该项目中，cProc以其优异的性能和可靠性，得到客户的高度评价。主要体现在以下几点：1.系统提供7*24不间断的服务，保证可靠性。2.特定车辆行车轨迹的自动生成、重要节点道路交通信息的远程再现。3.实现对重点车辆的自动比对和动态管控、对异常车辆行踪的自动研判预警。