1、XXXXXXXXXXXXX有限公司农业综合开发项目可行性研究报告XX工程咨询有限公司二零XX年XX月XX项目可行性研究报告建设单位：XX建筑工程有限公司建设地点：XX省XX市编制单位：XX工程咨询有限公司20XX年XX月59可行性研究报告编制单位及编制人员名单项目编制单位：XX工程咨询有限公司资格等级： 级证书编号：（发证机关：中华人民共和国住房和城乡建设部制）编制人员： XXX高级工程师XXX高级工程师XXX高级工程师XXXX有限公司二XX年XX月XX日 目录第1章 项目申请的必要性41.1 数据交换平台的研究意义41.2 数据交换技术的发展情况41.3 本项目研究的目的和内容51.4 本项2、目的先进性及创新性6第2章 申报单位情况82.1 申报单位基本情况82.2 研究开发能力9项目组成员9项目主要承担人员简介11项目研发的现有基础152.3 财务、经济状况192.4 申报单位的科研及生产经营管理状况20科研情况20生产经营情况20第3章 项目实施方案223.1 项目研究目标、范围及必要性22项目目标22项目范围22项目的必要性223.2 项目研究现状23数据交换技术的发展阶段23国外商用数据交换平台发展情况23开源数据交换平台研究情况24国内数据交换平台研究和应用情况243.3 项目研究的主要内容253.4 项目的技术方案26数据交换平台总体设计26规范化的交换目录与数据元管理3、31基于SOA的企业服务总线32丰富的可拓展的数据适配器技术34组织机构及权限配置接口35可视化数据交换配置工具35一体化的监控管理接口36可配置的应用服务接口36轻量级、高性能的数据交换引擎373.5 拟解决的关键问题463.6 主要创新点463.7 主要技术参数指标47性能要求47可靠性要求47可扩展性要求48安全性要求48易用性要求48数据处理精度要求493.8 项目的阶段与进度493.9 资金筹措及使用51投资估算及资金筹措51资金使用计划51第4章 经济及社会效益分析544.1 市场分析544.2 应用前景分析554.3 经济效益分析564.4 社会效益分析58第5章 风险分析6054、.1 技术风险605.2 管理风险605.3 市场风险61第1章 项目申请的必要性包括：项目的重要意义、技术的先进性及创新性（与国内外同类研究的比较）等。1.1 数据交换平台的研究意义数据交换平台是实现异构系统之间、新老系统之间信息透明交换的一种解决方式。通过采用统一的数据交换标准，各应用系统与数据交换平台相连，通过数据交换平台来实现数据共享和路由，由于隔离了数据存储层和应用层，使得应用与其底层的数据结构和存储方式无关，从而不需要对原有业务系统进行改造，也不需要对已有的业务流程重新开发。这种连接方式实现了数据的无缝交换和共享访问，保证了各业务系统的有效协同，同时又能保证各应用系统的相互独立性和5、低耦合性，从整体上提高了系统运作效率和安全性。数据交换平台之所以能够交换基于不同操作平台和数据库的数据，主要得益于其对信息的统一表示、完整的消息服务能力以及功能完备的交换平台软件系统。信息的统一表示依靠元语言标准、信息标准、元数据标准、显示标准、解析、转换和封装标准来保证。完整的消息服务能力依靠信息的统一封装、统一编址、信息的可靠性传输、路由管理等技术手段实现。交换平台软件系统一般采用基于相同数据库管理系统的分布式系统的数据交换、消息中间件服务器等技术方式。1.2 数据交换技术的发展情况1 商用数据交换平台发展情况国内外著名的系统软件厂商，如IBM、SUN、ORACLE等都可提供不同形式的数据6、交换解决方案。但这些厂商提供的数据交换基本上都依赖于并嵌入于它们自身现有的基础系统软件中（如数据库管理系统、SOA系统等），使得它们的数据交换平台的应用成本极高、技术难度大，需要大量的经费和技术投入才能开展。因此其广泛应用受到的限制。2 开源数据交换平台研究情况数据交换平台的研究受到的业界的广泛关注和重视，经过近几年的发展，出现了许多开源的数据交换技术，如BIE(商业集成引擎)一个完全基于Java跨平台的企业应用集成(EAI)服务器；XmlBlaster 基于Java的MOM (Message oriented Middleware)；Mule一个企业服务总线(ESB)消息框架；WSO2 ES7、B一套轻量级以XML和Web service为核心的ESB（Enterprise Service Bus）等等。这些系统以EAI或ESB为理念，提供应用系统整合和数据交换功能。但是这些系统基本上不能为一般用户提供易操作性和稳定性的使用特性，需经过专业的机构和技术人员进行较深入的研究和二次开发才能有效地得到应用。3 国内数据交换平台研究和应用情况国内数据交换平台近几年在研究和应用方面有了良好的发展。在研究方面，主要基于通用数据库技术和开源ESB技术，近年来基于SOA和ESB理念和技术的研究越来越多和深入。在应用方面，主要是针对行业的系统，如电子政务数据交换、企业应用集成（EAI）、教育数据交换等8、，这些系统的行业性强，通用性较低。在产品方面，目前比较有影响的系统有金蝶的ESB（也是基于开源的ESB），但应用需要专业人员和大量二次开发；其它产品也有不少，但未能成为主流和形成规范。1.3 本项目研究的目的和内容本项目研究基于ESB、SOA、J2EE等先进技术、理念和架构的轻量的、通用的数据交换平台。平台可各种数据系统集成在一起完成特定的业务，提供多源的、同构或异构数据之间的交换目录和数据元定义、交换服务管理、数据适配器配置、数据交换调度管理、交换过程处理、数据交换管理以及可视化管理监控等方面功能。项目的主要研究内容如下：1.数据交换目录与数据元管理。平台可依据数据元的国际、国家标准以及应用9、行业（如政务、教育、企业等）自身的信息标准，规范化地定义和描述数据元、数据字典、数据交互目录。2.数据交换服务管理。基于SOA理念定义和描述所需的数据交换服务清单，包括服务清单管理、服务对象（提供者、请求者）管理、服务注册管理、服务测试管理、服务发布管理、数据源管理等。3.数据适配器技术。数据适配器连接并访问数据交换中涉及到的可能的数据对象（数据源/目）。平台支持适配器定义、适配器安装与卸除、适配器测试、适配器配置等。主要数据适配器将各种数据库、电子表格（EXEL）、数据文件、应用服务（WEB SERVICE）、数据目录（LDAP）等。适配器根据需要可扩充。4.数据交换管理技术。定义和配置数据10、交换的一个或数个示例。主要包括交换发布与订阅配置管理、交换机构管理、触发器管理、数据发布管理、数据订阅管理等。5.数据交换调度技术。通过任务排程管理对数据交换操作提供调度管理。主要包括排成清单管理（新增、删除、编辑等）、排程属性管理（发起方式、时间、频度、批量规模等）、排程监控（日志、分析等）。6.管道式交换过程处理技术。提供交换过程中的管道式数据处理插件，主要包括数据抽取、格式转换、内容过滤、内容转换、安全加密等方面功能。7.实用的数据交换平台管理。实现对数据交换的状况和性能进行管理，主要包括用户管理、角色管理、授权管理、配置管理、备份恢复、服务统计、服务分析、日志监控等。8.轻量级体系架构11、。平台将基于开放、开源、主流的轻量级J2EE应用支持平台和开发工具，实现功能强、系统开销小、高效、易部署、易管理的轻量、通用的数据交换平台。 9.其他特殊交换技术。平台在常规数据交换的基础上，还可支持超大数据（如超大文件、超大数据库等）、流数据（如实时视频流）的数据交换，满足特殊的数据交换需求。1.4 本项目的先进性及创新性本项目将力求在以下几个方面显现出先进行和创新性：1.规范化的交换目录与数据元管理。系统可依据国际/国家标准以及应用行业自身的信息标准，规范化地定义和描述与数据交换相关的数据元、数据字典、数据交互目录。2.基于SOA的数据交换服务管理。系统基于SOA理念定义和描述所需的数据交12、换服务清单。3.丰富的可拓展的数据适配器。系统支持主流数据适配器（数据库、电子表格（EXEL）、应用服务（WEB SERVICE）、数据目录（LDAP）等，并可根据需要扩充。4.管道式交换过程处理插件技术。提供交换过程中的管道式数据处理插件，主要包括数据抽取、格式转换、内容过滤、内容转换、安全加密等方面功能。5.基于开源技术的轻量级体系架构。平台将基于开放、开源、主流的轻量级J2EE应用支持平台和开发工具，实现功能强、系统开销小、高效、易部署、易管理的轻量、通用的数据交换平台。 6.其他特殊交换技术。平台在常规数据交换的基础上，还可支持超大数据（如超大文件、超大数据库等）、流数据（如实时视频流13、）的数据交换。第2章 申报单位情况2.1 申报单位基本情况第3章 项目实施方案3.1 项目研究目标、范围及必要性3.1.1 项目目标本项目研究基于ESB、SOA、J2EE等先进技术、理念和架构的轻量的、通用的数据交换平台。平台可各种数据系统集成在一起完成特定的业务，提供多源的、同构或异构数据之间的交换目录和数据元定义、交换服务管理、数据适配器配置、数据交换调度管理、交换过程处理、数据交换管理以及可视化管理监控等方面功能。3.1.2 项目范围本项目的研究范围主要包括：在高等教育行业中，建立多源的、同构或异构数据之间的交换目录和数据元定义、交换服务管理、数据适配器配置、数据交换调度管理、交换过程处14、理、数据交换管理以及可视化管理监控等方面功能。3.1.3 项目的必要性数据交换平台是实现异构系统之间、新老系统之间信息透明交换的一种解决方式。通过采用统一的数据交换标准，各应用系统与数据交换平台相连，通过数据交换平台来实现数据共享和路由，由于隔离了数据存储层和应用层，使得应用与其底层的数据结构和存储方式无关，从而不需要对原有业务系统进行改造，也不需要对已有的业务流程重新开发。这种连接方式实现了数据的无缝交换和共享访问，保证了各业务系统的有效协同，同时又能保证各应用系统的相互独立性和低耦合性，从整体上提高了系统运作效率和安全性。数据交换平台之所以能够交换基于不同操作平台和数据库的数据，主要得益于15、其对信息的统一表示、完整的消息服务能力以及功能完备的交换平台软件系统。信息的统一表示依靠元语言标准、信息标准、元数据标准、显示标准、解析、转换和封装标准来保证。完整的消息服务能力依靠信息的统一封装、统一编址、信息的可靠性传输、路由管理等技术手段实现。交换平台软件系统一般采用基于相同数据库管理系统的分布式系统的数据交换、消息中间件服务器等技术方式。3.2 项目研究现状3.2.1 数据交换技术的发展阶段针对目前企业所关心的数据集成、交换的问题，业界主要有两种解决方法，一种是传数据交换技术，它大致包括三个发展阶段:第1阶段，以EDI(Electroc Data Interchange)为基础的电子数16、据交换；第2阶段，以多层结构Web技术为基础的信息发布；第3阶以XML等第二代Web技术为代表的数据交换。另一种就是建立数据仓库，通过数抽取、转换、清理和装载(ETL)，将数据从一个系统传输到另一个系统，同时对其进理和修改，从而符合数据仓库的需求，达到数据集成和数据交换的目的。本项目的“数据交换”特指第二种方法，即建立数据仓库时的ETL(Extract一Transform一Load)过程。3.2.2 国外商用数据交换平台发展情况国外著名的系统软件厂商，如IBM、SUN、ORACLE等都可提供不同形式的数据交换解决方案。但这些厂商提供的数据交换基本上都依赖于并嵌入于它们自身现有的基础系统软件中（17、如数据库管理系统、SOA系统等），使得它们的数据交换平台的应用成本极高、技术难度大，需要大量的经费和技术投入才能开展。因此其广泛应用受到的限制。这些厂商提供的产品，还包括整体数据仓库方案供应商的产品，它们能从功能上满足企业数据交换的需求，如IBM的Warehouse Manager。在本项目的进展过程中主要尝试过Fioran。公司的ESB(Enterise Service Bus)产品和 RedHat的MetaMatrix，相比于专门的ETL工具，这些产品稍显边缘化，但其强大的功能在企业信息集成管理方面较为出色。此外，还有许多专业化的中小软件厂商，提供数据交换产品：首先是专门的ETL工具。国外18、的ETL技术比较领先，已形成规模化、专业化的软件市较为成熟的产品包括三大主流ETL:Ascential公司的Datastage、Informatica公司的Datastage、Informatica公司的Powercente:以及 NCRTeradata公司的 ETLAutomation。这类专业厂商的产品一般都有较完善的体系结构和久经考验的品质，产品的功能之复杂和详尽往往能令初次接触的人膛目，但其高昂的价格也会使一般用户望而却步。3.2.3 开源数据交换平台研究情况数据交换平台的研究受到的业界的广泛关注和重视，经过近几年的发展，出现了许多开源的数据交换技术，如BIE(商业集成引擎)一个完全基19、于Java跨平台的企业应用集成(EAI)服务器；XmlBlaster 基于Java的MOM (Message oriented Middleware)；Mule一个企业服务总线(ESB)消息框架；WSO2 ESB一套轻量级以XML和Web service为核心的ESB（Enterprise Service Bus）等等。这些系统以EAI或ESB为理念，提供应用系统整合和数据交换功能。但是这些系统基本上不能为一般用户提供易操作性和稳定性的使用特性，需经过专业的机构和技术人员进行较深入的研究和二次开发才能有效地得到应用。除了以前的ESB开源产品之外，也有许多厂商研发的轻量级的开源产品，如Kettl20、e、JasperETL、Jitterbit等，这些产品一般都用Java编写，易维护易扩展，体积较小，数据抽取高效稳定。其中Kettle以其强健全面的功能和灵活直观的界面在众多产品中占据翘楚。3.2.4 国内数据交换平台研究和应用情况国内数据交换平台近几年在研究和应用方面有了良好的发展。在研究方面，主要基于通用数据库技术和开源ESB技术，近年来基于SOA和ESB理念和技术的研究越来越多和深入。在应用方面，主要是针对行业的系统，如电子政务数据交换、企业应用集成（EAI）、教育数据交换等，这些系统的行业性强，通用性较低。在产品方面，目前国内尚欠缺比较成型的ETL产品，针对这方面工具软件的研发也相对落21、后，不过还是有一些功能上近似的替代品被广泛应用，在项目中也为其做了尝试，如金蝶的ESB（也是基于开源的ESB）、东方通公司的中间件系列产品(Tonglniegrator、TongL、KQ等)，与提供的服务相配合可以实现数据的企业级集成交换；还有新晨的整合化传输工具XXCJ，只能满足部分要求，对于数据交换安全、大数据量、实时数据等不能实现交换。但使用中需要专业人员和大量二次开发，未能成为主流和形成规范。因为中文的原因，国内产品在使用上，操作复杂性、界面友好性等方面还存在一些差距。3.3 项目研究的主要内容项目的主要研究内容如下：1.数据交换目录与数据元管理。平台可依据数据元的国际、国家标准以及应22、用行业（如政务、教育、企业等）自身的信息标准，规范化地定义和描述数据元、数据字典、数据交互目录。2.数据交换服务管理。基于SOA理念定义和描述所需的数据交换服务清单，包括服务清单管理、服务对象（提供者、请求者）管理、服务注册管理、服务测试管理、服务发布管理、数据源管理等。3.数据适配器技术。数据适配器连接并访问数据交换中涉及到的可能的数据对象（数据源/目）。平台支持适配器定义、适配器安装与卸除、适配器测试、适配器配置等。主要数据适配器将各种数据库、电子表格（EXEL）、数据文件、应用服务（WEB SERVICE）、数据目录（LDAP）等。适配器根据需要可扩充。4.数据交换管理技术。定义和配置数23、据交换的一个或数个示例。主要包括交换发布与订阅配置管理、交换机构管理、触发器管理、数据发布管理、数据订阅管理等。5.数据交换调度技术。通过任务排程管理对数据交换操作提供调度管理。主要包括排成清单管理（新增、删除、编辑等）、排程属性管理（发起方式、时间、频度、批量规模等）、排程监控（日志、分析等）。6.管道式交换过程处理技术。提供交换过程中的管道式数据处理插件，主要包括数据抽取、格式转换、内容过滤、内容转换、安全加密等方面功能。7.实用的数据交换平台管理。实现对数据交换的状况和性能进行管理，主要包括用户管理、角色管理、授权管理、配置管理、备份恢复、服务统计、服务分析、日志监控等。8.轻量级体系架24、构。平台将基于开放、开源、主流的轻量级J2EE应用支持平台和开发工具，实现功能强、系统开销小、高效、易部署、易管理的轻量、通用的数据交换平台。 9.其他特殊交换技术。平台在常规数据交换的基础上，还可支持超大数据（如超大文件、超大数据库等）、流数据（如实时视频流）的数据交换，满足特殊的数据交换需求。3.4 项目的技术方案3.4.1 数据交换平台总体设计3.4.1.1 数据交换平台的功能结构根据上述描述的数据交换作用与功能，我们将数据交换平台的功能结构设计成下图所示。在数据交换平台的上述架构中，“数据交换管理”子系统作为平台的管理核心，调动各子系统协同工作，共同完成是特定的数据交换服务。数据交换平25、台各功能模块的协同工作过程如下：（1） 数据交换子系统首先定义数据交换服务，按照SOA模式描述如交换机构、交换数据源、交换触发器等信息；（2） 数据交换适配器管理子系统根据交换数据源实际情况，配置好源数据对象和目标数据对象的数据适配器，必要时可扩展所需的数据适配器；（3） 数据交换标准管理子系统根据描述的数据交换服务，定义交换源、目各方都一致性理解的数据元、数据字典，形成交换所需的数据目录；（4） 数据交换系统管理子系统对执行交换的用户权限进行配置管理，描述用户和用户组帐户属性，定于角色及操作权利，对用户进行授权。（5） 数据交换管道处理子系统根据交换源数据对象和目标数据对象的数据项的情况以及26、交换过程用户对数据的各种处理要求，以管道插件方式配置对数据进行处理，如数据项合并、数据项拆分、数据变换、内容过滤、安全加密等；（6） 数据交换任务调度子系统根据用户的交换执行模式要求，配置数据交换服务的排程参数，如发起方式、时间、频度、批量规模等；（7） 数据交换子系统根据预先描述和配置好的数据交换任务，自动执行数据交换操作。3.4.1.2 数据交换平台的系统架构在数据交换平台的整体架构设计中，将整个平台划分为轻量ESB体系结构、数据交换引擎、组织结构及权限配置接口、可视化数据交换流程定义工具、数据适配器接口、监控管理接口、应用服务接口。数据交换平台的系统架构如下图所示：轻量级ESB体系结构采27、用目前流行的、轻量的、开源的ESB，实现服务的注册、配置、管理。服务运行时环境提供服务（和服务组件）的部署、运行和管理能力，支持服务编程模型，保证系统的安全和性能等质量要素；服务总线提供服务中介的能力，使得服务使用者能够以技术透明和位置透明的方式来访问服务；服务注册库支持存储和访问服务的描述信息，是实现服务中介、管理服务的重要基础；而服务组装引擎，则将服务组装为服务流程，完成一个业务过程；服务网关用于在不同服务计算环境的边界进行服务翻译，比如安全。数据交换引擎是整个数据交换平台中核心，它的性能直接影响到数据交换平台的性能。因此，采用目前最轻量的、性能最高的开源的数据交换工具Kettle,在Ke28、ttle基础中，封装成各种不同的数据交换服务组件，注册到ESB服务池中，将通过数据交换引擎，解释数据交换配置工具定义的交换流程，并实例化数据交换流程，运行数据交换流程。对于多种数据交换平台相互协调交换时，可以配置相应的交换路由，在交换路由中配置远程数据交换平台的地址、流程名称、节点名称等，实现不同数据交换平台之间的相应协调工作。对于定义调度的数据交换流程，由数据交换引擎提供的定义调度功能，实现数据交换流程的被起动；在被动启动数据交换流程时，由流程调用本身的服务组件，起动交换过程；在交换过程中，调用数据交换平台提供的服务组件时，可以直接调用本身的组件，提高引擎响应速度；对于外部接入的应用服务组件29、，通过ESB发布的数据服务接口，调用应用服务组件提供的服务，实现数据交换的被动触发；对于由应用服务组件触发的数据交换流程，应用服务组件通过调用ESB提供的服务接口，以及数据交换引擎发布的服务接口，由ESB调用相应的数据交换流程，实现数据主动的实现。组织结构及权限配置接口是实现与其它应用系统的权限统一管理。在数据交换引擎中，可以对不同的数据交换流程，授予不同用户的权限，只有被授权的用户，才可以起动流程的运行；或者是数据发布接口，只有被授权的用户才可以访问被授权的服务接口。可视化数据交换流程配置工具是配置数据交换流程的工具，通过易用的、可视化的工具，为用户提供十分便捷的配置手段，简化数据交换流程的30、管理。数据适配器接口可以直接配置各种不同类型的数据源或目标数据源。当数据交换过程中，需要访问外部数据时，可以通过数据适配器接口，直接加载或输出数据。对于提供数据访问服务接口的应用系统，可以通过配置应用服务接口，从接口从读取所需要的数据或输出数据到应用服务接口中。数据交换目录接口是提供数据交换过程中涉及的数据交换元数据。这些元数据结构可以通过外部系统提供满足条件的目录结构，也可以直接通过数据交换平台提供的目录管理功能，配置数据交换目录数据。在数据交换目录结构中，对于每一个数据源与目标之间的相应关系，都可以通过数据交换目录结构进行定义。应用服务接口是提供各种应用系统接入数据交换平台的接入方式，它通31、过注册应用服务的方式将各种应用系统集成到数据交换平台中，并通过数据交换配置工具，将应用服务接口做为一个节点引入到数据交换流程中，实现各种应用系统之间的数据交换。3.4.1.3 数据交换平台的应用部署模式数据交换平台的一般部署模式如下图所示。从图中可以看出，采用数据交换平台，遵循一致的数据交换标准，通过网络可实现不同应用之间、不同机构之间以及分支与中心之间的数据交换。根据应用的范围的不同，数据交换平台可有以下几种基本的部署模式：（1） 内部业务系统数据交换部署这种模式主要适应于同一个机构（政府部门、学校、企业等）内部的不同应用系统之间的数据交换，解决信息孤岛问题，实现数据的治理。由于各种原因，一32、个机构内部可能先后采购了多种应用系统，这些系统可能来源不同、开发平台不同、数据库系统不同、工作模式不同，使得系统之间数据交换非常困难，造成数据重复建设、数据冗余、数据不一致等问题。采用数据交换平台，可实现机构内各应用系统的数据整合，解决信息孤岛问题。（2） 对等系统数据交换部署这种模式主要适应于具有业务联系的两个或多个对等机构之间的应用系统之间的数据交换，实现关键业务数据的关联，提高关联业务处理的效率。各机构的系统一般都作用不同、功能不同、开发平台不同、数据库系统不同，系统之间数据交换一般都需要接口系统来解决。这类数据交换的例子有电子商务（E-Commerce）、电子数据交换（EDI）、文件交33、换、资源共享等。（3） 上下级系统数据交换部署这种模式主要适应于具有数据关联的上、下级机构之间的数据交换，实现预定的工作业务数据的上报或下传，提高工作效率。上下级之间的通常都是各自先后建设，系统开发平台、数据库系统不同、信息格式不同，数据交换平台可作为其中的有效桥梁。这类数据交换的例子有统计资料的上报、文件的下发等。3.4.2 规范化的交换目录与数据元管理数据元指通过定义、标识、表示以及允许值等一系列属性描述的数据单元。数据元由数据元概念和表示两部分组成。当一个表示被联合到一个数据元概念时,就能够产生数据元。数据元表示规范是通过描述数据元的一系列属性来实现的。这些属性实际上是数据元的元数据。针34、对数据元的查询、维护及基于数据元的信息抽取、交换的需要设计了以下几个方面的基本属性:标识类属性、表示类属性、关系类属性、管理类属性和附加类属性。数据元的作用表现在以下几个方面：(1) 统一数据的名称和定义；(2) 统一数据的格式；(3) 有利于实现系统之间的数据交换；(4) 便于数据交换目录的建立。规范交换目录和数据元管理对于构建数据交换平台具有重要的意义，它使得在信息化建设中，规范和统一数据采集与应用标准；构筑数据共享的基础，为不同系统多种模式的数据存取和数据共享提供数据转换格式和编程接口。数据元设计的根本目的是便于进行交互数据的管理,而交互数据是从业务流程中得来的。因此,数据元的提取离不开35、对相应领域业务流程的分析。在对业务流程分析的基础上,实现信息的建模和数据元的提取。为了实现各个行业的数据交换目录，对数据交换目录采取元数据的描述方式，根据不同行业的特色及数据交换要求，配置不同的元数据内容；从而在不改变数据交换平台系统的情况下，使用数据交换平台适于各种不同行业的数据交换需要。3.4.3 基于SOA的企业服务总线在本项目平台建设中将采用SOA架构。SOA可以根据需求通过网络对松散耦合的粗粒度应用组件进行分布式部署、组合和使用。服务层是SOA的基础，可以直接被应用调用，从而有效控制系统中与软件代理交互的人为依赖性。n SOA架构模型在基于SOA架构的系统中，具体应用程序的功能是由一36、些松耦合并且具有统一接口定义方式的组件(也就是Web Service)组合构建起来的。SOA架构模型如下图所示：SOA架构模型图n SOA计算环境在面向服务的计算环境中，系统可以是高度分布、异构的。它一般包括服务运行时环境（Service Runtime）、服务总线（Service Integration Infrastructure）、服务网关（Service Gateway）、服务注册库（Service Registry）和服务组装引擎（Service Choreography Engine）等，如下图所示。SOA计算环境的组成要素服务运行时环境提供服务（和服务组件）的部署、运行和管理能力37、，支持服务编程模型，保证系统的安全和性能等质量要素；服务总线提供服务中介的能力，使得服务使用者能够以技术透明和位置透明的方式来访问服务；服务注册库支持存储和访问服务的描述信息，是实现服务中介、管理服务的重要基础；而服务组装引擎，则将服务组装为服务流程，完成一个业务过程；服务网关用于在不同服务计算环境的边界进行服务翻译，比如安全。n SOA协议栈面向服务的计算环境是开放的、标准的，由如图所示的技术标准协议栈所定义和支持。例如，Transport层的HTTP协议，Service Description层的WSDL，Business Process层的WS-CDL等，与Policy相关的WS-Pol38、icy。SOA计算环境的标准协议栈3.4.4 丰富的可拓展的数据适配器技术数据适配器连接并访问数据交换中涉及到的可能的数据对象（数据源/目）。平台支持适配器定义、适配器安装与卸除、适配器测试、适配器配置等。数据交换平台支持广泛的数据库系统，包括主流的关系型数据库、非主流的数据库以及文件系统，支持Informix、Sybase、Oracle、MS SQL Server、Mysql、ODBC、OLEDB、JDBC、Native 数据源；Web Services、XML、消息队列数据源。同时，在进行数据交换时对数据进行综合治理，解决数据匹配、冗余、不一致等问题。在数据适配器接口中，提供上述各种数据源39、的访问服务，并注册到ESB服务池中；在数据交换配置工具中，可以选择不同数据源的访问服务，实现多数据源的接入管理。共享数据交换平台提供数据库入站适配器，支持主流的关系型数据库的主流版本（如Informix、Sybase、Oracle、MS SQL Server、Mysql），并且能够支持初始数据同步和增量数据同步两种数据同步模式。针对部门通过暴露Web服务的方式提供数据的场景，数据交换平台提供Web服务适配器，能够通过调用Web服务的方式，获取数据。针对部门通过介质报备数据的场景，数据交换平台提供Excel适配器、文本文件适配器、Access适配器、Visual Fox Pro适配器等多种文件适40、配器，完成数据的采集。也包括ODBC、OLEDB、JDBC、Native 数据源；Web Services、XML、消息队列数据源。除了上述的可用适配器之外，对于特殊的数据源，也可以通过配置文件，对适配器根据需要可扩充；在配置文件中，可以定义数据源对应于数据交换目录的结构。3.4.5 组织机构及权限配置接口数据交换平台不是单独的应用系统，在各种应用环境中，有时必须提供数据交换流程、数据订阅接口访问、数据交换平台的各种功能使用的权限配置。虽然这些功能可以在数据交换平台中，实现相应功能；但对于数据交换平台具体的应用环境，数据交换平台不是单独为用户服务，它只是为用户提供数据交换服务、应用整合服务功能41、，并不具体完整的业务功能，也没有独立的用户管理功能。因此，数据交换平台的需要外部的应用系统提供相应的用户权限。在组织机构及权限配置接口功能中，主要对外部系统提供各种数据交换流程列表、监控管理等功能列表、数据发布服务列表等，方便用户对这些列表进行访问授权。在数据交换平台运行过程中，涉及权限检测点时，通过访问配置接口，判断当前用户是否有权限访问相关的业务功能。3.4.6 可视化数据交换配置工具数据交换配置包括进行数据交换的相关业务系统的配置及业务系统进行数据交换的表、字段的配置，数据交换平台具有友好的配置界面、完善的交换过程监控和权限控制机制。在数据交换配置过程中，采用可视化、拖拉的方式进行整个数42、据交换过程的流程配置。在配置过程中，可以配置数据的表输入、字段映射、字段拆分、字段合并、值映射、计算、表输出等。可以非常便捷的根据业务需求情况，调整数据采集、处理、共享等过程。3.4.7 一体化的监控管理接口数据交换平台提供了全套，完整地集系统管理、适配部署、MQ配置、流程定义、日志统计于一体的配置部署工具，并且提供了非常友好的可视化界面，更多的以业务的视角展现数据集成中所需要解决的问题和难点。同时，数据交换平台还提供了基于浏览器的监控和管理工具，能够做到运行期对整体平台的实时监控。管理工具还提供了对数据交换平台对整个网络的实时监控功能，可以对数据交换平台网络上的任意一个节点运行情况进行实时监43、控，包括流程实例的运行状态，数据状态等等，真正做到对数据交换平台的运行状况了然于胸，尽在掌握。数据交换平台，拥有完善的日志管理机制，可进行多维度的日志发现、跟踪与分析。同时，数据交换平台还提供了基于浏览器的监控和管理工具，能够做到运行期对整体平台的实时监控；实现对数据交换的状况和性能进行管理，主要包括用户管理、角色管理、授权管理、配置管理、备份恢复、服务统计、服务分析、日志监控等。配置管理是对数据交换平台相关参数进行管理。备份恢复对数据交换配置中的相关参数进行维护，同时对数据进行备份。备份包括业务流程、业务数据等备份。同时，如果服务器出现异常时，可以通过系统的备份文件，从备份数据中，还原共享数44、据中心的内容。服务统计、服务分析、日志监控、邮件发送等功能，必须有远距离的服务对象的使用情况，并对使用情况进行分析，确定各种数据交换流程访问情况。在交换日志进行分析的基础中，分析用户访问管理功能。3.4.8 可配置的应用服务接口通过ESB提供的服务注册管理接口，将各个应用系统提供的服务接口注册到ESB服务池中；同时，数据交换平台的可视化配置工具，读取已注册到服务池中的服务对象，根据业务数据整合的需要，配置到相应的数据交换节点中，实现各个应用系统的服务接口可灵活配置功能。这些配置到服务池中的服务对象既可以是被调用的服务接口，也可以是主动申请服务的对象，从而实现数据交换平台的被动与主动的数据交换服45、务功能。3.4.9 轻量级、高性能的数据交换引擎在数据交换平台中，最核心的是数据交换引擎，为数据交换平台提供高性能的数据交换作用。在各个单位或部门多种异构的业务应用系统的环境下，通过数据交换平台的数据交换引擎，协调各种数据交换组件的功能，实现同构、异构数据之间的交换与集成。同种数据交换引擎由一个或多个兼容的工作流机组成，为数据交换流过程提供运行时期的执行环境。在多个数据交换引擎间组织过程执行的机制、协议和转换格式，可以是产品所特有，并不一定是标准化的。异种数据交换执行服务器是由两个或者多个同种的执行服务器组成，并在一致性级别上遵守公共的协同工作标准。因此也需要定义一系列的一致性级别，来支持不断46、增加的公共功能级别。一致性级别中应该包括：n 在异种执行服务器间要有公共的命名方案n 异种执行服务器都要，支持公共的过程定义对象和属性n 支持数据交换引擎相关数据在异种执行服务器间的传递n 支持过程、子过程或者活动在异种数据交换引擎间的传递n 支持公共的管理和监视功能数据交换引擎执行服务可以看作是一个状态变迁机器，过程或者活动的实例在响应外部事件、工作流机负责的控制判断后，其状态发生改变。下图描述了过程实例的基本状态变迁方案：在上图中，发生状态转移（用箭头表示）来响应WAPI的命令；过程定义中的转移条件满足，也可能发生状态转移。Initiated（初始化） 过程实例被创建，包括与过程状态相关的47、日期、数据交换引擎相关数据，但是过程还没有满足条件，不能执行。Running（运行） 过程实例已经执行，过程中的活动如果条件满足就可以执行。Active（激活） 过程中的一个或者多个活动已经被执行。Suspended（挂起） 过程实例被静止，并且过程中的活动不能执行，直到过程返回到running状态。Completed（结束） 过程实例满足结束条件；所有的完成后操作都将被执行（例如记录日志、或者统计信息），并且销毁过程实例。Terminated（终止） 过程实例在正常结束前被停止；所有的完成后操作都将被执行（例如记录错误信息、或者恢复数据），并且销毁过程实例。活动是不能被中断的，例如数据交换引48、擎一旦开始了一个活动，就不能挂起或者终止这个活动。这就意味着，只有在所有运行中的活动结束后，并且过程返回到running状态，才能对过程执行挂起、重启、终止等命令。另外，可能需要把几个活动放在一起作为“原子单元”，这些原子单元要执行就全部被执行完，如果中途出现异常则返回到开始点，重新执行。活动实例的基本状态和转移如下图：一个活动的基本状态有：Inactive 过程实例中的活动已经被创建，但是还没有激活（例如，活动的进入条件没有满足），并且没有任务需要处理。Active 创建好的任务，分配这个活动来处理。Suspended 活动实例被静止，并直到活动返回到Inactive状态，才能为其分配任务。49、Completed 活动实例执行完成。3.4.9.1 数据交换引擎的系统架构在数据交换引擎中，主要实现将各种业务应用系统中的权威数据进行抽取、拆分、合并、运算、映射、清洗、转换后，装载到目标数据库中；同时，可以采取推、拉的方式将源数据库中的数据，通过数据交换引擎，同步到各个应用系统中。下面是数据交换引擎的结构图：数据交换平台的结构图3.4.9.2 交换机构管理可以配置不同的数据交换机构，在不同的交换机构下，配置各交换机构的数据交换流程。各个不同机构之间的流程可以共享使用。3.4.9.3 触发器管理为了提高数据交换性能，满足只记录数据变化部分的数据；在数据交换时，也只交换变化部分的数据，不变化的50、数据不进行交换，减少数据交换流量，提高数据交换性能。在配置触发器时，如果是选择源数据、目标数据源，再选择要配置触发器的表；对触发器的类型分为插入、修改、删除；在配置触发器时，可以选择不同的监控方式；同时，设置表的主键字段，监控变化的字段，备份那些字段。在配置触发器之后，可以发布触发器到目标表中，监控目标表的变化情况；一旦监测到目标表发布数据变化时，记录那些记录发生变化，以及那些字段发生变化；从而，在采集数据中，只采集变化部分的数据，未变化的数据，不需要交换，减少数据交换量。3.4.9.4 数据交换协作管理在数据交换过程中，涉及多个数据交换平台之间数据交换时，各个数据交换平台的数据可以通过不同的51、路由配置节点，将相应的数据信息传递到目标数据交换平台中。在数据交换平台之间的协作方式，可以采取异步或同步的方式进行。3.4.9.5 交换数据构造功能在交换数据构造阶段，数据交换平台提供了数据桥接组件，能够实现部门的业务数据库和前置数据库的数据双向桥接，并且能够在数据同步的过程中，产生数据比对、清洗结果集。针对没有业务库，需要通过录入方式，将数据录入到前置数据库中的部门，采用快速开发框架，可以根据用户的具体需求快速生成Web方式的数据录入界面。前置数据采集阶段针对部署前置交换数据库的场景，数据交换平台提供数据库入站适配器，支持主流的关系型数据库的主流版本，并且能够支持初始数据同步和增量数据同步两52、种数据同步模式。针对部门通过暴露Web服务的方式提供数据的场景，数据交换平台提供Web服务适配器，能够通过调用Web服务的方式，获取数据。针对部门通过介质报备数据的场景，数据交换平台提供Excel适配器、文本文件适配器、Access适配器、Visual Fox Pro适配器等多种文件适配器，完成数据的采集。3.4.9.6 数据清洗/影射/对比/加工功能数据交换平台针对采集到的数据，提供了各种数据处理组件，能够完成数据的端到端的处理，包括数据计算、数据合并、数据比对、数据影射、数据拆分等功能。这些数据处理组件，可以根据不同的需要，组合起来，应对各种数据处理的负责场景，并且能够以可定制的、业务化的53、脚本的方式进行脚本的动态扩展。数据合并：可以将某些数据，按照一定的规则进行合并，形成一个数据。数据映射：利用数据交换工具二次开发的可视化指标映射功能模块，实现交换数据库的源数据到目标数据指标映射。数据对比：根据源数据与目标数据的情况进行比较，并设置转换映射关系；从而在交换过程中，根据源与目的数据的差异进行相应的处理。数据计算：通过可视化的编辑计算模块输入计算规则和语法；数据拆分：可以将某些数据，在交换过程中根据需要拆分成几个数据。格式转化与数据加载模块：交换数据库只是简单的将各学校各业务司各种格式数据进行数据格式的转换，形成统一的数据库结构的问文件。在此基础上，需要利用ETL工具按照要求设计的54、共享数据库结构实现数据的加载。3.4.9.7 数据路由功能数据交换平台通过流程化的方式，有机的组合和串联各个适配器和数据处理组件，以流程化的方式，制定数据路由规则。路由可以从一个数据交换平台，进入另一个数据交换平台，实现两个数据交换平台的有效协作。数据路由规则图同时，数据交换平台通过底层的消息中间件完成消息的物理路由，真正做到消息传输的可靠、稳定、安全。消息中间件完成消息的物理路由图3.4.9.8 数据推送持久功能针对数据需要被持久到前置数据库的场景，数据交换平台提供了数据库出站适配器，能够将数据自动写入到关系数据库中。针对部门暴露Web服务消费数据的场景，数据交换平台提供了Web服务适配器，55、能够通过调用Web服务的方式，消费数据。针对数据需要被持久到文件介质的场景，数据交换平台提供了Excel适配器、文本文件适配器、Access适配器、Visual Fox Pro适配器等多种文件适配器，将数据写入到文件中。数据提交模块：数据提交软件按照要求设定数据提交的时间和条件，对信息共享平台的共享数库提交数据。3.4.9.9 数据发布管理功能数据发布管理是针对应用对数据访问的，一般提供一组标准的访问数据库表和视图的访问接口。下面先以基于XML的Web服务接口方式为例加以说明。可扩展标记语言（eXtensible Markup Language，XML）具有良好的可扩展性，遵循严格的语法要求，56、便于不同系统之间的信息传输，可以使用户与应用程序之间文件交换更容易，将文档结构与显示内容分开，具有较好的保值性。Web服务即通常所说的WebService技术，Web服务可以适用于开发和部署多层结构的、分布式的、面向对象的Java应用系统的跨平台的构件体系结构。Web服务体系的优势是平台无关性；可扩展性强；可分布性强；具备很高的可靠性；可以实现动态负载均衡。其针对共享数据中心的表和视图可以提供标准的WebService访问接口，为用户的Select、Update、Insert、Delete操作提供服务，并对提交的数据的合法性提供校验。发布时，可以设置发布策略：被动、主动方式。被动方式，是应用访57、问发布接口时，才开始加载数据，将数据进行处理，形成某种格式的数据，发布到应用中，由应用对返回的数据进行处理；主动方式，是设置调度器，由调度器根据设置的时间片段，定时加载数据，并形成应用对解释的数据格式，自动调用应用提供的接口信息，将数据传递给应用。3.4.9.10 数据订阅管理可以通过数据订阅管理，配置那应用订阅已发布的数据服务接口。在数据订阅配置中，可以设置应用系统的提供的访问接口，参数的类型及数量，访问方式。通过数据订阅配置之后，当数据发布调度启动后，如果有变化的数据，根据数据订阅配置的方式是异步，还是同步的方式，将数据从源数据库中，提取满足条件的数据，并对数据进行一定的处理、加工；根据数58、据订阅配置的内容，访问方式等，启动调度管理，由调度将定时将配置为自动的数据交换流程，启动相应的过程。3.4.9.11 数据交换调度技术数据交换平台支持主动和被动两种模式的数据交换。在主动模式下，数据需求方主动从数据源采集需要的共享数据，在被动模式下，数据需求方被动接受由数据提供方触发的数据流。数据的采集过程，可以由数据交换平台定制数据采集流程，从哪个已配置的客户端采集数据到服务器上，再通过流程配置的表输出方式，输出到目标数据源中。在数据交换平台中主动模式下，统一由管理控制台下定制相应的调度管理功能，定制数据采集业务流程的触发时间。可以按照年、月、日、小时、分钟、秒等方式定制调度规则，当调度规则59、起动时，自动起动数据采集的业务流程，从源数据库中采集定制的增量/部数据到目标数据库中，实现主动数据的采集过程。在数据交换平台中被动模式下，统一由管理控制台下定制相应的调度管理功能，定制数据采集业务流程的触发时间。可以按照年、月、日、小时、分钟、秒等方式定制调度规则，当调度规则起动时，自动起动数据采集的业务流程，从源数据库中采集定制的增量/全部数据到目标数据库中，实现主动数据的采集过程。3.4.9.12 虚拟管道式交换过程处理技术数据交换平台中，将采用基于PKI的数字证书CA(Certificate Authority)技术来保障整个数据交换过程中数据的安全性，包括数据加密、身份认证和数字签名。60、CA是数字证书认证的简称，是指发放、管理、废除数字证书的机构。CA的作用是检查证书持有者身份的合法性，并签发证书（在证书上签字），以防证书被伪造或篡改，以及对证书和密钥进行管理。在数据交换过程中，通过数字证书的加密，确保数据交换过程中数据的安全性。在采用数字证书的基础上，构建虚拟数据交换管道（通过三次握手的方式建立虚拟管道），一个节点到另一个节点，从一个路由到另一个数据交换平台的一个路由，建立一个唯一标识的虚拟交换配置表。当从数据源抽取数据之后，通过已建立的虚拟管道，数据直接通过配置好的交换路径进行快速的数据交换。在虚拟管道中，可以接入数据抽取、格式转换、数据处理、内容过滤、内容转换等组件，实61、现数据交换过程中有效的控制。通过这些数据处理组件，根据需要进行组合，形成不同的数据处理方式，输出处理后的数据内容传输给目标数据库。数据抽取组件可以定义从数据源中，抽取不同的数据；这些数据包括源数据库中数据、流数据源的数据、WebSerivce接口数据或其它的源数据。数据抽取组件根据不同的配置，以被动或主动的方式抽取源数据。格式转换组件将数据源的数据从一种数据格式，转换成另一种格式的数据，满足不同应用系统对数据格式的要求。如将EXCEL的格式转换成XML格式、数据格式等。数据处理对数据抽取后的数据，进行单独处理，可以添加数据计算、数据加密、数据解密、数据压缩、数据解压缩等操作；将一个字段的数据拆62、分成几个字段的数据；将多个字段的数据根据一定的规划合并成一个字段的数据；可以对字段的数据进行数据计算等。内容过滤对采集的数据按照一定的处理规则，对满足条件的数据进行过滤，或将不满足条件的数据进行过滤；对于处理规则，可以定义多种组合规则同时处理。内容转换是针对不同的数据内容，将一种数据中的内容转换成另一种表达形式的数据。如将1转换成是，0转换成否；或将1转换成男，0转换成女等；也可以将流数据的格式，转换成十六进制的文本数据；或将十六进制的数据转换成十进制的数据；或将WAV的数据转换成MP3格式的数据等。3.4.9.13 轻量级体系架构传统 ETL 体系结构与技术中数据抽取、数据转换和数据加载三类63、服务的封装是粗粒度的,开发时每块服务的开发量大,开发完成后部署较为复杂,占用的空间大。其次不能很好地协调各个数据源的抽取任务,容易造成抽取总线数据流量太大,抽取引擎负荷较重,直接影响整体 ETL系统的效率。第三,由于抽取到临时存储区的数据之前未进行任何的验证等操作,虽然是事先有以元数据为驱动的转换规则,但是规则定义复杂,不能实时性动态地进行规则变换,对于脏数据的过滤和数据转换中错误的处理需要额外占用数据转换引擎进行处理,这就容易造成转换引擎的效率变低,而且影响整个数据迁移过程中的系统的稳定性。再次,由于采用的服务封装粒度较粗,数据在加载过程当中如果一旦发现数据质量有问题,很难准确定位出错原因 64、,查找错误较为困难。在充分考虑本地网级数据库服务器额外加载服务对原有系统的影响好服务器最优承载能力，提出了把传统数据抽取、数据转换部分拆分到本地网络服务器进行承载，以小粒度进行数据抽取和转换两类服务的封装，产生一个轻量级的ETL系统，并通过应用事件收集和任务调度管理进一步减轻核心ETL系统的负荷，提升整个系统的效率和稳定性。3.4.9.14 其他特殊交换技术平台在常规数据交换的基础上，还可支持超大数据（如超大文件、超大数据库等）、流数据-的数据交换，满足特殊的数据交换需求。在超大文本的交换过程中，考虑数据量的大量交换，将大数据量的源数据拆分成一个个组，每一组包括少量的数据，并对其进行标识；数据65、交换时，采用多线程的方式同时进行数据交换；对交换的每一个数据组，进行缓存，当数据传递过程发生异常时，系统自动重新发送异常的数据组信息。3.5 拟解决的关键问题n 规范化的交换目录与数据元管理。系统可依据国际/国家标准以及应用行业自身的信息标准，规范化地定义和描述与数据交换相关的数据元、数据字典、数据交互目录。n 基于SOA的数据交换服务管理。系统基于SOA理念定义和描述所需的数据交换服务清单。n 丰富的可拓展的数据适配器。系统支持主流数据适配器（数据库、电子表格（EXEL）、应用服务（WEB SERVICE）、数据目录（LDAP）等，并可根据需要扩充。n 管道式交换过程处理插件技术。提供交换过66、程中的管道式数据处理插件，主要包括数据抽取、格式转换、内容过滤、内容转换、安全加密等方面功能。n 基于开源技术的轻量级体系架构。平台将基于开放、开源、主流的轻量级J2EE应用支持平台和开发工具，实现功能强、系统开销小、高效、易部署、易管理的轻量、通用的数据交换平台。 n 其他特殊交换技术。平台在常规数据交换的基础上，还可支持超大数据（如超大文件、超大数据库等）、流数据（如实时视频流）的数据交换。3.6 主要创新点n 规范化的数据交换目录与数据元管理。平台可规范化地定义和描述数据元、数据字典、数据交互目录。n 丰富的可拓展的数据适配器技术。数据适配器访问数据交换数据对象。主要数据适配器将各种数据67、库、电子表格、数据文件、应用服务、数据目录等。n 管道式交换过程处理技术。提供交换过程中的管道式数据处理插件，主要包括数据抽取、格式转换、内容过滤、内容转换、安全加密等。n 基于开源的轻量级体系架构。平台将基于轻量级应用支持平台和开发工具，实现高效、轻量、通用的数据交换平台。 3.7 主要技术参数指标3.7.1 性能要求信息系统的性能指标主要有并发数、系统平均响应时间，其定义分别是：l 并发数：系统支持的最大在线用户数。l 系统平均响应时间：主要指在一定的并发压力下，各种频繁度的业务操作平均响应时间。一般将依据系统支持业务功能的复杂度和频繁度，对容易引起性能瓶颈的插入、修改、查询、报表生长等重68、要操作计算系统的最大平均响应时间。信息共享数据库是一个典型的数据驱动型信息系统，根据我们的经验，该系统的速度要求，由于数据库的数据处理量很大，对数据库各项操作响应速度的要求都比较严格，在海量数据库的条件下，无论是查询、加载还是调用，要求能达到每秒10000个数据的速度，绝大部分数据库操作的响应时间控制在3秒以内，响应时间不超过10秒。并发访问：支持100用户并发访问。3.7.2 可靠性要求系统需要具有较高的可靠性、可控性，能担当和适应不间断运行任务。l 压力承载能力：使用负载均衡技术和分布式处理技术提高用户并发承载能力、数据处理承载能力以及数据传输承载能力；l 灾难处理能力：数据级备份与灾难性69、恢复；l 不间断服务：保障系统在进行例行维护或出现意外故障时不影响服务提供的持续性；利用内存及其他资源的管理和回收技术保障系统持续服务能力。3.7.3 可扩展性要求l 数据交换平台系统的设计必须能够满足可扩展的要求，可扩展主要表现在对于采集数据变化要能够适应。l 系统应能适应后续应用系统的集成以及数据中心新的应用系统建设，而不至于程序大量的修改或推翻重来；l 随着用户数的增长及功能应用的增长，软件系统通过硬件性能的调整而保持相对的稳定性，维持正常的运行；3.7.4 安全性要求数据中心的数据涉及学校秘密，在规定的时限内，需要十分注意保密，数据资料的使用需要严格控制，按照学校既定的统计数据保密时限70、和保密规定，管理涉密数据。l 物理安全：主要是系统的运行不受各种灾害或物理设备老化等因素的影响。物理安全包括机房建设、UPS电源保障和设备容错等内容。l 网络安全：主要是防止非法入侵，并对网络通信流进行有效的监控，对已知的潜在威胁进行有效的防范，保障网络的正常工作。网络安全包括防火墙、网络入侵监控、防病毒等内容。l 信息安全：包括信息传输安全，要在数据传输过程中采用加密手段，利用国家批准使用的密码算法对数据加密，保证数据安全；信息存储安全，要采取先进的数据存储和备份技术及设备；信息访问安全，要对数据资源访问规定不同的访问等级，不同用户只可访问经过授权的数据资源。同时，要加强对数据资源访问的安全71、审计。l 管理安全：制定必要的安全管理制度和措施，如机房出入管理制度、系统维护制度、数据定期备份制度、各种紧急情况的应急措施等。l 身份认证：对用户进行有效的身份认证。由于本系统涉及到涉及信息的访问，要求采用给予数字证书的身份认证，保证系统用户的身份不可抵赖性，防止通过网络假冒他人进行非法活动。3.7.5 易用性要求l 人机界面：符合日常办公习惯，页面简洁直观，各项功能清晰，减少操作层次。l 安装易用性：尽可能降低系统安装和配置的技术门槛；l 系统更新易用性：尽可能提高系统更新升级的方便易用性，提高对数据采集内容变化的适应性；l 客户端零培训或接近零培训：基于B/S架构设计开发应用系统，不使用72、浏览器插件等扩展技术，支持IE6.0以上各版本的浏览器。3.7.6 数据处理精度要求数据加载、统计计算等功能必须精确，保证数据的准确性，数据的完整性和一致性由数据库结构设计和程序设计两层保障。3.8 项目的阶段与进度本项目的开发周期为一年，分为调研分析、规划设计与标准制定、开发实施、测试与试运行、资料整理与项目验收等多个阶段。总体进度安排如下。时间进度阶段目标主要内容及成果2010/05/01至2010/06/15项目调研与需求分析2010/06/16至2010/07/30系统设计2010/08/01至2011/02/28系统开发、系统软硬件采购2011/03/01至2011/04/15系统测73、试与试运行2011/04/16至2011/04/30资料整理与项目验收（1）调研分析本阶段主要内容为了解广东省各地区的大部分单位的业务系统数据情况。根据项目确定的共享要求，选择几个重点的单位进行调研，确定数据的来源和数据集成方案；调研有关项目的需求，确定共享数据库的数据采集、所提供信息检索功能需求分析；并了解各个业务系统之间的共享数据的交换技术方案，确定数据交换所需的功能开发；分析并形成数据交换目录。基于业务调研的内容，编写需求分析报告及概要设计方案；并对需求进行规格说明，编写需要规格说明书，开发系统的界面原型。针对需求规格说明书，界面原型进行用户的需求评审。本阶段要实现的里程碑是：签署需求规74、格说明书，概要设计方案。（2）规划设计与标准制定本阶段主要内容为数据交换平台设计；根据各单位调研提供的业务系统数据的情况，基于设计数据交换的信息交换目录和数据整合技术方案；基于数据交换平台，进行信息共享交换目录设计，进行信息资源的有关设计，包括数据逻辑模型设计和数据库设计、指标编码设计等；并根据需求规格说明书，进行数据交换平台功能设计；进行技术架构的原型设计开发，并进行验证。在完成以上总体设计的基础上，进行有关开发的详细设计；完成总体设计评审； 进行编写的标准规范评审。根据需求规格说明书，进行测试方案编写，包括测试计划、测试大纲、测试报告等；本阶段要实现的里程碑是：评审通过项目设计方案（包括信75、息交换目录方案、数据库设计方案、数据交换平台设计方案）。（3）开发实施本阶段主要完成应用软件系统的编码与单元测试工作。包括配置研发及测试人员、配置开发及测试设备、进行系统编码、标准规范的制定、并进行测试方案的评审。本阶段要实现的里程碑是：完成软件的开发。（4）测试与试运行本阶段主要完成应用软件系统的测试工作，包括：集成测试、系统性能测试、系统压力测试、联调测试、安排技术专家对软件测试报告进行质量评估，以及系统试运行。在测试通过后，进行系统初验。其中在知识转移方面，重点进行测试方法的培训。同时编写系统使用手册、安装手册、维护手册。本阶段要实现的里程碑是：签署系统初验报告。（5）资料整理与项目验收76、本阶段主要完成的工作为项目验收的各种文档资料的整理以及项目验收前的准备工作。根据双方签署的软件需求规格说明书的要求和合同的要求，根据验收测试大纲和验收测试计划检查已经实现的软件的功能有无缺漏、功能是否正常、是否满足软件需求规格说明书中的定义和要求。软件是否通过了软件的功能测试、UI测试、安全性测试、安装测试、故障转移和恢复测试、压力和性能测试。软件的性能是否符合软件需求规格说明书中定义的非功能性需求的要求，性能和压力测试分析报告中的测试结果是否跟实际情况一致。本阶段要实现的里程碑是：签署系统终验报告。项目各阶段的目标、进度安排以及完成目标的主要措施等。3.9 资金筹措及使用3.9.1 投资估算77、及资金筹措。3.9.2 资金使用计划第4章 经济及社会效益分析4.1 市场分析根据国外有关机构分析，以企业服务总线（ESB）为主流的数据交换平台的市场规模在2006年为1亿9,050万美元，预计在2013年将成长到4亿9,440万美元。支撑该成长的因素为为了因应产品周期快速化及竞争激烈化，对弹性IT架构的需求。ESB扮演促进实现该架构的主要角色。（见Enterprise Service Bus (ESB) Market Opportunities, Market Forecasts, and Market Strategies, 2007-2013）从近几年的发展趋势来看，ESB等数据交换技术78、已经从理论阶段进入实战阶段，国内大中型规模的整合项目已经开始基于数据交换技术进行实施。考虑到这些都属于大中型项目，所以预算就较为充足，大家也多是购买IBM、BEA等高端厂家的ESB产品。 但是随着广大企事业单位信息化的不断推广，大企业的部门及中小企业的IT整合需求不断涌出，这些规模较小的单位往往存在着规划差、种类杂、技术乱等特点，导致IT治理难度高。同时因为如下原因整合需求并没有因为它的规模小而消失，反而在某些情况下比大规模的项目需求更强烈： IT系统分散：因为单位规模小，不能像大企业那样整体考虑、统一实施。很多中小IT应用往往都是根据费用预算进行逐步实施。这样势必导致很多业务单元是在不同的实79、施阶段开发的，而业务是统一的，所以这些运行着统一业务而又在IT层面上分散的系统更需要整合。 决策风险低：因为各个不同的IT系统规模都不大，总体涉及到的业务单元也比较容易评估，所以管理者决策是否进行整合时相对简单，更容易提出把较多的IT系统进行整合。针对上面的矛盾，客户无从选择，目前只能按照传统的方式进行整合工作，而SOA和ESB带来针对整合工作的诸多利好特征，使客户只能望洋兴叹。奠定了我们基于ESB的轻量级思路。 所谓轻量级就是采用开源的数据交换底层框架，通过针对国内中小型整合项目的实际需求进行外围功能开发，以用在国内中小规模的整合项目中的数据交换产品，至少应该具备如下特性： n 技术规范上要80、符合国际主流标准，但要避免技术浪费n 功能上不追求全，但要精，宁缺毋滥n 设计上要符合国内中小型整合需求 n 接口和数据转换上要考虑国内的现状n 实施上要尽量简单化，尽量减少实施成本n 核心功能一定要稳定、可靠n 最好能与国产平台、工作流、门户等软件进行良好整合4.2 应用前景分析随着信息技术的不断发展，信息化应用越来越广泛和深入，越来越多的应用系统投入运行。由于历史的原因以及信息化建设中规划和管理问题，造成了应用山头林立，数据孤岛丛生。因此，解决这些问题的需求越来越迫切。数据交换平台用来解决不同应用之间数据交换问题，消除信息孤岛，实现数据治理。因此，可以预见，通用数据交换平台的应用非常广阔。81、下面我们从内部数据交换、对等机构数据交换以及上下级数据交换几个方面来分析其应用前景。（1） 机构内部数据交换应用近年来，随着信息化建设的发展，各机构（政府部门、学校、企业等）建立了许多内部使用的信息系统，如电子政务系统、电子校务系统、企业管理信息系统等，这些系统之间缺少整合和沟通机制，形成“数据孤岛”。因此，如何解决同一个机构内部的不同应用系统之间的数据交换，实现应用和数据的整合，消除信息孤岛，成为目前各机构信息化建设和发展的重要的、迫切的需求。由于各种原因，一个机构内部可能先后采购了多种应用系统，这些系统可能来源不同、开发平台不同、数据库系统不同、工作模式不同，使得系统之间数据交换非常困难，82、造成数据重复建设、数据冗余、数据不一致等问题。采用数据交换平台，可打通机构内各应用系统的数据通道，实现数据整合，解决信息孤岛问题。（2） 对等机构之间数据交换应用随着社会信息化的发展，具有业务联系的两个或多个对等的、相互独立的机构之间的应用系统之间的数据交换的需求越来越多，这种跨机构、跨部门、跨行业之间的数据交换，可实现关键业务数据的关联，提高关联业务处理的效率。各机构的系统一般都作用不同、功能不同、开发平台不同、数据库系统不同，系统之间数据交换一般都需要接口系统来解决。这类数据交换的例子有电子商务（E-Commerce）、电子数据交换（EDI）、文件交换、资源共享等。（3） 上下级机构之间数83、据交换应用具有数据关联的上、下级机构之间的数据交换，可实现预定的工作业务数据的上报或下传，提高工作效率。这类应用的需求已经越来越广泛和迫切，例如政府部门上下级之间的数据交换，教育部门教育统计数据的交换，大型企业总部和分支机构之间的数据交换等。由于规划和管理等方面的原因，各级的应用系统通常都是各自先后建设，使得系统开发平台、数据库系统不同、信息格式不同，数据交换平台可作为其中的有效桥梁。4.3 经济效益分析轻量级数据交换项目的实施应用时快捷方便的，既然产品是轻量级，那么实施一定也要轻量级。我们可以先看一下现在的IT建设，每个信息化建设的项目中都不会是单纯的独立系统运行状态，多多少少的都有整合的要84、求。以往我们只关注到了某某大型数据整合项目之类的大手笔中的数据交换应用，而忽视了在身边大多数的IT实施中，整合需求已经渗透到了每个场景之中，每个场景之中都可以利用轻量级数据交换平台进行整合工作。项目完成后，本项目产品进入市场将会产生良好的经济效益，以下是按照30万/套的单价，年增长30%的营业额进行的财务预测。A、销售收入预算表B、销售收入、营业税金及附加估算表C、固定资产折旧表D、总成本费用估算表E、投资损益表4.4 社会效益分析数据交换技术的出现改变了传统的软件架构，特别是数据关联的模式，可以提供比传统中间件产品更为廉价的解决方案，同时它还可以消除不同应用之间的技术差异，让不同的应用服务器85、协调运作，实现了不同服务之间的通信与整合。从功能上看，ESB提供了事件驱动和文档导向的处理模式，以及分布式的运行管理机制，它支持基于内容的路由和过滤，具备了复杂数据的传输能力，并可以提供一系列的标准接口。有人会提出：“我们是存在整合需求，但是都比较简单，用不上数据交换系统这样复杂的技术框架”。其实，IT基础设施的重要性已经被大家所认可，而数据交换平台正是整合领域的基础设施。试想，“如果在产品成本和实施成本都投入不大的前提下，为什么不在开始阶段就把整合规划好呢？”何况轻量级ESB是符合主流技术规范的，就算是在大型项目中的局部整合，也可以先用它开始技术工作，等整体条件成熟时，再向重量级的产品进行迁86、移，这样也能大大分散整合支出。 这正是轻量级数据交换产品的社会效益。综合信息化应用平台研发是我公司的重要研发方向之一。轻量级产品与综合信息化应用平台产品结合良好的话，将会给国内轻量级数据交换产品市场带来良好的推动。第5章 风险分析5.1 技术风险由于技术本身具有隐蔽性、潜在性和复杂性，决定了技术创新的影响因素、成功与否以及其所带来的社会及经济效益具有极大的不确定性。如对技术风险因素测试困难，对技术开发周期计算不实；同时技术开发风险还来自对技术开发的调研分析欠细致，对开发项目的组织和治理不衔接配套等等。根据我们对竞争对手的分析，我们认为我们是一个技术先导型的企业，技术的先进性与实用性是我们的立足87、之本，这部分风险可以通过公司的技术实力和本地化来规避。针对技术风险，我们将采用如下策略：首先是改善内部组织，建立有利于技术创新的生产过程组织。第二，通过联合体组合开发，降低整体风险。第三，建立健全技术开发的风险预警系统，及时发现技术开发和生产过程中的风险隐患。第四，建立健全有关技术治理的内部控制制度，加强对技术资产的监督治理。5.2 管理风险管理风险是指管理运作过程中因信息不对称，判断失误等影响管理的水平，从而造成对项目、公司的影响。XX公司在2006年严格按照质量管理体系ISO9001的标准制订了公司的工作流程，确保研发和集成项目能够保质保量地顺利完成，并在2006年9月份通过了ISO90088、1质量管理体系认证。在进行人力资源管理和项目管理时，我们采取量化管理的原则，从目标出发，使用科学、量化的手段进行组织体系设计和为具体工作建立标准，各个部分互相关联，互相制约，共同组合成一个有机的整体。根据任务的量化流程设置需要的岗位、人员规模、人员素质等人力资源要求，以及财务，技术和生产的一系列要求。最后每一项新的要求又决定了自己的项目和任务分解，并在支持任务量化流程下实现各项要求。通过公司量化管理，形成了积极向上、人尽其才、按劳取酬的良好人才环境，保证公司目标的圆满实现。5.3 市场风险我们永远不能否认竞争对手的出现。只是由于产品的开发需要有密码、网络传输、监控、数据库情况等方面的核心技术积89、累，有系统集成方面的实践经验，有大型软件的开发能力，因此不是一般的企业能够完成的，一定是专业从事这项服务并且有很强的开发能力的公司才能够做到，可是目前中国市场上，从事数据交换平台产品的公司也只有东方通、IBM、Oracle等几家公司，而这几家公司都不是广东的本地企业，很难对本地教育用户提供贴身的本地化服务。即使有出现，我司产品在不断创新的先行理念， 我们主要是实现基于ESB的轻量级通用数据交换平台的研究，也能占据市场领先位置。我们的竞争对手大部分是广东省以外的公司，所以我公司能在企业信息化建设中提供更好的本地化的贴身服务；广东省内的公司在短时间内很难达到能够提供ESB的轻量级通用数据交换平台研90、究的的水平。项目实施中的风险控制可以采取以下措施对项目实施中的风险进行监控，以防止危及项目成败的风险发生。 n 建立并及时更新项目风险列表及风险排序。项目管理人员应随时关注与关键风险相关因素的变化情况，及时决定何时、采用何种风险应对措施。n 风险应对审计：随时关注风险应对措施（规避、减轻、转移）实施的效果，对残余风险进行评估。n 建立报告机制，及时将项目中存在的问题反映到项目经理或项目管层。n 定期召集项目干系人召开项目会议，对风险状况进行评估，并通过各方面对项目实施的反应来发现新风险n 更新相关数据库如风险识别检查表，以利于今后类似项目的实施。 n 引入第三方咨询，定期对项目进行质量检查，以防范大的风险。