1、数据治理体系建设投标方案213目 录1. 对本项目的理解41.1. 对本项目需求的理解41.1.1. 落实大数据环境对数据治理的要求41.1.2. 满足监管机构对数据治理的要求41.1.3. 对项目需求的初步解读51.2. 本项目成功的关键要素61.3. 本项目对全行发展的价值81.3.1. 从业务的角度81.3.2. 从数据管理的角度91.3.3. 从信息科技的角度92. 项目解决方案详述112.1. 企业信息管理框架112.1.1. 企业数据管理解决方案体系综述112.2. 数据治理体系规划方案192.2.1. 数据治理体系规划总体框架192.2.2. 数据治理体系现状分析212.2.3.2、 数据治理体系设计规划352.2.4. 数据治理实施路径规划442.2.5. 数据治理制度体系设计462.3. 数据标准管理方案532.3.1. 数据标准与各领域的关系532.3.2. 数据标准管理框架552.3.3. 数据标准管理组织582.3.4. 数据标准管理流程602.3.5. 数据标准管理制度632.3.6. 数据标准编制662.3.7. 数据标准实施1022.3.8. 数据标准管理系统业务需求说明1132.4. 数据质量管理方案1142.4.1. 数据质量管理框架1142.4.2. 数据质量与各领域的关系1162.4.3. 数据质量管理组织1182.4.4. 数据质量管理流程1203、2.4.5. 数据质量管理制度1262.4.6. 数据质量检验方案1302.4.7. 数据质量提升方案1402.4.8. 数据质量管理平台方案1542.5. 数据架构规划1572.5.1. 数据仓库规划1572.5.2. 大数据与数据仓库的整合架构规划1622.5.3. 实现数据仓库的基础设施架构规划1683. 项目实施方案1713.1. 实施计划及进度安排1713.2. 项目组织与人员构成1723.2.1. 项目领导小组1733.2.2. 项目管理组1733.2.3. 技术支持组1743.2.4. 项目实施小组1753.3. 项目工作产品及最终交付物1763.4. 项目风险与应对建议17734、.4.1. 项目进度风险与规避措施1773.4.2. 跨项目组协调风险与规避措施1773.4.3. 需求变更风险与规避措施1784. 知识转移及培训方案1804.1. 知识转移1804.2. 培训1824.2.1. 培训方式1834.2.2. 培训手段1834.2.3. 培训计划1845. XX项目管理办法1865.1. 综述1865.2. 项目管理方法1875.2.1. 项目范围管理1895.2.2. 项目沟通管理1915.2.3. 项目进度管理1935.2.4. 项目风险管理1955.2.5. 项目质量管理1995.2.6. 项目问题管理2045.2.7. 项目会议管理2055.2.8. 5、项目文档管理2065.2.9. 项目变更管理2101. 对本项目的理解1.1. 对本项目需求的理解1.1.1. 落实大数据环境对数据治理的要求随着大数据时代的来临，数据资产已成为银行的重要生产要素，在客户服务创新、风险管理、绩效管理、财务管理等各方面工作中发挥着越来越关键的作用。如何管理好数据、应用好数据、挖掘数据价值，已成为一个现代银行加快业务创新、提高精细化管理和科学决策水平的最重要、最迫切的基础工作之一。发挥数据的最大价值依赖于人员、流程、制度、技术的支持，通过数据资产的管理来提升数据质量、保障数据安全、促进应用效率，从而降低大量数据资产导致的各项管理成本，以实现数据驱动业务发展的目标。6、1.1.2. 满足监管机构对数据治理的要求根据国际监管动态及趋势，巴塞尔委员会最新发布的“风险数据整合及风险报告原则”中明确要求全球系统重要性银行必须在2013年做好数据管理自评估的准备。其他商业银行也应以此为信号，开展数据治理及营运模式的评估并持续完善。从国内的监管要求及实施动态看，随着银监会非现场监管信息系统和客户风险统计信息系统不断完善，数据及时性和全面性基本可以保证，但在准确性上存在较大差距。为此，中国银监会2011年发布银行监管统计数据质量管理良好标准（试行）对数据管理的良好标准，从组织机构及人员、系统保障及数据标准、数据治理制度建设、数据质量监控检查与评价、数据的报送应用和存储，做7、出明确规定和要求。1.1.3. 对项目需求的初步解读大数据环境和内外监管机构都对银行的数据组织、数据管控机制、数据标准、数据质量等相关数据管理主题提出了一系列要求。目前，在数据治理工作、数据标准及数据质量的差距包括：未制定全行级的数据治理机制，缺乏数据管理政策未建立明确的数据管理组织；尚未发布全行统一的数据标准，没有跨业务条线的数据统一定义；未制定全行级的数据质量管控机制。XX认为，数据治理的实质在于“业务先导、管理驱动、技术支撑”。管理是其中的核心与基础，业务、管理与技术的互动是盘活整个数据体系的关键因素。借助EDM等管理与分析工具，可对数据治理工作的现状有深入的了解，并可以借此发现全行数据8、管理的发展重点，为全行数据治理工作奠定坚实的基础。通过数据管理机制的建设，从数据管理组织和制度上为数据治理工作提供管理保障，实现数据治理工作的持久化。借助数据标准化工作，相继统一全行客户、资产、机构、产品、协议、交易、渠道、财务、营销主题的信息项的定义，进一步规范业务操作与IT的系统建设，并通过数据质量体系的建设，实现全行数据质量的整体提升。1.2. 本项目成功的关键要素关键成功因素一：数据标准是银行建立数据应用的基础，如何让全行各级人员认识到数据标准对业务支持的价值，使他们能看到数据标准对他们工作的重要性并参与到数据标准相关工作中本项目关键成功因素一关键成功因素二：构建全行的数据治理职能，明9、确组织体系和责任体系及运作的工作机制，推动数据是资产人人有责的数据文化本项目关键成功因素二关键成功因素三：数据标准难不在编制而是落地执行。数据标准的落地贯穿到系统开发生命周期的相关环节，需要业务、科技、数据管理部门共同推进才能被有效的执行本项目关键成功因素三关键成功因素四：通过数据管理评价及考核体系持续监控数据质量水平及数据管理机制的建设情况，保障数据治理规划的各项工作能有效落实本项目关键成功因素四1.3. 本项目对全行发展的价值1.3.1. 从业务的角度开展数据标准管理工作的驱动力包括：监管与合规、运营管理、业务创新、统计分析与决策支持等多个业务领域。 监管与合规：无论是银监会数据质量良好标10、准与新资本协议合规等外部监管要求均对银行业数据标准化提出了明确的要求。 运营管理：数据标准的实施将有助于信息交互，促进数据集中管理，提升数据质量与运营效率。在此基础上，高质量的运营数据分析有助于发现业务瓶颈，推进业务流程优化与变革。 业务创新：数据标准化有助于信息的采集和分析，以数据驱动业务的发展，更有效的识别客户群体，建立快速的产品创新机制。 统计分析与决策支持：在高质量的基础数据的基础上，通过数据集市的建设、商务智能及数据挖掘技术，支撑不同层次的分析与展现，实现对决策分析的有力支持。1.3.2. 从数据管理的角度数据是企业的重要资产已成为共识，数据管理的目标就是将数据资产建好、管好以支持数11、据应用从而更好的实现对业务管理和决策。企业数据管理解决方案框架涉及数据治理、数据标准、数据质量、数据架构管理等领域。随着数据相关工作的进一步开展，元数据管理、主数据管理、数据保留与归档、数据隐私与安全等领域的工作可以进一步开展，从而实现数据全生命周期管理能力的逐步提升。1.3.3. 从信息科技的角度从实施的角度，此次项目主要完成数据管理机制的设计工作，全行数据标准体系、数据质量体系的设计，全行各基础主题的编制和指标数据标准的编制及提升、数据标准的落地实施及数据质量问题的整改等。数据标准在系统及集市的落地实施，切实起到了数据标准规范和促进IT系统建设的价值。数据标准业务定义/技术定义对支持系统建12、设有直接的指导意义，将制定完成的数据标准作为数据需求，为即将建设的系统及原有系统改造升级的数据模型设计提供依据。从而提升IT系统的数据模型设计效率，降低各系统间集成的复杂度，提高系统间交互效率。数据质量管理在发现并解决数据质量问题的基础上，需要进一步考虑对数据质量问题的深入分析，并进而提出业务流程优化、系统改造、技术工具改造的需求，全面引领业务与技术的发展，持续提升全行数据质量。2. 项目解决方案详述2.1. 企业信息管理框架2.1.1. 企业数据管理解决方案体系综述在数据领域具备体系化的解决方案，将确保为构建企业级的数据管理与应用能力。数据领域的解决方案以“企业信息管理（EIM-Enterp13、rise Information Management，以下简称EIM）”解决方案为核心，其重要组成部分“企业数据管理（EDM-Enterprise Data Management，以下简称EDM）”将直接为此次项目提供支持。2.1.1.1. 企业信息管理（EIM）解决方案体系从企业信息管理的整体角度，提出完整的企业级信息管理（EIM）体系由业务经营及决策、数据整合及分析手段、数据管理、内容管理，以及配套的管理机制五部分构成。的企业信息管理方法论的内容如下图所示：企业信息管理（EIM）企业数据管理（EDM）是全行数据整合及应用中的部分环节，故数据管理体系是全行信息管理体系中的一部分。的企业数据14、管理方法论中将数据管理进一步细分为8个管理领域，包括：数据架构、数据管理原则或指引、数据质量管理、数据标准管理、元数据管理、主数据管理、数据生命周期管理、数据安全控制。商业智能与数据仓库（BI）解决方案概述： 企业信息管理战略：构建企业信息管理的战略以及实施路径，以提升数据资产的价值；对企业信息管理的蓝图、准备度和成熟度进行评估； 商业智能：对企业的绩效进行监控、分析和报告，提出企业绩效的提升战略； 企业级数据仓库：构建企业级的数据仓库，实现企业数据的集中和整合，为商业智能、统计以及经营决策提供可信的数据基础； ETL：实现跨平台的大数据量的迁移和转换，同时，构建企业数据ETL的平台； 数据分15、析和挖掘：构建数据挖掘模型，实现对数据的趋势分析预测，同时根据数据分析结果编写业务的发展趋势报告； 结构化搜索：建立结构化数据的搜索引擎和数据交付机制，确保可以在桌面端展现企业结构化数据的搜索结果，并可以逐步扩展到对Internet的信息搜索和信息整合。企业数据管理（EDM）解决方案概述： 数据治理：构建企业数据治理的组织体系，同时建立一系列的数据治理政策、流程以及相应的工具，确保数据得到有效的管理并能够满足业务目标； 数据质量管理：构建数据质量管理的流程体系和操作规范，准确识别企业的数据质量问题，并进行有效的解决，同时持续监控数据质量问题，确保企业数据质量的持续提升； 数据标准管理：建立企业16、级的数据标准，为跨业务条线的数据提供一致的定义，并建立数据标准落地实施的持续机制； 元数据管理：收集和管理企业的元数据信息，同时，建立企业级的数据地图，确保整个企业数据的可追踪和管理； 企业级数据架构：构建企业级的数据模型，识别企业数据的总体分布情况，从而为数据的存储、整合、使用、访问以及数据的交付提供基础； 主数据管理：准确识别企业的主数据，并建立主数据管理机制和平台，确保主数据在企业内部的准确性和一致性，为企业的主数据建立统一的视图； 数据保留与归档：实现对企业数据资产的保护和归档，包括在线和离线等多种方式，以满足合规和管理的要求，同时为业务运营提供有效的归档数据访问方式； 数据隐私与安全17、：确保企业数据资产的安全性，杜绝非授权访问，建立相应的数据访问策略、检查机制、控制和监控机制。企业内容管理（ECM）解决方案概述： 企业内容协作：通过对群件系统（诸如邮件系统、视频会议系统、Internet、Intranet、Extranet）的应用以及其它的IT技术，支持和加强企业级的通讯和内部协作； 知识管理：构建知识创建、管理和应用的流程，以及相应的工具建设，实现对知识的有效管理，以促进企业的绩效提升，加强人员技能，实现产品和服务创新， 同时开展基于项目的经验总结和分享，开发协作的最佳实践； 文档管理：创建、管理和分享电子文档，允许存储、查询、跟踪以及管理企业内的电子文档，内容包括工作流18、管理、安全和权限管理、文档搜索、元数据以及文档版本控制等； 图像管理：通过OCR/ICR等技术获取、存储和检索文档中的元数据信息，并实现有效的识别和智能化的管理； Web内容管理：收集、装载、存储、维护和交付Web上的文本和图像资源，并允许业务部门创建、发布、修改和管理相应的Web内容； 记录管理：基于合规等方面的要求，创建、管理和应用企业内的各类记录信息，并提供长期的归档以及自动化检索功能，同时建立归档和保留的策略、披露机制（包括披露范围和披露方式）、信息分类机制等； 数据资产管理：组织和管理企业内的媒体文件，构建相应的技术平台，以实现对相应内容的有效管理；同时，确保视频、图像和音频的质量不19、受损失； 企业级报告管理：对企业非结构化数据的存储容量进行估算，提供多种存储策略； 非结构化搜索：构建基于语义和元标记的搜索策略和技术平台，实现对企业内容的有效检索和管理； 电子签名：构建电子签名的技术平台，实现电子签名和企业内容的有效整合，并建立企业内容的所有权机制。2.1.1.2. 企业信息管理（EIM）实施总体方法企业信息管理实施的总体方法分为五大管理领域及其实施方法。实施方法进一步分为6个实施阶段，每个阶段具备9类控制要素。企业信息管理模型如下图所示：企业信息管理实施总体方法（EIM）1根据上述模型，提供了实施方法、管理内容构成的完整方法论，并在全球的信息管理咨询及实施中进行了全面应用20、，在本项目中将使用这套方法论为提供咨询服务。咨询方法论如下图所示：企业信息管理实施总体方法（EIM）2在EIM实施方法中，针对每个领域在每个阶段定义其工作内容，并对每项工作内容定义其工作任务、工作目标和交付，如“信息治理架构及组织形式”领域，在6个阶段需要开展的工作如下：企业信息管理实施总体方法六大阶段 2.1.1.3. 企业信息管理（EIM）的关键要素企业数据管理（EDM）解决方案从8个领域和5个维度实现对企业数据的有效管理，详细如下：企业数据治理具体领域示意企业数据管理（EDM）解决方案中，包括的八个领域概述在2.1.1.1小节已经体现。企业数据管理（EDM）解决方案中，包括的5个维度如下21、： 战略：包括业务价值分析、企业战略一致性、企业级数据治理视角、项目群管理以及实施路线等，确保从战略的角度，正确看待企业的数据治理并建立有效的实施方法。 人员：包括高层领导、治理委员会、数据治理负责人、数据管家、数据所有者、数据治理员等，整个企业数据治理组织体系的建设，以及相应的角色职责的定义； 流程：包括但不限于数据维护、数据质量管理、数据标准管理、变更控制、数据生命周期管理、元数据治理等管理流程，确保数据治理工作有序有效开展； 原则与规范：包括但不限于数据安全政策、数据访问与控制政策、数据标准政策、数据保留与归档政策、数据合规政策、数据所有者政策等数据治理政策，为数据治理各项工作的开展提供22、总体指导； 技术：包括但不限于技术基础架构、数据清洗与转换、主数据治理工具、数据架构管理工具、元数据治理工具、工作流与自动化工具、数据同步工具等，为数据治理工作提供工具的支撑。2.2. 数据治理体系规划方案2.2.1. 数据治理体系规划总体框架本项目实施方法步骤图基于数据领域方面的领先实践，结合的实际需求，本项目数据治理体系工作预计包含以下三个阶段：数据治理体系现状分析与评估、数据治理体系设计与规划、数据治理体系建设（数据治理制度、数据标准管理、数据质量管理），每个阶段又分不同的任务： 现状分析与评估：通过访谈、调研问卷、收集客户资料等方式获取在数据治理领域的资料，通过对收集资料的整理、归纳，23、分析数据治理的现状、问题等，结合成熟度评估模型评估对现状进行评估，根据评估的结果和同业领先银行对标找出差距，最后从专业角度提出改进建议。 数据治理体系设计与规划：根据现状评估的结果，进行数据治理体系设计，主要包括数据治理体系功能框架、数据治理组织和制度框架、数据治理能力提升路线图、信息中心职能规划及提升路线图。 数据治理体系建设：根据数据治理体系设计与规划的成果，制定数据管理政策，制定数据管理工作的考核方案、考核指标、考核制度；建立数据标准全生命周期管理的流程和制度，编制客户、机构、风险相关数据标准（账户、合约、资源项）、公共代码基础数据标准、核心指标数据标准并给出差异分析与落地建立，设计数据24、标准管理系统业务需求；建立数据质量管理管理模式、管理流程和制度，同时建立数据质量认责机制。定义本项目数据质量提升数据范围并制定度量规则，依据度量规则在相关系统进行数据质量探查和分析，针对分析结果进行制定数据质量整改建议；建立数据质量管理与监控需求说明书。2.2.2. 数据治理体系现状分析2.2.2.1. 数据治理体系评估2.2.2.1.1. 评估模型和方法数据管理的成熟度模型用来描述企业的数据管理现状或目标，包括5个成熟度级别，1是最基本，5是最成熟的，如下图所示：成熟度模型五级成熟度模型的具体描述如下所示：图表 1成熟度模型描述分值成熟度价值业务能力系统能力1初始阶段数据帮助业务运作基本的报25、表、且基于试算表的手工作业、依赖于特殊查询信息超载 未能反映真实情况事后被动发现问题数据：结构化的内容、静态的集成：无连结、孤立、非集成的解决方案应用系统：孤立模块、依赖特定应用系统基础架构：复杂、关系混乱、特定平台的2基本管理信息用来管理业务基本的探索、查询、报表和分析部分的自动化完全不同的工作环境有限制的企业可视度多种版本的真实情况数据：结构化的内容、有组织的集成：有部分的集成、孤立的情况依然存在应用系统：基于组件的应用系统基础架构：层级式的架构、特定平台的3主动管理信息为战略资产有脉络的、基于职责的工作环境的导入自动化已提升到一定层级既有的流程和应用系统的增强整合的业务绩效管理唯一版本的26、真实情况经由分析的、实时性的洞察力数据：基于标准的、结构化的、以及部分非结构化的集成：孤立系统的集成、信息的虚拟化应用系统：基于服务的基础架构：组件式的、SOA逐步浮现、特定平台的4量化管理信息促进创新贯通企业内外的有弹性、具适应力的业务环境战略业务创新的促进能力企业绩效和运营的优化战略洞察力数据：无缝连结并且共享的、信息和流程分离、结构化和非结构化信息完全整合集成：信息作为一种随时可用的服务应用系统：流程透过各式服务而集成；有序的业务应用系统基础架构：有随时恢复的能力的SOA、不限于特定技术的5持续优化信息成为企业核心竞争力基于角色的日常工作环境全然融入工作流、流程、和系统的能力信息激发的流27、程创新 增强的业务流程和运营管理前瞻性的视野、具预测性的分析数据：所有相关的内部及外部信息无缝连结并且共享的、新增的信息很容易加入集成：虚拟化的信息服务应用系统：动态的应用系统组合基础架构：动态的、可重新配置的、侦测和回应数据管理评估主要从战略、组织、制度建设、数据管理活动和商业智能五个维度展开。其中：战略包括：数据价值、数据文化、与业务价值一致性、总体拥有成本、信息在业务战略中的能动作用等；组织包括：责权框架、部门职责、角色配备等；制度建设包括：制度框架、制度层级、制度管理流程、制度编制情况及范围等；数据管理活动包括：数据标准、数据质量、数据架构、元数据、主数据、数据隐私与安全与数据保留与归28、档；商业智能包括：数据基础平台建设情况、数据服务能力、数据应用系统建设等。示例成熟度评估示例2.2.2.1.2. 数据治理现状评估数据战略与规划战略的维度包括数据价值、数据文化、与业务价值一致性、总体拥有成本、信息在业务战略中的能动作用等。以下以数据战略与规划为例说明现状评估的结果：示例成熟度评估示例数据战略与规划2.2.2.1.3. 数据治理现状评估数据组织与职责组织包括责权框架、部门职责、角色配备等, 以下以数据组织与职责为例说明现状评估的结果：示例成熟度评估示例数据组织与职责2.2.2.1.4. 数据治理现状评估数据管理制度制度建设包括制度框架、制度层级、制度管理流程、制度编制情况及范围29、等，以下以数据制度为例说明现状评估的结果：示例成熟度评估数据管理制度2.2.2.1.5. 数据治理现状评估数据管理活动数据管理活动包括数据标准管理、数据质量管理、数据架构与模型管理、元数据管理、主数据管理、数据隐私与安全与数据保留与归档等，以下分别以数据标准管理、数据质量管理两个本项目重点关注领域来说明现状评估的结果：示例成熟度评估数据标准管理示例成熟度评估数据质量管理2.2.2.2. 数据治理同业实践分析 中国银行业数据治理发展历程受各种内外因影响（大数据、良好标准、新资本达标），近年来国内商业银行纷纷展开数据整合以及数据管理相关工作的研究和实施。国内商业银行数据治理（管控）的历程从数据整合30、数据应用（第一阶段）、数据标准与数据质量管理开始（第二阶段），逐步延伸到其他各数据管理领域（数据安全、元数据、数据架构、数据服务）（第三阶段）。数据整合方面基本通过EDW和ODS等不同形式进行建设，如工商银行、建行、招行、民生、光大银行、中信银行等都于2005年前后开始并完成数据整合建设；数据质量管理方面，多家银行从数据标准化项目实施下手旨在由数据标准带动数据质量管理，改善数据质量环境，如工商银行、建行、光大银行、国开等银行在2008年前后均展开了数据标准项目的实施；数据安全是是对数据的分级分类，以及在分级分类下的认证和授权，以保证数据共享的安全性和隐私保护。数据架构和元数据都是提升数据质量31、的主动预防能力，也就是加强数据开发环节的数据数据需求和数据模型开发的有效支持提升数据质量保障能力。数据服务管理从数据出口层面加强了数据加工和数据应用的管控，确保业务运用数据决策的效率、质量、安全。目前大行都已经发展到了第三阶段，如工行的管信已成为行业的标杆，部分股份制银行如以招行、光大、浦发为代表刚进入第三阶段。其他股份制银行大部分仍在第二阶段，兴业、民生属于数据应用明显超前数据管理，目前在开展数据标准和数据管控的项目以加快数据管理能力建设，、渤海银行目前在做数据管控项目的立项分析。总之，国内商业银行与建立全面的数据治理（管控）机制还有一段差距，数据治理与管理领域的各项能力尚未全面建立。现阶段32、国内商业银行纷纷开始探索建立全面数据管理体系，明确数据管理组织、职责、政策与工作流程，完善配套技术，期望通过全面数据管理体系的建立，理顺数据管理各领域职能的相关工作机制，提升银行数据资产的价值。 中国银行业数据治理发展路径及建设策略如下图，所谓处于挑战者角色的银行，相比数据治理与数据管理的高层级，更强调数据价值的实现，但因受制于数据管理与数据治理的能力而体现的数据价值总体水平不高。而处于右下象限的银行在数据治理和数据管理方面前进的步伐比数据应用要深，管理大于应用的局面体现出银行更具远见，视野更加开阔。因数据治理和数据管理能力扎实，数据应用表现的价值更加值得信赖。无论是倾向于数据应用还是选择凸显33、数据治理的机制建设，总体目标都是要发展数据价值的挖掘能力，最终都是往右上象限迈进。总体策略需要采取以下方式推进和发展，这包括：第一，顺势而行，促进体系规划数据治理项目的实施需要高层支持，这一点在权威方法论中得到了强化。大型国有银行在业务规模发展到一定程度后，管理边界和管理层级会随着逐步扩展；这种情况下推动管理能力提升的内部动力会很大，其高层会高度重视数据治理体系的支撑作用。但是，国内股份制商业银行目前处于高速发展阶段，高层视角更多的落在风险管理和业务发展。数据治理的开展可以借助来自外部监管机构的东风，顺势而行，以高层重视监管报送的数据质量等情况为切入点，通过数据治理体系建设夯实基础。有了扎实的34、基础，后续数据管理工作才会带来更大的收益，进而逐渐巩固高层的认可和重视。第二，重视宣传，塑造数据文化大多数股份制商业银行的科技力量不是很强，因而需要加大宣传，提高在行内的声音。通过定期公布治理成果以得到更多部门的认可和支持，这对于数据治理工作的开展具有举足轻重的意义。在此基础上逐步塑造数据文化，反过来也会促进银行最大化的利用数据资产价值，从而更加重视数据治理工作的开展，达到良性循环的效果。第三，集中火力，发展重点领域受人力物力及高层视角等因素影响，股份制商业银行在数据治理上更多的是从下至上，先从某些领域着手，以更加务实的态度开展实际工作。在这种情况下，实施路径规划有必要集中火力，首先发展重点领35、域，以此为契机带动体系发展。先根据具体情况发展框架中的某个或某几个领域，到达一定水平后再带动体系全面提高。举例来说，若某一银行在数据标准已经有所建树，那么在整个体系的构建过程中，我们建议可以沿着数据标准推广落实的路径，进一步推动数据标准在全行的落地实施，并以此为基础发展元数据等其他领域的工作。第四，机动灵活，加速创新步伐数据治理实施的一个重点是广泛沟通，即数据治理理论中提出的共享决策支持。在项目开展中需要团结一切可以团结的力量，这对于股份制商业银行来说是个优势，组织架构和业务发展更具机动灵活性，因而在开展中能够更有效的进行沟通，达成发展的一致意见。此外，在数据领域科技发展日新月异的时期，出现改36、变整个行业的技术趋势，甚至大数据时代的来临会改变整个产业。在这种情况下，股份制商业银行应该加速创新，利用新技术来加大数据治理的发展步伐，这一点比大型银行和城商银行都更具优势，应该充分利用。大数据正逐渐开启信息资产化、决策智能化时代，甚至已经拉开了信息文明的序幕，在这个背景下银行数据管理和数据应用需要做好充分的知识和人才储备，努力去吸收大数据带来的价值并发挥银行优势。2.2.3. 数据治理体系设计规划2.2.3.1. 数据治理体系规划总体功能框架数据治理体系框架围绕银行数据的生命周期，从数据管理和服务的整体角度出发，描述了企业级数据活动涵盖的三个维度、十五项功能：数据治理体系框架 数据治理：规划37、数据管理的范围与工作路线，对决策支持、风险识别等数据分析方面进行实际应用，同时加强宣传培训、评估数据工作的绩效，指导数据工作持续的改进；通过数据管理和数据应用的组织模式、职责和岗位角色能明确承担数据在各生命周期的管理和服务责任；以数据制度为手段，能有效控制和规范数据管理活动的执行； 数据管理：建立企业完整数据管理体系，提升数据管理专业能力；打通数据管理中业务和科技建设间的协作，实现全面的数据管理能力；构建专业化的数据管理系统与工具和专业化的人才梯队提升数据管理效率和效益； 数据应用与服务：探索数据应用的服务模式，提升数据应用专业能力，有效的支持运营管控和执行的统计分析和运营分析，有效支持高层决38、策的绩效评估和预测分析；为业务创新提供趋势洞察和商业模拟。由此可见，数据治理是数据管理和数据应用的高阶规划和控制，良好的数据管理能更好的实现数据的应用，数据应用能反馈促进数据管理能力的提升。数据治理机制是数据治理工作的保障，数据的一切活动均需要在数据的指引下实施开展，并设立数据管理组织进行相关工作的决策、管理与执行，同时制度的制定、流程的明确是数据活动顺利开展的必要条件。2.2.3.2. 数据治理组织体系设计2.2.3.2.1. 组织体系设计方法数据治理是一项庞大系统的工程，需要配备一套完整的组织体系来配套完成数据治理的相关工作，如下图所示，在组织体系设计上要注意如下四点： 数据管理是一项全行39、性的工作，因此，应建立行级的最高决策机构，负责重要事项的决策。 数据管理工作是一项需要业务和科技共同参与的工作，管理信息中心作为总体协调部门，负责组织和协调工作。 由于数据管理工作覆盖面广，因此拟针对各领域设计相应的组织结构，明确相应的工作职责及汇报关系。 按照数据管理各领域的工作特点，定义了各类角色，并通过数据认责机制逐步落实到各业务条线和综合管理部门。数据治理组织设计方法数据治理组织体系设计的目的不仅仅停留在组织架构的层面，更重要的是为了指导各领域实际管理流程环节的落地开展。在项目中，将在对每个领域的职责划分的基础之上，借鉴“RACI”方法，把具体职责分配到相应的角色上，从而帮助形成各个领40、域的管理流程环节。“RACI”是一个相对直观的模型，用以明确组织变革过程中的各个角色及其相关责任，可以确保各项职责的角色分配科学、明晰、精确。RACI职责分配方法说明2.2.3.2.2. 组织架构模式设计一般说来，数据治理的组织架构的建设模式包括以下三种，在项目中会依据的实际情况，综合考虑采取适合的模式开展组织架构设计。1. 集中式管理模式数据管理负责人与数据管理团队（数据专员）是专职的、永久的角色，在数据管理组织下，对所有数据的产生、演变、维护等进行集中式管控。集中式管理模式其优势包括： 有一个强有力的数据管理专业组织负责企业级数据； 职责明确，目标清晰，组织固定而集中，因而员工有较强的归属41、感； 组织内专业化分工强，汇报条线清晰；自上而下执行驱动力强。其劣势包括： 对数据管理人员的能力要求非常高，必须精通企业级业务与技术，成本高； 其他部门缺乏数据认知与数据管理能力，跨部门的沟通成本高，协作不足； 太过集中容易僵化，影响工作效率。2. 分散式管理模式分散式管理模式不存在企业级数据管理负责人角色，数据相关的活动分散在各个部门。分散式管理模式其优势包括： 能够较好地理解各业务单元的业务和文化，业务管理较易在单个业务领域/IT系统上实现； 在应用需求的基础上，数据问题可以在单个部门内快速解决，被服务满意度高而且对资源的要求不高。其劣势包括： 缺乏企业级数据管理视角和统一管理，跨业务部门42、的协作非常困难； 资源重复的情况较为常见。3. 联邦式管理模式按照职能和流程进行横向和纵向的组织划分：在总部设立数据管理负责人，对数据治理的政策、流程、人员进行管控，协调推动数据管理的相关活动；在各业务单元或条线设立专门组织或角色，负责本业务领域的数据治理工作。联邦式管理模式其优势包括： 数据管理和业务管理更好的融合，根据职责需要设置岗位角色，执行效率较高； 能够实现较好的横向协调与组织； 专业化分工清晰，有助于员工提升能力。其劣势包括： 纵向需要较强的组织影响力与协调能力来推动全行数据治理工作； 数据管控力度减弱，需要更强的评价手段进行过程监督。2.2.3.2.3. 数据治理组织体系建议从数43、据管理的工作特点来分析，既需要各个业务部门深入参与数据治理工作，承担数据标准制定、数据质量整改、数据应用等职责，同时也需要有一个集中的组织，总体协调、指导、监督数据治理工作的开展，因此，建议其组织结构可以采取混合型组织架构的方式。根据实际情况，结合同业数据管理组织架构，建议构建决策层、管理协调层、执行层的三层数据管理组织架构，具体如下：数据治理组织架构建议图角色及职责定义如下：1. 数据治理委员会全行数据管理的最高决策机构，负责全行数据战略规划和决策。 组长：行长 副组长：首席财务官、首席信息官、首席风险官 成员：各部门总经理2. 数据治理组数据管理协调机构，负责全行各项数据活动的组织、协调、44、指导和评价。 数据治理工作小组：在数据工作中提供专家意见，由各部门团队负责人、业务骨干、科技骨干构成 数据治理办公室：全行数据管理工作的组织、协调、监督和评价机构，由管理信息中心组成3. 总分支行相关部门负责全行数据工作的具体执行，包括数据标准编制、数据质量整改等。 数据管理部门：负责数据质量、数据标准、数据应用与服务领域，设置相关领域管理岗。 科技部门：负责数据架构管理、元数据管理、主数据管理、数据保留与归档、数据安全与隐私领域，在各团队中设置数据工作管理岗，依据各团队的现有职能，将各领域职能明确到相关团队。 业务部门：在各团队中设置数据管理岗，负责本团队的数据管理工作。 分行：与总行各部门45、相对应，分行各相关部门承担以上总行各部门对应于分行层面的数据管理职责。2.2.4. 数据治理实施路径规划数据治理实施路线图有一套固有的方法，结合数据肢体规划的总体功能框架，依据各领域的数据工作任务，参考各领域的相关性、建设状态、借助项目规划工具，制定数据体系实施路线图，对实施路线优先级进行排序，确定总体实施计划。数据治理实施路线图规划方法最终的实施路线规划图分为日常工作与专项项目两种类型，数据治理与数据管理的日常工作任务如下所示。示例数据体系实施日常任务规划整体三个模块的专项项目规划如下图所示：示例数据体系实施项目规划2.2.5. 数据治理制度体系设计2.2.5.1. 数据治理制度体系框架设计46、根据数据管理的层次和授权决策次序，数据管理制度框架分为政策、制度、细则三个梯次，该框架标准化地规定数据管理的具体领域、各个数据管理领域内的目标、遵循的行动原则、完成的明确任务、实行的工作方式、采取的一般步骤和具体措施。数据管理制度框架结构2.2.5.2. 数据管理政策及组织工作章程数据管理政策和数据治理组织工作章程以明确的形式来表明的数据治理机制的有效运行规范，明确数据管理的总体目标、工作原则、工作内容以及组织工作章程。数据政策是最高层次的数据管理制度决策，是为指导全行数据治理与管理活动和防范数据风险的基础性文件，是建立和完善数据体系所必须遵循的基本原则和纲领，是确保对数据治理和各数据管理领域47、进行有效控制和使用的业务职责问责和流程管理准则。数据管理政策的管理范围贯穿数据和信息的创造、获取、整合、安全、质量和使用的全过程，数据管理制度和细则都应在符合政策规定的基础上制定。其建立的目的是为了： 贯彻执行数据管理规划； 明确数据管理范围； 指导各项数据管理制度的建立，确IT系统安全、持续、稳健运行，不断地推动业务创新，提高数据的使用和管理水平。 规范数据建立、维护与管理方面的职责与工作的制度，为加强全行数据管理工作，推动建立数据管理的长效机制，提升数据管控的效率与成效。数据治理组织工作章程是为了明确数据治理组织架构中各层级的职责，规范和控制相关组织在数据管理工作中行使的权利而设计的一份政48、策层面的文档，是对数据管理工作的组织架构、职责与权限、人员构成与工作制度的说明，是数据治理工作中，决策层与管理协调层工作开展的依据。2.2.5.3. 数据管理考核体系设计数据管理工作考核是对数据管理工作过程事项的考核，依据数据治理体系功能及设计的建设实施路线图，确定年度工作目标，进一步设计年度数据管理工作考核评价的维度与具体指标，在明确数据管理工作考核的组织实施方式的基础上有效的开展考核工作。在激励方式上，应注意奖惩结合，多设置加分项目，以鼓励工作开展，提高工作积极性为前提。数据管理工作考核的思路与方法下图为具体的评价维度与考核指标说明：表 数据管理工作考核的具体内容评价维度考核指标考核指标说49、明指标计算分值分配得分计算机制建设人员设置情况相关部门须根据数据管理工作的要求，选派数据治理工作小组组员，并在部门内设置相应的数据管理专员并明确其职责分工是否设置数据管理工作人员10如人员未设置或发现人员不明职责的情况，一次性扣10分工作联系函的反馈率相关人员须对数据治理办公室的工作联系函等需要配合的工作事项按时进行反馈，包括纸质和OA两种方式按时反馈的次数/所有需反馈的工作联系函次数55*工作联系函的反馈率制度征求意见稿的反馈率相关人员须对数据治理办公室发出的制度征求意见稿按时进行反馈，包括纸质和OA两种方式按时反馈的次数/所有需反馈的制度征求意见稿次数55*征求意见稿的反馈率会议出席率数据50、治理工作小组会议中人员的出席情况单次出席会议的人次/须参加会议的总人次55*会议出席率数据质量管理数据质量度量规则需求提出率系统归口部门在新建系统、改造系统结束后，须提出相应重要数据项的数据质量度量规则需求提出新增、变更数据质量度量规则需求次数/新建、改造系统次数1010*数据质量度量规则需求提出率日常提出数据质量度量规则的情况各部门在日常工作中，可以提出数据质量目标计划监测范围外的数据质量度量规则提出数据质量度量规则的次数加分项每提出一次规则，经核实，加1分，最多不超过5分数据标准管理数据标准执行符合率各部门在新建系统、改造系统时，须执行数据标准的要求并填写数据标准执行审核表系统数据与数据标51、准执行审核表描述的相符情况次数/新建、改造系统次数1010*数据标准执行符合率数据标准落地执行工作方案延迟率各部门须按照数据标准落地执行工作方案的时间计划完成相关标准落地工作无故拖延，未按计划时间完成相关落地执行工作的次数/须落地执行的次数55*（1-数据标准落地执行工作方案延迟率）日常提出数据标准的新增、变更或落地需求各部门在日常工作中，可以提出数据标准目标计划外的新增、变更或落地需求主动提出新增、变更或落地需求条数加分项每提出一次需求，经核实，加1分，最多不超过5分2.2.5.4. 数据管理评价体系为了有效的评估、分析数据治理各项任务的工作绩效，反映当前数据管理和运用的综合水平,帮助高层领52、导和数据管理人员以完整、全面、可视的方式了解数据管理和应用的过程和结果，看到问题或不足的本质，从而做出准确、及时的抉择，可以考虑建立数据管理评价体系。如下图所示，通过数据化能力综合指数反映当前数据管理和应用的总体水平；通过数据治理与文化、数据质量、数据安全、数据应用效率四个数据资产关键价值的维度，剖析数据体系建设过程中各项能力构建遇到的问题。提出针对性的改进建议，加快数据战略的有效实施。数据能力化指数图其中在具体的指标设计上，可以设计三级的指标层次，其中一级指标包含4个关键价值：数据治理文化、数据质量、数据安全、数据应用效率；二级指标包含若干体现关键价值的支撑关键能力，其下有三级指标包含若干支53、撑的度量指标。如下是若干个具体度量指标的示例：表：度量指标示意表关键价值数据应用效率关键能力数据应用及时性度量指标 数据仓库给数及时性 核心系统给数及时性 指标说明查看行内重点系统按时提供数据的能力。从提前、准时、延迟、未提供四个状态以及对业务影响、系统个数等方面进行衡量2.3. 数据标准管理方案2.3.1. 数据标准与各领域的关系从下图中可以看出，数据标准是数据管理活动的组成之一，与数据治理与数据应用相辅相成。数据标准工作的开展需要契合企业的工作重点，配套建立数据标准的相关管理机制，以数据标准为突破口进行全行的数据治理工作，提升全行的数据意识，为日后数据应用与服务提供支持，促进数据管理对业务54、和科技的贡献。数据标准与各领域的关系数据标准管理与各领域关系说明如下： 与数据应用与服务关系：数据应用与服务为全行数据标准管理的建设提供全行层面统一的数据管理重点与目标，对数据价值、量化分析应用、决策支持、风险识别等方面进行实际的应用。 与数据管理组织与职责关系：数据管理组织与职责定义数据标准管理角色体系、组织架构及职责划分，为数据标准管理工作的开展提供组织基础。 与数据管理制度关系：数据管理制度在规范了数据标准管理领域的目标、遵循的行动准则、完成的明确任务、实际的工作方式、采取的一般步骤和具体措施。 与数据架构与模型关系：数据架构与模型管理作为数据标准的重要载体，伴随数据标准的调整或变更数据55、架构与模型也会做相应的调整及优化； 与数据质量关系：数据标准管理为数据质量管理提供技术标准、业务标准，作为数据质量度量规则的制定依据，有助于数据质量的提升；同时，在数据质量提升的管理过程中由于业务流程优化或信息项变更而提出数据标准完善或变更需求； 与元数据关系：业务数据标准是元数据管理模块的数据来源，而技术数据标准作为技术元数据的比对标准； 与主数据关系：主数据管理明确全行范围内对主数据的业务定义及技术定义，统一业务部门及技术部门对于主数据的理解，规范各系统建设时对主数据的定义。主数据标准的制定可以结合现有的数据标准为参考；同时，主数据业务及技术定义的变化也作为全行数据标准定义的输入。2.3.56、2. 数据标准管理框架数据标准管理框架为数据标准化建立了科学合理且符合实际情况的架构，是数据标准化工作开展的基础。数据标准管理框架的建设目标是：建立框架、指明方向：数据标准管理框架建立数据标准的总体框架、目标蓝图和实施路线图，指明未来数据标准化工作的重点和发展方向。 科学分类、界定范围：数据标准管理框架将为数据标准的科学分类以及各数据标准的内容和范围的界定提供依据。 建立依据、提供指引：数据标准管理框架为数据标准化工作提供依据和指引。 奠定基础、逐步完善：为数据标准逐渐趋向科学化、合理化和实用化奠定基础。数据标准管理框架分为数据标准管理机制建设、数据标准制定、数据标准实施三个部分，其中数据标准57、管理机制建设，即标准管理的流程、标准管理制度、组织架构和职责贯穿于标准制定和实施的全过程中：数据标准管理体系框架数据标准管理机制建设包括数据标准管理组织的建立、数据标准管理制度的制定以及数据标准管理流程的设计，三者相辅相成，应符合如下原则： 组织设计遵循目标驱动原则：定义组织架构及职责要从工作的目标而非工作的过程出发。只有达到预期的工作目标，工作过程才是有意义的。 职责完整性原则：尽可能使同一个岗位完成一项完整的工作，完整的工作增加岗位人员的工作积极性和成就感，对员工的绩效评价提供可衡量的依据，由一个岗位完成一项完整的工作减少了交接和重复工作。 管理流程要简明实用：标准化管理需要形成完善的管理58、流程和角色分配，在短期规划中，首要提升快速解决业务难题，降低业务操作复杂度。因此，简明实用的管理流程将是快速开展标准化工作的一项重要手段。 管理流程设计需要相关制度的支持：管理流程的执行效果如何取决于相关制度配套是否完善。没有制度性文件支持和约束的流程很难得到彻底的执行。制度性文件一般包括流程说明、工作准则、审批权限、例外情况说明、相关表单等内容。 沟通机制遵循跨职能的扁平化原则：部门之间的沟通、决策和问题解决应在直接参与作业层面进行。建立畅通的沟通渠道，协助当事双方进行沟通和协调。2.3.3. 数据标准管理组织数据标准管理组织分为决策层、管理层和执行层，每一层中均有不同角色的人参与，相应的每59、种角色的职责也有所不同。建议数据标准管理实行“统一领导、集中管理、分工协调”的管理模式。建立由行长任组长的数据管理委员会承担数据标准管理的决策和领导责任；建立数据标准管理专职机构，负责全行数据标准的统一管理，承担涉及全行性数据标准的制定、维护和应用监督等工作；建立数据标准管理团队，承担一般专业部门数据标准管理与应用推动工作。决策层决策层数据标准管理组织岗位职责数据管理委员会是全行数据标准工作的最高决策机构，负责数据标准管理重大事项的协调与决策； 审批数据标准管理办法、流程和规范； 审批数据标准的发布稿； 定期听取数据标准管理工作的汇报 协调重大争议事项管理协调层管理层数据标准管理组织岗位职责数60、据标准管理专职机构是数据标准工作的总体协调与管理部门，负责组织、推动数据标准的相关工作，具体工作由数据管理团队承担； 负责制定数据标准工作计划及工作方案； 负责制定和维护数据标准定义模板； 负责收集数据标准的新增及变更需求并协调相关部门参与数据标准制定、变更、评审； 负责维护数据标准、发布新版本； 审核IT项目组在系统建设中的数据标准落地范围与落地方案、数据模型建设方案等； 监督各部门对数据标准的执行情况； 定期向决策层汇报重大事项数据标准归口管理部门是数据标准业务标准的权威认定部门，负责本部门管理的信息项业务标准和标准代码的解释和指导执行层执行层数据标准管理组织岗位职责总行各部门是数据标准的61、需求提出方与执行者，主要职责包括： 负责提出数据标准制定及变更的需求； 参与数据标准的制定； 参与数据标准的变更与评审工作； 负责落实并执行相关数据标准分行是数据标准的需求提出方与执行者； 根据日常运营统计及监管报送的需要通过总行分管条线业务部门向科技发展部提出数据标准需求； 在数据获取阶段按数据标准的管理要求开展工作2.3.4. 数据标准管理流程数据标准管理主要内容包括了数据标准的制定、评审、发布、执行、变更、复审的制度规范和工作流程。 数据标准制定 数据标准内容包括数据分类、业务属性、技术属性、管控属性和标准代码： 数据分类明确了数据标准业务主题的概念、本质和内涵； 业务属性定义包括信息项62、分类、名称、业务含义等； 技术属性包括数据类型、数据长度、精度等； 标准代码包括了代码值、代码名称、代码项、代码定义、编码规则等； 管控属性包括了信息项使用部门、管理部门、版本号、标准使用状态等。 数据标准评审 数据标准评审的对象是数据标准的编制成果，包括数据标准的数据分类、业务属性、技术属性、管控属性和标准代码的前瞻性、完整性、准确性、可落实性以及是否符合本行实际与外部监管要求等。 数据标准发布 数据标准发布包括各部门领导的会签和传签，以及数据标准制定成果在全行范围内的正式发布。数据标准的制定、评审、发布流程如下：数据标准的制度、评审与发布 数据标准执行 数据标准的执行会落于业务层面与技术层63、面。 业务层面的实施包括纳入业务制度编写、规范操作、监督复查、统一统计口径等等。 技术层面的实施包括系统的落地，如新建系统落地、源系统改造、数据平台落地，以及各类数据标准管理工具的应用。 数据标准执行流程示例如下：数据标准的执行 数据标准变更 数据标准的变更是指由于业务运营与管理的数据需求变化，或由于外部监管要求，或由于引用的国家标准等外部标准的变化，对已发布的数据标准进行的修改完善。数据标准变更流程图如下：数据标准的变更 数据标准复审 数据标准复审是指根据业务发展及系统建设情况，对数据标准的适用性和准确性进行的周期性评审。数据标准的复审2.3.5. 数据标准管理制度数据标准管理制度是数据标准64、工作范围、人员、活动、流程等要素的保证，管理制度的制定需要明确数据标准的工作目的、使用范围、工作原则与规范、组织架构与职责以及数据标准的各项活动和管理流程等，其制定步骤如下图：数据标准管理体系实施步骤数据标准管理制度的建立应遵循如下原则： 建立全行级的数据标准制定、审批与发布制度，遵循“集中管理、集中审批、集中发布”的原则，由标准管理专职机构制定指导全行业务部门统一执行的审批与发布制度，保证数据标准的权威性和连续性。 建立数据标准的执行机制，规范业务部门在编制业务需求或者制作经营分析报告时正确有效地使用权威的数据标准，保证数据标准从业务到科技落地实施过程中，各参与方严格按照标准定义履行各自责任65、，做到标准统一、责任明确、沟通高效。 建立数据标准的变更和复审机制，标准管理专职机构定期对存量数据标准进行验检，清理需要变更或者停用的标准对象。标准管理专职机构对满足巡检条件的标准进行筛选，确定需要清理的候选标准。标准管理专职机构向相应数据标准管理专业线或有关业务部门发送数据标准使用状态确认函。如果确实需要对存量标准进行变更或者停用操作，由对口数据标准管理专业线或标准所属业务部门发起变更或者停用流程。管理办法中除了明确数据标准工作的参与组织与流程外，还需要规范整个工作中需要的应用的表单和附件，包括不限于：数据标准需求审批表、数据标准执行表、数据标准模板等。表单示例如下：数据标准需求审批表通过向66、业务部门和关键处室负责人征询意见，逐步完善我行数据标准管理工作的细节内容，并获取全行范围的认可。最终制定全面和切实可行的管理制度，并在全行范围内推广。2.3.6. 数据标准编制2.3.6.1. 数据标准编制的目的数据是银行业业务开展的基础性支撑要素，高质量的数据是提升业务效率、加强管理与分析能力的必要条件，数据标准是银行提升数据质量的关键基础性工作。通过数据标准化，将把银行的数据变成资源，通过对数据的加工与分析，为业务的经营与发展提供支持，进而创造利润，从而确保银行的数据资产发挥其业务价值。因此，数据标准是数据管理与应用的重要基石。数据标准的含义数据标准化是为实现数据价值驱动业务发展，而开展的67、对数据标准定义和实施的一系列工作。数据标准体系则是根据银行的实际情况搭建起的科学合理的框架，是数据标准化开展的基础。数据标准化的价值一方面体现在促进业务沟通并为信息化建设打好基础，另一方面在于满足监管部门对数据的要求。1.数据标准化可以帮助银行实现以下业务价值： 提升整体业务效率：数据标准化统一了业务语言，明确了业务规则，规范了业务的处理过程，从而提升银行整体的业务效率，满足管理决策对信息的要求。 提升数据质量：数据标准化统一了各类系统的数据定义，因此数据标准化将直接提升银行的数据质量，为领导的管理决策提供准确、全面的数据。 提升IT实施能力：数据标准将提升IT系统的数据模型设计效率，降低各系68、统间集成的复杂度，并为各业务条线和IT系统提供一致的数据定义，从而促进各业务条线之间的交互，降低了各系统间数据交换的复杂度，提升银行的数据共享能力，进而为提升我行的IT实施能力奠定基础。数据标准化的价值2.数据标准化可以满足监管部门对数据的要求：同时，人民银行、银监会等外部监管机构也在近两年陆续发布了对商业银行开展数据标准工作的指导文件或试行标准。如，人民银行于2010年发行了金标委秘发45号关于启动今明两年相关标准编制准备工作的通知和贯彻落实金融统计标准工作的指导意见通知（人发201（286）号文）；银监会于2011年发布中国银行业“十二五”信息科技发展规划指导意见中明确提出“建立数据治理机69、制，积极推进数据标准化和数据质量建设”等。这些举措加快了行业标准建设的步伐。同业数据标准化现状参考同业现状，发现目前尚未有全行级的数据标准，用于经营管理、监管报送的部分数据的定义、分类和统计口径尚未在各个业务条线间达成共识，导致所需数据的匮乏、缺失、不一致、不准确，影响了分析决策和对外报送的效率；并且配合数据仓库客户单一视图的建设，数据标准会解决关键业务数据分散存放在多个孤立的系统中的问题，通过业务规范、技术规范和管理与技术支撑，数据标准以统一的规范关联、整合数据，并在公司内部实现信息与资源的共享。由此可以看出，数据标准体系在满足外部监管要求和日益精细的业务发展，规范IT系统建设与提高数据质量70、方面，有着不可或缺的价值和意义。2.3.6.2. 数据标准框架数据标准框架2.3.6.2.1. 基础数据标准包括日常业务开展过程中所产生的具有共同业务特征的基础性数据，如客户、产品、协议、交易等；1. 客户数据标准：银行感兴趣的个人及组织，包括当前客户、历史客户、潜在客户等；2. 产品数据标准：银行向客户、其他竞争对手和第三方参与者销售、提供的商品或服务； 3. 协议数据标准：银行与客户之间针对某种特定产品或服务而签立的契约关系，如账户、客户和银行签订的合同等； 4. 交易数据标准：为满足客户的服务需求或自身的经营管理需要，进行的用来实现价值转移、服务提供的活动； 5. 渠道数据标准：客户及合71、作伙伴获取信息或使用金融产品、金融服务的媒介；6. 地址数据标准：银行关注的地址和区域，地址包括传统地址、电子地址及电话信息等； 7. 资产数据标准：客户所属的各类资产信息； 8. 财务数据标准：描述银行科目组织、控制、内部核算等核心科目帐务以及预算管理有关的数据； 9. 营销数据标准：针对客户所做的策划、宣传及营销等活动数据； 10. 组织数据标准：描述银行自身的组织机构、员工的相关信息；11. 代码标准：银行业务中使用的业务和技术代码。基础类数据标准的主题构成包括对应业务主题（如客户、产品、资产、交易等）的定义和分类、信息模型和相关的标准代码，如下图所示：数据标准的主体构成1. 定义和分类72、定义和分类明确了数据标准业务主题的概念、本质和内涵，并明确该业务主题在的分类体系，如客户的定义和分类、产品的定义和分类等。如下图所示：数据标准的定义和分类2. 信息模型标准信息模型包括对数据主题信息项的识别、信息项的分类、信息项的业务属性和技术属性，其中： 信息项的识别：识别该数据主题所包括的所有信息项（原子级），如客户名称、电话、地址等； 信息项的分类：从业务的角度对相关信息项进行分类，如将客户名称、客户行业归入客户基本信息类，客户电话、客户地址归入客户联系信息类。 业务属性针对每个信息项进行描述，包括以下内容： 英文名称：信息项英文名称 ； 中文名称：信息项中文名称 ； 业务含义：信息项的73、业务含义及说明 ； 数据管理部门：对此信息项进行定义和变更的管理部门 ； 重要程度：对于业务的重要程度，分为高、中、低三个等级。注：以上是数据业务属性的通用描述方式，具体到各个数据主题可能略有不同，如交易主题的数据，一般还包括使用规范等信息。技术属性针对每个信息项进行描述，包括以下内容： 数据类型：根据数据表示特征划分的数据类型，如编号、金额、日期、代码、文本、数值等 ； 数据格式：数据的技术格式及技术长度定义，如10位定长文本char(10) ； 有效阈值（可选）：可选项，可根据各主题数据标准的特性来定义数据项有效域值的范围，如数据项有效值范围为0100； 是否可空（可选）：可选项，可根据各74、主题数据标准的特性来定义数据项是否可空置（是/否）； 缺省值（可选）：可选项，可根据各主题数据标准的特性来定义数据项在默认情况下的缺省值 。具体样例如下图所示：客户信息的分类与具体内容3. 标准代码 各类基础类数据如客户、产品、协议等均包括相应的代码，且存在共用的代码，因此代码将作为一类特别的基础类数据标准，并与客户、产品、协议等数据标准共同使用。同时，分析类数据的统计维度同样会使用到相关的代码。标准代码包括代码基本信息与代码定义两部分。代码基本信息包括以下内容： 代码编号：编号规则： CDNNNNNN。CD代码英文名称（Code）的简称，NNNNNN:顺序号，从1开始排序； 英文名称：代码的75、英文名称； 中文名称：代码的中文名称； 业务含义：代码的业务含义； 定义原则：说明代码的定义原则，如采用外部标准； 外部标准：如采用外部标准需标注外部标准的代号及名称； 编码规则：代码的编码规则（如：行业编码的编码规则） ； 技术属性：代码的类型及字符长度，如Char(4) 。 代码定义包括以下内容： 代码值：代码的有效范围； 代码描述：代码值的业务含义； 业务说明：代码值的详细说明。 4. 其他内容根据数据主题的不同，数据标准还包括业务规则等其他内容，如客户数据标准包括客户的识别与归并规则，具体内容将在各主题数据标准详细设计时进行明确。识别与归并规则的具体样例如下图所示：客户信息的分类与具体76、内容2.3.6.2.2. 指标数据标准包括为满足内部管理需要及外部监管要求，在基础性数据基础上按一定的统计、分析规则加工后的数据，即指标。1. 指标分类框架的设计方法与原则指标分类框架体系要全面反映数据服务提供者所能提供的指标管理的信息。建议指标分类采用空间分类法（多维分类），例如按照业务条线、使用用途、机构等多维度进行指标分类。 每一个维度的分类相对稳定，可进行多级分类。 每一个维度分类具备较强的可扩展性，能够当前和未来的业务发展及经营管理的需要。 在一个维度下一个指标可以属于多个分类或子分类，如：流动性风险指标，既是风险管理的范畴，也是资产负债管理的范畴。 指标的分类与具体内容2. 分析类77、指标元数据模型指标元数据模型是反映指标的定义、采集、存储、整合、应用与控制等的标准模板。元数据模型应包含指标的业务属性、技术属性、管理属性等，以方便用户的使用及体验。业务属性：业务分类、业务分析描述、关联指标、关联维度、报表名称等；技术属性：实现方式及展现方式管理属性：管理部门、业务服务范围、服务ID、管理服务ID、区域服务范围、状态。分析类指标元数据模型2.3.6.3. 数据标准制定数据标准制定工作分为现状调研、原则定义、标准制定三个阶段。2.3.6.3.1. 数据标准的现状调研 数据标准现状调研目标现状调研阶段的目标是通过不同的调研形式，深入的了解当前存在的数据问题及各业务部门对数据标准的78、认识与期望，并从不同层面验证、分析问题的产生原因。具体目标包括：一、从业务层面，通过业务访谈调研，为后续数据标准的准入及信息项的业务定义提供输入。二、从系统层面，通过系统数据字典的查询、比对，为跨系统的数据标准信息项的统一以及信息项的技术定义提供依据。三、从经营统计及外部监管层面，通过业务访谈及业务部门提供资料的分析，为数据标准信息项代码的制定提供依据，保证必要信息能够满足日益精细的经营统计和监管报送的需求。四、从管理层面，通过业务访谈及组织职能分析，为后续数据标准的设计、维护、管理奠定基础。 数据标准现状调研方式针对各主题的数据标准的业务特色，结合以往同类项目实践经验，调研内容主要从以下几个79、方面来展开：n 业务访谈通过对相关业务部门及分行的访谈，了解各主题数据在业务开展中的作用及当前系统支持的情况，从业务层面掌握各主题数据现状，并加强业务部门对数据标准工作内容的理解和认识，利于双方工作的配合。n 资料分析项目组通过对收集到的资料，包括现行系统资料以及从各业务部门收集到的制度、报表的整理分析，更加完备而准确的认识了解各主题的数据现状。n 系统调研针对发现的业务问题，通过数据字典查询等方式，从系统层面了解和验证产生业务问题的数据的相关属性并分析原因。同时针对特定系统或项目，与相关技术人员进行沟通，深入了解特定系统在处理各主题信息时的相关流程和规则，了解现存的数据问题和潜在需求。2.380、.6.3.2. 数据标准编制思路和原则 数据标准编制思路拥有一套科学、完整的数据标准设计方法论。该方法综合了业界自顶向下和自下向上两种设计理念，通过细致的客户数据现状调研为基础，结合所拥有的银行业数据标准资产，通过对比，采用不同的处理方法，整合出即满足符合我行数据现状又能体现未来金融数据需求的前瞻性数据标准。 数据标准编制原则数据标准框架在总体上注重标准体系框架对标准分类的科学性、合理性，考虑信息化的实际需要和业务发展对数据标准提出的不断更新、扩展和延伸的要求，还要注重与现行的国际、国家和行业标准的相互衔接。 数据标准体系在编制时需要遵循实用、前瞻和开放的原则。实用：数据标准体系须满足业务发展81、和业务应用的实际需求，体现特色，突出重点，能够指导数据标准的定义及数据标准在业务层面及技术层面的落地工作。前瞻：积极借鉴国际经验，充分参考国内外业界的先进实践经验，使数据标准体系充分体现业务的发展方向。开放：数据标准体系并非一成不变，其所包含的各项标准应可修订、可执行；整个标准体系应可扩充，能够随着的业务发展和数据标准的深入应用不断充实和更新。 数据标准准入原则对于数据标准来说，重点关注在企业内部多处使用、频繁交换的数据，将所有的数据纳入数据标准的范畴是没有必要的，因此，从数据标准对业务和IT的指导作用出发，设立如下的数据标准范围的准入原则。原则1： 经国际、国家或行业正式发布的数据标准 监管82、部门管理指引、监管统计规范等已经明确提出要求的相关数据规范 行内已经发文进行明确的相关数据规范原则2： 针对在全行广泛使用尤其是跨业务条线的数据和代码进行标准化原则3： 针对在现有IT系统中多处使用的数据和代码进行标准化原则4： 对于分析类指标，只针对综合类的分析指标进行标准化，对于单个业务领域所使用的分析类指标暂不纳入标准化范围2.3.6.3.3. 基础数据标准制定2.3.6.3.3.1. 客户数据标准 客户的定义和分类客户，是指为其提供产品或服务以及其他感兴趣并进行分析的任何个人和机构。按照客户的基本属性，可以将客户分为：对私客户和对公客户。其中对公客户又可分为境内和境外两种类型，每种类型83、下各自可进行更进一步的的细分。 客户的识别规则基于客户分类，提供各类客户的识别规则。包括利用组织机构代码识别境内对公客户，利用所在国家或地区和客户名称识别境外对公客户以及利用个人证件进行对私客户的识别。以及针对各类客户的历史数据情况提供客户归并的补充建议。 客户的核心信息客户的核心信息包括：基本信息、联系信息、财务信息、关联信息、风险信息、评价信息与往来信息等信息。详细如下图所示：示例客户信息分类示例2.3.6.3.3.2. 组织数据标准组织数据标准化工作包括组织数据标准定义和组织数据标准执行，如下图所示组织机构数据标准工作内容 组织数据的定义：组织是指人们为着实现一定的目标，互相协作结合而成84、的集体或团体。此处所指的组织数据包括银行的内部机构和员工的相关信息。 组织数据核心信息：组织核心信息类包括：基本信息、联系信息、职责信息、关联信息、评价信息等。组织核心类信息分类示例2.3.6.3.3.3. 产品数据标准 产品的定义产品是向客户提供的，能够满足客户特定金融需求的金融工具和产生收益的金融服务、或者银行在货币市场与资本市场的资金操作，必须是能够面向市场面向客户的、可以单独直接销售、必须要有回报发生或者银行在货币市场与资本市场的资金操作的才是产品。 产品标准的分类为满足业务管理、风险管理、经营预算、会计政策、业绩评价和外部监管的需要，从金融产品的属性特征、市场惯例、功能用途和管理需要85、等方面建立的基础分类。 产品标准分类遵循以下原则： 行业普遍接受 跨部门统一 不重复不遗漏 一个主分类标准 同类产品有相似的产品特征/功能/目的，有一定的业务逻辑和业务含义 有适当的粒度，能在一定程度上支持快速准确的产品类别分析 产品信息分类示例 产品的核心信息 产品的核心信息包括：基本信息、管理信息、条件信息、风险信息、核算信息和各类产品的特色信息。2.3.6.3.3.4. 协议数据标准 协议的定义协议是银行与客户之间针对某种产品或服务而签立的契约，它是客户和银行往来的重要载体，例如：账户、合同等。 协议的分类参照同业实践，结合外部监管、银行行业的经营管理要求以及业务特点，遵循分类原则，依据86、协议属性相似度和行业统一认知，对协议进行分类和整合，最终形成协议分类。协议基础分类遵循六大指导原则：稳定性、遵循并参照已定义相关标准、重点突出、参照外部监管和内部运营管理、排它性及前瞻性。 协议的核心信息协议的核心信息包括：协议通用信息和协议个性信息，协议通用信息包括协议基本信息、期限信息、关联信息，个性信息按不同协议特点区分特有信息，包括账户类个性信息、银行卡个性信息、贷款个性信息、结算协议个性信息、票据个性信息、资金协议个性信息、代理协议个性信息、咨询/证明协议个性信息等。2.3.6.3.3.5. 交易数据标准 交易的定义交易是指银行为满足客户的金融服务需求或自身的经营管理需要，进行的用来87、实现价值转移、服务提供的活动。 交易的分类交易分类遵循实用性、前瞻性、扩展性、重点性、清晰性的原则，共分为金融交易和非金融交易两大类。 交易的核心信息交易主题的核心信息包括交易通用信息和交易个性信息，交易通用信息包括交易基本信息、关联信息、介质信息，交易个性信息根据不同类型交易分别定义，包括贷款交易信息、票据交易信息、投行交易信息、支付结算信息、资金交易信息等。2.3.6.3.3.6. 地址数据标准 地址的定义广义的地址指银行关注的地址和区域： 地址既包括传统类型的地址信息（如街道地址、邮政编码等），又包括如电话信息、电子地址(Email、IP、web 地址等) 等信息。 区域包括各层次的行政88、区域（如大洲、国家、省、地区、市、县/区）、自然地理区域（如珠三角等）、根据银行经营管理和统计分析需要设置的区域以及区域的组合。 地址的分类地址主题的分类遵循合规性、实用性、全面性、独立性、稳定性六大原则，地址主题的基础分类为地理地址和虚拟地址两大类。 地址的核心信息地址的核心信息包括地址通用信息、地理地址信息和虚拟地址信息。2.3.6.3.3.7. 渠道数据标准 渠道的定义渠道是客户及合作伙伴获取银行信息或使用银行金融产品、金融服务的媒介。商业银行的渠道是指商业银行为客户提供各种服务的方式或途径，主要分为有形网点和无形网点。有形网点包括营业网点和自助银行，无形网点主要指电话银行、手机银行和网89、上银行等。 渠道的分类渠道基础分类遵循六大指导原则：稳定性、遵循并参照已定义相关标准、重点突出、参照外部监管和内部运营管理、排它性及前瞻性。 渠道的核心信息渠道的核心信息包括渠道的通用信息、个性信息和关联信息。2.3.6.3.3.8. 营销数据标准 营销的定义营销是指银行对客户开展的一系列的促销事件以及相应的策略和规划活动的组合，是为了获取、维护、增强金融机构与客户的关系而开展的，其目的可能是为推广某些产品，也可能是为了树立市场形象。 营销的分类营销主题的分类遵循清晰性、前瞻性和可扩充性相结合、合理适用性三大原则，营销数据标准共分为营销媒体和营销活动两大基础分类。 营销的核心信息营销的核心信息90、包括通用信息、营销关联信息和营销活动特有信息。2.3.6.3.3.9. 财务数据标准 财务的定义财务主题指的是银行科目组织、总账以及预算管理有关的数据，参考中国银监会监管数据标准化规范（中小银行及农村金融机构） 、企业会计准则、商业银行表外业务风险管理指引，并结合各家银行业务管理的需要制定的财务信息项。 财务的分类财务分类根据对会计要素的具体内容、按照其相同的特征和资金性质、业务特点、经营管理和核算要求进行科学分类而确立的会计核算项目，遵循合规性、清晰性、完整性和互斥性相结合的原则进行分类。 财务的核心分类财务的核心分类包括财务通用信息、财务基础信息和自有资产信息。2.3.6.3.3.10. 91、资产数据标准 资产的定义资产是指银行所关注的与客户相关的各种资产，主要包括客户在银行的抵质押物和从客户方收取的抵债资产、银行关注的客户的其他资产。一个资产可以与多个客户（当事人）相关，一个客户（当事人）可以与多个资产相关。一个资产可以与多个债项相关，一个债项也可以与多个资产相关。 资产的分类资产的信息来源于办理银行业务时所收集的抵质押物信息，或银行收取的抵债资产的信息，或银行通过其他途径如客户经理、人行征信系统等能收集到的客户资产，以及银行在对抵质押物、抵债资产进行管理的全过程中所产生或收集的信息，遵循合规性、实用性、全面性、独立性、稳定性等原则。 资产的核心信息资产的核心信息包括资产通用信息92、资产详细信息、抵质押信息和抵债资产信息。2.3.6.3.3.11. 公共代码标准代码标准化工作包括标准代码定义和标准代码执行，如下图所示：公共代码数据标准工作内容 标准代码的定义：标准代码是指开行业务营运中使用的业务或技术代码，标准代码将在开行的相关业务及信息系统中被强制执行和遵守。标准代码的定义包括两部分内容： 代码基本信息：包括代码的编号、英文名称、中文名称、业务含义及定义原则等。 代码定义：确定具体的代码、代码描述及代码的详细业务说明。 标准代码定义结构标准代码标准化工作包括标准代码定义和标准代码执行，如下图所示： 代码编号：编号规则： CDNNNNNN。CD代码英文名称（Code）的93、简称，NNNNNN:顺序号，从1开始排序； 英文名称：代码的英文名称，如币种代码 currency_code； 中文名称：代码的中文名称； 业务含义：代码的业务含义，如币种代码是开行业务营运中所接受的各种货币币种的统一标识； 定义原则：说明代码的定义原则，如采用外部标准； 外部标准：如采用外部标准需标注外部标准的代号及名称； 编码规则：代码的编码规则（如：行业编码的编码规则） ； 技术属性：代码的类型及字符长度，如Char(4) ；2.3.6.3.4. 指标数据标准制定指标是指我行在一定时期内的经营管理过程中，用于反映经营情况的绝对数量或规模的数量指标，如利润、存款余额、贷款余额等，以及用于反94、映业务开展和管理能力的工作质量、相对水平或数量关系的质量指标，如利润率、存贷比等指标集合，以及反映指标的观测和分析视角的分析维度集合，其的内涵包括： 指标分类，指标可按其说明总体现象的内容不同，如，按经营管理，按战略发展等； 指标属性，包括业务属性、技术属性和管理属性； 维度分类，维度可按其描述银行业务信息的特征进行分类，如参与人、产品、协议、事件、渠道、财务等； 维度属性，包括业务属性、技术属性； 指标与维度关系，即指标的观测和分析视角。2.3.6.3.4.1. 指标分类分类是根据事物的特点，按照一定的方法将它们区分归类。分类是认识和区别事物的基本方法，分类以认识事物、区别事物为目的，有其特95、殊的对象和用途，分类的用途是提供用户一种检索的途径。指标的检索特点是不同的用户有不同的检索习惯，如通过指标名称、指标编号、指标归口管理部门、计算时相关的指标，指标来源系统等进行检索。在没有系统支持指标检索应用时，就需要结合指标的特点和业务人员的使用习惯对指标进行分类。例如可以从使用用户视角，提供了基础数据标准分类、使用范围、管理领域和业务板块四种分类方法，如下图所示。指标数据标准分类示例2.3.6.3.4.2. 指标属性指标属性包括业务属性、技术属性、管理属性和应用属性四类，其中业务属性用于定义指标的业务信息包括名称、业务定义、计算规则和业务口径等，技术属性用于定义技术实现的信息包括数据类型、96、数据来源等，管理属性用于定义指标的管理信息包括归属机构、解释机构等，应用属性用于定义指标的应用信息包括实现的报表、分析模型等。指标属性示例l 业务属性业务属性使用统一、标准化的指标命名，有助于工作中对指标的检索，和防止重复现象。明确指标的业务定义，便于该指标体系原型用于行内将来的指标设计和管理中时，帮助用户理解每个指标的内容和属性，同时为需求具体化提供参考和输入，其具体内容包括：1. 指标编号该属性为必选属性，指标编号作为识别指标的唯一依据，指标编号在编号规则上应反映指标的特性并且具备唯一性。具体规则如下：I_业务一级分类缩写_5位顺序号其中I代表维度，业务一级分类缩写缩写为：BD，标识业务发97、展主题，取业务发展英文缩写2位英文字母代表。RM，风险管理主题，取风险管理英文缩写2位英文字母代表。FA，财务分析主题，取财务分析英文缩写2位英文字母代表。CA，客户分析主题，取客户分析英文缩写2位英文字母代表。CS，渠道分析主题，取渠道分析英文缩写2位英文字母代表。SC，监管报送主题，取监管报送英文缩写2位英文字母代表。2. 指标名称该属性为必选属性，用于是指标唯一的规范化名称。针对在不同业务场景下统计口径有细微差异的指标，采用指标名称后括号内说明其适用的业务场景的命名方式予以区分。业务场景的统计口径差异主要有两类，一是报送范围的差异，二是财务和业务视角的差异。3. 业务定义该属性为必选属性98、，用于指标的整体概括性描述，说明指标的概要性含义及适用范围。主要从以下几个方面进行描述：l 指标的原理或概念解释；l 指标用途； l 指标统计所覆盖业务范围、产品条线范围等；l 我行的业务特色，与通用概念、监管要求的差异性等。4. 计算公式该属性为必选属性，用于描述指标的计算方法，主要是指标通过取哪些数据进行运算。对运算关系的描述包括+、-、X、/、等，其中既包含直接计算关系，也包含所涉及的子项的计算关系。如果指标的计算公式引用的是会计科目，则表示为会计科目名称（科目号）；如果指标是由其他指标衍生运算的，在引用相应的指标时，则表示为指标名称（指标编号）。5. 指标口径该属性为必选属性，用于描述99、指标的统计限定条件或取数范围，主要用于补充指标的计算规则中，无法用计算公式部分进行描述的补充，其中也包括对取数过程中需要用到的判断信息项界定条件的描述。6. 统计频度该属性为必选属性，表示各业务部门统计并生成该指标所需的频度，如日、月、季、半年、年等。l 技术属性技术属性用于描述指标技术实现信息，包括指标数据类型、数据长度、计算精度等。1. 数据类型该属性为可选属性，用于说明指标的在数据库中的字段数据类型，用于统一定义指标的数据类型，如，Number(16,2)表示数据为数值型。2. 数据长度该属性为可选属性，用于说明指标的在数据库中的字段存储长度，用于统一定义指标的数据长度，如，Number100、(16,2)表示数据长度为16位。3. 计算精度该属性为可选属性，用于说明指标的在数据库中的计算精度，用于统一定义指标的计算精度，如，Number(16,2)表示计算精度为小数点后2位。l 管理属性管理属性用于描述指标需求的来源、解释和使用的机构，便于在需求分析时和使用指标时便使用指标时对其来源信息及背景信息等进行查阅，澄清指标的相关信息，在指标实现时进行指标使用权限的设置。1. 指标归属管理部门该属性为必选属性，指标需要有单一的归属管理部门，负责澄清指标的相关信息，对指标有最终的解释权。2. 使用状态该属性为必选属性，描述指标是否有效的状态，包括“在用”和“废止”，缺省值为“在用”。3. 指101、标使用部门该属性为可选属性，指标在实际工作中可以被多个部门同时使用，但指标相关信息的最终解释权只能由归属管理部门承担。4. 指标需求来源该属性为可选属性，用于说明指标最初的需求来源，方便使用指标时对其来源信息及背景信息等进行查阅。2.3.7. 数据标准实施数据标准落地应用的步骤分为实施计划、标准执行、标准检查和标准改进四个阶段。2.3.7.1. 数据标准落地实施策略数据标准落地是一项持续性的工作，其价值毋庸置疑，但同时在落地过程中也会为系统建设带来改造的工作量与复杂度，如何平衡阶段性的投入与产出，保障边际效益最大化是落地执行开展的首要原则，其关键因素包括：1. 系统改造难度与风险考量 尽可能减102、少已投产运营系统的改造成本与产生额外问题的风险； 需考虑外购的成熟软件系统改造的可行性； 对于系统实施项目，尽可能在不延长项目实施周期的情况下进行数据标准的落地。2. 落地的方式 对源系统的改造是数据标准落地最直接的方式，有助于控制未来数据录入的质量与准确性； 对系统间接口的改造也是保障交互一致性的重要工作； 数据平台入仓时将数据按照标准转换，可保障统计分析的准确性。3. 业务价值实现的优先级 通过对我行业务运营和管理的收益分析，排定落地的优先级； 通过对对我行业务统计分析和监管报送的收益分析，排定落地的优先级； 对于相关性较强的数据标准内容，建议同时实施落地。4. 整体IT规划安排 按照我行103、IT规划的整体安排，未来的系统建设会有节奏、有计划的进行，数据标准的落地实施也需按照IT规划的建设步骤进行。数据标准的落地与执行需要遵循以下策略：问题驱动：根据风险管理、监管报送和统计分析工作中，对重要的行业代码、机构信息、产品信息一致性的要求，以解决业务部门最为迫切的数据问题作为数据标准落地工作的入手点和落脚点，进行相应数据标准的落地实施。业务精细化管理驱动：以数据标准内容为出发点，分析相应数据项对加强业务管理精细化的作用，如客户信息、资产信息、产品特征信息等，确保数据标准的业务价值能快速体现推动相应数据标准的落地。全行数据一致性驱动：以重要IT系统（如核心、信贷等）重建为契机，推动数据标准104、的落地实施，同时覆盖相关的周边IT系统，全面推动数据标准在各类IT系统中的落地实施，全面实现全行数据定义的一致性。2.3.7.2. 数据标准落地实施原则其次，数据标准落地与执行时，对于各业务领域及IT系统的约束力应遵循以下原则：原则1：信息项的业务标准、技术标准和代码标准，对所有业务领域及IT系统要求强制执行，当使用到标准中所包括的数据项时，必须遵循数据标准的规范。同时，对于准标准，作为推荐性标准在业务领域及IT系统中参照执行。原则2：数据标准所定义的参考数据模型，由于其不涵盖所有的数据项，同时考虑各业务领域及IT系统自身的个性化需求，因此标准的数据模型仅作为参照，不要求强制执行。原则3：对于105、新建或者改造系统，强制要求其执行信息项的业务标准、技术标准和代码标准；对于现有系统，其数据进入数据平台时（主要指数据仓库），必须遵循信息项的业务标准、技术标准和代码标准进行转换，以确保后续统计分析的一致性。2.3.7.3. 数据标准的差异分析标准映射是识别数据标准与源系统数据字典间的差异，基于定义完整的数据标准模板，开展关键系统的数据映射与差距分析工作，数据差距分析是后续数据质量分析和制定系统数据清洗、补充和质量改善方案的基础。数据差距分析的目的主要明确以下几方面内容：数据项是否能从源系统或数据仓库获取；不同系统间的数据内容是否一致；当前哪些数据需通过数据仓库获取，其中哪些已经进入数据仓库，哪106、些数据未纳入数据仓库；深入分析各系统与数据标准模板存在差异的原因。例如：客户基本信息、客户评级信息、客户风险缓释信息、个人和企业客户财务信息、客户信贷资产债项信息中的额度与限额等字段通常存在不同程度的缺失，尤其以客户信息、风险缓释信息、个人和企业客户财务信息以及额度与限额字段的数据缺失最为严重。数据差距分析数据差距分析包括对数据仓库及对各取数源系统的数据差距分析两个部分，我们对数据差距分析采取的工作方案不只是对数据标准模板的数据项与数据映射结果进行的简单比较，而是基于完整定义的数据标准模板，以及对银行各系统中的相关数据项进行深入的了解，采用一套严谨、科学的数据映射和差距分析的工作步骤：数据映射107、原理收集、整理、熟悉、理解银行各取数源系统和数据仓库的数据字典以及数据之间的相互关系，为数据映射和数据差距分析做准备；合理安排数据差距分析工作顺序，分步骤分阶段的推进数据差距分析工作，保证数据差距分析结果的谨慎性和正确性，为后续的数据质量分析工作奠定基础；与银行数据仓库和各取数源系统技术人员开展多次访谈，详细了解银行源系统和数据仓库的当前状况、银行现有系统改造和升级计划，仔细分析现有系统和数据对数据标准模板中的每个数据项的支持程度；数据差异工作由项目组成员，以及具备银行业务系统、数据仓库实施经验的银行内部技术团队成员合作进行，团队成员对数据差距分析的目标数据和银行实际数据都有深刻理解；在充分考108、虑银行业务流程要求、银行内部管理需求，以及银行现有系统和数据架构的实际情况后，开展对数据仓库的数据映射和数据差距分析，主要分析以下内容：（1） 数据项是否存在数据仓库，是否需进行各取数源系统数据映射；（2） 数据仓库表名和字段名；（3） 映射逻辑、数据取数和转换规则，以及差异说明。基于数据仓库的数据映射结果，针对无法从数据仓库获取的数据项，开展对各取数源系统的数据映射和差距分析，主要分析以下内容：（1） 数据项是否存在源系统；（2） 源系统表名；（3） 源系统表名和字段名；（4） 映射逻辑、数据取数和转换规则，以及差异说明。参与数据映射和差距分析工作的技术团队成员还将在数据质量诊断阶析、数据质109、量标准及检验规则制定阶段，直接利用数据映射的结果来进行质量分析和制定质量检验规则工作，实现数据映射和差距分析工作经验的最大化利用。2.3.7.4. 数据标准落地实施方法数据标准落地可分为日常工作形式开展和以项目形式开展的落地工作，具体步骤如下：数据标准落地方法数据标准的落地方案包括确定范围、差异分析、影响性分析、制定具体落地方案和标准落地执行计划五个部分。n 确定范围数据标准落地方案确定范围n 差异分析数据标准落地方案差异分析n 影响性分析数据标准落地方案影响性分析n 具体执行数据标准落地方案具体执行方案n 标准落地执行数据标准落地方案标准落地执行2.3.7.5. 数据标准落地建议数据标准落地110、执行分为业务层面和IT层面两个部分。2.3.7.5.1. 业务层面的落地执行建议1、业务制度层面的落地 业务管理部门在制定和修订业务管理制度时将数据标准的在业务层面的管控及执行机制纳入到业务制度中。 2、业务操作层面的落地 将数据标准融入到业务操作流程中，规范业务操作人员的操作，在数据录入时遵循数据标准对关键数据的质量要求，从源头控制数据质量。 强化业务操作流程中的数据质量审核，对于关键性数据的录入环节加强复核和审查，将数据管控嵌入业务操作流程。 3、业务管理分析层面的落地 强化业务统计分析工作对数据标准的标准代码和指标的使用和执行力度，确保业务统计分析数据的质量以及统计口径的一致性。2.3.111、7.5.2. 系统层面的落地执行建议1、新建业务应用系统的落地 业务需求：将数据标准的要求融入到系统的业务需求中，以业务需求推动数据标准在系统中落地执行。 设计评审及上线评审：重点审核新系统数据模型及数据接口设计，确保数据标准有效落实到系统中。 现有业务应用系统的落地 结合系统现状综合评估数据标准落地执行的难度、工作量及对业务的影响，统筹考虑数据标准落地执行的内容和实施路径。 以系统改造为契机、以系统改造需求为着力点，推动数据标准在现有系统的落地执行。 2、现有业务应用系统的落地 结合系统现状综合评估数据标准落地执行的难度、工作量及对业务的影响，统筹考虑数据标准落地执行的内容和实施路径。 以系112、统改造为契机、以系统改造需求为着力点，推动数据标准在现有系统的落地执行。 2.3.8. 数据标准管理系统业务需求说明数据标准管理系统是全行数据标准制定、发布、管理、查询、执行的系统载体。数据标准管理业务需求说明将提供该系统的高阶需求说明，提供保存和处理数据标准内容，提供统一的数据标准管理与标准执行分析功能，为日后的全行各系统的数据标准化工作应用提供良好基础。系统需要主要包含数据标准浏览、数据标准管理、数据标准映射、数据标准分析四大功能：一、数据标准浏览：该模块提供全方位的数据标准信息浏览查询功能，可以实现模糊查询、主题树浏览、主题属性浏览、标准版本浏览、按主题浏览标准内容和标准项以及订阅数据标113、准。二、数据标准管理：该模块对数据标准进行管理，管理的对象包括主题树、主题属性、标准项、代码、映射项和逻辑参考模型，以及标准分类。三、数据标准映射：该模块协助各系统完成对数据标准的映射并形成映射文件，由数据管理平台提供标准映射文件的下载功能。包括基础标准与元数据的映射，管理分析类标准与需求的映射、映射关系导入与下载、映射关系版本管理等。四、数据标准分析：该模块支持对数据标准的代码分布、代码覆盖和执行情况进行分析。包括标准代码分布分析、标准代码覆盖分析、标准执行分析等。2.4. 数据质量管理方案2.4.1. 数据质量管理框架数据质量体系分为数据质量管理制度与规范、数据质量管理组织及角色、数据质量114、管理流程和数据质量管理支撑工具四个部分，具体的关系如下：图表 2数据治理管理体系数据质量管理制度及规范，与数据质量管理组织及角色和数据质量管理流程关系说明： 数据质量管理组织必须遵守数据质量管理制度及规范，同时清理提升、持续监控与优化、主动保证三个流程必须以之为基准开展工作，以保证数据质量的实现。 在数据质量管理的日常管理活动以及相关项目中，积累的各类经验将有助于制度与规范的完善，增强管理保障的力度，进而更好地保证数据的总体质量。 数据质量管理组织及角色与数据质量管理流程关系说明 落实数据质量管理组织职责，明确岗位责任，推进数据质量清理提升、数据质量持续监控与优化、数据质量主动保证流程执行。 115、数据质量清理提升、数据质量持续监控与优化、数据质量主动保证等流程改进优化，也会触发数据质量管理组织职责的合理调整。数据质量管理流程之间关系说明 数据质量清理提升、持续监控与优化流程中都涉及到对数据的修改、清洗以解决质量问题，因此可以相互分享知识和经验。 持续监控有助于发现清理提升的潜在需求。 在清理提升与持续监控流程中都会发现数据质量问题，对于影响重大或者发生频繁的数据质量问题，针对这些问题需要采取主动保证措施，以降低未来对数据质量的负面影响。 数据质量管理流程与管理支撑工具关系说明 数据质量清理提升、数据质量持续监控与优化、数据质量主动保证等管理流程在执行过程中，将发现的数据质量问题、数据质116、量问题解决经验记录现在数据质量管理支撑工具中，为后续的数据质量治理提供依据。 数据质量管理支撑工具，通过数据质量检查报告，分析数据质量问题热点区域，为数据质量管理流程执行提供重要依据。2.4.2. 数据质量与各领域的关系从下图中可以看出，数据质量是数据管理活动的组成之一，与数据战略、数据机制建设与数据应用相辅相成。数据标准工作的开展需要契合企业的数据战略，配套建立数据质量的相关管理机制，以数据质量为突破口进行全行的数据治理工作，提升全行的数据意识，为日后数据应用与服务提供支持，促进数据管理对业务和科技的贡献。图表 3数据质量与各领域关系数据质量管理与各领域关系说明如下： 与数据战略与规划关系：117、为全行数据质量管理的建设提供全行层面统一的数据管理战略，对数据价值、量化分析应用、决策支持、风险识别等方面进行实际的应用。 与数据管理组织与职责关系：数据管理组织与职责定义数据质量管理角色体系、组织架构及职责划分，为数据质量管理工作的开展提供组织基础。 与数据管理制度关系：数据管理制度在规范了数据质量管理领域的目标、遵循的行动准则、完成的明确任务、实际的工作方式、采取的一般步骤和具体措施。 与数据标准管理关系：数据标准管理为数据质量管理提供技术标准、业务标准，作为数据质量度量规则的制定依据，有助于数据质量的提升；同时，在数据质量提升的管理过程中由于业务流程优化或信息项变更而提出数据标准完善或变118、更需求。 与元数据管理关系：元数据管理确保企业内部使用统一定义的元数据进行沟通及解释业务问题，消除歧义，保证企业内信息的一致性，为数据质量的管理和全行数据质量的提升提供技术支撑，实现各个系统间的无缝集成，促进知识和经验的共享；数据质量度量规则的变更及新增由元数据管理统一维护和支持。 与数据架构与模型管理关系：数据架构与模型管理为数据质量管理提供全行一致的企业级数据模型信息，对全行数据数据分布及流向有整体的掌控，协助各系统数据质量的提升。 与数据应用与服务关系：数据应用与服务为数据质量管理输入发现的数据质量问题，并对已发现的数据质量问题进行分析和提升。2.4.3. 数据质量管理组织从行业的普遍实119、践经验来看，仅有业务人员负责数据质量，会造成跨业务的数据质量无人负责，或是各专业质量管理方法出现不一致的问题；仅有数据管理部门负责数据质量，将无法保证质量管理规范的真正落地；而如果没有高层领导、委员会的支持，数据质量管理工作将得不到重视，进而无法保证改进数据质量所需的各种资源支持。因此数据质量的提升决不能仅仅依靠一个数据管理部门、或是专业生产部门就能完成，而必须依托于企业级数据管理组织责任体系。基于以上的考虑，本部分将遵从整体的数据治理组织框架设计，形成高层领导关注与协调、总行管理部门牵头、业务与技术线的数据责任人共同参与的数据质量管理组织责任机制。如下图所示： 决策层图表 4决策层数据质量管120、理组织岗位职责数据管理委员会是全行数据质量工作的最高决策机构，负责数据质量管理重大事项的协调与决策； 审批数据质量管理办法、流程和规范； 定期听取对数据质量管理工作的汇报 协调重大争议事项管理协调层管理层数据质量管理组织岗位职责数据质量管理专职部门是数据质量工作的总体协调与管理部门，负责组织、推动数据质量的相关工作，具体工作由数据管理团队承担； 收集数据质量问题 针对发现的问题，牵头领导分析数据质量问题发生原因及影响 制定全行数据质量监控核检方案 收集与汇总各部门制定的数据质量检查规则 确定数据质量问题的责任人 编写数据质量评估报告 定期向决策层汇报重大事项执行层执行层数据质量管理组织岗位职责121、总行各业务部门 协助配合数据质量管理人员，将数据质量管理规范推广、落实到本业务线范围 负责对数据质量相关的业务问题进行澄清和汇总 根据本业务部门业务现状，提交数据质量检查规则总行科技部门 执行或监控日常稽核工作，并将稽核结果提交给相关部门 将数据质量检查规则转化为技术实现分行 配合总行业务部门与科技部门的数据质量相关工作2.4.4. 数据质量管理流程数据质量管理流程的设计原则为：n 强化日常的数据质量监控与问题评估工作。n 实现事后处理、事中监控、事前预防的全面数据质量管理。n 关注数据管理案例与经验的收集与管理。基于上述原则，设计数据质量管理流程，主要包括数据质量清理提升、数据质量持续健康与122、优化、数据质量主动保证等三个主流程。考虑到三个主流程具有相同的流程子环节，为避免对相同流程子环节进行重复描述，数据质量管理一级、二级流程以数据质量管理标准框架的形式对进行组织。数据质量管理流程框架基于上述流程结构，数据质量清理提升流程、数据质量持续监控与优化流程、数据质量主动保证流程的流程如下：n 数据质量清理提升流程数据质量清理提升流程n 数据质量持续监控与优化流程数据质量持续监控与优化流程n 数据质量主动保证流程数据质量主动保证流程数据质量管理流程三级流程采用泳道图的形式，对数据治理委员会、数据管理部门、数据主责部门、数据录入部门、数据使用部门以及系统开发维护部门参与的数据质量管理三级流程123、节点进行说明。以下以重点的数据质量检查规则制定为例说明三级具体的流程描述形式：数据质量检查规则制定流程其流程描述如下：数据质量检查规则制定流程描述活动活动描述参与者相关信息资源发起收集负责领域数据质量检查规则 通知各业务部门（包括数据录入部门、数据使用部门）根据业务处理规则及业务数据要求，收集某数据领域的数据质量检查规则。例如客户数据主责部门通知客户数据领域的相关部门收集客户信息的数据质量检查规则 数据主责部门 工作通知单/通知函提出数据领域数据质量检查规则 各业务部门根据业务规则及数据录入与使用的经验，提出数据质量检查规则 数据主责部门 数据录入部门 数据使用部门 数据质量检查规则汇总与验证124、负责领域数据质量检查规则 汇总各部门提交的数据质量检查规则 验证各部门提交数据质量检查规则，确保各部门质量规则在业务层面的统一 数据主责部门 数据质量检查规则汇总和统一数据质量检查规则 汇总和统一各数据领域的数据质量检测规则，确保跨领域的数据质量检查规则统一 数据治理办公室 数据质量检查规则转化数据质量检查规则 将数据质量检测规则转换为技术实现 系统开发维护部门 数据质量检查规则关联数据质量检查规则与元数据 将数据质量检查规则与元数据进行关联 数据治理办公室 数据质量检查规则2.4.5. 数据质量管理制度2.4.5.1. 数据质量管理制度数据质量管理制度的定位与数据标准管理制度类似，是数据质量125、工作范围、人员、活动、流程等要素的保证，其制定需要明确数据质量管理的工作目的、使用范围、工作原则与规范、组织架构与职责以及数据质量管理的各项活动和管理流程等。在具体建设过程中，可以将数据质量的管理要求流程形成一份制度类文件，结合相关的技术规范与模板一起，以单独的制度文件统一对外发布。数据质量管理制度的建立应遵循如下原则： 指明数据质量管理工作方向与工作思路，明确数据质量管理工作参与部门以及各部门在数据质量管理工作中承担的角色与职责，提出数据质量问题识别、评估与处理的框架性要求。数据质量管理制度的建立与发布将会加强全行各级单位和部门对数据质量管理相关工作的了解，明确其在数据质量管理工作中的职责，126、使得全行上下对于数据质量管理相关工作的重视程度得到极大的提升，能够更加积极的配合数据管理部门开展数据质量管理相关工作。数据质量管理办法在规范银行数据质量工作同时，也将从数据的角度为IT系统的建设提供基础并明确管理要求，从而为IT系统的建设提供保障。2.4.5.2. 数据质量考核方法为了有效衡量数据质量水平，需要建立数据质量考核工作流程、考核方法以及具体的考核细项。数据质量水平的考核对象粒度可以涉及具体的数据字段、数据表、系统或业务领域，对各种数据质量管理对象设定的一系列关键指标，用于量化衡量数据管理对象的数据质量状态，是评估数据质量状况、数据质量改善状况、数据质量管理工作成效的重要原始信息，是127、量化、分析数据质量问题的重要依据。最典型的数据质量水平工作的考核是外部监管机构对行内数据质量水平的评价。应监管部门要求进行的调查统计与报送工作，主要包括向中国人民银行、中国银行业监督委员会、国家外汇管理局、国家统计局、财政部等部门报送的1104非现场监管报表、人行大集中报表、客户风险统计和对公征信、风险资产统计等。对外报送的数据质量水平的评价，相对客观、科学的从全国的同业大环境中挑选了需重点关注的数据字段、数据表、系统或业务领域进行横向的比较，同时也反映了行内重点的数据质量水平情况，在数据质量考核项目的设计上可以将其作为重点的输入。在考核的组织和实施上，以数据管理部门为总体组织协调层，牵头组织128、总行各部门与各分行的数据质量考核工作。具体的考核指标与维度示例如下：数据质量考核方案示例维度相关部门考核指标考核标准说明平衡计分卡分值1104非现场监管报表、人行大集中报表及其它项制度的执行情况立健全本机构或本部门统计管理制度、应严格落实并执行监管统计制度、合理设置监管统计岗位，配备充足人员等25分基础业务数据报送情况报送数据的及时性、准确性、完整性和真实性等20分系统运行维护情况监管统计系统、及基础数据源系统的运行于维护情况10分基础业务数据、报表的档案管理整资料档案存储管理应保证监管统计数据信息的安全性、连续性等。5分风险资产统计统计自动化率各部门管辖的数据达到自动系统计量RWA的占比，以129、及系统更新变更后通知RWA项目组的及时性。20分整改完成率数据质量差错的整改完成情况。对分行的组织管理考核有效性对分行数据质量管理工作的管理、考核工作是否明确并有效落实执行，结合核帐差错率等指标进行考核。客户风险统计整改完成率数据质量差错的整改完成情况。20分对分行的组织管理考核有效性对分行数据质量管理工作的管理、考核工作是否明确并有效落实执行，结合各类数据错误指标进行考核。2.4.6. 数据质量检验方案数据质量管理是一项长期、持续性的工作，将充分继承和吸收前期各其它项目组的实施经验与成果，参考其他数据质量管理整体规划总体实施策略，从业务需求最迫切的客户主题入手，按计划、分阶段、分步骤实现全行130、生产数据管理建设目标。2.4.6.1. 明确数据质量检核范围目前银行的业务相对复杂经过多年的建设拥有众多的IT系统，如核心系统、票据系统、信贷系统、国结系统、资金交易系统等主要业务系统，客户数据分散在不同的业务系统中，各系统中由于业务形态的差异客户数据的内容差异较大，而且IT系统已经变得日益庞大和复杂，因此客户数据质量管理是一个相当复杂的系统工程。根据数据质量需求，确定据客户数据质量的管理范围，管理范围分为业务范围，系统范围两类：n 业务范围根据数据质量需求中的数据范围选择所覆盖的业务应用范围，以及每个业务下的关键数据项作为数据质量管控的内容。n 技术范围根据数据质量管控业务范围和系统环境定义131、，选择需要管理数据质量的应用系统，业务关键数据项与应用系统数据结构有匹配映射的数据字段作为数据质量管理的技术范围。2.4.6.1.1. 应用范围根据数据质量管理需求确定需要进行质量管控的数据项所涉及的业务范围，作为后续选择数据质量管理系统范围的依据。2.4.6.1.2. 关键数据范围挑选数据质量管理需求中的关键数据范围进行质量管控，挑选关键数据项的原则是选择对实现业务流程，或者计算过程的影响性程度大的数据项。2.4.6.1.3. 系统范围数据质量管理的应用范围和数据范围确定后，根据系统应用架构和数据流架构的定义，选择管理关键数据项的应用系统作为数据质量管理的控制点。银行常见的情况是同一个业务数132、据项在多个系统中出现，此时需要选择合适的数据质量控制点，选择合适控制点主要从以下几方面考虑： 数据采集能力：采集数据范围的完整程度、采集的难易程度。 数据可信度：数据真实可信的程度。 数据及时性：数据更新的时效性是否及时。 集成能力：数据质量控制功能与控制点现有功能实现集成的可行性。2.4.6.1.4. 数据字段范围关键数据范围内的数据与每个数据源系统进行数据映射分析，挑选出与关键数据项对应的字段，作为数据质量管理的数据字段范围。2.4.6.2. 定义数据质量管理维度以数据标准的业务定义为基础，为每个关键数据字段选择与该字段的数据质量管理需求相匹配的数据质量管理维度(DQI) 以及测量指标的计133、算方法，即关键数据项和数据质量管理维度的对应关系，并作为测量阶段制定数据质量检查规则的分类。数据质量管理模型中典型维度(DQI)通常为七个管控维度：数据质量管理七大维度其具体内容如下：数据质量管理七大维度的具体内容维度名称维度说明评估指标 - 错误数评估指标 - 错误数据百分比评估指标 -百万次错误率数据完备性(Complete)业务需求所需的关键数据项在系统中是否有定义，或者关键数据项是否都采集了数据。例如合同有效日期是否有未填写的数据记录。数据不完整的记录数数据不完整记录数/总记录数所有数据转换环节的不完备数据百分比相乘，换算为分母为百万的统计值数据有效性(Valid）数据是否符合数据标准134、中的业务定义。例如在数据项“押物名称”存储了押物所有权人名称。数据无效的记录数数据无效记录数/总记录数所有数据转换环节的无效数据百分比相乘，换算为分母为百万的统计值数据唯一性(Unique)是否满足一个业务唯一关键数据项值组合仅对应一条记录，例如一个组织机构代码仅有一条客户信息记录同一数据表中关键数据项重复的记录数关键数据项重复记录数/总记录数所有数据转换环节的关键数据项重复数据百分比相乘，换算为分母为百万的统计值数据一致性(Consistent）相同数据项在不同系统或同一系统内不同表格记录多次时，多个数据值是否相同数据与其它表格数据不一致的记录数数据不一致记录数/总记录数所有数据转换环节的不135、一致数据百分比相乘，换算为分母为百万的统计值数据时效性(Timely)是否能够在数据需求定义要求的期限内获得最新的数据，或按要求的更新频率刷新数据值数据时效不符合计算要求的记录数数据时效不符合要求的记录数/总记录数所有数据转换环节的时效符合要求的数据百分比相乘，换算为分母为百万的统计值数据真实性(accuracy)数据值是否反映了真实的业务情况。例如：企业的年销售总额实际为100万，但系统中记录的是500万数据不真实的记录数数据不真实记录数/总记录数所有数据转换环节的数据不真实数据百分比相乘，换算为分母为百万的统计值数据精确性（Precise）数据的精确程度是否满足RWA的计算要求。例如：对欧136、元的汇率转换需要保留六位小数点，而实际数据仅保留了小数点后两位。数据精确性不符合计算要求的记录数数据精确性不符的记录数/总记录数所有数据转换环节的精确性不符的数据百分比相乘，换算为分母为百万的统计值2.4.6.3. 制定数据质量检测规则数据质量评估方法主要包括下图中的四个过程。为保证最终的分析结果真实可靠，我们根据第一次数据质量的情况反馈进行了多次迭代：数据质量测量方法数据质量评估工作以定义阶段的产出物目标数据映射为基础，根据获取的样本数据进行了初步的分析，从中选择了有数据映射的数据定义了数据质量测量规则。2.4.6.4. 数据质量检测规则模板在数据质量检查中，还需使用统一的数据质量检查规则模137、板，从而保证数据质量检查过程中标准的一致性。统一的数据质量检查规则模板包含以下一些信息项和说明：数据质量检查规则模板信息项说明规则编号 数据质量检查规则编号。编号采用X-YYYY形式：XXX为银行系统编号；YYYY为该系统内数据质量检查规则的顺序编号，建议以4位编号度量维度大类从数据质量度量维度划分数据质量问题，类别内容主要包括：数据缺失/不完整、数据标准不统一、数据生成不及时、数据准确性不高、数据记录重复等方面度量维度小类在数据质量大类的基础上，对数据质量问题进行细分。数据质量问题小类的内容描述数据质量问题特征数据质量检查规则说明具体数据检查规则描述，例如，针对合同表中客户编号、客户证件类型138、证件号码，数据质量维度为业务关键属性组合不唯一，其检查规则为客户编号+证件类型+证件号码去重后，客户编号与证件类型+证件号码是一一对应，不存在一对多或多多对一关系数据标准编号数据质量检查规则所引用的数据标准编号提出业务部门该规则提出/变更的业务部门提出业务人员该规则提出/变更的业务人员员工编号提出日期该规则提出/变更的日期源系统名（中文）待进行数据质量分析数据源系统的中文名称源系统名（英文）待进行数据质量分析数据源系统的英文名称数据库表（中文）待进行数据质量分析数据源物理表的中文名称数据库表（英文）待进行数据质量分析数据源物理表的英文名称相关字段名（中文）待进行数据质量分析数据字段的中文名称139、相关字段名（英文）待进行数据质量分析数据字段的英文名称取值范围待分析字段的取值范围。适用于枚举类型和业务定义中存在有上下限的字段名，例如代码、单笔汇款手续费上限为50元。如果是代码类的数据可以使用请参见“代码”脚本逻辑 与业务规则对应的检查逻辑，主要以SQL形式描述2.4.6.5. 数据质量检验规则样例2.4.6.5.1. 数据质量检验范围根据系统应用架构和数据流架构的定义，选择管理关键数据项的应用系统作为数据质量管理的控制点。银行常见的情况是同一个业务数据项在多个系统中出现，例如客户基本信息在核心账务系统、信贷系统、国结系统、信用卡系统中都有。关键数据范围内的数据与每个数据源系统进行数据映射140、分析，挑选出与关键数据项对应的字段，作为数据质量管理的数据字段范围。如下图所示：图表 5数据质量管理字段范围示例选择出的关键数据字段按照系统和表格分组后填入数据质量管理表中，作为测量阶段待分析的数据范围，如下图所示：待分析数据范围示例2.4.6.5.2. 数据质量检验规则根据客户关键数据项的筛选结果，对其进行数据质量分析同时根据数据质量分析结果制定相应的数据质量检测规则。目标数据质量管理表模板2.4.7. 数据质量提升方案存量数据质量提升包括两部分：修正现有存量数据中的问题数据，预防已知数据质量问题类型出现新的问题数据。修正现有存量问题数据主要的方式是从数据和数据控制逻辑上着手解决，预防出现新141、的问题数据应从数据治理体系的建设着手，保证数据质量能够持续地稳定在一个可以被接受的水平。在建设初期可以采用被动响应的模式，也就是专注于已经被识别出来的问题并对其进行调整和修改；其后，可以通过分析数据质量问题建设数据质量管理体系，采用主动管理的模式，对数据质量进行主动的监控和问题的跟踪。我们将这些必须修正的数据分为两类：缺失的数据和不准确的数据。同时，为杜绝该类问题再次发生，一方面将及时修正已经发现的数据质量问题，另一方面将对现有系统、数据标准、业务流程等方面进行改造与完善。依照数据质量改进办法，将数据质量的整体改进计划分为3个条线分阶段实施，总计十个改进方面，本章节将对存量问题数据修正、改造现142、有系统、完善数据标准、规范人员操作、完善业务流程等方面进行阐述。2.4.7.1. 修正存量问题数据2.4.7.1.1. 补充缺失的数据缺失的数据是指数据项记录存在空值的情况。涵盖的范围包括前文分析中数据质量问题小类为 “数据值为空”、“缺失未填”、“数据引用关系破裂”。“数据值为空”和“缺失未填”都属于该数据项的值没有记录。造成没有记录该值的原因主要有三种，一是历史数据的遗留问题，即在数据导入系统前，该数据项没有要求录入；二是现有系统中对非空字段缺少数据校验机制；三是在业务操作流程中没有采集该数据项。对由于历史数据转换导致的数据项缺失，需业务人员根据要求收集补录相关信息。对于目前系统中缺少校验143、机制的数据项，需技术人员对系统校验机制进行完善，根据实际业务操作对数据字段的要求，设置合适的校验规则。对于业务操作中未收集的数据项，相关业务部门应适当的调整业务操作流程，要求业务人员收集并在系统记录该信息。“数据引用关系破裂”是指一张数据库表中的引用数据字段在原始表中找不到对应记录。该类数据问题出现的原因主要历史数据的遗留问题。例如PMIS中缺失的客户编码是系统转化之前的就存在的客户信息。这类数据问题的占比都非常小，总行信息技术管理部可安排各分行在近期内清理完成该部分的问题数据。2.4.7.1.2. 修正不准确的数据不准确的数据是指数据记录存在但是数值本身不准确，数据问题包括“不符合业务定义”144、 “无意义”、“业务关键属性组合不唯一”、“代码取值越界”、“数据不一致”等。“不符合业务定义”一般指数据字段之间的逻辑不符合实际的业务含义。对于这类数据，需要业务部门人员和系统技术人员一起根据数据实际业务含义，在系统中设置适当的逻辑校验，防止该类问题的出现。“无意义”指数据项的取值没有实际业务含义。该类数据问题同样需要系统技术人员在系统中设置合适地数据校验逻辑，防止该类问题的再次出现。“业务关键属性组合不唯一”一般是指作为业务唯一标志的数据项出现了重复记录。该类数据问题需要系统技术人员在系统中设置合适地数据校验逻辑，保持数据的唯一性和一致性。“代码取值越界”是指数据字段的取值超过了标准代码145、的取值范围。这类数据问题中，一部分是数据本身缺失未填，该类问题应该在补充缺失的数据中解决。修正该类的数据问题一方面是需要完善代码更新机制和流程，及时地更新数据标准代码，保证标准代码和实际系统中代码的一致性。对于历史数据的遗留问题，仍需要技术人员对相关数据进行清理。“数据不一致”问题是指数据值的形式不一致，有的以小数表示，有的以百分比表示。需要系统技术人员调整数据字段的设计，并对现有数据进行清理。2.4.7.1.3. 改造现有系统分析建行各系统风险数据质量检查结果，数据质量的各成因中，技术原因占了相当的比例。技术原因不是导致数据质量问题的根本成因，但是用来防范数据质量问题，提升数据质量的重要方法146、。在技术方面弥补不足，提升数据质量的主要方法是对现有系统进行改造。针对数据质量成因技术方面八个主要成因：系统缺乏校验、校验逻辑不正确、数据设计不完善、数据架构不合理、缺省值不合理、历史遗留问题数据、缺少数据清理手段，对应我们设计的改造现有系统任务分为四类：n 新增系统校验对应数据质量问题成因：系统缺乏校验。n 修正错误校验对应数据质量问题成因：对应校验逻辑不正确。n 改进数据设计对应数据质量问题成因：数据设计不完善、缺省值不合理。n 完善数据架构对应数据质量问题成因：数据架构不合理。此外，技术成因中的两个子原因：历史遗留问题数据、缺少数据清理手段，应该通过对当前系统数据清理以及数据补充手段加以147、弥补。2.4.7.1.4. 新增系统校验数据质量问题的成因之一是系统缺乏校验，不能在数据入库之时对数据进行校验，剔除不合理、不合法的数据。因此，对这样缺乏校验的数据项，需要增加其系统校验设计，提升入库数据的质量。包括数据的唯一性校验，数据的取值范围校验等。2.4.7.1.5. 修正错误校验某些字段，虽然系统设计了校验规则，但是由于校验规则不完备，在使用中，未能有效的防止错误数据入库。因此，对这样的数据项，需要修改系统校验设计，提升入库数据的质量。根据数据质量分析结果的逻辑调整，包括数据的复核校验逻辑、数据的录入交叉规则，保持冗余信息与主信息的一致性。2.4.7.1.6. 改进数据设计系统数据设148、计的不完善，也是数据质量重要成因。改进数据设计，可以有效的防止数据质量问题的出现，提升数据质量。例如，业务上要求必须收集的数据，最好在数据库层次上设置为非空字段，在技术上约束入库数据的正确性。2.4.7.2. 完善数据标准建立企业级数据标准需要确定需标准化的风险数据范围，并建立与之配套的标准化、跨部门协作的管理流程，确保企业风险相关数据标准的完整性与正确性，以实现如下管理目标：2.4.7.3. 规范人员操作数据质量问题的起因有很多出现在数据的采集过程中，而数据采集的准确有效很大程度上取决于人员操作的规范。因此在数据采集环节中规范人员操作非常有必要。规范人员操作的有效手段就是制定并有效执行操作规149、范。操作规范可以明确人员的在操作过程中的操作内容（即应该做什么不应该做什么）和操作的先后顺序（即先做什么后做什么）。合理适当的操作规范可以将银行制定的数据标准落实到具体的管理措施中，从操作层面上落实数据标准化的问题，提高全行的数据质量。在对操作规范问题进行分析时，通常会考虑以下问题： 是否有操作规范？ 操作规范是否合理？ 操作规范是否被严格执行？第一、二个问题涉及的是操作规范的制定，第三个问题是关于操作规范的执行。因此，我们将分两部分讨论如何规范人员的操作。2.4.7.3.1. 补充操作规范操作规范的缺失是导致数据质量不高的原因之一。数据采集是数据进入系统的起始操作，如果对各种数据的采集没有明150、确的操作规范，相当于没有把好数据质量管理的第一关。即使已有操作规范，但规范不合理、不科学，仍然会导致各种数据质量的出现。因此对于银行需要及时补充制定的操作规范，以及不断完善不合理的操作规范。操作规范制定是一项长期性的工作。一个操作规范的产生需要经过起草、审核、通过、颁布等步骤，每个步骤都包含大量严谨细致的工作。建议三个方面开展该项工作：n 建立银行操作规范起草小组随着时间的推移、技术进步和业务需求的扩展，原有操作规范的局限性逐渐显现，必须进行相应的修订才能符合实际。因此，建立一个人员结构合理、相对稳定、高素质的操作规范起草小组是极其重要的。起草小组的任务包括对数据操作规范进行调研、收集各业务系151、统的相关资料文档、形成数据操作规范体系、组织各项操作规范的起草、征求各业务部门和系统的反馈建议并修订、申请颁布各项规范、对已颁布的规范进行修订等。n 了解各部门现有的操作规范，确立数据操作规范体系框架目前各部门一般都已制定相应的操作规定，为保证银行制定的数据操作规范能覆盖银行各部门的的实际情况，规范的起草应以各部门现有的操作规定为基础进行整理、概括和提炼，形成通用的数据操作规范。建议尽可能多地收集现有的操作规定，从中提取一些共性的内容进行分类，吸收归纳反馈意见后形成银行数据操作规范体系框架。n 严格遵循数据标准制定数据操作规范数据标准是企业级的数据准则，用来指导和规范每个具体系统的实施。在制定152、数据操作规则时，要严格遵循数据标准，将数据标准落实到具体的系统操作中。2.4.7.3.2. 加强规范执行各种操作规范只有被有效地执行了，才能实现最终规范操作的目的，否则规范就只是一些文档。加强规范的执行可以从三个方面考虑：加强人员培训、加强数据操作稽核、建立合理的奖惩机制。加强人员培训。对于员工来说，特别是新员工，对某些环节是否违规操作了可能自己也不清楚，所以操作规范的执行与否还取决于员工对规范的熟练程度，加强对规范的培训是每一位新员工的必修课。在规范修改调整之后，也要及时地安排相应的培训，使员工能严格按照新的操作规范处理业务。加强数据操作稽核。规范执行之后需要有相应的数据操作稽核小组，负责检153、查操作规范是否被正确地、合理地、有效地执行了。检查的方法可以通过不定期地对规范颁布后的操作数据进行抽样调查。对检查中发现违规操作的情况要及时通报相关部门、督促相关人员严格按规范进行操作。对检查中发现操作规范制定存在不合理也需及时报告规范起草小组，不断完善操作规范。建立合理的奖惩机制。建立合理的奖惩机制，能有效地调动员工遵循操作规范的积极性。因此对在数据操作检查中没有出现问题的部门和员工，应及时给予正面的肯定。对违约操作或不严格遵循操作规范的情况，应有相关的记录，并将其结果与员工的绩效考评联系到一起。2.4.7.4. 完善业务流程从数据最初采集、录入、检核到存放进数据库中，数据质量问题发生的根本154、原因之一是业务流程的问题。业务流程的不正确或者不完善，导致数据在采集过程中发生了偏差，重要的数据未采集或者采集的信息不完整。我们在发现存量数据问题时，将根据数据质量分析结果，细化分析相应的业务流程，找出问题所在：如果是业务流程缺失，则补充相应的业务流程；如果是业务流程不完善，则改造相应的业务流程。在分析业务流程的问题时，我们通常从以下几方面考虑： 数据质量问题发生原因是否与业务流程相关 相关的业务流程是否存在 相关的业务流程是否正确 相关的业务流程是否完善根据分析得出的结果，我们采用以下两种方式对业务流程进行完善。2.4.7.4.1. 补充业务流程由于相关业务流程存在，或者相关业务流程不完善导155、致出现数据质量问题时，我们采用补充业务流程的方式进行完善，对相关的业务流程进行建立、增补。加强业务流程环节的数据质量控制，制定相关的业务操作规范，对各个业务流程环节的数据录入、修改、更新、清理工作进行全面规范。2.4.7.4.2. 改造业务流程由于相关业务流程不正确导致出现数据质量问题时，我们采用改造业务流程的方式，对相关的业务流程进行完善。改进现有业务流程不完善的环节，制定新的业务操作规范，理顺各个业务流程环节的数据采集、数据应用、数据修改、数据安全、数据检查要求。无论是补充业务流程，还是改造业务流程，我们通常按照以下流程进行： 成立专门的业务流程小组，指派专人负责相关的业务流程制定和改造 156、了解数据需求，了解现有的相关业务流程 针对发现的业务流程漏洞，制定新的业务流程规范对现有业务流程进行补充和改造 由相关负责人员确认新的业务流程的合理性和规范性 在全行公布并推广新的业务流程2.4.7.5. 数据质量提升方案样例以公司客户所在行业为例，现行多套行业代码的分布场景如下：图表 6客户行业代码系统分布多个系统录入和维护多套代码、行业分类广泛应用：图表 7客户行业代码针对现状，设计相应的落地提升方案：图表 8客户行业代码质量提升落地方案该银行的数据质量提升效果显著： 有效推动数据管控制度在全行的执行。自2010年数据管控执行至今，重要数据维护审批执行率一直保持在95%以上。部分分行自上半157、年扣分后高度重视重要数据维护审批工作，在下半年考核中各分行均按照数据管控要求进行了数据的维护。 客户基础数据质量问题得到明显改善。客户数据指标中“组织机构代码正确性”经过各分行数据质量提升，问题数据降至0。 监管统计报送数据质量显著提高。 “股东信息缺失率” 下降了4.36个百分点； “关联企业缺失率” 下降了近2.95个百分点； “资产负债6个月未变动率”下降了3.11个百分点。 国家主权及境外客户财务报表完整性问题得以解决。经检核发现，国家主权及境外客户财报在评级器系统存在缺失条数共98条，经风险管理局积极督促分支机构进行复核，数据质量大幅提升。 完成行业代码、企业规模的数据标准落地，共计158、补录6万多条数据，为2012年统计报送工作以及历史数据入仓打下坚实的基础。2.4.8. 数据质量管理平台方案数据数据质量管理系统的功能为：针对预先定义的元数据，制定数据质量度量规则，并根据度量规则对全行数据进行定期或者手动的数据检核，并针对在检核过程中发现的数据质量问题启动相应的数据质量问题处理流程进行处理。数据质量管理系统总体架构如下图所示：数据质量管理系统总体架构如图所示，数据质量管理系统一般涵盖三个子模块：数据质量度量规则管理子模块、数据质量检核监控子模块、数据质量问题处理子模块。2.4.8.1. 数据质量度量规则管理子模块数据质量度量规则管理模块以元数据定义中对数据的一致性、完整性的定159、义为基础制定并管理业务数据质量的度量规则，例如唯一性检查、非空检查、外键检查、主键检查、取值域检查、类型检查、格式检查、代码检查等，同时可以根据业务系统的特定质量需求补充个性化的度量规则。数据质量度量规则应完全涵盖业务系统对数据质量的需求。2.4.8.2. 数据质量检核监控子模块数据质量检核监控子模块主要功能包括： 依据数据质量度量规则，建立周期性的数据质量检核计划。 数据检核任务按照指定的周期自动执行，并记录执行结果； 根据需要对特定度量规则执行手工检核； 将检核结果中的问题转入问题处理流程； 将问题检核的结果保存为检核历史，进行版本化保存。数据质量检核监控模块是数据质量管理的核心模块，包括160、检核监控定义及数据质量检核监控执行两大部分。2.4.8.3. 数据质量问题处理子模块数据质量问题处理子模块着眼于对数据检核监控阶段发现的数据质量问题进行修正，实现数据质量问题的后续处理功能。具体功能包括：辅助数据质量问题的评估及任务分派：根据检核监控模块在检核过程中发现并记录数据质量问题，进行影响度、优先级及处理方案的评估，根据元数据确定该数据问题的归口部门，将数据质量问题分派给相关部门进行解决。对数据质量问题的处理状态、处理结果进行跟踪：数据质量问题的涉及部门通过数据质量问题处理模块对问题进行跟踪，并进行沟通协作。数据质量问题处理的复核及关闭：质量问题处理结束后，对问题处理结果进行复核确认解161、决后进行关闭。2.5. 数据架构规划2.5.1. 数据仓库规划2.5.1.1. 数据仓库各类术语BI：商业智能（Business Intelligence），指数据仓库相关技术与应用的通称。指利用各种智能技术，来提升企业的商业竞争力。Data Warehouse：本世纪80年代中期，数据仓库之父William H.Inmon先生在其建立数据仓库一书中定义了数据仓库的概念，随后又给出了更为精确的定义：数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。与其他数据库应用不同的是，数据仓库更像一种过程，对分布在企业内部各处的业务数据的整合、加工和分析的过程。而不是一种可162、以购买的产品。Data Mart：数据集市，或者叫做小数据仓库。如果说数据仓库是建立在企业级的数据模型之上的话。那么数据集市就是企业级数据仓库的一个子集，他主要面向部门级业务，并且只是面向某个特定的主题。数据集市可以在一定程度上缓解访问数据仓库的瓶颈。OLAP：联机分析处理(OLAP)的概念最早是由关系数据库之父E.F.Codd于1993年提出的。当时，Codd认为联机事务处理(OLTP)已不能满足终端用户对数据库查询分析的需要，SQL对大数据库进行的简单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求。因此Codd提163、出了多维数据库和多维分析的概念，即OLAP。ROLAP：基于Codd的12条准则，各个软件开发厂家见仁见智，其中一个流派，认为可以沿用关系型数据库来存储多维数据，于是，基于稀疏矩阵表示方法的星型结构（star schema）就出现了。后来又演化出雪花结构。为了与多维数据库相区别，则把基于关系型数据库的OLAP称为Relational OLAP，简称ROLAP。MOLAP：Arbor Software严格遵照Codd的定义，自行建立了多维数据库，来存放联机分析系统数据，开创了多维数据存储的先河，后来的很多家公司纷纷采用多维数据存储。ETL：数据抽取（Extract）、转换（Transform）、164、清洗（Cleansing）、装载（Load）的过程。构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。Data Mining：数据挖掘，Data Mining是一种决策支持过程，它主要基于AI、机器学习、统计学等技术，高度自动化地分析企业原有的数据，做出归纳性的推理，从中挖掘出潜在的模式，预测客户的行为，帮助企业的决策者调整市场策略，减少风险，做出正确的决策。2.5.1.2. 数据仓库架构n 临时数据存储层（STG）临时存储是为了保证数据移动的顺利进行而开设的阶段性数据存储空间，需要进入数据仓库的各个业务系统的数据首165、先直接快速传输到临时存储区，再从临时存储区经过清洗、转换、映射等复杂的数据移动处理转移到目标数据仓库中。从业务系统到分段存储区的数据传输，应尽量避免进行数据处理，以保证数据的快速导入而尽量减小对业务系统造成的压力。n 业务数据存储层（ODS）业务存储保存详细的业务数据，同时将一些存在关联关系的表进行联接，合并到一些新的表中。这些新表可以直接为业务客户提供一些查询结果。同时，这些表也是后继星型结构的基础。 ODS应该包括以下数据：完整的主要业务表；经过聚合的非规范化表。n 预计算数据存储层（BSL）针对ODS层的数据，某些指标的因子进行预计算并存储在中间表中。有时候，不一定完全存储这些指标因子，166、可能只是一些经过计算和汇总的中间值，计算指标时，只需简单的后续计算，就可以得到指标。这样作，可以为多个指标提供同样的计算起点从而减少浪费。但中间层既不能太靠下，也不能太靠上。BSL应该包括以下数据：中间表；指标因子表；指标结果表。n 数据仓库层（DW）基础数据仓库的明细数据直接来源于对ODS数据的抽取，但数据结构完全按照决策支持的需求而设计成星型结构（或雪花结构），在设计中兼顾系统未来的发展变化和数据查询、访问的效率。在抽取过程中，对数据进行了完整性和有效性检查，对冗余和不一致的数据进行了清洗和转换。在基础数据仓库中，存储着详细的业务数据。n 数据集市层（DM）数据集市的数据直接来源于对DW数167、据的抽取，但数据结构完全按照报表展现的需求而设计成星型结构（或雪花结构），在设计中重点保障系统数据查询、访问的效率。2.5.1.3. 数据仓库存储内容n STG层存储内容: 交易数据表内容： 从MARS系统中需要获取的数据表，该表的数据是由日常业务操作产生的 经常适用于业务系统比较复杂，数据指标获取涉及到大量原始表的整合的情况，采用接口表方式可以再做加工n ODS层存储内容: 业务系统数据: 内容同STG层存储内容，这里不再重复描述，表结构与STG层对应表的结构一致。n BSL层存储内容 宽表： 面向于主题的数据 面向于应用的数据n DW层存储内容 维度数据： 维度数据分两部分：一部分是集团公168、共维，由集团统一管理维护；一部份是中集集团个性化维度，数据来源于人工补录。 事实表数据: 系统表数据（MARS、K3等） 接口表数据n DM层存储内容 维度数据： 共用DW层维度结构。 事实表数据: 面向报表展现组织存贮系统表数据（MARS、K3等）2.5.2. 大数据与数据仓库的整合架构规划 “大数据”指无法使用传统流程或工具处理或分析的信息。它具备以下三个特点（参见图1）： 数据量(Volume)大：“大数据”的数据量当然是巨大的。据估计2000年全球存储了800,000PB（1PB =1024 TB）的数据，预计到2020年这一数字将达35ZB（1ZB = 1024 EB, 1 EB =169、 1024 PB）。 数据种类(Variety)多：“大数据”包括多种数据种类。除了传统的结构化数据，还包括多种半结构化、非结构化数据，诸如系统的日志，微博、Twitter等社交网络上的信息、传感器自动采集的信息等。 数据速度(Velocity)快：“大数据”的数据产生的速度是非常快的。据统计，单Twitter 每天就会生成超过 7TB的数据，Facebook为10TB，一些企业在一年中每一天的每一小时就会产生数TB的数据，有些数据甚至是数据流的形式(数据流可被视为一个随时间延续而无限增长的动态数据集合, 一般顺序、大量、快速、连续到达)，如某些企业的传感器返回的数据（如气象信息，网络数据侦测170、信息），各种交易所通过自动报价机产生的自动报价信息等，另外银行客户的交易数据，也可以视为一种流数据。 图1 图2Hadoop大数据所依托的主流平台大数据的3“v”特征使得使用传统的技术进行分析的成本过于高昂。而若不挖掘这些信息，则会造成惊人的机会成本的浪费，因为这些尚未被分析的信息的潜力是接近于无限的。为了找到一种方案，以一种相对可以接受的成本对这些信息进行分析，很多组织和研究人员从多个不同的角度进行了试验与尝试，目前在海量数据分析的普及性方面领先的是称为Hadoop的一个开源项目。Hadoop (http:/hadoop.apache.org/) 是 Apache Software Foun171、dation 的一个顶级 Apache项目，用 Java 编写。您可将 Hadoop 想像成一个构建于分布式集群文件系统之上的计算环境，专门针对非常大型的数据操作而设计。Hadoop 旨在通过一个高度可扩展的分布式批量处理系统（参见图2简单示意），对大型数据集进行扫描以产生其结果。Hadoop 的重点并不是速度的响应时间、实时仓库，或更快的事务处理速度；它的重点是从可扩展性和分析的角度，发现和使曾经几乎不可能的分析任务变成可能。Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序，它有以下优点：它主要有以下几个优点： 高可靠172、性。Hadoop按位存储和处理数据的能力值得人们信赖； 高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。 高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。 高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C+。Hadoop 包括三大组件： Hadoop Distributed File System 173、(HDFS)文件系统 Hadoop MapReduce编程模型 Hadoop Common公共模块数据仓库是用来保存各个系统的统一数据集，支持企业的战略决策和运营分析、是为企业管理层和经营分析人员带来业务洞察的最理想工具，那在出现“大数据”与Hadoop后，Hadoop与数据仓库是什么关系？Hadoop是否会替代数据仓库？ 事实上，数据仓库与Hadoop不是对立的，两者是互为补充的。数据仓库，无论是采用通用机（如Oracle、DB2等）还是一体机（如Teradata、Netezza等），都保存的是结构化数据，数据在进入数据仓库之前，通常要经过建模、映射、清洗、主数据整理等工作的处理，这通常是一174、个昂贵的过程，鉴于这一开支，数据仓库中的数据，应该用在数据准确性至关重要的报表、仪表盘中，如企业的财务报告、银监会要求银行发布的报告、企业内部风险管控、绩效管理等非常重要的报告等；而另一方面，Hadoop则适于处理半结构化、非结构化的数据，考虑到这些数据的数量、生成的速度、各种数据的种类，企业通常无法承担正确记录、清理这些数据的时间和资源，因此，这些数据的数据价值通常较低，或者说这些数据被视为每字节的价值较低的数据。虽然每字节价值较低，但考虑到数据量的庞大，若对其分析，仍有较大的潜力从中获得有用的洞察，对于这类数据，若使用数据仓库，其成本是企业难以承担的，而Hadoop则正好可以作为其补充。通175、过采用Hadoop技术对企业所需的海量的、结构多元的各种数据进行处理和分析，形成结构化的数据集可作为已有传统数据仓库的有效输入，大大丰富传统数据仓库的数据来源，从而带来更大的业务价值。大数据与传统数据仓库整合的架构建议：对已经实施了传统数据仓库的企业，可以考虑采用如图3的架构整合大数据与传统数据仓库：图3如图3 所示，未来企业的数据来源既包含传统的结构化数据源也包含半结构化，非结构化的数据源。结构化的数据源系统及可以通过传统ETL的方式进入数据仓库，也可被Hadoop处理进入非关系型的数据存储。Hadoop同时可以处理海量的非结构化、半结构化数据，处理的结构化分析结构可以导入到数据仓库做后续一176、步的整合处理。处理的其他非结构化信息（如文件）可以输出到非关系型数据存储平台。对于未来的企业应用来说，可以架构在数据仓库和非关系型数据存储平台之上满足不同的分析所需。2.5.3. 实现数据仓库的基础设施架构规划数据仓库的应用架构定义了数据应用架构及功能，但受技术条件的限制，目前主流的基础设施架构有集中式服务器、群集服务器形式，前者进一步细分为通用用服务器及一体机形式。三者在可靠性、价格、维护性方面有颇多差异，我们在规划中将对三种技术实现方式进行对比，结合XX农合的要求提供建议。除了从纯技术角度对比外，根据XX在数据平台建设选型的经验，建议围绕平台整体形成服务能力要求的目标，增加下列四项集成能力177、一项中国市场覆盖支持能力等及方面进行全面对比选择：分类细项TOP 50国内银行TOP50国内城商行中标投产中标投产数量占比数量占比数量占比数量占比厂商TeradataOracleIBM平台TeradataExadataDB2Netezza合计根据XX的建设案例，三种基础设施架构的参考形式如下：通用服务器架构样例：一体机架构架构样例：PC Server群集架构案例：3. 项目实施方案3.1. 实施计划及进度安排根据XXXX数据管控体系建设项目内容，分为5大任务，项目周期为24周，分数据治理体系规划、数据标准、数据质量、数据仓库架构，进度安排见下图：项目实施计划3.2. 项目组织与人员构成XX建178、议，本项目可采用XXXX与XX联合工作的方式，同时XX将会和XX共同组建技术支持和实施团队。不仅可以高质、高效地完成数据服务体系设计工作，同时结合实际工作开展知识转移工作，分享方法体系与工具，协助XXXX提升专业水准，使XXXX数据服务水平更上一个台阶。基于对项目目标和人员能力素质需求的深入理解，XX承诺将为本项目组建一支拥有丰富经验和卓越专业能力的项目团队。以确保实现国际成功经验与XXXX具体实际的完美结合。此外，基于XX注重实效，面向执行，关注项目成果转化的理念，XX希望XXXX组建正式的项目小组与XX咨询顾问组成联合的项目团队，共同开展工作，从而帮助XXXX建立一支自己的团队，持续地将项179、目成果真正转化为XXXX的业务能力。为此，XX建议此次咨询服务的项目组织架构图如下图所示：项目组织架构图3.2.1. 项目领导小组本项目的项目领导小组由XX中国信息技术咨询服务团队主管合伙人戴耀华先生、总监曾志宏先生与XXXX相关领导共同担任。项目领导小组的主要职责为： 掌握项目方向与实施进展，在项目关键控制点进行决策，指导项目工作开展 总体协调项目各方面关系，解决项目协调过程中的重大事项 审查项目各阶段实施成果及最终实施成果的质量 参加与项目有关的阶段性高层会议，提供决策意见3.2.2. 项目管理组本项目的项目管理组由XX中国信息技术咨询服务团队副总监高志强、经理赵涵与银行方相关部门领导共同180、担任。此外，根据项目范围，将项目团队划分为数据治理小组、数据标准小组、数据质量小组。项目管理组的主要职责包括： 安排项目工作计划，并监控各工作组的项目详细工作计划 日常监控项目各工作组的进度 验证项目各工作组在关键里程牌提交的交付品质量 参与并决定各工作组的设计方案 及时向项目总监汇报项目工作情况、项目风险及时间安排 安排双方资料审阅、访谈、会议等 组织管理项目的日常工作，协调双方的相互关系 安排项目阶段汇报及最终工作成果汇报，并组织汇报材料 控制项目成本、项目风险管理3.2.3. 技术支持组技术支持组由XX国内数据治理、数据标准、数据质量、数据仓库架构及大数据各领域专家及XX数据标准专家组成181、。技术支持组的主要职责包括： 对本项目提供专家支持，包括总体方向建议、相关专业知识和资料的支持等； 对项目的执行提出指导性意见； 对项目进行过程中，项目组提出的专业问题提供专家意见； 审阅项目成果，提供独立的专家意见以及改进建议。XX专家支持组成员均具有多年在多家国际领先商业银行提供相关实施咨询服务的经验，专长于数据服务和数据管理领域。3.2.4. 项目实施小组项目实施小组由XX中国信息技术咨询服务团队与XX共同组建，具体人员经历见下面的人员简历。 项目实施小组的共同主要职责为： 安排并执行项目详细工作计划 按项目计划与客户对应部门协同工作 审阅客户资料，对客户进行访谈并记录 对客户需求进行分182、析、设计并与客户讨论 拟定建议方案，并与客户讨论 向项目管理组汇报本工作组的进度 准备本工作组的阶段性及最终汇报材料 辅助项目管理组签验收项目成果 起草阶段性和最终工作成果中本工作组的部分以下是拟参与项目的人员列表：拟参与项目人员表3.3. 项目工作产品及最终交付物在项目过程中，XX定期向XXXX进行阶段性汇报，递交如下主要交付件，同时作为对项目进度的重要控制点。具体交付时间根据项目的具体进展和各项工作安排进行调整，项目交付物列表及计划交付时间如下：项目交付物列表序号交付物计划交付时间1数据治理现状评估报告第8周2数据治理体系规划报告第16周3数据标准管理办法第24周4数据质量管理办法第24周183、5数据标准分类体系框架第6周6基础数据标准定义第16周7分析类数据标准定义第16周8数据标准差异分析与落地建议第24周9数据质量评估方案建议及整改方案第24周10数据仓库架构规划报告第20周3.4. 项目风险与应对建议3.4.1. 项目进度风险与规避措施主要风险点：项目周期较为紧张，多项工作并行开展，导致项目交付质量降低。 较为紧张的项目周期可能会无法保证项目交付品的质量，以及影响整个平台建设的进程和质量； 无法及早发现不能按时完成的工作，使项目管理未有足够的时间来安排应急计划，减少对项目进度的影响。规避措施： 明确各工作的优先级，根据各项工作的重要性和工作难度，合理安排时间和资源； 建立科学184、的项目进度管理程序，定期跟踪项目时间表，在项目开展初期同客户就各模块的工作计划、时间表、关键路径、主要里程碑及主要交付品等达成一致； 在项目开展过程中，识别可能延误的工作，密切注意其事态进展，采取适当的行动，尽量避免做成项目延误； 设立项目进度报告制度，及时通知项目干系人项目进度。3.4.2. 跨项目组协调风险与规避措施主要风险点：规划项目组与相关联系统项目组就工作计划、联调配合等事项未深入、及时沟通导致项目进度延误。 规划项目实施计划没有充分考虑关联系统的建设或改造进度，造成系统上线延误； 规划项目实施技术没有考虑到待建系统建设过程中可能的功能和技术变化情况，造成系统间整合与信息沟通的困难。185、规避措施： 对规划关联系统进行充分的评估与考虑，在制定系统实施详细计划时充分考虑各种情况下的应对策略； 充分考虑XXXX未来的升级和改造计划，及时通知相关关联系统项目组，就具体实施方案和计划达成一致意见； 系统实施过程中及时跟踪关联系统的建设或改造情况，提前准备应对方案。3.4.3. 需求变更风险与规避措施主要风险点：业务需求变化导致的功能需求获取、分析的完整性、正确性、有效性风险。 XXXX业务体系正处在变化的过程当中，与业务系统相关的组织、政策、制度与流程等因素有可能在未来系统上线时已经与当初确定的功能需求存在差异，或者在上线后不久便需要进行调整。如果缺乏合理的预计，则将严重影响项目质量和186、实施效果； 客户管理的组织、政策、制度与流程的变化必将是一个持续进行的过程，可能出现新旧模式并存的情况，在功能需求制定时单纯的考虑某一种情况都会导致未来系统只能适应部分需求。规避措施： 功能需求的制定需要业务组的充分配合，以便准确把握业务需求的实质以及变化的方向； 功能需求制定不是针对未来某一时点的需求，而是针对未来一个时段内的需求，因此必须明确业务现状，未来上线时的目标状况以及上线后可能产生的变化内容； 制定有效的风险管理计划，识别业务需求中可能产生变化的风险环节，并进行持续的跟踪； 建立规范的需求变更管理制度，跟踪、发现项目范围内的业务需求变化。4. 知识转移及培训方案4.1. 知识转移通187、过知识转移和成果推广，XX希望XXXX有关负责人能掌握咨询成果内容，知识转移和成果推广建议如下图所示：知识转移和成果推广方法XX建议结合实际工作开展培训与知识转移工作，分享XX在XXXX指标管理设计过程中的咨询成果与实施方法，使XXXX工作人员掌握项目的主要工作方法及主要技能，通过项目构建一支自己的团队持续地优化项目成果。鉴于本项目的实际特点，XX在强化培训和知识转移方面将主要采取如下几方面的措施： 在实际工作中展开培训与知识转移； 与XXXX分享XX对数据治理咨询规划设计咨询成果和经验分享； 保持长期的合作关系，以多种方式支持后续工作的不断推进。4.2. 培训针对项目培训，XX实行培训和咨询188、相结合的模式。在项目进展过程中进行培训，以切实提高银行整个团队的能力。以数据治理咨询（即咨询需求）为目标导向，以培训和咨询服务相结合为主要服务形式和手段，以银行选定的学员为工作对象，通过现场学习班和研讨会进行授课、答疑、问卷调查、指导方案设计等为主要工作形式，将培训拓展延伸到整体业务分析领域，帮助银行学员建立起自我设计解决方案（自咨询）的能力，从而让这种培训起到咨询的实质作用。培训的本质：教你如何想，传授原理、方法，分析发展趋势，讲解案例（别人的案例）咨询的本质： 教你如何做，提出解决方案，并与IT实施结合，实现方案落地（自己案例）两者之间的距离：客户化、细化、落地我们将培训再往前走一步：协助189、学员为银行管理提出解决方案，实现自咨询 了解银行经营管理的需求 按照银行经营管理建设需求（即咨询需求）设计和开发教学方案 按照调研需求设计和开发客户调查问卷和访谈问卷， 由专家或学员到本机构进行问卷填写和管理访谈 授课专家进行调研分析（现状和差距分析）并开展教学研讨会（根据情况开展现场调研或研讨会） 授课专家和学员提出改进建议和实施方案 与IT公司合作实现落地 现场教育培训+现场专家咨询+学员方案建议4.2.1. 培训方式XX建议通过集中培训和在实际工作中合作两种模式开展培训与知识转移工作。XX建议为提高效率，保证培训效果，培训地点安排在总行，培训完成后会将内容制作成视频或电子课件等形式下发。190、咨询公司的优势在于拥有体系化的方法和工具，可以帮助客户深入分析自身业务，制定全面的解决方案，而这也是XXXX迫切需要持续提升的部分，两者完美结合可以确保项目的顺利开展。在本项目中，XX将会与XXXX分享数据治理咨询方法和经验，使XXXX拥有一批与咨询公司相同思维方式的人员，提升XXXX项目成员的规划设计的专业能力。4.2.2. 培训手段XX在数据治理咨询项目中将不仅仅致力于完成咨询任务，而是要将顾问的知识、经验、思考方法转移给XXXX的工作人员，从而使XXXX拥有一批中坚力量，为银行发展战略规划做好技术上和人力上的准备。XXXX可与XX采用联合工作的方式，通过共同完成指标管理体系设计、指标管理191、技术方案设计以及指标管理落地实施方案设计等工作，开展知识转移，协助XXXX提升专业水准。考虑到本项目的内容特点和时间跨度，在项目中会根据项目阶段和不同对象提供针对性的研讨、座谈、培训等，确保双方能够协同一致开展工作，实现XXXX项目组成员在能力和知识方面的转移。4.2.3. 培训计划培训内容与计划初步设置如下：培训课程安排培训内容培训对象培训时间培训教材培训方式XX数据治理项目实施方法介绍项目相关人员项目启动XX数据治理项目实施方法启动会XX数据治理方法介绍项目相关人员项目启动后第一月XX企业信息管理、企业数据管理介绍专题讲座XX数据标准管理及数据质量管理专题讲座项目相关人员项目启动后第一月X192、X数据标准及管理介绍专题讲座数据治理体系规划设计报告总行领导及各部门经理体系规划阶段完成以后数据治理体系规划设计成果成果汇报数据标准成果及其管理流程培训总行各部门代表及项目组成员数据标准及管理流程建立完成以后数据标准成果、数据标准管理办法成果汇报数据质量管理流程及数据质量提升成果培训总行各部门代表及项目组成员数据质量管理流程及数据质量提升完成以后数据质量管理流程、数据质量提升成果成果汇报数据认责工作培训总行各部门代表及项目组成员数据认责工作完成以后数据认责机制成果成果汇报具体培训计划可在项目启动后商议调整。5. XX项目管理办法5.1. 综述为确保项目的顺利实施，需要一整套科学、有效的项目管理193、方法，对项目的目标、时间、成本、质量等关键因素进行有效的控制，为项目中具体任务的开展提供支持和保障。XX拥有全球领先的项目实施和管理方法论PMM4 。采用此方法对项目进行监控与管理，能够帮助项目经理对项目整体进行最充分的全局把握，有效提高工作效率并且更易于进行项目质量控制和项目风险管理。PMM4从工作流程和关键领域两个维度明确提供了项目管理过程中的主要工作过程和关注内容，并提供了大量的项目管理工具，例如：各类汇总报告格式、表格、模板等，能够为项目管理的具体实施提供参考和依据。XX项目管理框架为实现对项目的有效控制，根据XX项目管理方法中的控制点，针对本项目的特点，建立了一系列结构化的项目管理规194、范，具体涵盖项目范围管理、沟通管理、进度管理、风险管理、质量管理、会议管理、文档管理等各个领域。5.2. XX项目管理方法为确保项目的顺利实施，需要一整套科学、有效的项目管理方法，对项目的目标、时间、成本、质量等关键因素进行有效的控制，为项目中具体任务的开展提供支持和保障。XX拥有全球领先的项目实施和管理方法论PMM4TM 。采用此方法对项目进行监控与管理，能够帮助项目经理对项目整体进行最充分的全局把握，有效提高工作效率并且更易于进行项目质量控制和项目风险管理。PMM4TM从工作流程和关键领域两个维度明确提供了项目管理过程中的主要工作过程和关注内容，并提供了大量的项目管理工具，例如：各类汇总报195、告格式、表格、模板等，能够为项目管理的具体实施提供参考和依据。XX项目管理方法图为实现对项目的有效控制，根据XX项目管理方法中的控制点，针对本项目的特点，建立了一系列结构化的项目管理规范，具体涵盖项目范围管理、沟通管理、进度管理、风险管理、质量管理、问题管理、会议管理、文档管理、变更管理等各个领域。5.2.1. 项目范围管理范围管理通过对项目范围的明确界定以及过程中变更的严格控制，使整个项目各项工作自始至终严格贯彻立项的宗旨，既无工作内容遗漏，也不存在未经授权的范围超出，从而保障项目的圆满完成。5.2.1.1. 范围定义一个预先定义的、清晰的项目范围是项目顺利开展的基础。在项目启动时，项目参与196、方应对工作范围说明书中约定的工作范围和内容进行确认，对于有疑问之处应立即澄清，确认后的工作范围说明书说明项目范围的基准，并以此为基础具体进行计划制定与工作分解。5.2.1.2. 范围变更控制范围变更指对经过项目各方同意和有效授权的对项目范围的任何修改。范围变更通常涉及对成本、时间、质量或其他项目目标进行变更。为实现对范围变更的严格控制，变更需要通过书面的方式进行记录，并在对其可能的影响进行充分分析，综合各方面情况做出决策。在项目实施过程中，当出现范围变更需求时，变更申请人应填写变更申请单，阐述变更内容和理由，并进行详细的变更影响分析，分析包括但不限于变更可能对项目的人员、时间、预算以及项目成果197、落实所造成的改变，以及对这些的改变的应对措施。项目经理、项目总监乃至项目指导委员会将基于这些信息，综合考虑项目各方面情况，对范围变更提出决策意见。变更申请批准后，相关的改变将同步更新到总体工作计划内，后续的工作将通过周期性的会议接受监督。XX变更申请单示例图5.2.2. 项目沟通管理及时准确顺畅的信息沟通，是保障项目在有效的协调和管理下，顺利实施的重要手段。XX通过落实有效的沟通管理方法和反馈机制，确保项目相关信息被及时、正确的提取、收集、传播和存储，保证项目各相关方之间信息畅通。5.2.2.1. 沟通协调与反馈机制的基本准则 项目经理是双方正式信息传达的唯一联系点 项目组成员、项目小组之间保198、持顺畅、友好的沟通，以提高整个项目组的效率 项目经理负责协调双方人员、内部人员发生的矛盾 通过文档服务器提供项目组的文件交互渠道 通过面对面交流、电话、email、会议等多种手段确保持续有效的沟通 所有的沟通方式必须有相应的反馈机制，以确保信息及时准确地被接收者收到5.2.2.2. 沟通计划为合理安排沟通协调的相关活动，提高沟通的效率，需要制定明确的沟通管理计划，明确满足不同需求的所应采用的沟通方式和安排，本项目建议的项目沟通计划如下表所示： 项目沟通计划表沟通渠道沟通信息与内容沟通频率沟通对象沟通负责人项目管理定期会议针对项目计划执行情况、出现问题及需要协调的事项进行讨论，并确定下一步的工作199、安排每周/每月项目组成员项目经理项目管理非定期会议针对项目过程中涉及的专项事宜进行讨论根据项目需要安排项目相关人员发起人项目阶段汇报汇报项目阶段性成果项目阶段性里程碑高层领导项目经理沟通访谈项目实时意见沟通与建议反馈根据项目需要安排客户管理人员项目经理项目周报发布项目相关进展信息/文献及经验分享每周/每两周所有项目相关人员项目经理日常电子邮件传达项目相关活动讯息/日常沟通交流随时所有项目相关人员项目组成员书面提交向客户提交交付成果及相关文档、信息等根据项目需要安排客户管理人员项目小组组长/项目经理为确保沟通的效果，在采取不同沟通渠道进行沟通交流的同时，应建立有效的实时的反馈机制，对正式的沟通都200、应形成书面成果（如会议纪要、文件提交表等），并需要各参与方的签字认可，对于需要对方做出应答的，应确定时间期限，以保障沟通内容在日后工作中的落实。5.2.3. 项目进度管理通过制定项目整体工作计划、双周工作计划并落实持续有效的进度监控机制，及时掌握项目进度状态及趋势，发现重大进度问题，为项目决策和协调提供支持。项目启动之初，项目经理根据约定的工作内容和步骤，制定细化的项目计划，作为整个项目的基础计划和衡量进度情况的标准，经过确认后下发执行。在项目实施过程中，项目经理与各项目小组一起，基于确定的项目计划以及个人的职责分工，细化建立项目双周计划，将具体工作拆解到每天和个人，由各项目小组组长负责安排组201、员具体落实。项目双周工作计划示例图1.1.1.1. 进度跟踪与汇报在各小组长的监督下，项目成员根据工作情况填写个人工作周报，经各小组长和项目经理汇总后，形成项目周报，项目周报中涵盖对双周计划执行情况和进度报告的相关内容。项目经理对项目报告中的进度相关内容与项目计划（项目计划、项目双周工作计划）进行审核、分析，如果项目进度出现重大差异，则要求相关小组负责人分析差异形成原因、影响程度、以及计划采取的行动，同时编制项目进度差异分析表，提交项目总监乃至项目管理委员会，并根据决策意见采取相应的调整措施。项目精度差异分析表示例图1.1.1.2. 计划变更在项目实施阶段，项目各小组长可以根据其项目实际执行情202、况提出对项目计划的变更申请，明确对计划进度变更的范围、影响程度等内容，由项目经理依据可能的影响、项目总体规划和各项目交付品依赖关系对计划变更进行评审；对项目进度产生较高及严重影响的计划进度变更申请提交项目指导委员会审批决策。变更申请批准后由项目经理组织更新该项目总体计划。5.2.4. 项目风险管理通过有效的风险管理机制和方法，对那些尚未发生、但可能对项目实施产生负面效果的、不可控的项目活动或环境进行识别、分析、量化、管理，尽可能降低风险发生的机率以及发生后可能产生的影响。XX建议的项目风险管理方法将主要包括风险评估和风险控制两大步骤，具体如下图所示：风险管理方法步骤示例图1.1.1.3. 风险203、评估1. 风险评估风险评估是项目风险管理的第一步，是实现对项目实施过程有效安全控制的重要基础。通过有效的风险评估可以明确项目的风险管理需求，从而为计划、制定和实施具体的风险控制措施提供指导。风险分析具体包括风险识别和风险分析与评价两大部分：2. 风险识别针对本项目的情况，明确项目过程中可能涉及的风险大类，如技术风险、协调性风险、项目执行过程产生的风险等，并细化识别出具体的风险，形成风险列表，明确风险的类别、来源、主要表现等基本要素，并进行初步的影响分析。3. 风险分析与评价风险分析与评价的目标是对已经识别的风险进行定量或定性评估，确定风险的高低，以便有针对性地制定恰当、合理的控制措施。针对已经204、识别的各风险将主要从风险发生概率和风险影响两方面进行分析，其中：发生概率是在没有进行任何风险管理步骤的情况下风险发生的可能性，通常可被分为下表所示的三类：风险发生概率表概率定义不可能即使没有采取任何风险管理的行动，潜在的影响也不会产生轻微可能如果没有采取任何风险管理的行动，潜在的影响有产生的轻微可能可能如果没有采取任何风险管理的行动，潜在的影响有可能产生风险影响力是在没有进行任何风险管理步骤的情况下风险可能对项目和业务产生的影响，其定义见下表：风险影响力程度表影响力定义空对时间安排、费用、质量没有影响低影响少量任务的时间，但不会延误主要的日程中项目费用有少许增加高质量没有明显地降低很高影响了很205、多任务的时间，并会轻微地延误主要的日程基于以上定义分别对风险的发生概率和影响进行初步评估后，需要综合考虑两者的评估结构，通过定性分析或定量计算的方式得出最终的风险评估值，排定各风险的优先级，从而为风险计划的制定提供依据。1.1.1.4. 风险管理风险管理是基于风险分析的结果具体落实风险控制的过程，具体包含风险计划制定、风险控制和风险检测三部分工作：1. 风险计划制定基于风险评估的结果，制定相应的应对方案，明确需要采取的风险控制措施，减少其风险发生的概率或可能的影响。下图示例了针对本项目潜在风险点，XX建议的应对方案：对于高危风险还需要制订风险发生时的应急计划。同时，根据风险的特性明确相应的责任206、人，由具体的责任人负责对风险的管理以及应对措施的落实工作。对于风险计划中关键的应对措施也应纳入项目计划中，下表为针对某一特定风险的应对措施示例：风险应对措施示例风险描述发生概率影响程度风险等级责任人风险应对措施未及时发现项目范围逐渐改变轻微可能高高项目经理定期对项目的范围进行审核，和最开始的范围定义相比较；和所有的项目组以及涉及到的人员就主要的范围变更和影响进行沟通。2. 风险控制在项目实施过程中，由各责任人具体参照风险计划执行相应的风险应对措施，确保对风险的有效应对。3. 风险监控项目风险是动态变化的。只要项目在进行，就不断有新的情况和信息出现。为此，需要持续的对这些风险相关信息进行监测，维207、护风险登记表，确定减小风险的计划的成功程度，以及是否存在以前可能没有发现的新风险。基于风险监测的相关信息，可对风险管理计划及时进行调整和改进，落实相关的控制措施，实现动态的风险控制。5.2.5. 项目质量管理1.1.1.5. 质量管理原则XX在本项目开展质量管理工作时将主要遵循以下几个原则：1. 全员参与，分工协作XX在项目小组中会设立质量管理专员的角色，但整体的交付质量管理却需要整个项目团队的全员参与，通过XXXX管理层、业务与IT专家、项目经理以及项目小组成员在决策、管理和执行等不同层面的控制，共同保证项目的交付质量。2. 全程控制质量控制的相关活动要落实在整个项目实施过程的各个阶段，而不208、是仅仅在最终提前进行审核和控制，通过事情计划、事中跟踪以及事后的评审，实现对交付质量的全程控制。3. 动态反馈与持续改进由于项目实施的复杂性，质量控制不是通过一次落实就能达到预期的目标，而是需要针对项目实施过程中质量控制活动的实施情况和效果，及时进行分析和经验总结，为下一轮质量控制活动提供依据和基础，从而实现质量的持续的改进，最终实现质量管理的目标。1.1.1.6. 质量管理的角色与职责在项目过程中，质量管理的职责将具体落实到以下相关角色：质量管理相关角色和职责项目角色质量管理主要职责恒丰审核人员审阅和审批项目交付物，反馈意见；在需要时帮助解决质量问题。项目经理对项目交付质量进行总体把握；负责209、项目质量管理方法和质量管理流程的实施；为影响项目进程的重大质量问题迅速找到解决方案。项目专家从专业领域的角度对关键交付物质量进行审核。质量总监开发质量管理方法，协助制定质量管理计划；在项目实施过程中进行定期/不定期的质量审阅；为项目团队质量控制提供专业支持；鉴定质量问题并帮助解决质量问题；持续改进质量流程。项目组成员在日常工作过程中保证持续的质量控制；根据审核意见对交付物进行调整；及时解决各自相关的质量问题。1.1.1.7. 质量管理过程基于明确的质量管理原则，在项目实施过程中执行有效的质量管理流程，这包括制定质量管理计划、执行质量保证计划、监控质量保证执行三大步骤，从而最终实现对交付质量的有210、效控制，降低项目令客户不满意的可能性。质量管理过程1. 质量管理计划质量管理计划定义了项目交付的质量标准以及为达到这些标准所应开展的控制活动等要素，是具体开展质量控制工作的依据。当项目开始时，质量总监将基于确定的项目目标、工作内容和交付品清单，明确交付物的质量标准，以及各交付品的审阅和级别，同时与项目团队一起，确认在过程中进行质量审阅和控制的相关安排，形成质量管理计划，经双方确认后下发参照执行。2. 质量控制在项目实施过程中，质量总监和项目团队将共同参照质量管理计划开展具体的质量控制活动。项目团队成员主要在日常工作负责保证自己工作的质量，而质量总监则在项目过程中通过定期和不定期的质量检查，及时211、发现质量问题并推动改进。主要过程如下： 检查与评估根据质量保证计划和预先安排，在项目实施的各个阶段，通过对项目过程和交付文档的审核，以及对项目成员的访谈，评估项目实施的过程是否符合项目设定的质量标准； 识别问题并记录基于收集的现状信息，与质量标准进行对应，识别在项目实施过程中存在与规范背离的问题，提出改进的建议； 反馈与汇报将主要发现与项目经理及相关人员进行沟通，确认其中问题和解决方案； 跟踪问题的解决对于发现的问题以及改进的情况进行持续的跟踪，确保不合规之处已经得到了纠正。对于其中一些重要的问题，可安排在作为以后检查的必要内容，以确保其得到了有效的纠正。3. 交付审核在项目阶段的里程碑，项目212、小组成员完成交付品初稿后，将经过项目小组成员、项目小组组长、项目专家、项目经理、质量总监以及恒丰相关部门/人员等一系列环节的审核，在审核和反馈过程中不断改进完善，并根据需要提交验收会进行最终的评审。通过这一整套规范的交付审核流程，确保交付成果满足定义的质量标准。其交付审核主要过程如下图：交付审核图在交付审核完成后，质量总监将与项目经理一起对审核过程中发现的问题及客户反馈进行整理分析，总结经验和教训，并以此为依据对质量管理方法和质量管理计划进行改进。5.2.6. 项目问题管理1.1.1.8. 问题定义问题是指在项目进行过程中发现的会影响到项目顺利完成的观点、任务。问题一般会影响项目进度超过两天以213、上。在项目进行过程中，一些微小的错误不需要当作问题来处理。问题主要有三种类别： 1. 整体问题。如项目方法论有缺陷，无法按照既定的方法论或项目活动达成项目成果等。2. 项目管理问题。如项目会议议而不决导致项目停顿等。3. 资源问题。如没有足够的管理人员参与，或者顾问的时间不能保证等。1.1.1.9. 问题管理流程将项目进行中可能出现的问题分成三个层级，要求每个问题首先在自己层级内部进行解决，如无法完成或需要在更高的层级进行协调则可以按照以下方式处理：层级 1问题 ： 各小组内部的个别问题，应先由各小组长尝试解决。若无法在两个工作日内解决分歧，经小组讨论，可以将其提升为层级2问题填写问题单并提交214、项目管理办公室。层级 2问题： 各小组内部无法解决的问题，或各小组均出现的共性问题可以填写问题提交单并被提交为层级2问题。由项目管理办公室负责解决；若该问题在两个工作日内无法解决，则提交指导委员会讨论解决。层级 3问题： 如问题层级2的分歧仍无法解决，则应按照协议相关条款处理，或由项目管理办公室将此问题提交给指导委员会进行讨论解决；指导委员会应于五个工作日内给予反馈和指示。在分歧解决过程中，乙方同意继续进行无分歧服务部分的工作。5.2.7. 项目会议管理会议是项目各方沟通的重要手段。在项目实施过程中，需要通过一系列相关的会议对项目过程中的关键问题进行交流、讨论和决策，根据会议召开时间的不同，具215、体可以分为定期会议和非定期会议两大类。1.1.1.10. 项目管理定期会议项目管理定期会议主要是项目周例会和月例会，即根据约定的时间每周末或月末由项目组定期召开，主要由双方项目经理、各小组负责人和需要的小组成员参加，重点针对项目计划执行情况、出现的问题以及需要协调的事项进行讨论，并确定下一步的工作安排。一些关键的月例会可邀请项目总监以及项目指导委员会成员参见，听取项目组汇报并给出指示。例会的结果将形成纪要，并由项目经理监督其中相关措施的执行。项目例会是项目管理和控制的基本手段。1.1.1.11. 项目管理非定期会议项目管理非定期会议将根据项目进展的实际需要，由项目组发起召开，就项目过程中涉及的216、专项事宜进行讨论。通常包括：项目专题讨论会、专项问题协调会、项目成果汇报会、培训研讨以及其它根据需要召开的会议。非定期会议由发起方提前几个工作日将会议时间安排、内容、讨论材料等通知相关方，会议由发起方编写会议纪要，并发送至参加各方及其它需要知会的部门。会议纪要模板示例5.2.8. 项目文档管理在项目过程中会产生数量众多的各种类型文档，为了确保项目内文档传递的顺畅、信息沟通的便捷，在实施过程中必须遵循一定的文档管理规范，具体涵盖以下几方面内容：1.1.1.12. 文档分类与规范根据文档目标和内容的不同进行文档分类，主要包括以下几类：规范指导文档：由项目组制定的、对整个项目的进行起规范约束作用的管217、理文档，是项目成员必须遵守的；正式交付品：根据工作范围说明书约定而产生的正式交付文档，是提交给恒丰并需要其签收的；项目跟踪文档：在项目进行中所产生的与时间进度有着密切关系的文档，用于项目管理及内部的沟通交流，主要包括项目管理产生的相关的文档和表单（如项目计划、周报、文档登记表等）；工作文档：各项目在工作中产生的非以上三类的文档，包括一些非正式交付品和过程文档等；参考文档：非本项目产生的任何文档，包括恒丰提供的公司内部资料，从公开渠道获得的资料等。针对以上各类的文档，制定相应的文件规范，包括文件格式、要求，订立模板并要求项目组成员在项目过程中严格参照使用。同时，确定整体的文档命名规则，例如“项目218、缩写_文档类型缩写_中文文件短名（描述）_日期_（v.版本号）_（作者姓名缩略语）”同时明确不同部分细化的规则，确保在文件交流过程中能够即时有效的反映文档的版本和内容信息。1.1.1.13. 文档登记与日常管理在项目过程中，项目会从恒丰以及其他相关渠道获得各种参考文档和资料，包括电子文档和纸质文档等。为保证对文件的有效管理，项目组将由专人统一负责对外部文档的接收和登记，记录文档相关信息，并由恒丰相关人员定期确认。对外文件管理示例表编号文档名称来源介质格式提供日期密级备注信息对于从外部获得的纸质文档，将由项目组专人负责分类保管，项目过程中，需要者可提出借阅申请，并填表登记，文档管理人员根据借阅时219、间督促及时归还；同时，在项目过程中，将定期根据文档登记表进行实物清点，避免文档遗失或随意外流；项目结束时，由项目组根据恒丰的要求，参照文档登记归还相关的文档资料。1.1.1.14. 文档服务器管理在项目过程中，项目会对各种电子文档进行共享使用。为保证对文件的有效管理，项目组将由专人统一负责维护文档服务器文件，对文档进行上传和登记，记录文档相关信息，并由恒丰相关人员定期确认。文档服务器管理示例表编号文档名称来源格式提供日期密级备注信息对于从外部获得的纸质文档，将由项目组专人负责分类保管，项目过程中，需要者可提出借阅申请，并填表登记，文档管理人员根据借阅时间督促及时归还；同时，在项目过程中，将定期220、根据文档登记表进行实物清点，避免文档遗失或随意外流；项目结束时，由项目组根据恒丰的要求，参照文档登记归还相关的文档资料。5.2.9. 项目变更管理1.1.1.15. 变更管理原则概述如需变更本工作说明书内容，应遵循以下流程：1. 项目变更申请（PCR）将作为通知变更需求的手段。项目变更申请（PCR）必须对变更内容，变更原因以及变更将对项目造成影响作详细描述；2. 申请提出方项目经理将评估变更并决定是否向另一方提交此申请；3. 甲方与乙方双方项目经理应共同评估被提交的变更，并决定是否进一步评估或否决此申请。甲方与乙方双方的授权代表必须签署项目变更申请（PCR）以授权对该变更作进一步的评估。进一步评估将明确实施该项目变更申请（PCR）将会给项目价格，时间进度及其它合同条款带来的影响；4. 甲方与乙方双方授权代表应于变更评估完成后的五个工作日内签署书面的变更授权及/或项目变更申请（PCR）以授权实施该已完成评估的变更。在得到双方书面批准之前，甲方与乙方应按照最后协定版本的工作说明书内容继续当前工作；5. 在项目实施过程中，如甲方要求对项目目标、范围进行变更，需由双方就变更内容协商一致，且双方同意按合同约定的单价执行。对于乙方原因造成的项目目标、范围内的变更，相关费用由乙方承担。1.1.1.16. 变更管理表单示意变更管理表单示意图