2018年通信业务公司软件研究院D域培训材料.pdf
下载文档
上传人:地**
编号:1266399
2024-12-16
35页
1.17MB
该文档所属资源包:
通信业务公司软件研究院大数据技术信息安全IT总体规划培训课件资料
1、 CHINAUNICOM CHINAUNICOMD域培训材料2018年4月目录D域发展历程1D域介绍2联通大数据3大数据安全4DSS含义 决策支持系统(Decision Support System,DSS)决策支持系统是辅助决策者通过数据、模型和知识,以人机交互方式进行半结构化或非结构化决策的计算机应用系统。它是管理信息系统(MIS)向更高一级发展而产生的先进信息管理系统。它为决策者提供分析问题、建立模型、模拟决策过程和方案的环境,调用各种信息资源和分析工具,帮助决策者提高决策水平和质量。OSS(运营支撑系统Operation Support System),主要包括网络管理、网络优化等系统2、。MSS(管理支撑系统Management Support System),主要包括财务、人力资源、采购等系统。BSS(业务支撑系统Business Support System),主要包括计费、结算、帐务、客服、营业等系统。建立2.0指标体系建立一个完整的企业经营分析平台2006 2009指标建设KPI指标建设3G明细数据采集方言变普通话明细数据建设3G数据上传2010移固网全业务全国明细数据集中跨域数据整合M/B明细数据2012cBSS业务数据全接入全国移网互联网日志数据挖掘分析海量日志计算大数据平台混搭技术2014实时化数据接入大数据产品顶层设计大数据对外价值变现数据产品建设与对外合作运3、营2015 2015年之前数据中心着重数据集约化建设及数据加工能力积累 2015年开始大数据对外合作探索,16年将大数据作为六大创新业务之一打造了完备的大数据运营体系,17年推动大数据领域化、行业化合作,扩展外部数据丰富用户画像31省信令数据集中;试点固网宽带WIFI日志集中产品化运营体系成型2016传统经分 大数据中国联通D域建设历程领域化、行业化合作外部数据补充2017目录D域发展历程1D域介绍2联通大数据3大数据安全4大数据数据来源包括企业内外部所有有价值的全景数据,主要包括IT生产系统、业务平台、通信网络、互联网、外部合作伙伴五大数据源,在数据集中过程中,各数据源根据其特点需要采用不同4、的方式进行处理,兼顾成本与效率企业全景视图3、通信网络4、互联网5、外部合作伙伴1、IT生产系统 核心基础数据,覆盖面广 总量达PB级,已整合M/B域数据近1PB 数据价值密度高 可信度高,但目前分散的建设模式,给数据生产质量保证带来困难2、业务平台 逐步接入基地业务数据、VAC、M2M 总量达TB级 数据价值密度低,但包含了用户在增值业务方面关键信息 内部数据,可信度高 目前已采集了互联网流量、信令数据 总量达10PB级,已进行了固移融合 数据价值密度低,但包含了用户位置/事件/体验等关键信息 内部数据,可信度高 以爬虫形式获取大量互联网内容,逐步完善规则库 价值密度低,包含了互联网上的各种5、内容、行为、言论,应按需采集与提炼有价值数据 外部数据,可信度低 以需求为导向逐步接入国政通等数据 初期总量不大 数据价值密度中等,包含了第三方的用户/企业的各方面信息 外部数据,可信度中等,需要与内部高可信数据相互验证内部IT数据剖面业务平台数据剖面通信网络数据剖面外部合作数据剖面互联网数据剖面D域数据源采集情况D域数据采集范围省Billing省CRMOCS集团海波龙系统全成本系统ERP核心项目管理系统采购管理系统合同管理系统报账平台主数据系统资金管理系统营销物资系统损益类信息全成本口径信息核算信息项目信息合同信息采购信息业务报账信息供应商、物资信息资金支付信息出入库交易信息资产管理系统(北6、分)设备信息省分编码信息调帐、账单、销账ECS订单国际/省际、网间、合作伙伴客户资料、账单、详单、订单产品信息SP产品、SP结算信息用户资料、账单详单集团、集团成员信息渠道、渠道佣金信息终端品牌、型号、五元组语音、流量、短信终端信息、订单、号码信息3GESSB-SDM集中集客集中渠道结算系统CBSSCRM收入管理终端管理平台综合数据采集ECS集中PRM北分OCS终端库存、型号信息华盛用户资源、账单、详单VOP国际漫游国际结算指标、国际漫入漫出北六ESS北六省订单数据流量详单采集系统互联网访问日志、IP溯源信息信令采集系统用户信令数据生产服务平台数据采集服务数据处理采集接口适配任务集中调度统一监7、控数据质量稽核网元DPID域省BSS指标数据省BSS明细数据增值基地沃易购沃商店终端画像终端销售数据内容/订购/消费沃阅读IPTV增值中心视频数据组织机构代码中心国家旅游局数据国政通PMIS客服号码携带管理应收账款客服业务量业务发展、业务使用、营业收入M2M资料信息、账务信息、使用信息IT系统(B域)IT系统(M域)通信网络外部合作伙伴互联网互联网内容POI信息企业信息大数据平台累计采集27个IT系统1,250个接口,3个增值基地27个接口,通信网络流量、信令共41个接口,定向爬取网站400个ODSDWDM面向应用面向分析面向生产DWDDWA指标库立方体轻度汇总参照中国联通企业级数据指标体系规8、范,围绕公共维度与核心事实,在立方体基础上构建面向全集团各层级、固化业务口径的标准指标数据 在汇总、衍生数据基础上,以通用事实作为聚合的主体,建立含有时间、地域、产品、渠道、终端等维度,用户发展、使用、收入等指标的立方体,如时间、地域维度下的用户使用信息立方体 围绕核心业务事件,在保留核心业务实体ID及相关维度基础上对生产数据进行轻度汇总与统计核心事件与实体 DWD层是数据仓库的细节数据层,围绕企业核心业务过程展开,关注业务过程中的核心业务事件和业务实体,以企业级数据模型规范为指导,进行数据域的划分及明细数据的整合及沉淀 采用分析型数据组织方式,沉淀历史的、聚集的统一数据 具有数据整合、模型稳9、定、周期静态的特点数据采集 ODS层是一个面向数据主题的、集成的、可变的、当前的细节数据层,采用生产型数据组织方式对源端生产业务系统数据进行沉淀 横向、纵向的数据直采整合,部分清洗 具有数据集中、统一映射加工的特点展现视图基于指标库数据,围绕应用展现需求重新组织形成多个指标合集,以视图形式屏蔽底层数据变化细节,控制展现内容分析衍生 对核心业务实体进行派生,将用于筛选的信息属性化、标签化 核心业务实体进行汇总后,横向扩展为宽表实时标准化事件捕获实时统计与分析D域分层模型体系 围绕批量与流式场景分离、业务规范统一、空间效率平衡等原则构建分层分类大数据模型体系StageOSS流量查询系统信令采集平台10、行业网关网优平台集团BSSCBSS3GESS北6ESSB-SDMECS集中PRM北分OCS集中集客集中渠道集中结算收入管理终端平台综采华盛终端支付公司VOP移网结算号码携带管理客服NPCRMBSS客服沃易购沃商店沃阅读省分集团国际漫游互联网爬虫信息MSS集团盈科M域指标数据仓库BI-ODS客户域产品域业务使用域账务域事件域市场营销域合作伙伴域企业管理域公共域资源域DWD客户域客户资料、客户积分.产品域用户资料、产品信息.业务使用域计费详单、流量日志、信令.账务域账户资料、账单.事件域台帐.市场营销域渠道、佣金.合作伙伴域合作伙伴资料、产品信息.企业管理域组织机构、员工.公共域编码、映射.资源域11、终端、卡、基站.DWA汇总客户汇总接触信息汇总积分汇总.事件汇总订单汇总.业务使用汇总语音短信流量汇总.账务汇总账单汇总储值信息汇总.市场营销汇总佣金汇总发展信息汇总.合作伙伴汇总SP结算汇总.资源汇总终端库存汇总补贴汇总.衍生客户衍生资料账务使用位置.渠道衍生资料收入发展.竞争对手衍生竞争对手产品使用行为.合作伙伴衍生结算业务活跃.资源衍生终端补贴终端使用.客户标签电信业务互联网行为位置产品衍生产品资料订购.CUBE计数类业务使用合约到期续约.发展类VIP用户发展新增流失用户分群.收益类用户出账收入欠费、产品套餐费用.使用类语音短信流量.成本类终端补贴佣金结算.竞争类客服接触竞争对手.增值类12、增值用户增值使用.接触类异网客服接触.指标市场运营域组合指标:用户类收入类业务使用类成本类增值类.分析指标:携号转网保有率ARPUMOU.企业管理域网络运营域综合跨域指标DM统一数据分析系统集市指标.存量经营平台集市客户标签数据.流量查询系统集市流量解析数据流量排行数据.客服应用数据集市疑似养卡数据双卡用户数据.收入保障系统集市渠道佣金数据.对外合作应用数据集市西电数据集市招联风控数据集市.指标层:基于指标体系进行指标数据沉淀;CUBE 层:数据模型按纬度事实组织,完成去ID级数据汇总;DWA层:数据模型按维度事实组织,完成ID级数据轻度汇总、衍生及跨域整合;DWD 层:数据模型按仓库业务域重13、构,相关实体进行拆分或合并;ODS层:数据模型与源系统保持一致。数据仅进行编码转换及清洗;包含各数据来源接口数据,模型与接口模型保持一致包含服务各类应用的数据。D域数据架构中国联通大数据平台在传统Oracle基础上逐步引入了Hadoop、Spark、Storm等主流大数据技术,已具备了海量离线数据及实时化数据的接入、处理、整合及标准化服务能力,同时,整合全流程技术体系,提供集中、统一、可视化、工具化的数据管理及调度能力。数据采集交换数据库采集DBLink文件采集FTP/SFTP网页爬取爬虫流数据采集KafkaFlume数据存储SMP数据库Oracle分布式存储HDFSNoSQL数据库Redis14、数据计算批量计算Oracle实时处理SparkStreamingStorm实时查询HbaseSQL onHadoop海量离线计算MapReduceHivePigSpark数据服务FTP消息API数据管理元数据数据质量数据安全数据生命周期统一调度Hbase基础资源网络资源计算资源存储资源小型机X86服务器基于大数据技术栈构建的D域技术体系B域M域集中系统省经分系统O域数据源数据分析服务海量数据查询服务实时感知类服务大数据平台采集交换平台应用流量查询、IP溯源、cB历史详单查询、征信实时场景化营销训练数据集模型能力开放服务数据批量处理(Oracle)海量数据计算Hive/Spark/MapRedu15、ceHDFSMppHBase客户账务计费详单网格信息宽带装机资料产品构成客服语音结算详单其他cBSS综采话单省分BSS移网流量日志固网流量日志IP溯源信令汇总指标实时计算StormSparkStreamingKafka消息分发跨域数据整合Oracle经分、标签筛选、数据下发.高价值结果数据实时标准明细大数据平台整合各类技术组件,通过标准化流程对不同数据分类处理并集中整合,支撑上层应用数据流向图1重点业务分析3G业务分析资费预演与评估业务主题分析业务用户客户渠道收入合作伙伴资源竞争服务质量专业线管理市场线管理集团客户部监管事务部国际业务部通用功能报表中心数据查询预警监控横向对标B域数据质量稽核B16、域数据服务B域ETL作业B域基础报表通用功能管理M域数据质量稽核M域数据服务M域ETL作业M域基础报表通用功能管理通用功能报表中心数据查询预警监控横向对标数字仪表盘综合分析综合评价横向对标资本市场分析竞争综合分析企业管理分析财务分析投资计划分析采购分析库存分析资产分析统一数据门户门户整合用户首页数据门户管理应用管理应用管理平台门户通用功能知识库运维管理权限管理公告管理任务管理工单管理日志管理文件安全ETL调度与管理竞争对手策反绩效管理人力资源分析集团管理层集团管理部门省分管理层省分管理部门地市管理层地市管理部门区县管理层区县管理部门集团业务部门省分业务部门地市业务部门区县业务部门营销单元B域纵17、向数据源3G核心明细2G核心明细全网指标数据B域横向数据源ESS集中结算PRMM域纵向数据源OracleERPPMS财报合并CRM终端管理数据管控数据采集管理数据安全管理元数据管理数据服务管理数据服务管理平台数据封装管理M域数据整合横向/纵向数据接口管理数据分布与分类编码管理ETL调度管理与处理服务层级服务部门D域整体架构大数据平台汇聚了全集团B/O/M三域数据并进行了规范化和跨域整合,具备面向两级多个业务部门、横向集中系统的数据服务能力,截至目前重点数据服务对象包括31省分、集团客服部、市场营销部、业务运营监控中心、产创、审计系统、等业务部门。服务对象服务方式服务内容省分全国31省周期性批量18、数据下发集团统一进行cBSS明细数据沉淀与处理,形成各类汇总结果数据及衍生视图,以批量方式下发至省分,涵盖如下内容:1)、DWD明细数据接口367个,涵盖用户资料、产品资料、账务信息、业务台帐订单信息等;2)、DWA汇总及衍生接口105个,涵盖用户衍生信息、型卡比对信息、机卡分离信息、动态信控数据、业务使用汇总结果、出账汇总数据、欠费信息、渠道发展信息、网络使用信息、终端数据等;3)、互联网标签行为标签数据,涉及标签3000余个北十省周期性批量数据下发支撑北十省工作台相关内容,包括日接口76个,月接口95个横向系统20个系统442个接口审计系统周期性批量数据开放以DWA层汇总及衍生数据为主,包19、括用户基本衍生信息、单用户业务使用信息、账务汇总信息等集中结算系统号码清单信息、移动用户出账信息等全成本系统以DWA层汇总数据为主,包括收入汇总信息、业会转换信息等.集团业务部门19个部门419个需求客服部模型构建、作业调度及结果数据发布用于生产经营分析会的数据提取,包括收入流失分析相关的数据等用于业务通报的存量用户明细数据等市场部用于业务通报的存费送机发展用户明细、用户套餐月费等数据产创部用于生产经营分析会的按月提取WO+视频优酷定向流量用户明细数据等.集团领导、省分领导短/彩信推送1、晨报指标数据,包括4G网上用户数、新增/流失用户数、收入情况、业务量情况、合约情况、APP排行等2、彩信日20、报指标数据,包括计费收入情况、渠道发展用户情况、套餐受理情况、终端合约情况等市场部业务运营中心邮件推送生产监控指标,包括任务执行情况、专题日指标稽核情况、报表日指标稽核情况等D域数据服务情况D域数据业务支撑情况大数据平台借助海量数据存储能力及跨系统数据整合能力对内部应用及外围生产系统提供支撑生产系统支撑一证五卡查询服务历史详单查询服务流量查询系统IP溯源系统对内应用支撑统一数据分析系统存量经营平台北十省工作台智能语音分析系统审计系统cBSS业务运营监控大屏以点查询为主以离线结果数据和标签共享、实时数据服务为主目录D域发展历程1D域介绍2联通大数据3大数据安全4大数据特征5V一、Volume:数21、据量大,包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。二、Variety:种类和来源多样化。包括结构化、半结构化和非结构化数据,具体表现为网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。三、Value:数据价值密度相对较低,或者说是浪里淘沙却又弥足珍贵。随着互联网以及物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何结合业务逻辑并通过强大的机器算法来挖掘数据价值,是大数据时代最需要解决的问题。四、Velocity:数据增长速度快,处理速度也快,时效性要求高。比如搜22、索引擎要求几分钟前的新闻能够被用户查询到,个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。五、Veracity:数据的准确性和可信赖度,即数据的质量。变革时代下的运营商大数据1在通信行业,大数据的价值越来越被重视,AT&T、Verizon、Telefonica、DoCoMo等国际标杆运营商都积极利用自身在用户信息、地理位置、网络信令等领域的数据优势,与金融、零售、旅游、物流、公共管理等领域的企业和机构进行深度合作,一方面大幅度提升了运营效率和用户满意度,另一方面也实现了一定程度的商业变现,摸索了新的商业模式。反观国内三大运营商,近年多次提到“大数据”的重要性,也取23、得了一些成绩。但尽管部分公司在一些局部领域取得了阶段性的突破,但亮点只是个案,沉淀下来能够体系化、常态化的东西还不多,在商业变现方面更是刚刚起步。究其原因,运营商虽然坐拥宝贵的大数据资源,但在大数据驱动商业及运营转型方面却面临着组织、能力、模式等方面诸多不适应,加上一些法律和政策方面的风险,使得运营商更加畏首畏尾。运营商大数据的优势与价值1运营商在大数据领域具有其他行业无可比拟的优势,体现在以下三个方面:1.规模性规模性:一方面是数据体量大,每天产生的数据以PB计算,具有丰富充足的数据源;另一方面是数据维度全面,包含用户行为、地理位置、上网行为、运动轨迹、支付能力、咨询投诉等信息。2.准确性准24、确性:网络系统可实时产生与终端用户相关的多维度行为信息,准确实时的反映用户行为状态。3.连续性连续性:网络数据可持续性提供,具有连续和可追溯性,仅取决于数据的存储策略,无人为因素干扰。标签与模型19从原始数据进行统计分析,得到事实标签,再进行建模分析,得到模型标签,再进行模型预测,得到预测标签。运营商大数据具备全面性、多维性、中立性、完整性是其它企业很难比拟的,而且通过这些不同维度数据的交叉关联,可以创造更多的新数据和新价值。身份上网位置社交支出通信终端时序基于通信交往圈的大小,主被叫,时间序列,得到用户的社交特征运营商的通过位置信息,可以掌握用户出行特征,给用户带来生活的极大便利基于用户访问25、什么网址,下载什么应用,访问什么内容等,得到上网喜好运营商不仅客户信息覆盖完整,还可以基于实际行为进行验证。通过身份信息,帮助金融机构快速判定用户的信用程度运营商有客户最为详实的消费账单,比如流量费,短信费、语音费、新业务费等,能反映用户的一些特征通过用户的通信使用情况,比如本地,漫游,长途,了解用户通话行为特征识别记录手机终端型号,了解用户手机使用特征,发展趋势,用户换机周期等通过用户上网,位置,通话等行为按照时间排列,了解更多规律提供更多服务运营商到底有什么数数据局部性数据封闭性数据割裂性数据片面性互联网公司的数据是相互割裂的,淘宝只有淘宝的售卖数据,没有百度搜索的数据很少有互联网公司愿意26、开放自己的数据,开放更多的是商业模式层面和应用层面。互联网的数据整合困难,同时注册的个人账号也是短期的,不稳定的。互联网公司的数据受限于自身的业务,其数据的范围和深度都是有限的。BAT数据受限于本身的数据基因运营商的数据也许更有代表性和竞争力运营商是数据管道,任何个人、企业的上网和通话的行为都流淌在运营商的管道里,并且任何时候你的位置都需要上报给运营商的基站以便能够随时沟通,移动互联网越发展,运营商的数据规模优势就越大。运营商以号码为唯一的ID来整合各类数据,因此刻画客户的完整性是一般企业难以企及的,因为号码就是业务本身,而且还有终端ID作为移动通信网天生的业务属性而存在。运营商数据解决移动互27、联网时代最为关注的三个问题?我是谁,我在哪里,我在干什么,这是很多企业的数据难以比拟的。运营商承担着相当大的社会责任,不会看到互联网公司会有分享数据的行为,数据基本是在它的体内循环。运营商数据与传统BAT数据相比优势提供全国4亿用户涵盖9大类,共计3800余个用户标签轻松识别4亿URL,1.2万余款APP识别约3600个手机品牌、8.2万个终端型号日处理7700亿条上网记录信息,170亿条话单数据采集集团和省分B域系统约1250个接口;信令类数据31省约28个接口4500台Hadoop集群,85PB存储能力,形成国内除BAT外最大的云架构大数据平台,沉淀了最海量的数据对内支撑精细管理、存量维系28、精准营销、网络网优等;对外跨行业合作涉及政府、旅游、金融、交通、互联网、媒体等行业固话用户7952万宽带用户7169万移动用户2.93亿庞大的用户资源丰富的大数据产出联通大数据处理能力大数据采集内容自营内容产品网络管道数据业务支撑系统客户基本资料用户消费信息用户终端信息业务基地用户画像用户互联网行为用户状态信息用户储值信息用户通信行为网厅手厅用户画像用户位置信息用户订购信息用户信用信息用户分群信息注:联通业务基地包括沃易购、沃商店、沃阅读、沃音乐、沃视频等图例:月频次数据日频次数据实时频次数据姓名性别客户类型电话号码证件号码地域年龄住址语音短信通话类型通话时间流量通话地点通话时长对端号码初始29、信用度动态信用度欠费额度欠费频次欠费账龄号码状态欠费状态年龄业务开通状态手机号码终端型号IMEI终端厂商IMSI消费金额流量费月租费短信费通信费订购产品开通渠道流量包发展员工合约计划缴费渠道缴费时间缴费金额集客分群客户分群VIP分群号码使用内容IMEI访问IP业务基地号码访问类型IMEI访问IP访问位置上网类型网站/APP上网时间访问内容上网地点号码CellIDIMSILAC时间运营商所独有的数据来自于三类,除此之外还可以汇聚来自互联网或其他外部合作伙伴数据:业务支撑系统BSS的数据(基于服务产生的数据)电信运营商自有运营内容产品(包括SP、互联网产品等基于用内容的数据)网络系统OSS产生的数30、据(基于管道产生的数据)24大数据子公司平台数据主要来源于数据中心,按不同技术模式与数据周期进行对外产品建设相关数据采集大数据公司平台数据中心省经分cBSS省网运集团网运.实时分流批量周期同步原始明细数据加工后结果数据业务数据编码与规则数据互联网日志数据原始明细数据以文件形式由集成公司从301机房实时分发数据按文件实时采集原始话单数据亦庄接口机部署实时监控程序,动态扫描新数据并转流至Kafka,实时写入HDFS数据通过文件扫描实时采集信令数据标准化后的基础位置以消息形式向DMP开放访问汇总结果数据以文件形式按日/月抽取明细数据实时采集BSS数据标准化、汇总、衍生的各结果类数据以文件形式按日/月31、抽取数据按日采集编码/规则数据B域编码表按日定时抽取O域互联网日志规则库与标签编码信息按日定时抽取数据按日采集M i crosoft Excel 采集清单数据采集路线图联通大数据平台架构治理平台元数据管理平台数据质量管理平台数据模型管理安全网络安全资源安全数据安全服务安全数字营销互联网舆情医疗大数据政务大数据交通大数据风控产品沃指数智慧足迹标签基础产品能力开放旅游产品基础资源分配与管理X86服务器X86服务器(GPU)存储网络数据采集交换平台数据中心数据接入互联网数据爬取跨平台数据交互外部数据接入核心生产平台能力开放平台互联网模型训练服务承载机器学习平台数据服务实时数据引擎数据存储多租户生产公32、共信息库批量数据处理统一数据模型生产开发服务承载DCT服务承载统一生产运维自动运维平台资产管理平台(CMDB)日志监控平台软件中心DevOPS基础组件服务高并发精准查询引擎随机搜索引擎API网关微服务框架安全网关多维组合查询引擎数据加密私有产品服务承载DCOS云化ETL容器中心可视化工具集数据存储与计算框架样例数据集目前联通大数据平台以“平台能力”为核心,基于平台能力支撑百花齐放的大数据应用。26大数据产品体系8+N从公司成立初期的八大产品已经提升至三大层8+N产品体系的雏形智慧足迹数达营销数赢洞察数盾风控位置洞察监测与选址风控数据验证评分行业洞察指数优化策略精准触达标签体系开放数据平台支持数33、据模型定制用户标签库支持标签按需定制数据能力开放平台政务大数据数据共享、政府治理、创客等综合数据服务旅游大数据平台级行业解决方案标准产品基础产品数言舆情舆情监测分析与预警游前洞察、游中监测游后服务,全程大数据安全大数据公安、安全、司法等大数据服务目录D域发展历程1D域介绍2联通大数据介绍3大数据安全4敏感数据分类 工信部24号令规定:客户姓名、出生日期、身份证件号码、住址、电话号码、账号和密码等能够单独或者与其他信息结合识别用户的信息以及用户使用服务的时间、地点等 中国联通所掌握的敏感数据可以分为以下几类:用户电话号码用户身份类敏感信息,包括姓名、出生日期、身份证件号码、住址用户账户信息用户通34、讯话单,包括语音话单、短信话单、流量话单等用户上网日志用户信令位置中国联通数据授权与审核管理机制(1)中国联通数据服务安全管理办法中国联通数据服务安全审核指导规范 制定数据服务安全管理办法,明确数据需求安全合规性评审要求,数据安全审核场景。制定数据服务安全审核指导规范,细化数据安全审核评估方法,数据对外安全审核场景的审核流程以及数据安全审核输出。审核要求需求方使用目的审核方集团总部各专业部门自身业务发展总部数据中心需求管理人员省级分公司使用本省数据总部数据中心需求管理人员直属单位技术研究,使用模拟数据或样本数据总部数据中心安全管理人员数据运营部门与外部合作伙伴开展数据合作总部数据中心安全管理人35、员审核,数据安全支援部门和数据运营部门指定数据责任人参与审核审核内容服务对象要求的数据内容、粒度是否在数据服务安全管理办法所规定的可提供给外部用户的数据范围内;数据用途和使用范围是否明确,要求的数据提供方式是否符合安全管理办法规定。中国联通数据授权与审核管理机制(2)审核评估方法数据类型举例审核方法不涉及用户个体信息的数据服务用户群体的分析报告、沃指数产品此类数据服务不涉及用户个体信息,为数据安全合规性的数据服务涉及用户个人数据但是不含敏感数据的数据服务合作伙伴提供身份证号码、用户姓名、电话号码等信息,中国联通提供用户信息、用户位置的验证结果和用户能力的评估结果使用相应的协议模板,并具备:用户36、授权数据应用方到中国联通进行用户信息的查询即满足数据安全合规性涉及用户敏感信息的数据服务用户号码、用户名称、身份证号码、IMEI、IMSI等用户识别信息 内部业务部门的数据支撑,通过需求沟通尽可能提供脱敏后的数据,如果确实业务需要,必须提供敏感信息明文的数据支撑需求,需要需求部门二级正领导签字,输出后的用户敏感信息安全由提出需求的业务部门负责。省公司对漫游到本省的跨省用户数据的分析需求,可提供用户电话号码及标签数据。合作伙伴对用户敏感信息的数据服务需求,需要联通得到用户的授权。数据模型研发的数据服务能力开放平台服务 模型训练的数据:应该是脱敏后的历史样本数据。进入模型训练环境的合作伙伴需要按照37、中国联通提供的保密协议的样本签署保密协议。审核输出 是否含敏感信息;如果包含敏感信息则需列明,如:用户名、身份证号等;是否有用户授权;评审建议:是否有对输出数据模糊化等的建议;评审结果:是否符合安全合规性。数据安全管理总部数据加密系统总部密钥管理系统可信时间戳服务器敏感信息库FTP前置机接口机省BSS入库数字认证服务系统cBSS需求方解密服务敏感信息库分为四部分,并提供用户身份类敏感数据的加密解密服务。总部密钥管理系统:负责总部密钥生命周期管理(生成、存储、分发、作废、恢复)总部数据加密系统:负责按照配置要求,动态执行数据加密/解密操作可信时间戳服务器:提供全网统一的可信时间标记生成以及真实性38、有效性校验数字认证服务系统:负责提供身份生命周期管理(签发、绑定、认证、更新、作废)集中集客数据安全管控 通过数据分级管控、数据加密、保密协议、安全审计四个方面保障:保密协议:公司及全员签订保密协议,加盖公章备案安全审计:全员通过统一接入平台及4A访问系统数据分级管控:通过工作梳理细化,数据分级管理 范围:通过对数据涉密情况及项目组工作职责梳理,将数据分为五级,分级管控 方式:主管以上领导主责,对用户授权及回收,定期分析详细操作日志数据加密:源头敏感数据加密处理 范围:对数据源头敏感信息:如客户信息、客户证件信息、集团信息等 方式:入联通加密库,敏感数据不存储,从保障源头安全数据分级管控思路 39、按数据涉密情况及数据分布,对数据访问分5个级别,主要用途及分布情况如下:客户资料详单及原始明细单用户标签、单用户汇总汇总数据、指标库数据测试库抽样数据授权核心人员管理应急分配回收严格4A审计,查询即预警信息化授权由主管级对员工授权,不定期回收严格4A审计,严禁数据修改及导出 最小化授权主管级 严禁修改及导出 严格4A审计 Oracle环境DW主库 Hadoop生产库 GP纵向、结算库hadoop O域、综采库 Oracle DW/DM库实名制应用、由信息化授权的特殊涉密核查使用数据挖掘探索及数据分析使用供明细级数据服务、纵向数据下发、数据分析使用供指标级数据服务,支撑应用展示使用1级2级3级440、级5级主要用途供数据开发、应用开发调试使用安全要求 入职6个月以内员工访问 可查询,禁止数据导出 严格4A审计 信息化授权由主管级对员工授权,不定期回收 严格4A审计,严禁数据修改及导出数据分布 Oracle环境DW主库 Oracle环境DW主库 Oracle测试环境 Hadoop测试环境人员分布 5级权限 均为核心骨干 2级权限 主管 3级权限 骨干 4级权限 骨干数据安全监控与审查管理要求 安全监控按照“全覆盖、全监控、全检查、全评估”的原则,覆盖数据采集、存储、加工服务各环节,对网络认证、主机访问、数据库操作、数据系统使用等各类监控记录和日志定期检查、分析,评估安全隐患。建立数据服务对象数据安全审查机制,服务对象定期向总部数据中心通报数据用途、使用范围、应用场景及内部数据安全管理情况,并对服务对象的数据安全整体状况进行评估。对于数据使用超出审核范围、系统账号混用等不遵守数据服务安全管理办法的服务对象,重新审批数据服务申请,或者终止对其提供数据服务。建立数据安全通报制度,数据中心定期总结日常安全检查及专题检查中发现的问题,分析问题出现的原因,跟踪安全问题整改后的落实情况。数据服务安全管理办法对数据安全监控与审查的管理要求 CHINAUNICOM CHINAUNICOM谢 谢