1、电力大数据开发试验与共享服务平台体系架构设计内容Contents123大数据开发试验和共享服务平台建设背景大数据开发试验和共享服务平台总体方案大数据开发试验和共享服务平台应用场景4大数据开发试验和共享服务平台典型应用项目背景数据已经渗透到当今的每个行业，成为重要的生产因素。国家电网公司于2 0 1 5 年1 月正式启动企业级大数据平台建设计划，并开展了多项数据分析应用开发建设。但随着接入数据类型的逐渐丰富，数据总量的持续增长，已形成相当规模。开放共享为了促进国家电网公司内外大数据互助共享协作，推动外部数据资产整合，突破部门之间的信息封闭状态，规避数据平台重复构建，消除部门之间信息差别，实现相关2、资源的有效互通，支撑公司电力大数据共享流通的需求，急需建设数据开放共享平台。国家电网公司拥有大量敏感数据，如电力营销数据、电力调度数据、个人用电信息等。中华人民共和国网络安全法规定：网络运营者不得泄露、篡改、毁损其收集的个人信息；未经被收集者同意，不得向他人提供个人信息。但是，经过处理无法识别特定个人且不能复原的除外。国家电网公司S T A T E G R I D现状1 目前国家电网公司内部大数据平台已经得到推广，电力大数据技术日趋成熟，开放共享平台作为大数据技术的深化应用，有相应的经验作为保障。基于大数据平台开发的应用目前处于起步阶段，需要一个开放共享平台作为底层技术的支撑，可以让大数据应用3、开发变得更加简单、快捷，同时节约成本。大数据应用技术门槛较高，同时存在数据安全的问题，所以对人员的专业知识要求比较高，相应的学习成本也比较大，而开放共享平台可以避免这些问题。国家电网公司拥有大量电力营销数据、电力调度数据、个人用电信息等等敏感数据，数据来源分散，时空跨度巨大，数据粒度较细。数据的充分共享和分析挖据将为公司产生巨大的商业价值，数据的所有者和使用者分离，数据利用和保护产生矛盾。数据在产生、传输、存储、处理以及使用等环节存在隐私泄露的隐患。国家电网公司S T A T E G R I D推动数据共享提供数据服务项目意义提供数据保护环境快速部署意义促进公司内外大数据互助共享协作，推动外部4、数据资产整合；形成电力数据资产与社会经济、气象、地理空间等外部数据源之间的互动；支撑电力数据应用需求，深化数据价值创造；积极响应社会对电力公共数据的访问需求，提供数据共享服务提升对大数据平台安全技术体系及方法论与现有大数据平台的契合度；通过对敏感数据的过滤保护，可逐步扩大数据共享的范围和对象，为数据的进一步挖掘和分析提供了重要支撑；帮助系统开发人员设计系统功能、调优系统性能、提升部署方法，协助用户比较不同系统的性能，利于选购产品。国家电网公司S T A T E G R Dc n内容Contents123大数据开发试验和共享服务平台建设背景大数据开发试验和共享服务平台总体方案大数据开发试验和共享5、服务平台应用场景4大数据开发试验和共享服务平台典型应用功能架构数据分析域角色最终用户业务人员分析师开发者运维人员数据集市层轻度汇总层服务数据共享咨询服务数据探索基础设施应用开发应用集市测试验证数据电力数据接入样本数据外部数据接入元数据管理数据集市数据小镇仿真数据生成定制化数据平台管理租户管理服务管理安全治理日志管理监控告警结构化数据数据源生产管理电网运行采集监测数据用电信息采集非结构化数据音视频文件社会外部交易所数据经济科技交通国家电网公司S T A T E G R I D技术架构Saas业务分析门户计算资源数据分析探索 数据资源申请分析结果输出申请大数据平台环境申请开发测试门户操作系统环境申6、应用开发与故障请检测数据样本申请运维管理门户多租户管理流程管理权限管理数据处理应用数据展示应用机器学习应用电力业务应用日志与监控可视化测试环境与工具申请应用评估与认证应用上架与发布安全管理监控告警资源管理统P a a s 服务接口Paas数据接入服务数据E T L 服务数据存储服务应用集市大数据系统仿真应用持续部署认证授权租户管理数据查询检索数据可视化消息队列服务弹性伸缩负载均衡应用监控流程管理安全防护内存计算服务并行计算服务流计算服务日志审计服务版本管理服务纠错容灾服务用户审计网络管理机器学习服务并行算法库计算资源调度操作系统仿真应用验证服务应用发布服务集群监控主机管理多租户K u b e 7、r n e t e s数据资源域计算资源域存储资源域通用工具和组件D o c k e rO v e r l a y N e t w o r kD o c k e r-R e g i s t r yIaas应生产用发布区区区试大数据平台关系数据库非结构化存储系统E I L 工具开发集群测试集群M P P 数据库发布集群国家电网公司S T A T E G R I D电力数据接入应 用 区数据集市层(P O S T G R E S Q L)分析域轻度汇总层(G B a s e 8 a)整合明细层结构化G B a s e B a基础数据层采集非结量测构化纵向贴源H B a s eH D F S历史历史8、S GS GR D 5R D B关系数据非关系数据实时数据半结构与非结构化数据S q o o pF T P 传输S q o o pF T P 传输消息队列K a f k a日志收集F l u m eF I P 传输离线拷贝详细功能-数据层电力大数据开发试验和共享服务平台E T L内存数据库E T LM P P 数据库数据仓库H i v eE T L列式数据库H B a s eE T L分布式文件存储H D F S国家电网公司S T A T E G R I Dl外部数据接入文本数据t x tc s Vx l s x数据库归档数据d m pd u m ps q l档案数据w o r dp d fv9、 i s i o媒体数据图像视频语音离线传输离线传输离线传输离线传输分布式文件存储H D F S数据缓冲区分布式文件存储H D F S分布式文件存储H D F Sc r e a t e e x t e r n a lt a b l el o c a t i o n 还原到数据库中构建元数据信息表详细功能-数据层H i v e 中执行建表语句形成关系数据表S q o o p数据抽取存储到H D F S 或H i v e 中信息录入(名称、存放等)形成档案数据索引表信息录入(名称、存放路径、数据类型、大小等)形成媒体数据索引表国家电网公司S T A T E G R I Dc 0l详细功能-数据层数10、据集市数据访问访问方式即时查询可视化B I统计分析数据接口数据组织数据集数据整理基础数据集用采数据集检修数据集关联、切分、打包档案数据集其它数据集数据处理E T L 处理数据传输转换、清洗、装载轴取数据源原始数据分布式文件存储H D F S列式数据库H B a s e数据仓库H i v eM P P 数据库内存数据库国家电网公司S T A T E G R I Dn数据小镇数据应用开发流程数据资源详细功能-数据层电力地图用电趋势图征信经济电力曲线数据模型数据产品H T M L 5D 3E C h a r tT a b l e a uG I S数据展示统计分析数据统计与挖掘分析聚类关预联测分类S 11、p a r k S Q LR 语言M a t l a bI m p a l aS p a r k M L l i b数据映射数据关联集成与存储数据关联数据集成S Q L+编程语言H D F SH B a s eH i v eM P P 数据库数据加工转换、清洗、装载E T L 处理气象数据交通数据经济数据电商数据人口数据G I S 数据外部数据电力数据内部数据国家电网公司S T A T E G R I D详细功能-数据层样本数据样本访问访问方式即时查询可视化数据接口样本存储样本集数据存储基础数据样本用电客户样本电压曲线样本电流曲线样本负荷曲线样本H D F S、H B a s e、H i v 12、e、M P P 数据库历史电量样本数据安全数据敏感信息去除样本处理数据整理数据分类、抽样E T L 处理转换、清洗，装载数据源原始数据分布式文件存储H D F S列式数据库H B a s e数据仓库H i v eM P P 数据库内存数据库国家电网公司S T A T E G R Dc n n0元数据管理数据源数据接入E T L 处理数据存储数据接口数据集市数据产品样本数据详细功能-数据层报表统计B I 展示数据挖掘决策支持测试验证数据仿真数据源元数据数据接入元数据E T L元数据数据存储元数据数据接口元数据数据展示元数据平台配置元数据平台管理元数据元数据存储库应用元数据应用配置元数据应用编排元13、数据镜像生成元数据应用发布元数据应用部署元数据应用监控元数据弹性伸缩元数据应用分析 应用配置信息应用编排镜像生成应用发布应用部署应用监控弹性伸缩国家电网公司S T A T E G R I D数据共享详细功能-服务层数据目录数据地图A P I 访问J D B CJ a v a兰J D B C数据交易M O R E数据脱敏静态脱敏动态脱敏数据安全身份鉴别数据接入数据清洗数据存储抽取、转化、装载(E T L)访问控制安全审计原始数据列式数据库H B a s e数据仓库H i v e国家电网公司S T A T E G R I D数据探索报表生成统计分析数据挖掘质量分析模型生成详细功能-服务层数据展示数14、据统计数据查询引擎I m p a l aH i v eS p a r k S Q L数据挖掘数据挖掘引擎R 语言M a t l a bS p a r k M L 1 i b并行算法库聚类分类关联神经网络预测B IB I 工具1工具B I 工具2数据接入抽取、转换、装载(E T L)数据清洗原始数据列式数据库H B a s e数据仓库H i v e国家电网公司S T A T E G R I D应用开发详细功能-服务层大数据工程师大数据工程师大数据工程师数据算法工程师数据分析工程师数据存储类应用开发数据处理类应用开发数据计算类应用开发大数据工具集大数据集群环境M a p R e d u c eS 15、p a r k大数据集群环境离线数据实时数据E T L 工具离线数据实时数据Y a r n离线数据实时数据算法类应用开发算法库大数据工具集数据分析类应用开发S Q L 引擎R 语言S p a r kM L L i b大数据集群环境Y a r n离线数据离线数据统一开发接口样本数据E T L 工具消息队列大数据模板镜像仓库电力大数据开发试验和共享服务平台国家电网公司S T A T E G R I D应用集市应用发布应用镜像文件制作应用模块编排应用配置信息设置应用镜像生成应用结构分析发布到应用商店应用商店自定义软件数据采集软件、数据处理软件、数据分析软件、电力业务软件等基础软件M y s q l、16、t o m c a t、W e b L o g i c、R e d i s、C e n t o s、R e d h a t 等大数据组件H i v e、i m p a l a、k a f k a、z o o k e e p e r、h u e、s q o o p 等大数据模板H a d o o p 集群软件、S p a r k 集群软件、H b a s e 集群软件等详细功能-服务层应用部署应用自动配置应用自动启动应用自动部署应用弹性伸缩设置拉取应用镜像应用部署完成统一服务接口K u b e r n e t e s 集群D o c k e r 引擎D o c k e r 镜像仓库O v e r17、 l a y 网络V o l u m e 数据卷电力大数据开发试验和共享服务平台国家电网公司S T A T E G R I Dc 0基础设施服务管理层生命周期持续集成自动部署弹性伸缩服务治理计算资源池服务器详细功能-服务层基础设施服务计算资源网络资源存储资源L i n u x系统环境大数据软件环境大数据基础组件D o c k e r 资源调度层K u b e r n e t e sD o c k e rO v e r l a y n e t w o r kD o c k e r-R e g i s t r yI a a s 资源层网络资源池网络设备存储资源池分布式存储国家电网公司S T A T18、 E G R I D测试验证详细功能-服务层验证对象大数据技术数据分析算法食大数据平台系统数据挖掘工具食大数据功能模块数据质量大数据工具产品食验证服务试验验证流程定义大数据容错性验证试验验证数据生成自动化性能试验验证试验验证负载定义系统能耗验证自定义试验验证服务可用性验证分析统一服务接口验证工具大数据仿真生成工具大数据负载生成工具大数据性能验证工具工目部署拉取工具镜像K u b e r n e t e s+D o c k e r电力大数据开发试验和共享服务平台国家电网公司S T A T E G R I DD O C K E R 容器技术关键技术D o c k e r 容器技术：在一台物理机上启19、动多个在独立沙箱内运作的应用，相互不影响，无G u e s t o s,资源利用率更高。d o c k e r启动速度快：通常在一秒内可以启动性能开销小：几乎没有额外资源开销 应用在独立沙箱内运作，相互不影响 目前，G o o g l e 每秒大约会启动7 0 0 0 个容器，每周超过2 0 亿个商A p p AA p p B业应B i n s/L b sA p p B在2 0 1 5 年的6 1 8 活动，京东线上共运行了超过了用 1 1 0 0 0 个D o c k e r 实例以及几百个K V M 虚拟机来支持B i n s/L b sG u e s t O sH y p e n t e20、 o r 截止2 0 1 5 年3 月份，腾讯已使用了大概1 5 0 0 0 个常驻的D o c k e r 容器，来实现对其服务的支持H b s t O SH o a t O sS e r v e rS e r v e r容器：应用云化V M 虚拟机：基础设施云化国家电网公司S T A T E G R I DD O C K E R 容器技术容器和V M 一样具有着一定的隔离性，各个容器之间的数据和内存空间相互隔离，可以保证一定的安全性。容器相对于 V M 有以下几个优点：启动速度快：容器通常在一秒内可以启动，而V M 通常要更久资源利用率高：一台普通 P C 可以跑上千个容器，一个容器镜像只21、有几十M,而虚拟机有几+G性能开销小：V M 通常需要额外的C P U 和内存来完成O S 的功能，这一部分占据了额外的资源实际评测中发现，同样的应用和负载，相比原有的虚拟化场景，容器化部署的资源花费通常只有1 0?至1%.架构用户使用应用开发部署关键技术D o c e r/K V M c o m p u t e N o d e U r e d M e m a r y适合场景容器和虚拟机的区别容器宿主O S,对系统资源直接按容器划镜像文件小，部署快资源利用率快速开发部署，所有依赖打包。镜像优点分，不需要虚拟化出新的O S高文件小，启动速度快批量微服务，D e v O p s,横向扩展性好容器内22、应用只能使用宿主一样的O S应用需要重新开发微服务模式，适应不足用户无法使用自定义操作系统资源，且需要考虑宿主安全容器特点，不推荐持久化依赖L I N U X虚拟机优点宿主O S 虚拟出硬件资源给V M,V M使用自己的O SV M 间、V M 与宿主O S 隔离，安全性好所有依赖打包，整机部器方便不足占用更多的系统资源应用部署时间长镜像文件大，部署时间长，横向扩展性差传统服务器上云，老应用服务快速虚拟化国家电网公司S T A T E G R I Dc n n关键技术D O C K E R 容器技术D o c k e r 基本系统架构采用分布式架构，C l i e n t 与S e r v e23、 r 可运行在同一主机上，也可运行在不同主机上，通过S o c k e t 或R e s t f u l A P I 通信。D o c k e r C l i e n tD o c k e r R e g i s t r yD o c k e r 仓库，存放I m a g e公有仓库：D o c k e r H u b私有仓库 向D o c k e r D a e m o n 发送容器管理请求 D o c k e r D a e m o n (S e r v e r)监控C o n t a i n e r 状态 根据C l i e n t 需求启停、控制容器D o c k e r基本架构C l24、 i e n t H o s tD o c k e r C l i e n tS e r v e r H o s tContainer AContainer BContainer CContainer CContainer DContainer D,Container AD o c k e r D a e m o nD o c k e r R e g i s t r yI m a g e AI m a g e CI m a g e EI m a g e BI m a g e DI m a g e F国家电网公司S T A T E G R I D0K u b e r n e t e s+D o 25、c k e rK u b e c t l关键技术M a s t e rA p iS e r v e rS c h e d u l e rR e p l i c a t i o nC o n t r o l l e r用户K u b e l e t:管理P o d、容器、镜像、V o l u m e 等。K u b e-P r o x y:对N o d e 提供网络代理和L a b e l功能，配合S e r v i c e 提供网络服务。N o d eN o d eN o d eK u b e l e tK u b e-P r o x yP o d:是K u b e r n e t e s 最26、基本的部署调度单元，可以包含c o n t a i n e r,逻辑上表示某种应用的一个实例。A P I s e r v e r:提供标准的R e s t 服务，更新E t c d存储等。c o n t a i n e rP o d 1c o n t a i n e rc o n t a i n e rP o d 2P o d 3D o c k e rd o c k e rR e g i s t r yS c h e d u l e r:负责完成P o d 与N o d e 的绑定。R e p l i c a t i o n C o n t r o l l e r:是p o d 的复制抽象，用27、于解决p o d 的扩容缩容问题国家电网公司S T A T E G R I D微服务&微应用微服务&微应用架构的特点：可通过A P I 访问的、单一用途的小型程序集合是一组非常小的、粒状的(g r a n u l a r)、独立的协作服务或应用的集合旨在通过将功能分解到各个离散的服务或应用中以实现对解决方案的解耦，符合单一职责原则和便于接口依赖。各小程序可使用不同语言，不同架构W e b U I多系统联调费时费力，编译时间长，构建过程往往互不相同，前期成本高A P I G a t e w a yD o c k e r 将所有应用都标准化为可管理、可测试、易迁移的镜像/容器，因此为不同技术栈提供28、了整合管理的途径。M i c r o S e r v i c e sP o s tg r e s q lR e d i sE l a s t i cS e a r c hR a bb i t M QK a f k a关键技术S 3国家电网公司S T A T E G R I Dcn?关键技术多租户技术。电力大数据开放共享服务平台的多租户的主要功能是进行分布式存储资源的隔离以及计算资源的隔离，是通过H D F S 用户组以及Y a r n 动态资源池来实现的。基于H D F S 用户组的存储资源隔离 H D F S 用户组中对存储资源的读写权限进行了设定和控制，不同的用户和用户组对存储资源具有不同29、的读写权限。建立可以与H D F S 的用户组映射的租户组，通过将租户加入或移除租户组来实现对H D F S 存储资源的隔离。d r w x r-X-t g r o u p/u s e r s/(t e n a n t i d)t a d m i nd r w x r-x-t a d m i nt g r o u p/u s e r s/l t e n a n t I d)/a r c h i v ed r w x r W X-+t a d m i nh i v e/u s e r s/(t e n a n t i d j/a r e h o u s ed r w x r w X-+t a d30、 m i n/u s e r s/i t e n a n t i d /w a r e h o u s e/(d b J 7 t a b l e)/i p a r t i t i o n)h i v ed r w x r-x-t a d m i nt g r o u p /u s e r s/l t e n a n t i d /l a n d i n gd r w x r-x-t a d m i nt g r o u p /u s e r s/i t e n a n t I d /l i b sd r w x r W X-t a d m i nt r o u p /u s e r s/i t31、 e n a n t I d /p r o c e s s i n gd r w x r-x-i t u s e r)t g r o u p /u s e r s/(t e n a n t I d)/p r o c e s s i n g/(j o b i d)d r y x r-X-(u s e r t g r o u p /u s e r s/i t e n a n t I d)/p r o c e s s i n g/(j o b I d)/i n p u td r w x r-x-I t u s e r)t g r o u p /u s e r s/i t e n a n t i d 32、/p r o c e s s i n g/j o b l d /o u t p u t基于Y a r n 动态资源池的计算资源隔离D y n a m i c P a r t i t i o n i n gT e n a n t A T e n a n t D 动态资源池是对Y A R N 应用程序进行资源和策略分配的池。动态资源池允许安排和分配用户访问特定池，用来执行Y A R N 应用程序的资源。如果一个池的资源未被使用，它可以被占用并分配给其他池。否则，就根据各个池的权重来共享资源。1 2.5%1 2.5%命名资源池+调度策略基于权重的资源分配 基于用户优先级的服务水平保证访问控制列表T 33、e n a n t C 2 2 5%租户程序的资源池放置策略T e n a n t B 4 5 0%国家电网公司S T A T E G R I D内容Contents123大数据开发试验和共享服务平台建设背景大数据开发试验和共享服务平台总体方案大数据开发试验和共享服务平台应用场景4大数据开发试验和共享服务平台典型应用用户模型专家模型库数据可视化组件数据仓库元数据算法库专家团队数据挖掘工具数据仓库分析师团队业务专家大数据专家数据专家数据探索一应用流程电力数据数据抽取清洗转换装载关联外部数据样本数据算法专家计算专家国家电网公司S T A T E G R I D数据资源申请业务用户数据资源需求 浏览34、数据目录信息 填写数据申请表提交数据申请N管理员审批Y数据打包与处理 配置租户信息 生成数据访问接口数据集市多租户管理数据探索数据申请分析工具接口配置与连接Y数据到期Y延期申请延期审批NN使用完毕数据接口回收国家电网公司S T A T E G R I Dc n计算资源申请数据探索一计算申请业务用户数据量要求计算时间要求计算资源需求估算 一填写计算资源申请表提交计算资源申请管理员N审批分配计算资源 配置租户信息 生成资源调用接口大数据工具大数据服务接口配置与连接Y资源到期Y延期申请审批NN使用完毕接口销毁资源回收大数据集群多租户管理国家电网公司S T A T E G R I D数据探索-开发流程35、大数据敏捷开发大数据研发需求YN大数据研发设计自有开发工具开放共享平台+用户开发工具申请操作系统部署开发测开展大数据申请测试数产品测试与仿真环境试环境研发据完善申请大数据开发环境开放共享平台开展大数据申请测试数研发据和工具产品测试与完善形成大数据产品大数据产品发布基础设施服务计算资源网络资源存储资源数据资源L i n u x系统环境验证测试工具大数据软件环境大数据基础组件电力大数据开发试验和共享服务平台国家电网公司S T A T E G R I D内容Contents123大数据开放共享服务平台建设背景大数据开放共享服务平台总体方案大数据开放共享服务平台应用场景4大数据开放共享服务平台典型应用36、分析探索服务面向电力大数据分析师，提供大数据分析探索服务。面向研发人员的大数据分析探索服务开放共享平台用户分析工具自有分申请大数据仿分析工具部署业务分析Y申请数据资源业务分析执行分析结果展示输出析工具真集群集成需求业务分析N完成开放共享平台选择分析工具业务分析申请计算资源申请数据资源业务分析执行分析结果展示输出设计门户Paas食数据服务食大数据系统仿真面向开发人员的大数据研发门户统一P a a s 服务接口应用监控日志审计多租户K u b e r n e t e s+D o c k e r目目 目 目目目目目生产区大数据集群关系数据库非结构化数据存储系统目目E I L 工具M P P 数据库开37、发区开发集群测试集群国家电网公司S T A T E G R I D面向政府应用辅助经济决策能源政策分析社保民生服务电力数据共享面向企业应电力征信体系配售电管理电力知识电力地图辅助决策数据运营电力数据交易辅助选址电力大数据开发试验和共享服务平台数据共享应用共享测试验证已开展应用面向社会应用用电数据查询分布式能源消纳用电行为分析用电习惯建议基础设施国家电网公司S T A T E G R I Dc 0典型应用案例面向政府面向企业面向社会行业复工率分析利用节假日期间企业用电量数据，判定企业开/复工状态，展现各行业在节日期间的复工率走势，反映行业发展态势，为政府全面把握行业信息、执行宏观政策提供信息服务38、。工率及的1576体行工车分所N m mM 床光+林|省十大行业2 0 1 7,2 0 1 峰都后智行查工p的8 业1tt is1.8.8M 8 s w n 经三I行复工率分析11m展示十大行业节后复工率情况，对全行业复工率排名。用不同开工判断标准反映各行业节日期间的复工率走势。利用行业开/复工状况、平均工资增长率、就业人数增长率等信息，判断该行业整体工作量较为饱和，行业发展势头良好。3 5典型应用案例面向政府面向企业面向社会住房空置率分析利用居民日常用电量数据，判定住房居住情况，展现各省近几年的住房空置率走势，对比某省下辖市和某市各区县的住房空置率，反映房地产市场供求状况，为政府制定楼市宏观39、调控政策提供决策支持。住房空置率面述：电是居民家宜日就生活的必音，本应用形用用电信息对居民住宅最石为空置用进行划分，计算了一时间内草地区的省住身空率，市住房空率 区(县)住用空图事，多角度反踪该地区的住房供求忧说，为数府行调控提供决隔变肆。:A 下M W 7 2 0 1 7 7 营的但空，都下W 8 酒三年水空n,8 2 M金国各省住空西率陕西省近三年住房空雷率走势住用空率:W e a a r.A 下W 7 M w w e 8 2 n,流个8 n 2福公表子市小器)路出1 2 本o s0 0 0o o 加0陕西省各市空置房数和普通居民数8 8s s安市住房空置率西安市各区住房空置率以热力图形式40、展示全国各省份住房空置率高低，点击某省份区域，右图呈现该省近三年住房空置率走势，综合判断该省房地产市场供求稳定。从居民用电维度判断住房空置情况，展示某省各下辖市住房空置率，进一步对比各区(县)住房空置率高低，反映各地区房地产市场房源分布不均、供求不平衡等状态。3 6典型应用案例面向政府面向企业面向社会用电市场辨识及发展趋势研判根据行业用电量与影响因素相关性分析，对观察区域用电市场支柱产业和新兴产业进行辨识。在政府规划城市产业政策时，可根据用电市场的辨识及发展趋势有针对性的对产业政策进行调整。行业聚类结果分析1 o 试，-c a 用t n.用t n m r m 同.m a 二相M D n e 用41、t r mo m s o o m u 0 区0 r g o m X 0 呕0 m 第 0*o 和g o 0 r 区 O 第00性度对比.0 0 0 万支柱产业和新兴产业综合评价a i 分P u G m 最t,#a a(I 嘴，业m 水平、)对行速，薄个i ma)分三1 号*区分行限*7 0 r:水平6 0-a n,8 W 水不属+a u-a m 水干(0-1).产2 5 业电量0 产业行业用中量理量对+合发服水平用名t ou o e市场识别根据支柱产业和新兴产业不同的用电类别和特征差异，并对比二者在该区域内的产业规模及用电趋势特征，对用电市场合理调整提供依据。发展评估评估各产业当下的发展水平和42、态势，可以很直观的看到目前在制造业和金融业是其主要的发展行业。3 7典型应用案例面向政府面向企业面向社会基于用电数据的征信参考服务利用用户用电信息和缴费情况建立征信模型，以全面分析评估企业或个人的资质和信用情况，从而有效提升现有征信体系的服务能力，有利于联合征信体系进一步拓宽对非银行信息的采集，有利于进一步倡导诚实守信的理念，引导消费者更为重视自己的信用。数据预处理筛选用于建模的数据维度进行统计分析依据行业信息对数据进行标准化并构建征信体系输出用户的信用情况及相关指标统计结果用电征信参考服务体系建模流程图分析结果属示各类型用户用电和欠费情况1 0 0 0 08 0 0 00 04 0 0 0243、 0 0 0大行种m信用等级分布情况a n a t各类型用户信用情况m m a sm P1.7 6 1 05 0 6 1 30 23 s3星3wn4n 02=12 7.m o n4 0 81.5貌集翼用气集高于中见中中事事0 8 4 604i s m0 7 4 7 00 29 6m P um5 1.0 2 u0 26 0 7 0 2n.9 70 12 0 4 41.m on 2 m m0 2n o ua3二m m 002 0 nM 9a n2 5 0 9a1 o n2 0 1.0 2 0 0m m s1111111181 0na 1 7 4 nc o1 0 0 5 80 2 0 6 5 9 744、a s三m m o n o 1a1 1.n a0 1 s s o o s n1 4 1 1 mn o0 1 6 n o n。1a 1 0 0 m so ca n s aw mm a ns0 2 00 0 9s 90 o1 1.m 0 1 s 7 4 2 0 4a依照基于用电数据的征信参考模型，用户可细分为信用极好，信用较好及信用一般三种类型，结合用户个人及所在行业征信相关信息，可以有针对性地采取不同的管控策略和营销方案。3 8典型应用案例面向政府面向企业面向社会电力客户价值划分电力客户价值划分模型主要实现对客户基本信息、用户用电行业类别、用户用电增长潜力、欠缴费记录、等数据进行聚类分析，对共同45、特征进行描述分析，最终得出更细化的用户分类如优质客户、发展型客户、普通客户和风险客户特征。基础分析0 势父行为模型结单展示将客户细分为优质，发展，风险，营遇客户，分对不行特证描述和分布特征描述客户分布i a u 5类型客户a 行为程分不容户类型用电行为描述相关的用户统计，用户的分布，用户用电的行为，用户的用电趋势。各细分客户特征对比，直观反应各细分客户的特征指标现状。可以看到优质型客户一方面用电贡献大，另一方面缴费行为无异常。3 9典型应用案例面向政府面向企业面向社会居民违约用电识别选取一定时间范围内的用户日冻结电量，通过大数据平台的S p a r k 引擎，分别对用电量及用电行为进行聚类，并46、将用电量高且波动大的居民用户筛选出来，作为疑似违约用电对象并进行核查。电的的nr用户日冻结用电量数据预处理大数据平台样本训练S p a r k聚类筛选疑似违约用户列表通过实地检验核查，本系统分析准确率达8 5?上4 0典型应用案例面向政府面向企业面向社会变压器风险预警通过对变压器故障时产生的H 2、C H 4、C 2 H 6、C 2 H 4、C 2 H 2 等特征气体和故障类型进行关联规律分析，构建变压器故障诊断规则集，及时发现变压器内部的潜伏性故障，实现变压器潜在风险快速预警。变压器故障专家库子模型变压器故障诊断应用子模型历史数据设备故障数据处理设备故障类型专家库专家库优化设备台账数据在线监47、测数据检修试验数据人工神经网设备故障分类器人工神经网络分类器或设备故障诊设备缺陷数据络或支持向支持向量机断树电网运行数据量机理论分类器设备故障识别器气象数据设备故障(状态)数据故障研判数据处理当前数据故障预测特征量预测数据处理风险预警结果熟电变压器风险预警分析系统4 1典型应用案例面向政府面向企业面向社会工业用户细分及特征分析利用用户海量用电数据，以用电规律为切入点，开展工业用户细分、各类工业用户的用电规律和特征分析，构建工业用户细分模型，为工业用户提供自身定位分析以及资源合理使用评估分析。工业用户细分明细用户分类用户浙江海有限公司金华码有限公司中国太“心支公司浙江中有限公司旭光高耗电型村民委48、员会中高耗电型绍兴市“基督教堂华都房“有限公司温州市“城加工场丹山市有限公司机州东印包破厂杭州八有限公司华都房有限公中低耗电型司浙江康有限公司新I 广有限公司宁波经有限公司宁波维“诺分公司台州市(通合伙),绍兴市木种苗站湖州市金加I 厂温州新低耗电型有限公司工业用户细分情况工业用户细分工业用户类型用电趋势区地=C 凹用电量2 5 02 0 01 5 01 0 05 0日期2 0 1 7-0 6-1 82 0 1 7-0 6-1 92 0 1 7-0 6-2 02 0 1 7-0 6-2 12 0 1 7-0 6-2 22 0 1 7-0 6-2 3高耗电盟中度耗电型 去中任耗电型低拜电型各工业49、用户类型用电特征分析提供工业用户细分模型，分析了不同工业用户类型包括的具体用户和对应的用户数量。提供工业用户用电特征分析，辅助工业用户自身定位分析，为用户资源合理使用评估提供服务支持。4 2典型应用案例面向政府面向企业面向社会工业用户用电合理性分析利用用户海量用电数据，以用电量和电费为切入点，开展工业用户与行业用电分析、工业用户电费构成情况分析，深度挖掘用户用电行为规律，为用户合理用电、节约电费提供服务支持。2 0 0 01 5 0 0 0 01 00 0 002 0 1 6 年用户与行业用电摇标一以监画C 国6 0 0 0c 0 00 00 02 0 1 6 用户电费基本情况a o n o-a r o u 06 0 0 05 0s e0 08 0 02 0 0 01 01 4码码0 41 1 41 2 4硝确码1 20工业用户用电与行业用电分析提供工业用户与行业用电分析模型，深度分析历年工业用户与行业月度用电量变化规律。例如，2 0 1 6 年1 0 月某用户所在行业用电降低，该用户用电与上月用电相比变化不大。用户电费构成情况分析提供工业用户电费构成情况分析，辅助工业用户指定合理用电措施，为用户节约电费提供服务支持。4 3谢谢观赏O U国家电网公司S T A T E G R I DC n o N o r a n A