1、2019年7月人工智能基础课程AI技术在项目中的应用2内容概要本次课程讲解人工智能典型场景，包括以下内容：基于AI产品成果的典型案例 AIOps平台 天宫云平台运维 人脸识别 计费运维安全管理平台 机器人聊天 计费钉钉移动运维 预测模型 收入数据管理 基于神经网络的典型案例 神经网络在信控熔断场景中的使用3目录第二部分第五部分第一部分预测模型与收入数据管理AIOps在天宫平台运维中的应用第三部分神经网络在计费信控熔断中的应用人脸识别与计费运维安全管理平台第四部分自然语言与计费运维4AIOps技术基础 架构AIOps有两个主要组件：大数据、机器学习AIOps架构了三个不同的IT学科：服务管理、性2、能管理和自动化，以实现持续洞察和改进的目标。AIOps是一个认可和一个游戏计划，在新的加速IT环境中，必须有一个新的方法，由大数据和机器学习的发展所承载。图示：Gartner对AIOPS平台的可视化图示：构成AIOps平台的技术 AIOps平台包含性能管理、服务管理、自动化和流程改进等IT技术，以及诸如监控、服务台、容量管理、云计算、SaaS、移动性、物联网等技术5AIOps技术基础AI模型应用计算任务调度管理系统模型构建工具算法库数据准备数据输入离线应用实时应用API调用应用离线训练实时任务离线任务交互式任务Spark connect/Local connect/交互引擎效果评估数据检索统计3、分析数据调优模型选择 特征工程深度学习机器学习时间序列文本处理 Sql/表达式分拣代码编制关联分类储备 用户数据样本库HDFS/MYSQL等存储体API调用任务AIOps建模服务能力视图数据分析AI建模数据管理数据接入数据计算数据存储日志检索日志分析其他分析实时监控智能监控其他智能模型数据开发服务数据分析服务AI建模服务元数据管理数据集市数据安全数据质量交互式分析 数据可视化交互式建模场景模型异构数据库数据订阅统一查阅实时计算离线计算复杂事件处理数据采集数据清洗数据分发AIOps平台能力体系 AIOps开源平台能力体系、建模服务能力结构图：AIOps工具集成虚拟存储应用&数据服务CPU/GPU4、投资回报率服务保证AI成熟度模型存储支持AI的操作数据库服务WEB服务机器学习开发环境网络数据库业务流程运营服务运营管理党派 监控 故障预测 容量规划 KPI分析和报告AI OSS 功能 事件管理 故障管理 问题管理 服务请求管理.容量管理 服务水平管理 客户体验管理 自动维护kubernetesDRDSRDSMQOSCustom Library 客户投诉预测 网络优化 预测性维护cBSS2.0 IT运维转型之痛互联网业务的蓬勃发展，分布式云化架构的广泛应用，传统的运维模式面临越来越多的挑战，难以适应业务的高速发展需求，智能运维(AIOps)已成为必不可少的运维利器日均9亿次调用服务毫秒级响应5、99.999%可靠性云化应用数36个规模大发现难定位难用户体验差异常检测：自动发现时间序列数据中的异常波动故障智能分析：机器学习、数据挖掘、大数据相结合，故障智能分析业务视图总览：业务调用链+业务指标监控一点看全AIOps基于AIOps的天宫运维解决方案AIOps以机器学习框架为基础，结合数据挖掘、大数据等技术对监控数据、业务日志、告警信息进行分析构建集异常检测、故障智能分析、业务视图为一体的智能运维平台决策树算法孤立森林算法Apriori算法监控数据业务日志告警信息异常检测故障智能分析业务调用链数据处理日志处理基于AIOps的天宫运维产品功能架构核心框架：AI智能运维研发的框架，借助机器学习6、建立核心框架。数据中心：运维数据集中化收集和处理，提供流处理能力，实现海量监控数据的集中存储与处理日志中心：业务日志集中化收集和处理，实时计算、统一报表，实现业务视图全景监控知识库：存储历史故障表征信息、人工知识经验、解决方案等，控制运维平台的行为基础设施中间件应用数据中心知识库数据清洗数据采集质量控制数据打标数据存储执行策略历史经验空间向量模型语料库语义扩充模型业务指标全景图异常检测数据存储故障智能分析业务调用链业务日志核心框架模型加载模型训练统计报表数据挖掘多维度汇聚大数据分析开发工具算法日志中心规则配置日志采集日志清洗持久化存储聚合计算日志策略解决方案天宫运维产品核心框架-机器学习机器学7、习：需要大量的数据来训练，对故障的历史数据进行场景分类和标注，不断用模式识别和数据来训练机器识别和分析，让机器自动准确判断。执行策略：来自产品功能架构的知识库模块。数据中心数据接入特征处理模型训练模型评估模型发布模型存储模型调研测试环境模型方案生产环境模型自学习数据接入特征处理模型增量训练模型更新模型存储智能告警异常分析执行策略方案后项目对需求的满足状况 AIOps方案实施后实现了对故障的预测、智能化分析及解决方案推送的需求，提升了运维效率的同时，缩小了故障发生的频率与影响范围。AI故障预测、故障分析 故障预测：解决了目前监控告警只是对已发生的事件进行预警，无法有效的预测故障发生的问题 解决方8、案推送：结合知识库系统，自动推送故障解决方案故障分析：智能化故障分析解决方案推送：自动推送解决方案故障预测：故障提前预警 故障分析：智能化故障分析，解决了主要依靠人力排障，排障时间长，缺少智能分析定位系统的问题，缩短了排障时间，缩小了影响范围典型场景：异常检测 常规的异常检测多是由业务人员先发现，报告，基于AI的异常检测能够在故障发生的第一时间通过机器学习，自动发现问题 基于孤立森林算法构建异常检测模型，自动发现时间序列数据中的异常波动，具有低时延、高准确率的特点，解决了海量数据中的异常数据识别难的问题历史数据聚类算法阈值数据拆分异常数据比例数据处理孤立森林算法模型12345676实时监控数据9、数据处理异常检测123通过对基于高斯分布的异常检测算法、绝对中位差、孤立森林等算法的测试分析，选择孤立森林算法作为异常检测的算法，实际使用中根据业务场景、数据特点等可选择不通算法，配置灵活典型场景：故障智能分析 机器学习、数据挖掘、大数据相结合，机器学习与专家经验相结合，构建故障智能分析系统及知识库系统 实现了故障实时分析，自动生成故障报告，自动推送解决方案，解决了分布式架构下故障发现难、定位难，耗时长的问题，实现了“基于历史经验”到“基于机器学习”的转变离线数据聚类算法特征阈值故障异常指标Apriori算法关联分析模型12比对3知识库系统456异常指标结果实时监控数据比对123大数据分析故障10、报告解决方案4567人工知识历史经验效果展示异常检测异常分析&导航式排障项目价值减少资源投入，增加收入减少运维和时间成本，增加企业收入推动创新推动数字化转型，提升创新动力，促进企业竞争力持续提升提高效率智能化运维，运维效率显著提升提高服务质量服务更稳定，服务质量显著提高提升客户体验业务中断时间显著减少，客户体验明显提升AIOps通过机器的自我学习和分析决策，结合数据挖掘、大数据等相关技术，实现了“基于历史经验”到“基于机器学习”的转变，AIOps的研发与落地有助于激发人员的创新能力，推动数字化转型，持续提升企业竞争力使用效果提高效率提高效率提升用户体验降低运维成本降低运维成本降低负面影响范围告11、警消息数量30min故障解决率运维人员占比系统稳定性提升业务中断时间2,5005025%75%75%95%2 Hours10 Mins使用前使用后AIOps30%18%35%20%运维成本占比10%故障投诉率30%17目录第二部分第五部分第一部分预测模型与收入数据管理AIOps在天宫平台运维中的应用第三部分神经网络在计费信控熔断中的应用人脸识别与计费运维安全管理平台第四部分自然语言与计费运维计费信控熔断业务场景说明防止大批量误停；异常情况直接熔断；识别小批量异常用户；效果深挖痛点问题，安全保障优先；高频监控生产，提高应急效率；挖掘特征规律，建立识别模型；思路异常用户识别批量停机加固未知风险预防12、目标目前痛点：参数变更频繁上游模块参数每天都存在总部和省分变更，量大且对下游影响难以评估充分资料迁转量大资料变更频繁，一旦出现问题数据往往是批量问题，存在较大隐患日常停机量大随着用户体量增大，正常停机量随之上升，鱼龙混杂容易掩盖异常停机，识别日益困难信控规则复杂省分个性需求日益复杂，敏感业务通常使用参数、JS规则、配置文件综合变更才能实现，验证成本高结合神经网络技术解决方案生产资料OGG消息智慧信控平台DMDB实时账单停机分类统计量级对比计算构成占比计算用户特征统计多级熔断规则判断停机特征计算 用户行为采集行为向量化行为时序化异常聚类风险行为挖掘批量异常停机熔断用户级智能信控监控告警异常数据归13、档信控熔断保护开机基础数据核心处理异常处置基础数据以OGG停机分发工单为触发源，获取用户后从DMDB生产资料实时账单中获取用户相关属性。核心处理1.批量异常停机熔断从停机单量级、属性、构成等维度与历史分析数据相结合判定重大停机风险。2.用户级智能信控根据业务分析用户停机前相关性行为数据，通过行为的向量化和时序化通过AI模型识别异常用户。异常处置根据不同类告警信息进行分级应急处置，异常用户归档供后续分析Hbase神经网络解决方案(1/2)1.定期分析沉淀的历史监控数据，结合不同时段、假期、等维度进行时间序列训练（ARMA/LSTM），预测未来时刻停机量；2.对比5分钟时间片实时停机量与预测停机量14、的差值波动，匹配熔阻断规则，对于波动超过阈值的进行告警累计，超过连续3次（个别量小省分可能设定超过3次）进行自动熔阻断和告警；历史停机数据预测停机量预测算法实时停机量差异对比匹配熔阻断规则调用熔断接口调用告警接口Hbase宽表神经网络解决方案（2/2)Hbas画像宽表停机行为向量化服务1.对停机用户行为排序，形成时间维度的有序序列，采用频繁集的挖掘算法，提取正常频繁集，在识别过程中匹配其中是否含有正常频繁集或异常序列，发现疑似异常停机。2.实时统计构建的停机行为序列组成占比，监控占比波动异常。根据目前采样，95%停机单由费用触发，一旦低占比序列发生占比大幅提升状况则可能存在批量异常停机。数据源15、采集清洗向量化训练、预测落地、数据分析展示序列模型训练和预测OGG实时停机序列结果输出落地序列校验及占比分析识别到小批量异常停机列规则及阈值行为序列比重展示调用告警保护性开机神经网络 AI建模实施获取数据集数据与处理交叉验证数据划分模型训练模型评估模型优化使用LSTM递归申请网络进行学习训练、参数调优、后的训练结果，其中蓝色为原始数据，黄色为预测数据。23目录第二部分第五部分第一部分预测模型与收入数据管理AIOps在天宫平台运维中的应用第三部分神经网络在计费信控熔断中的应用人脸识别与计费运维安全管理平台第四部分自然语言与计费运维人脸识别流程在人脸匹配构建模块中，两个模板会进行比较，从而得到一个16、相似度分数，该分数给出了两者属于同一个主体的可能性。在人脸表征阶段，人脸图像的像素值会被转换成紧凑且可判别的特征向量，这也被称为模板（template）。理想情况下，同一个主体的所有人脸都应该映射到相似的特征向量。人脸检测器用于寻找图像中人脸的位置，如果有人脸，就返回包含每张人脸的边界框的坐标人脸对齐的目标是使用一组位于图像中固定位置的参考点来缩放和裁剪人脸图像人脸识别人脸识别 技术清单PythonDlibScipyface_recognition传统机器学习算法（SVM，KNN）CNN、ResNetface landmark estimation Histogram of Oriented 17、Gradients 实现语言和框架scikit-imagePillowHyperLandmark 算法理论获取数据集数据与处理交叉验证数据划分模型训练模型评估模型优化处理流程企业、住宅安全和管理电子护照及身份证公安、司法和刑侦自助服务信息安全娱乐应用业界应用场景金融业医疗应用人脸识别在计费运维安全管理的应用目前人脸识别app，是以智云视图开源的活体检测方案检查人像是否合规，以face_recognition作为人脸对比的解决方案，在安全管理平台的金库认证中，帮助检查金库授权是否合法有效。27目录第二部分第五部分第一部分预测模型与收入数据管理AIOps在天宫平台运维中的应用第三部分神经网络在计费18、信控熔断中的应用人脸识别与计费运维安全管理平台第四部分自然语言与计费运维自然语言处理技术清单 HMM Word2vetor CRF Python MITIE Rasa Stack用户输入分词处理特征提取意图分析对话管理语言生成 NER LSTM 算法理论 Tensorflow duckling chatterbot 实现语言和框架 建模过程自然语言处理的应用 聊天机器人 聊天机器人对理解数字化客服和频繁咨询的常规问答领域中的变化至关重要在一些领域中的特定场景中非常有帮助，特别是会被频繁问到高度可预测的的问题时。自然语言处理在cBSS1.0运维的应用简介钉钉移动运维微应用中的机器人，使用Chat19、terbot作为自然语言处理工具，Elasticsearch作为知识库检索存储，Rasa Stack作为任务型流程的处理工具，支持文本和语音模式对话。对外提供知识检索、功能定位、数据查询、任务执行等功能。基于自然语言处理的钉钉机器人聊天产品总体框架31交互层接口服务层数据采集训练数据存储Elasticsearch闲聊语料训练任务型语料训练检索数据采集Mongobd机器人服务内部接口服务RASA StackChatterbotRedisMysql语音识别数据检索语音转文本功能定位SpringCloud32目录第二部分第五部分第一部分预测模型与收入数据管理AIOps在天宫平台运维中的应用第三部分神20、经网络在计费信控熔断中的应用人脸识别与计费运维安全管理平台第四部分自然语言与计费运维33预测模型理解 人工智能为企业带来的潜在价值 构建预测分析模型通过一个例子说明预测模型：电子商务业务需要从总仓运送到目的地分仓，并且您已经承诺2天交货。在他们的分拣设施中都有不同的截止时间。这将需要你的仓库在15到45分钟之间来挑选和打包订单，今晚有超过62的雷暴天气情况。您是通过空运（快递）还是通过地面运输？如果您选择空运，则会损失所有利润。如果您选择地面，您的保证金很好，但可能会很晚，您可能会失去客户。实现这一决策的唯一方法是每天数千次为您的业务增长预测未来。考虑太多的变量和因素，借助人工智能设计预测分析21、模型。大数据预测分析模型准确分析提升产能34预测模型产能指数级上升35SAP预测分析 全程参与 企业数字化转型收入构成业务一览 收入管理系统是衔接B域和M域的生产系统，每月1号-3号，获取所有涉及B域系统的收入数据，经过业业、业会等处理，并于3日24点前，将转换后数据送ERP系统，集团公司及各运营公司对外披露均已收入管理系统报送收入数据为准。各收入来源系统主要包含的业务实际在收管落地时间cBSS系统1、账单、流量结转、降欠、赠款、降欠回收2、4G公允价值BSS系统集中结算系统ESS系统ECS系统1、cBSS分摊，2日18点2、cBSS报表，2日15点1、账单、调账、沉淀收入、积分、会业差异2、22、BSS营业日(月)报、cBSS营业日(月)报1、3日12点前2、12省日报，月报2日-3日1、网间实结；2、网间暂估、全网增值实结、省分增值；3、全网增值暂估；4、摊分14个1、1日前；2、1日-3日；3、3日晚；4、3日12点前1、3G公允价值，存费送机购机送费等1、3日12点前1、积分商城、一卡充销售折扣等4个1、3日12点前某省分全收入构成VOP系统1、移动转售业务1、3日12点前手工导入1、合同类收入2、非合同类收入1、当月26日12点前2、3日12点前其他系统1、集中渠道、新零售、权益中心等1、3日12点前业务特点和问题 业务特点：1、cBSS和BSS收入占大头2、对接系统接口多，业23、务种类复杂，数据源约2500多个3、各类业务提供时间分散，不确定性因素较多 存在问题：1、木桶效应，等最晚的2、系统关账前总存在变数3、不够快、时效性不够，无法尽早掌握收入情况37系统+业务以系统来源和业务组成两个方面，重点预测各系统收入组成及月度收入情况，结合重点业务的预测实际+预测具备实际数据前以模型预测为准，正式实际数据+预测数据相结合省分试点业务参与建议选取试点省分，出账绿色通道，同时积极协调业务部门参与确认预测+快报参照广东模式，分5次预测，出账前1次，出账1号开始后，直到收管关账集中+省分以预测集中系统（如cBSS、结算）的收入为主，省分系统以省分为主收入预测设计原则收入预测方案（24、1/3）基础数据获取编编号号字段字段字段名字段名类型类型备注备注1ACCT_CYCLE账期int2SYSTEM_ID系统编号intCbss/Bss/3SOURCE_TYPE数据类型varcharSF01/JQ4DATASOURCE_CODE数据源bigint512121001/-1/5PROVINCE_ID省分编码Int6AREA_CODE地市编码Int7ACCOUNT_ITEM_CODE会计科目Varchar8Professional专业int9DB_TYPE数据库标识int1正式 2测试10AMOUNT总额decimalFee_type对应金额11NET_AMOUNT净额decimal净额25、12TAX_AMOUNT税额decimal税额13Fee_type金额标识位tinyint详情见附录4.1基于收入管理系统中的详细收入数据或综合报表，统计出历史每个月账期的各业务的收入基础数据；主要字段包括账期、省公司编码、地市编码、数据源、专业、数据库类型（生产、测试）、总额、净额、税额等，建立各业务收入时间序列。39收入预测方案（2/3）总部：系统提供+模型预测省分：省分提供+模型预测cBSS系统固宽及4G账单调账，降欠及赠款流量不清零、沃云多云财税差异4G公允价值数据结算系统网间结算、专业间结算、增值结算集中结算系统其他摊分JQ业务14/25项JQ38/JQ39/JQ78/JQ87（EC26、S）、JQ47（VOP）、JQ25（手工）、JQ21（北分）ESS/渠道/新零售3G公允价值数据（ESS）集中渠道包销折扣（11省）新零售（1省）BSS出账固宽23G账单调账（扣降欠）、赠款销账流量不清零大数据、物联网、ICT、广告等BSS营业一次性费用、终端销售、退费等12省营业日报、19省营业月报cBSS营业、BSS营业手工业务合同类收入、非合同类收入沉淀收入、会业差异、电子券赠送、积分代办、出租、建安服务、系统外调整账前：多角度全收入预测账中：实时快报监控波动账后：展示全景收入视图40账中实时快报账前多角度收入预测 基于时间序列的快速预测（每月26日）：基于近三年的历史出账收入情况，建立27、ARIMA趋势预测模型。（适用系统：cBSS系统、BSS系统、结算系统以及ESS系统的收入数据等）基于实时出账的准确预测（每月30日/31日）：基于近一年各业务预出账收入情况，和预出账天数，预估当月日均收入和预测天数，实现出账收入的准确预测方法=预出账收入+日均收入*预测天数。（适用业务：cBSS账单、调账、流量结转、省际结算收入等）基于降欠资料的收入预测（次月2日）：基于本月分摊侧的降欠资料和CB降欠业务相关的用户和金额（账单、调账、销账、抵扣），分析三者之间的相关性，建立基于降欠用户数的回归预测模型。收入预测方案（3/3）账后全景视图 快报展示各系统、各业务维度的计收收入情况。展示预测值、28、快报值与实际计收收入的偏移情况，分析收入波动原因等。从1号-3号，根据省分出账监控实时同步实际收入数据，实现快报的实时更新。手工填报：省分可以自主选择填报业务收入，优先级低于实际收入，高于预测收入。次月3日以后41依托历史数据与预出账数据，整合协调各收入来源系统，建立准确的收入预测模型；为出账提速、出账快报提供有效支持，提前预知各省分全收入情况，为省分公司决策提供支持；提前预知各系统尤其是各集中系统收入情况，与实际值比较，及时分析差异原因，确保各系统收入数据正常波动；实现账前账中账后的全流程预测建模，将时间序列模型、预出账模型、降欠资料模型的预测结果落地，供收入管理运维平台的全收入视图、收入快报等应用的展示。建立健全收入与相关成本预测与应用机制收入预测目标和成效界面展示:全收入视图全收入视图用于全国31省的账中出账进度监控、账后业务收入波动分析、收入统计与预测对比分析等功能。界面展示:全收入视图省分详情页：展示出账进度、出账时长、预计收入和已归集收入情况等界面展示:全收入视图更多详情页：主要展示各对接系统及所含业务的收入和波动情况。界面展示:收入快报 快报展示各系统、各业务维度的计收收入情况。采用优先级规则：实际数据填报数据预测数据。账中实时快报：从1号-3号，根据省分出账监控实时同步实际收入数据，实现快报的实时更新。CHINAUNICOM欢迎各位加入软研院!