移动公司红橙黄蓝应急预案(35页).doc
下载文档
上传人:奈何
编号:560251
2022-08-29
34页
7.68MB
1、中国移动吉林公司“红橙黄蓝”应急预案目 录1.总则11.1.目的11.2.工作原则12.组织机构和职责22.1 组织机构和职责23.预警分级发布44.蓝色预警44.1.触发条件44.2.应急措施45.黄色预警65.1.触发条件65.2.应急措施66.橙色预警76.1.触发条件76.2.应急措施77.红色预警87.1.触发条件88.倒回制度及总结9附:红橙黄蓝预警处理流程图:101. 总则1.1. 目的制定“红橙黄蓝”应急预案是中国移动吉林公司在统一开展应急通信保障工作的基础上,做到防患于未然,及时疏导突发的高话务量,确保大话务冲击时网络的稳定与安全,使之对网络的影响降到最低程度。在方案中界定相2、关单位在应急响应中的职责范畴,真正实现统一领导、统一指挥、统一调度,全面提高对突发事件的综合管理水平和应急处置能力,确保中国移动吉林公司通信网络安全畅通。1.2. 工作原则(1)遵守国家相关规定。所有应急通信保障工作首先要符合国家相关法律法规和条例的规定,做到依法办事。(2)以人为本,生命至上。在实施应急通信保障的过程中要把保证人的生命安全作为首要任务,最大限度减少灾害事故对生命的威胁和危害。在突发事件可能威胁到人的生命安全时,要服从安全保卫部门的指挥,危险消除后再进行应急抢险等工作(3)财产损失最小化。在保证人员生命安全的前提下,采取有效的措施保护财产安全,确保财产损失最小化。(4)统一领导3、,统一指挥,分级负责。根据事件响应级别,在突发高话务指挥组的统一领导下,由省公司突发高话务办公室的统一指挥下,各分公司突发高话务办公室实施突发高话务疏导工作。对外宣传部门要与政府部门保持密切联系,做好对外宣传等工作。(5)加强协调配合,确保快速反应建立应急通信保障的快速反应机制,保证人力、物力、财力的储备,一旦需要,确保发现、报告、指挥、处置等环节的紧密衔接,确保相关单位的密切协作、快速反应。(6)坚持平战结合,充分利用现有资源各单位要做好应对突发事件的思想准备、预案准备和工作准备,抓好应急通信保障演练工作,做到常备不懈,平战结合。实施应急通信保障,要合理调整设备配备,充分利用现有资源。对于可4、以预知的高话务冲击(例如重大活动、节假日)等,需提前通过网络扩容、割接等措施来做好提前应对。(7)突出话务疏导重点、最大限度的发挥网络能力1.针对突发事件的特点,根据指挥组的要求,有重点的实施保障,网络资源要向优先保障重点区域倾斜;2.在突出保障重点的基础上,要最大限度的发挥网络能力,为广大客户提供服务。3.在高话务时做好路由通知加以引导,并向客户部门做好解释。4.由于灾害性、恐慌性公共安全事件引起突发话务时,必须要重点保障党政军用户。(8)红橙黄蓝预案使用原则 1.任何措施使用前,需要深入分析原因,来确定选择哪个措施。 2.实施措施时要边做边观察,负荷降下来了就不用再做。 3.两个以上的触发5、条件满足门限,综合考虑选择解决措施。1.3. 适用范围本方案适用于如下类别突发事件时的高话务分级疏导:(1)重要节假日话务的疏导(2)因举行重大活动时的高话务疏导(3)因发生灾害和社会突发事件时的高话务疏导。(4)特大通信事故;此外,本方案的适用范围还包括对总部一级响应的配合。2. 组织机构和职责2.1 组织机构和职责为了确保突发高话务分级疏导工作的顺利完成,中国移动吉林公司成立突发高话务分级疏导指挥组,明确职责如下:(1)高话务分级疏导指挥组为确保应急通信保障工作的顺利完成,中国移动吉林公司成立高话务分级疏导指挥组,构成如下:组 长:中国移动吉林公司总经理 副组长:中国移动吉林公司副总经理职6、 责:负责全省突发高话务分级疏导工作的组织、指挥和调度确定红方案是否实施确定重点保障的客户群体高话务分级疏导指挥组下设高话务分级疏导办公室(省公司)、高话务分级疏导办公室(分公司)。(2)高话务分级疏导办公室(省公司)主 任: 中国移动吉林公司副总经理(分管网络)成 员: 综合办公室主任 发展计划部主任 物资管理部主任 网络部副主任网管中心副主任职 责: (1)负责组织协调应急通信保障任务,指导各通信保障组对应急保障工作的开展,组织管理与监督检查;(2)组织协调公司应急物资的采购、储备和使用调度、维护管理等;(3)负责组织起草、修改高话务通信保障预案及相关规定;(4)负责制定应急通信保障组织的7、职责;(5)负责制定现场通信保障调度实施方案。高话务分级疏导办公室下设通信保障组、综合保障组、物资保障组和三个小组,各组的主要职责:通信保障组组的主要职责:及时掌握网络通信设备运行情况,网络覆盖情况,应急通信车辆、设备现状。根据预案,指挥高话务分级疏导办公室(分公司)开展高话务疏导;根据预案在实施影响用户业务的措施时,请示话务分级疏导指挥组,确定重点保障区域。及时了解通信保障进展情况,向领导小组报告并提出建议。综合保障组的主要职责:负责接收上级有关部门下达的应急通信保障相关文件和通知;负责收集通信保障队伍(含相关应急组织机构)通过各种渠道获取的信息,并及时送高话务分级疏导领导小组有关领导;负责8、进行应急通信保障宣传和信息发布工作;负责与中国移动集团总部和通信管理局及地方有关部门的协调、联络工作;并向领导小组提出相关工作建议。物资保障组组的主要职责:负责应急通信保障的资金下拨、物资采购、物资供应、物资管理、安全保卫、后勤保障等工作。当同高话务分级疏导指挥组通信联系完全中断时,可以根据情况由高话务分级疏导办公室(省公司)确定方案的实施。(3)高话务分级疏导办公室(分公司)主 任:网管中心副总经理,各分公司副总经理(分管网络)成 员:网管中心各二级中心经理,各分公司运维部主任, 职 责:负责根据上级组织机构的指示来实施突发高话务分级疏导工作。按其要求做好应急通信保障的准备工作和应急通信保障9、队伍的建设工作,各单位根据本单位的实际情况做好应急预案的演练工作。相关单位要掌握网络的组织、设备运行情况,保证应急通信设备在良好状态,并将有关信息及时准确的反馈到本单位主管领导。形成对突发事件的跟踪机制,及时向本单位主管领导提出可行的应急通信预案。负责组织、协调应急通信保障队伍,按照有关预案完成应急通信保障任务。当同高话务分级疏导办公室(省公司)通信联系完全中断时,可以根据情况由高话务分级疏导办公室(分公司)确定方案的实施。中国移动吉林公司公司应急通信保障组织结构图如下:省公司高话务分级疏导指挥组(吉林)高话务分级疏导办公室(省公司)高话务分级疏导办公室(分公司)3. 预警分级发布将故障预警分10、级,以红、橙、黄、蓝四种颜色代表的严重等级,红色级别最高,蓝色级别最低。蓝色预警(L4):确保重点保障客户的各项业务指标,最大程度保持网络的整体运行质量。黄色预警(L3):确保重点保障客户的基本通信(语音、短信业务)畅通,最大限度的满足所有用户的基本通信需求。橙色预警(L2):确保重点保障客户的基本通信(语音、短信业务)需求,最大限度的保障VIP基站的通信畅通。红色预警(L1):确保党、政、军等重点客户的基本通信需求,最大程度的保障能源、交通、卫生、媒体等部门的通信畅通。注:重点保障客户的范围由高话务分级疏导指挥组织根据不同的事件研究确定。4. 蓝色预警4.1. 触发条件(一) 交换CP类CP11、负荷超过满负荷的70%-80%。(二) 通过即时统计或实时监控发现下列情况:信令链路高负荷(64K信令链路双向到达0.6ERL , 2M信令链路双向大于0.4ERL)(三) BSC 寻呼超过满负荷的70%-80%或BSC CP负荷超过满负荷的70-80%(四) 交换机出现动态漫游号不足告警(五) 交换机出现VLR容量不足告警(六) 数据业务网、CMNET设备的CPU负荷达到70%以上或业务负荷达到系统能力的80%以上,持续时间达到10分钟以上,并有继续恶化的风险。网络接通率低于90。(七) SGSN设备单板CPU负荷达到75%;(八) 到STP信令链路单向发送超过0.1erl。(九) GGSN12、出现地址池不足告警,地址池利用率达到80%;(十) 爱立信GGSN业务板卡CPU占用率到达80%超过2分钟。4.2. 应急措施再次强调:红橙黄蓝预案使用原则 1.任何措施使用前,需要深入分析原因,来确定选择哪个措施。 2.实施措施时要边做边观察,负荷降下来了就不用再做。 3.两个以上的触发条件满足门限,综合考虑选择解决措施。 满足条件(一)实施以下操作:1、 停止用户跟踪(如NOKIA交换机的用户跟踪、华为交换机的信令跟踪)2、 通过告警、性能分析等手段查看是否存在资源吊死情况,软件错误,如存在进行单元资源释放操作。3、 对于多处理器交换系统,检查是否有CP负荷不均的情况,如存在尽可能地进行调13、整。4、 如果具备应急容灾条件,可以紧急进行BSC割接进行话务分流。5、 增加周期性位置更新时长,交换侧时长大于无线侧。6、 无线侧将“MS最大重发次数”设置为1次。7、 关闭业务接入时TMSI 再分配功能。8、 核心网侧关闭鉴权。9、 关闭交换机的二次寻呼功能;10、 关掉不必要的统计。11、 修改交换端局呼叫错误码路由,呼叫失败时进行录音疏导。12、 减少切换对MSRN占用的影响。可以修改相关切换参数。(适用ALCATEL软交换) 满足条件(二)实施以下操作:1. 信令链路紧急扩容根据中继、信令终端等实际情况,如客观条件允许,紧急进行信令链路扩容操作。2. 增加信令负荷分担路由3. 根据信14、令组网实际情况,如客观条件允许,紧急增加信令负荷分担路由。4. 取消交换机鉴权5. 关闭加密6. 减少核心网侧寻呼次数7. 取消交换机提取IMEI的功能(不影响BOSS系统话单分拣时)(适用ALCATEL硬交换)8. 如果可以判断由于用户服务接入请求导致BSC信令负荷过高时,修改T3122计数器到10-30秒以减少用户接入请求频度。9. 关闭业务接入时TMSI 再分配功能10. 增加周期性位置更新时长(MSC时长BSC时长) 满足条件(三)实施以下措施:1. 关闭交换机的二次寻呼功能;2. 增加周期性位置更新时长(MSC时长BSC时长)3. 根据领导组的要求开启重要客户的优先接入功能。(适用A15、LCATEL硬交换)4. 针对高寻呼会导致ABIS信令高负荷,将参数BS_AG_BLK_RES修改至3;5. 针对高寻呼会导致ABIS信令高负荷,适当减少系统内部进程,降低信令负荷(moto);6. 针对高寻呼会导致高信令负荷(ALCATEL)或高的CPU负荷(MOTO/NOKIA/HUAWEI)的BSC,将MS最大重发次数调整为1次,降低RACH信道负荷;7. 针对高寻呼会导致高信令负荷(ALCATEL)或高的CPU负荷(MOTO /NOKIA/HUAWEI),修改T3122计数器到10-30秒以减少用户接入请求频度;8. 针对高寻呼会导致高信令负荷(ALCATEL)或高的CPU负荷(MOT16、O/NOKIA/HUAWEI),增加tx_integer,降低RACH信道负荷;9. 增加周期性位置更新时长(保证MSC时长BSC时长)10. 针对BSC CP高可以将,无线侧将“BTS测量报告预处理”设置为“是”,并且”预处理测量报告上报频率”为“每2秒1次”(适用华为)当由于话务冲击出现某个交换或BSC节点宕机时,将预案升级到黄色级别中的设备宕机预案。 满足条件(四)实施以下操作:1. 减少动态漫游号码释放时长。 满足条件(五)实施以下操作:1 紧急扩容VLR容量2 根据MSC到HLR的信令负荷,减少PURGE时间。注:具体操作流程参见附件红橙黄蓝预警处理流程图 满足条件(六)实施以下操作17、:1.对短信中心承载的MO/AO短信业务比例进行调整2. 限制部分重要性较低的AO短信业务。3. 如果一个模块的业务量较大,负荷过高,可以通过调整模块分担相应的短信业务量。4. 重启彩铃系统各服务器,释放CPU和内存资源占用。1 根据网络运行情况,准备命令脚本。2 改为5分钟粒度监测网络运行状态,判断网络运行趋势。 满足条件(七)实施以下操作:1. 如果可以判断由于用户服务接入请求导致BSC信令负荷过高时,闭塞部分25%的NSVC链路。2. 如果可以判断由于用户服务接入请求导致IU口信令负荷过高时,闭塞25%的M3UA链路。3. 将SGSN上部分用户搬迁到SGSN pool中其他负荷较低的SG18、SN上。(爱立信) 满足条件(八)实施以下操作:1 信令链路紧急扩容根据中继、信令终端等实际情况,如客观条件允许,紧急进行信令链路扩容操作,新建 M3UA链路,N7LNK。2 增加信令负荷分担路由。根据信令组网实际情况,如客观条件允许,紧急增加信令负荷分担路由。 满足条件(九)实施以下措施:1 锁定数目剧增PDP用户对应的APN如果可以确定造成用户数猛增的APN,则应当锁定此APN,通过拒绝此APN下大量新用户的接入,缓解对GGSN造成的冲击。2 锁定数目剧增PDP用户所在的单板如果无法确定造成用户数猛增的APN,而是确定了用户数猛增的SPU单板,则应当锁定此SPU单板,避免造成GGSN整机瘫19、痪。 满足条件(十)实施以下措施:1 关闭部分非VVIP所在大业务两NSEI。(爱立信)2 减少GGSN下服务的SGSN的数量,将部分业割接到其他GGSN上。(爱立信)3 对GGSN进行紧急容量扩容。5. 黄色预警5.1. 触发条件(一) 长途路由出现溢出(通过即时数据)。(二) 在蓝色预警措施基础上CP负荷超过90%(三) 在实施了蓝色级别应急措施后,通过即时统计或实时监控发现下列情况:信令链路高负荷(64K信令链路双向到达0.6ERL , 2M信令链路双向大于0.4ERL),同时伴随着信令链路闪断告警。(四) 在执行了蓝色预警措施之后,LAC寻呼量90%-100%满负荷或BSC CP负荷超20、标。(五) 在实施了蓝色级别应急措施后,数据业务网、CMNET设备的CPU负荷达到75%以上或业务负荷达到系统能力的85%以上,持续时间达到10分钟以上,并有继续恶化的风险。数据业务网、CMNET覆盖范围内相关1/4数据业务全阻,网络接通率低于75,CMNET省网网络延时、抖动较大,丢包率到日常值的98%以下,且业务没能割接到其它备份设备。(六) 某一地市40%以上Gb与核心网断链。 (七) 某一SGSN IU接口故障,或者是40%以上至RNC的M3UA链路故障。5.2. 应急措施 满足条件(一)实施以下措施:(1)省际来话迂回,请求集团公司进行省际协调,调整北京至吉林的长途业务通过邻近省省际21、汇接局进行转接.(2)省际来话限呼,请求集团公司进行省际协调,对除北京以外的省际来话进行限呼,限呼比例为80以上,具体比例可视实际情况确定。确保北京至省内长途的接通率达到80以上。(3)省际去话迂回,调整吉林至北京的长途业务通过部分邻近省省际汇接局按比例进行转接,比例可根据实际情况进行调整。(4)省际去话限呼, 对除北京以外的省际去话进行限呼,比例可根据实际情况进行调整。确保省内至北京长途的接通率达到80以上。保障省委至中央的通信畅通。 满足条件(二)实施以下措施:(1) 关闭彩铃功能。(2) 在核心网侧打开业务流控保留80的业务疏通能力(适用华为和卡特软交换);(3) 对部分通知音,采取直接22、释放措施。(4) 关闭PSI取用户状态时PAGING。(适用华为)(5) 限制无线随机接入信道申请的个数(RACH REQUEST)(6) 对高寻呼或高信令负荷的LAC或BSC区域的小区,执行BAR操作(适用ALCATEL)(7) 减少或取消智能用户签约信息,降低CAMEL信令交互开销(适用NOKIA)(8) 分品牌限呼(有条件省份实施)(适用华为)(9) 关闭来电提醒、全球呼等业务(10) 关闭USSD业务。(适用NOKIA)(11) 修改交换端局呼叫错误码路由,呼叫失败时不放通知音而将呼叫直接释放。 满足条件(三)实施以下措施:根据网络状态及信令业务使用情况,采取相关的应急措施:(1) 关23、闭来电提醒、全球呼等业务(2) 关闭USSD业务。(适用NOKIA)(3) 调整寻呼量控制参数,限制寻呼量;(4) 适当减少部分基站的SDCCH信道配置数;(5) 适当提高小区最小接入电平。 针对党政军客户特殊实施(1)对党政军所在基站,采取提高接入电平等覆盖调整手段,降低覆盖范围,使基站尽量只吸收党政军所在点的话务。(2) 当出现交换或BSC宕机的情况:1. 立即调配卫星应急通信车或卫星应急站确保党政机关、军队等重要部门或VVIP区域的通信畅通,通信车需要控制覆盖范围,尽量只覆盖党政军部门。2. 如MSC宕机割接BSC,将此交换机下面的BSC割接到相对空闲的周边交换机;如BSC宕机将VVIP24、VIP站割接到相对空闲的BSC.同时紧急排查交换机全阻原因,立即组织专家队伍(包括设备厂家)排查交换机全阻原因,在最短的时间内抢通。注:具体操作流程参见附件红橙黄蓝预警处理流程图 满足条件(五)实施以下措施:1.对短信中心承载的MO/AO短信业务比例进行调整2. 限制或关闭部分AO短信业务,如移动气象、短信营业厅等业务量较大的业务。3.如某个SP的业务量较大造成积压,可以通过调整该SP的最大缓存量,使业务正常运行。4.重启并倒换彩铃各服务器,释放CPU和内存资源占用。5.将彩铃话务量避开问题节点,指向正常节点。1.对彩信中心非主要sp进行流量控制 满足条件(十四)实施以下措施: 对WAP网关25、业务主机进行业务停启操作。登陆到WAP业务主机执行STOP;START操作。 满足条件(十一)实施以下措施:1.关闭CPU负荷高设备的一条上行链路,使业务倒换到其他设备2.根据CPU进程查看CPU高原因,针对CPU高原因进行专项处理3.如攻击流量过大,使用DDOS防火墙进行流量清洗 满足条件(十二)实施以下措施:1.对于入省流量,通过在骨干节点进行流量引导至相对空闲链路,达到控制设备负荷和提升网络质量的目的2.对于出省流量,通过关闭省内部分大流量专线的方式保障业务疏通 满足条件(六)实施以下措施:1. 紧急查看传输系统,E1是否正常,如果是传输系统故障,需要协调传输部门马上处理,恢复E1传输通26、道。2. 核查SGSN单板,确定是否为SGSN单板E1故障,或者是板卡故障,紧急更换板卡,恢复业务。3. 如果故障原因是BSC侧MOFS故障,GPRS网络使用BLK NSVC命令,闭塞所有要恢复的NSEI下的所有NSVC链路。并与无线侧核查原因。4. 如果GB使用帧中继承载,首先在受影响的SPP上查看是否为物理传输故障,查看命令为spp e1_port show,如果是需请传输负责人尽可解决。(适用爱立信GPRS)5. 如果GB使用IP承载,首先检查SGSN上路由是否正常学习到,然后使用ping命令查看到BSC业务地址是否畅通,如果不通,尽快协调承载网地位问题。(适用爱立信GPRS) 满足条件27、(七)实施以下操作:1 首先查看到RNC侧的承载网路由是否正常。如果不正常,则需要承载网侧处理,恢复路由。2 如果路由正常,使用PING命令测试对方对应的链路IP是否正常通信。如果不通,则需要对方配合查找路由信息,判断故障点,保证PING通对方IP地址3 如果PING通后依旧不能恢复业务,则进行数据核查,配置数据是否正确,协商数据,恢复业务。4 检查SGSN和站点CE上面RNC业务地址路由条目是否学到,如果有使用ping命令查看联通性,并且核查设备数据是否被改动。(适用爱立信GPRS) 针对党政军客户特殊实施(1)对党政军所在基站,优先保障所在基站下BSC与SGSN的联通性,确保基站所在地党政28、军的话务。(2) 当出现交换或BSC宕机的情况:1、立即调配卫星应急通信车或卫星应急站确保党政机关、军队等重要部门或VVIP区域的通信畅通,通信车需要控制覆盖范围,尽量只覆盖党政军部门。2、如SGSN宕机割接BSC,将此交换机下面的BSC割接到相对空闲的周边交换机;立即组织专家队伍(包括设备厂家)排查交换机全阻原因,在最短的时间内抢通。6. 橙色预警6.1. 触发条件(一) 40%以上的省际、省内长途汇接局出现CP负荷过载告警,路由拥塞告警(门限可设定)或信令链路不可达告警。(二) 在实施蓝和黄级别应急措施后,CP负荷仍然高达满负荷的95%。(三) 在实施了蓝色、黄色级别应急措施后,通过即时统29、计或实时监控发现下列情况:信令链路高负荷(64K信令链路双向到达0.6ERL , 2M信令链路双向大于0.4ERL),同时伴随着信令链路闪断告警。(四) 在执行了蓝色、黄色预警措施之后,LAC寻呼量100%满负荷或BSC CP 满负荷(五) 在实施了蓝色、黄色级别应急措施后,数据业务网、CMNET设备的CPU负荷达到80%以上或业务负荷达到系统能力的90%以上,持续时间达到10分钟以上,并有继续恶化的风险。数据业务网、CMNET覆盖范围内相关1/2数据业务全阻,网络接通率低于50,CMNET省网网络延时、抖动较大,丢包率到日常值的90%以下,且业务没能割接到其它备份设备。(六) 单台GGSN的30、Gn接口断链。故障工单中出现:GGSN断链告警。(七) GGSN主业务单板CPU负荷突然的升高至80%以上。(八) 单台GGSN与WAP网关Raduis服务器断链。故障工单中出现:单台GGSN上频繁出现“RADIUS计费服务器无响应”告警,在当前GGSN下手机进行拨测业务无响应。话务统计中GGSN性能统计中“计费开始请求成功次数”低于“计费开始请求次数”的90%。6.2. 应急措施 满足条件(一)实施以下措施:(1) 省际来话限呼,请求集团公司进行省际协调,对除北京以外的省际来话进行限呼,限呼比例为50,具体比例可根据实际情况进行调整。确保北京至省内长途的接通率达到80以上。(2) 省际来话迂31、回,请求集团公司进行省际协调,调整北京至吉林的长途业务通过邻近省省际汇接局进行转接。(3) 省际去话限呼, 对除北京以外的省际去话进行限呼,限呼比例为50,可根据实际情况进行调整。确保省内至北京长途的接通率达到80以上。保障省委至中央的通信畅通。(4) 省际去话迂回,调整吉林至北京的长途业务通过部分邻近省省际汇接局按比例进行转接,比例可根据实际情况进行调整。 满足条件(二)实施以下措施(1) 启动交换机流控保证60的业务疏通能力,控制交换机负荷为80(适用华为和卡特软交换)。(2) 启动循环限呼(例如ERICSSON ACC循环限呼)。(适用NOKIA)(3) 割接VVIP基站至空闲的BSC。32、(4) 关闭40非VIP基站(5) 智能网调整过负荷控制基数,降低原则为原来的20%;(6) 关闭切换关系 满足条件(三)实施以下措施 根据网络状态及信令业务使用情况,采取相关的应急措施:(1) 中继话务限制采取闭塞中继或路由话务的修改实现对中继话务的限制。(2) 分品牌限呼(有条件省份实施)(适用华为)(3) 启动交换机业务流控功能(4) 停闭非VIP基站(5) 取消短信MT功能,通过修改交换机参数取消短信MT功能。(适用华为和NOKIA) 满足条件(四)实施以下措施(1) 针对高寻呼、高CPU负荷及高话务的BSC,关闭所有非VIP基站;(2) 针对高寻呼、高CPU负荷及高话务的BSC,割接33、部分VIP基站至空闲BSC;(3) 针对高寻呼、高CPU负荷及高话务的BSC,取消短信MT功能;(4) 提高切换电平或关闭切换;(5) 紧急执行LAC分裂; 针对党政军客户特殊实施(1) 通过专用长途出局电路群,保障VVIP基站的长途呼叫。(适用华为)(2) 如果实施后效果不明显则逐步关闭除了VIP以外的基站(党政军所在基站包含在VIP站内)。(3) 立即调配卫星应急通信车或卫星应急站确保党政机关、军队等重要部门或VVIP区域的通信畅通,通信车需要控制覆盖范围,尽量只覆盖党政军部门;备注:闭站原则a) 基站闭站原则:优先关闭GSM1800基站、非VVIP的部分高话务基站、选择同一地理区域的不连34、续基站)b) 观察交换机、BSC负荷,一旦出现下降至正常水平,则停止闭站操作注:具体操作流程参见附件红橙黄蓝预警处理流程图 满足条件(五)实施以下措施1. 对短信中心承载的MO/AO短信业务比例进行调整。2. 关闭非重点合作类SP业务,确保省内重点和集团重点业务,优先保障MO短信业务。3. 重启并倒换有问题的呼叫节点数据库服务器,恢复数据库同步,释放CPU和内存资源占用。4. 临时性关闭个别或全部彩铃开销户、下载、设置渠道,减轻后台服务器、数据库处理能力压力。5. 协调中央音乐平台临时性停止音乐内容分发,减少分发操作对我省彩铃平台系统负荷和数据库处理能力的冲击。6. 将彩铃话务量避开问题节点,35、指向正常节点。7. 全部暂停sp梦网彩信服务,保障点对点彩信接通率。 满足条件(十九)实施以下措施在F5将该主机承载的业务分担到其它业务主机。接通率高于50%,恢复到黄色方案; 满足条件(二十)实施以下措施将业务切换至备用防火墙,故障防火墙恢复正常,恢复到黄色方案 满足条件(二十一)实施以下措施将业务切换至备用交换机,故障交换机恢复正常,恢复到黄色方案; 满足条件(二十二)实施以下措施将业务切换至备用F5,故障F5恢复正常,恢复到黄色方案; 满足条件(八)实施以下措施1.通过局域网防火墙将配置指向备用交换机。2.修改相关的模块配置信息,并将冷备份模块启动,达到和各个模块建通信正常。3.启动模块36、的应用程序和日志程序并观察业务是否正常,对不正常的环节进行调整。 满足条件(九)实施以下措施:1. 核查此告警是否为到漫游地的GGSN,如为漫游地GGSN,通常告警能在一分钟之内恢复,可能原因是中间IP网络传输不稳定。2. 如果该告警恢复10分钟以上,并且是到本地的GSN设备,这表明到本地的GSN设备有问题或者中间IP网络不能到达,快速进行GGSN切换。3. 使用命令MOD IPV4DNSH修改DNS HOSTFILE配置,把APN的地址都指向正常的GGSN。4. 在DNS服务器上把APN的解析地址指向正常GGSN。5. 控制用户激活速率:闭塞繁忙小区在BSC/PCU侧闭塞发生用户繁忙的小区,37、减少用户的激活次数。闭塞部分PCU到SGSN的链路6. 使用命令BLK NSVC闭塞所有要恢复的NSE下的所有NSVC链路7. 使用命令UBL NSVC分批解闭被闭塞的PCU,解闭时,将对应地NSE下的所有NSVC都解闭8. 修改SGSN /etc/hosts文件中GGSN的业务地址,将业务指向其他GGSN(爱立信) 满足条件(十)实施以下操作:1. 确认复位的单板槽位号,告警中会提示复位的slot号,系统日志中搜索reset关键字可以找到复位的slot号,如果是主板复位,系统日志会提示replace关键字表明备板替换复位的主板成为新的主板(华为)。2. 查询备SPU板是否升级为主SPU(华为38、)。3. 检查是否有严重影响CPU的操作,如果存在立即停止执行相应操作。(爱立信) 满足条件(十一)实施以下措施:1. 需要修改SGSN hostfile指向,把部分业务分担到其他GGSN上。2. 采用锁定全部APN或SPU单板的方式拒绝新用户接入,防止GGSN过载。3. 对于WAP网关、DNS、防火墙、服务器等设备出现故障导致的模型突变,需进行切换备用隧道、路由,或使用备份DNS、服务器等方式恢复业务。4. 可以将相关apn或者全部apn blocked,不让新用户接入,使用命令set pdp-context creation blocked(爱立信) 满足条件(十二)实施以下措施:1. 确39、认WAP网关是否存在异常2. WAP网关存在异常执行以下应急措施:(1) 调整GGSN到备用WAP网关间路由器路由,将AAA计费请求路由到备用WAP网关的Radius服务器地址,并保证AAA计费响应下行路由可达。(2) 调整GGSN到备用WAP网关间路由器路由,将用户数据报文路由到备用WAP网关,并保证WAP网关下行数据到GGSN路由可达。(3)修改GGSN上Radius计费服务器地址为备用WAP网关Radius地址。(4)在SGSN上修改HOSTFILE配置,或DNS上修改GGSNGn口地址,将连接故障WAP网关的GGSN的用户指向连接其它WAP网关的GGSN 针对党政军客户特殊实施(1) 40、通过关闭党政军所在单板其他NSEI,保障VVIP基站所在BSC的GPRS业务。(2) 立即调配卫星应急通信车或卫星应急站确保党政机关、军队等重要部门或VVIP区域的通信畅通,通信车需要控制覆盖范围,尽量只覆盖党政军部门;备注:闭站原则A) 基站闭站原则:优先关闭GSM1800基站、非VVIP的部分所在BSC高话务基站、选择同一地理区域的不连续基站所在BSC。B) 观察交换机、BSC负荷,一旦出现下降至正常水平,则停止闭站操作注:具体操作流程参见附件红橙黄蓝预警处理流程图 满足条件(十三)实施以下措施:1. 关闭CPU负荷高设备的一条上行链路,使业务倒换到其他设备2. 根据CPU进程查看CPU高41、原因,针对CPU高原因进行专项处理3. 如攻击流量过大,使用DDOS防火墙进行流量清洗满足条件(十四)实施以下措施 满足条件(十四)实施以下措施:1.对于入省流量,通过在骨干节点进行流量引导,丢弃部分低服务器质量保证的流量,如视频下载类、语音聊天类、bt下载类等,达到控制设备负荷和提升网络质量的目的2.对于出省流量,通过关闭所有cmnet专线用户保障业务疏通7. 红色预警7.1. 触发条件(一) 在重大自然灾害、疫情、安全事件等严重突发事件发生的情况下,50以上的省际、省内长途汇接局出现CP负荷超载,拥塞告警或信令链路不可达告警。(二) 行了蓝蓝黄橙方案后,CP负荷处于满负荷。(三) 在实施了42、蓝色、黄色、橙色级别应急措施后,通过即时统计或实时监控发现下列情况:信令链路(双向大于0.6)同时伴随着信令链路闪断告警。(四) 在执行了蓝色、黄色、橙色预警措施之后,BSC下出现大规模基站退服或BSC重启(moto)(五) 在实施了蓝色、黄色、橙色级别应急措施后,CPU负荷达到90%以上或业务负荷已超出系统能力,数据业务网、承载网覆盖范围内相关数据业务(O方向或T方向或双向)全阻。7.2. 应急措施凡是满足上述触发条件之一,必须立即上报集团公司并启动应急预案;4. 满足触发条件(一)采取以下措施(1)省际来话限呼,请求集团公司进行省际协调,对除北京以外的省际来话进行全部限呼,限呼比例为10043、。确保北京至省内长途的接通率达到80以上。保障中央至省委的通信畅通。(2)省际来话迂回,请求集团公司进行省际协调,调整北京至吉林的长途业务通过邻省省际汇接局进行转接。(3)省际去话限呼,对除北京以外的省际去话进行限呼,限呼比例为80,可根据实际情况进行调整。确保省内至北京长途的接通率达到80以上。保障省委至中央的通信畅通。(4)省际去话迂回,调整吉林至北京的长途业务通过部分邻近省省际汇接局按比例进行转接,比例可根据实际情况进行调整。5. 满足触发条件(二)(三)(四)采取以下措施(1) 逐步关闭部分BSC和除VVIP以外的基站。备注:a) VVIP基站定义:党政军、医院、水电油气、重要交通枢纽44、,骨干道路。b) 闭站原则:优先关闭GSM1800基站、非VVIP的部分高话务基站、选择同一地理区域的不连续基站)c) 观察交换机、BSC负荷,一旦出现下降至正常水平,则停止闭站操作(2) 立即调配卫星应急通信车或卫星应急站确保党政机关、军队等重要部门或VVIP区域的通信畅通,通信车需要控制覆盖范围,尽量只覆盖党政军部门;(3) 智能网调整过负荷控制基数,增加原则为原来的20%;6. 满足触发条件(四)采取以下措施(1) 锁定高负荷或已重启BSC的所有MTL信令,在BSC和BTS稳定后逐步解锁(moto)。 满足条件(五)实施以下措施1.关闭除互通短信、集团重点短信业务外的全部AO短信业务。245、.调整HSTP路由,关闭部分地市MO短信业务,优先保障长春地区MO短信业务、互联互通点对点短信业务。3.若为某节点交换机故障或话务处理能力超出设计容量,将彩铃话务量避开问题节点,指向正常节点。4.关闭个别端局(或关口局/汇接局)下的用户彩铃呼叫触发业务,减少对彩铃系统问题节点的负荷和话务量冲击。5.如有备件资源储备,在条件允许的情况下,紧急启动彩铃系统问题节点的信令和话务处理能力扩容。8.通过集团Enum Dns将业务切换至广东和北京的区域彩信中心。9.通过集团将业务切换至广东的备份WAP网关。4.关闭CPU负荷高设备的一条上行链路,使业务倒换到其他设备。(适用CMNET)5.如攻击流量过大,46、使用DDOS防火墙进行流量清洗。(适用CMNET)6.对于入省流量,通过在骨干节点进行流量引导,丢弃业务量小产生流量较大的自有业务,如:ADC、IDC等业务,仅保留重要的业务,如:彩信、短信、WAP、彩铃等,达到控制设备负荷和提升网络质量的目的(适用CMNET)7.对于出省流量,通过关闭丢弃业务量小产生流量较大的自有业务,如:ADC、IDC等业务,仅保留重要的业务,如:彩信、短信、WAP、彩铃等的正常疏通。(适用CMNET)13.核查系统硬件故障。首先查看告警管理系统有无硬件告警,并结合单板面板指示灯、LMT的“设备面板”查看有无是由于设备掉电,如设备掉电,对设备进行恢复。核查系统单板是否正常47、。如果单板不正常,更换相应单板。重启业务全阻SGSN。14.核查传输障碍。解决传输故障引起的全局业务中断。15.解决主机过载引起的全局业务中断主机过载表现为CPU占用率偏高,一般是因为极大话务量、性能测量任务(或者跟踪任务)太多或者流量控制设置不当造成。(1)主机过载应该首先查看是否因为性能测量任务(或者跟踪任务)太多造成,比如小周期任务。如果是这种情况,则应该将已登记的不必要性能测量任务(或者跟踪任务)删除。(2)流量控制参数设置不当也可能造成主机过载。使用LST FLOWTHD查看各种流控门限设置是否合理。最后查看是否已达到License容量极限。如果是因为License容量不够,则应该考48、虑购买更多License授权或者考虑扩容。16.解决数据改动错误引起的全局业务中断通过查看操作日志可以判断是否有影响全局的数据改动操作,此时应该根据具体的操作进行相应的恢复手段。对于数据改动错误的紧急情况可以按照以下步骤处理:(1)先备份当前的系统数据。(2)按照操作日志中的操作记录,逐一检查数据,找出导致紧急情况发生的错误数据。(3)修改错误数据。(4)观察是否解决问题。(5)如果找不出数据错误的地方,可以使用紧急情况出现前最近备份的数据来对系统进行重新加载,恢复业务。17.解决双方程序引起的全局业务中断通过跟踪信令,来判断全局业务中断是否是由于本局与对端局程序不一致、不兼容所造成。在LMT49、上,分别启动对应的接口信令跟踪或者用户跟踪,观察附着流程、位置更新流程、PDP激活流程的正常与否。通过失败原因最终定位故障的原因,并恢复业务。 18.到现场检查电源指示灯是否正常,检查电源线缆是否连接好,电源开关是否正确打开,是否由于温度过高引起,检查风扇单元是否正常。(适用爱立信GPRS)19.检查设备是否可以远程登陆,如果不行,是否可以使用串口登陆,如果可以登陆,保存log,以供日后分析原因。(适用爱立信GPRS)20.检查是否有NCB或FSB等硬件问题引起的SGSN业务中断,如果是,尽快使用背板替换损坏的板卡。(适用爱立信GPRS)21.如果为软件问题,恢复之前最可信任的SC或者GSS 50、上的backup。(适用爱立信GPRS)22.立即调派SGSN进行SGSN的紧急扩容或替换。23.重启GGSN,查看系统启动状态,查询单板状态是否正常(1)使用display device命令查询所有单板的“Online”是否为Present状态、“Register”是否为Registered或者NA状态、“Status”是否为Normal、“Primary”是否正确,如果结果与上面提到的状态不符合,请参考相关的告警处理方法进行处理。(2) 首先使用命令save保存当前配置,然后下载hd1:vrpcfg.cfg(3) 跟重启前的vrpcfg.cfg配置进行比较,发现不一致的配置,需要恢复。确认51、基本业务情况正常24.立即调派GGSN进行GGSN的紧急扩容或替换。25.可以使用命令查看log或alarm是否为电源问题导致GGSN无法工作。1. show log messages | match power supply2. show log messages | match power supplyshow system alarms(适用爱立信GPRS)26.查看制冷单元如风扇等是否正常工作。使用如下命令:show chassis environment(适用爱立信GPRS)27.检查配置是否被修改,如果被修改可以使用rollback还原到最后值得信任的配置。(适用爱立信GPRS)252、8. 如果是软件问题,可将之前做好备份的u盘插到GGSN的RE上进行还原。还原之前先使用命令保存core dump 命令如下:show system core-dumps(适用爱立信GPRS)29.检查是否为硬件问题,检查GGSN前置面板LED显示是否正常,或使用命令show chassis craft-interface查看前置面板指示灯,使用命令show chassis fpc pic-status查看所有板卡状态是否都为online。如发现硬件问题可使用备用板卡进行替换。30. 对紧急接入业务,按以下原则进行业务接入与恢复:(1) 优先接入VVIP的基站所在BSC备注:a)VVIP基站定53、义:党政军、医院、水电油气、重要交通枢纽,骨干道路。b)观察交换机、BSC负荷,一旦出现下降至正常水平,稳步接入其他业务。 立即调配卫星应急通信车或卫星应急站确保党政机关、军队等重要部门或VVIP区域的通信畅通,通信车需要控制覆盖范围,尽量只覆盖党政军部门;智能网调整过负荷控制基数,增加原则为原来的20%;8. 倒回制度及总结(1) 当话务逐步降低时,要将逐步撤销所采取的应急措施。(2) 对购买了保险的房屋建筑、基站、传输设备、交换机等财产联系理赔(3) 实施工作简报制度、工作总结制定,根据发布时间要求,逐级向上报领导汇报。工作简报模板:称谓 简单介绍灾情,受影响地区,受灾程度。 领导重视和重54、要指示。 全省受灾情况和网络运行情况,主要数据包括受影响的基站数(xx站停电,xx站退服,受影响最严重的35个地区,并通报退服的量),传输中断情况(xx2M中断,xx皮长公里线路受影响,受影响最严重的35个地区,并通报退服的量)。全省应急措施,动用多少物资和多少人员。受灾最严重地区的网络影响情况、应对措施和效果进行描述。 亮点工作介绍。 特此汇报! 日期工作总结模板:灾情情况:地区损失情况和公司损失情况。准备情况:主要包括领导部署和动员(人员投入情况)、资源调配(物资准备、应急设备的检测和预准备)、应急预案(救灾指挥现场、VIP基站、互联互通的通信保障)抢险保障实施情况:分专业将影响最严重的事55、件进行总结,主要将发生什么样的灾情,市公司采取了什么样的应对措施,实施效果如何。经验和教训(4) 安排专人撰写通信保障新闻稿。(5) 对通信保障情况及时总结,发现问题,完善流程和预案。(6) 根据形成的总结报告,查找原有应急预案考虑不周、流程不畅等存在问题之处,及时对预案加以修改和完善。(7) 为加强应急通信工作的正规化建设,提高总部应急通信保障队伍应对突发事件的效率和责任心,应该对应急通信保障工作中表现突出的干部和职工给予必要的物质和精神奖励;而对因玩忽职守造成重大损失的,则应给予通报批评,并依法追究相关责任。9. 应急人员通信联系表a) 电话联系方式 专业姓名A姓名B负责的项目移动电话A/56、B固定电话高话务分级疏导指挥组组长薄今纲吴广平负责全省突发高话务分级疏导工作的组织、指挥和调度;确定红方案是否实施;确定重点保障的客户群体89817666/88405222高话务分级疏导指挥组副组长吴广平高楠负责全省突发高话务分级疏导工作的组织、指挥和调度;确定红方案是否实施;确定重点保障的客户群体8405222/13578641299高话务分级疏导办公室(省公司)组长吴广平高楠负责组织协调应急通信保障任务,指导各通信保障组对应急保障工作的开展,组织管理与监督检查,组织保障工作8405222/13578641299高话务分级疏导办公室(省公司)指挥层王和俊综合保障黄庆斌资金保障1390430857、010/13578641252祖杰物资保障/13578641230张东林通信保障13578641282杨育柏通信保障13578643105高话务分级疏导办公室(省公司)传输分队李英杰传输保障/13578643751肖宇传输保障13578641256甘雷传输保障/13578641269李阿男传输保障/113578643755高话务分级疏导办公室(省公司)交换分队宣伟交换保障/13578643355魏春广交换保障/13578641275杨林交换保障/13578641261卢永峰交换保障/13578643323高话务分级疏导办公室(省公司)数据分队任辉明数据保障/135786467902李洪波数据保58、障王彤数据保障高话务分级疏导办公室(监控中心)孙萌网管监控/13578643601於少菲网管监控/13578643602李勇网管监控/1357864363024小时电话网管监控3. 其他联系方式如具备本省的视讯系统时可以通过本身的视讯息通,如不具备的可以提前建立飞信、MSN、QQ等联系群,在电话出现问题时考虑用网络建立联系。注:具体操作流程参见附件红橙黄蓝预警处理流程图附:红橙黄蓝预警处理流程图: 附:红橙黄蓝预警处理流程图: 工作流程工作要求/标准 开 始性能指标监视F 省网管监控中心值班人员A(交换/数据预处理)实时监控核心网元性能指标的异常情况,并判断预警级别:是否满足蓝色预警F 如满足59、蓝色预警,由省网管监控中心值班人员B(值班长)宣布启动蓝色预案,并组织协调预案实施,记录实施情况;F 值班人员A立即通知网管交换支援部交换/网管数据支援部数据值班专家实施应急措施; F 交换/数据值班专家根据实际情况实施应急措施; F 同时,值班人员C上报监控中心主任; F 监控中心主任逐级上报网管中心主任、省公司网络部主任;F 值班人员C上报省公司网络部相关人员、交换支援部、无线支援部、数据支援室等相关部门领导;涉及地市网元上报地市运维部主任;如遇特殊情况,如通信中断,监控人员可越级上报; F 同时,值班人员D通知客服中心说明实施应急措施后对客户感知的影响,给出解释口径,请客服中心做好客户投60、诉的解释工作; F 值班人员D发布短信故障通报; F 值班人员A协同交换/数据值班专家实时监测性能指标并将实施情况随时上报; F 同时,值班人员C/D计算重大故障上报核算表,掌握对用户影响程度并随时上报;如满足重大故障上报标准,由省公司网络部主任上报集团公司; F 值班人员A协同交换/数据值班专家核实预警已消除;上报监控中心主任;监控中心主任逐级上报; F 值班人员B(值班长)宣布解除应急措施; F 交换/数据值班专家解除应急措施, 值班人员A协同交换/数据值班专家实时监测性能指标;F 同时,值班人员C将解除情况上报其他相关部门领导;F 同时,值班人员D通知客服中心应急措施解除。是否满足黄色预61、警F 如满足黄色预警,由省网管监控中心值班人员B(值班长) 上报监控中心主任;监控中心主任逐级上报网管中心主任、省公司网络部主任;如遇特殊情况,如通信中断,监控人员可越级上报; F 监控中心主任根据实际情况宣布启动应急措施,并到现场指挥预案实施;(若突发情况,联系不畅,网管监控中心值班人员B(值班长)指挥应急预案启动。)F 值班人员A立即通知网管交换支援部交换/网管数据志愿时数据值班专家实施应急措施; F 交换/数据值班专家根据实际情况实施应急措施; F 值班人员B(值班长)组织协调班组人员实施预案,记录实施情况; F 值班人员C上报省公司网络部相关人员、交换支援部、无线支援部、数据支援部等相62、关部门领导;涉及地市网元上报地市运维部主任;F 同时,值班人员D通知客服中心说明实施应急措施后对客户感知的影响,给出解释口径,请客服中心做好客户投诉的解释工作; F 值班人员D发布短信故障通报; F 值班人员A协同交换/数据值班专家实时监测性能指标并将实施情况随时上报; F 同时,值班人员C/D计算重大故障上报核算表,掌握对用户影响程度并随时上报;如满足重大故障上报标准,由省公司网络部主任上报集团公司; F 值班人员A协同交换/数据值班专家核实预警已消除后,上报监控中心主任;监控中心主任逐级上报; F 监控中心主任宣布解除应急措施;F 交换/数据值班专家解除应急措施, 值班人员A协同交换/数据63、值班专家实时监测性能指标; F 同时,值班人员C将解除情况上报其他相关部门领导;F 同时,值班人员D通知客服中心应急措施解除。是否满足橙色预警F 如满足橙色预警,省网管监控中心值班人员B(值班长) 上报监控中心主任,监控中心主任上报网管中心主任、省公司网络部主任;(如遇特殊情况,如通信中断,监控人员可越级上报;) F 网管中心主任根据实际情况宣布启动应急措施;网管中心主任、省公司网络部主任到现场指挥预案实施;(若突发情况,联系不畅,网管监控中心值班人员B(值班长)指挥应急预案启动。) F 值班人员A立即通知网管交换支援部交换/网管数据支援部数据值班专家实施应急措施; F 交换/数据值班专家根据64、实际情况实施应急措施;F 值班人员B(值班长)组织协调班组人员实施预案,记录实施情况; F 同时,值班人员C上报交换支援部、无线支援部、数据支援部等其他相关部门领导;涉及地市网元上报地市运维部主任;F 同时,值班人员D通知客服中心派单组说明实施应急措施后对客户感知的影响,给出解释口径,请客服中心做好客户投诉的解释工作;F 值班人员D发布短信故障通报;F 值班人员A协同交换/数据值班专家实时监测性能指标并将实施情况随时上报; F 值班人员C/D计算重大故障上报核算表,掌握对用户影响程度并随时上报;如满足重大故障上报标准,由省公司网络部主任上报集团公司;F 值班人员A协同交换/数据值班专家核实预警65、已消除后,上报监控中心主任,监控中心主任逐级上报; F 网管中心主任宣布解除应急措施;F 交换/数据值班专家解除应急措施, 值班人员A协同交换/数据值班专家实时监测性能指标; F 同时,值班人员C将解除情况上报其他相关部门领导;F 同时,值班人员D通知客服中心应急措施解除。 是否满足红色预警F 如满足红色预警,由省网管监控中心值班人员B(值班长) 上报监控中心主任,网管中心主任,网管中心主任上报省公司网络部主任、省公司吴总;(遇特殊情况,如通信中断,监控人员可越级上报;)F 网管中心主任根据省公司吴总指示宣布启动应急措施,并根据指示上报集团公司;省公司吴总到现场指挥预案实施;(若突发情况,联系66、不畅,网管监控中心值班人员B(值班长)指挥应急预案启动。) F 值班人员A立即通知网管交换支援部交换/网管数据支援部数据值班专家实施应急措施;F 交换/数据值班专家根据实际情况实施应急措施,F 同时,值班人员B(值班长) 组织协调预案实施,记录实施情况;F 同时,值班人员C上报交换支援部、无线支援部、数据支援部等其他相关部门领导;涉及地市网元上报地市运维部主任;F 值班人员D通知客服中心派单组说明实施应急措施后对客户感知的影响,给出解释口径,请客服中心做好客户投诉的解释工作;F 值班人员D发布短信故障通报;F 值班人员A协同交换/数据值班专家实时监测性能指标并将实施情况随时上报;F 值班人员C67、/D计算重大故障上报核算表,掌握对用户影响程度并随时上报,如满足重大故障上报标准,由省公司网络部主任上报集团公司;F 值班人员A协同交换/数据值班专家核实预警已消除后,上报监控中心主任,监控中心主任逐级上报;F 网管中心主任根据省公司吴总指示宣布解除应急措施,并上报集团公司;F 交换/数据值班专家解除应急措施, 值班人员A协同交换/数据值班专家实时监测性能指标;F 同时,值班人员C将解除情况上报其他相关部门领导;F 值班人员D通知客服中心应急措施解除。预警结束,后评估F 省网管监控中心进行归档,网管交换支援部/网管数据支援部对预警进行后分析,并总结经验,纳入知识经验库。吉林省红橙黄蓝上墙流程吉林省红橙黄蓝应急对应措施:吉林省红橙黄蓝应急实施操作:吉林省VVIP基站列表(2009年10月)