1、通信公司互联网维护CMNET网拥塞处理管理规定编 制： 审 核： 批 准： 版 本 号: ESZAQDGF001 编 制： 审 核： 批 准： 版 本 号: 目 录第一章概述3第二章维护组织4第一节 维护组织机构与职责4第二节 CMNET境内网络与境外网络的界面划分6第三节 与其他系统的界面划分7第三章系统的日常维护和管理8第四章故障处理10第五章 用户投诉处理12第六章 CMNET网络拥塞处理13第七章 质量管理15附录一 CMNET骨干网故障处理流程16附录二 CMNET省网和城域网故障处理流程17附录三 互联网业务投诉处理流程18附录四 各省CMNET用户国际业务的投诉处理流程19附录六2、 CMNET网络拥塞监控及拥塞缓解分级处理流程21编 制 历 史22第一章概述第一条 互联网（即CMNET）是一个全国性的、以宽带互联网技术为核心的，可同时提供话音、传真、数据、多媒体等高品质电信服务的电信数据基础网络，由境外网络、全国骨干网、省网、城域网组成。第二条 互联网的骨干网（以下简称CMNET骨干网），侧重提供跨省业务调度、全网性业务接入和国内外运营商的互联互通，设备包括骨干核心层路由器、骨干接入层路由器、骨干交换机、国内国际出口路由器、骨干DNS、RADIUS系统等。境外网络主要指设置在海外的POP点，提供互联网与国外运营商的互联业务，设备包括设置在海外的路由器和交换机。互联网省网3、（以下简称CMNET省网）是CMNET骨干网的延伸，侧重提供省内业务调度、CMNET骨干网流量疏通和省内运营商直连，设备包括省内骨干路由器、省内运营商直连路由器、省内骨干DNS、省内骨干网交换机、省内接入层路由器、省内接入层交换机等。互联网城域网（以下简称CMNET城域网）是CMNET省网的延伸，侧重提供业务的接入和收敛，设备包括城域内核心路由器、城域内业务接入路由器、城域网内宽带接入服务器、城域内汇聚交换机等。对于直辖市，CMNET省网与CMNET城域网采取融合方式。第三条 为了规范互联网的维护管理，合理、可靠、安全、高效地组织、管理互联网，提高互联网的通信服务质量，提高维护队伍整体素质和水4、平，特制定本管理规定，作为组织、管理互联网的依据。第四条 本管理规定适用于境外网络、全国范围内构成CMNET骨干网、CMNET省网、CMNET城域网的路由器、交换机、DNS服务器、RADIUS系统等。构成CMNET的传输链路按照光传输网维护管理规定组织维护。第五条 本管理规定按照网络运行维护规程框架编制，未详尽描述部分参照网络运行维护规程执行。第六条 各级维护管理部门应认真执行本规定。国际公司和各省公司在本规定的基础上，结合本地实际情况，编制实施细则，以确保互联网安全、可靠、高效地运行。第七条 本办法的解释和修改权属于通信有限公司网络部。第二章维护组织第一节 维护组织机构与职责第八条 互联网的5、维护管理采用统一领导、分级管理、分级负责的原则，在总部的统一领导下，总部及各省公司负责管辖范围内互联网的维护管理工作。第九条 总部网络部主要职责为：1. 负责组织制定互联网的维护管理规定，监督各省落实维护规定的情况，对各省的维护工作给予指导。2. 负责制定互联网质量考核指标和考核办法，定期检查和分析互联网的运行质量，组织考核评比。3. 负责互联网重大故障和重大安全事件的管理，为省公司故障和安全事件提供技术支持。4. 负责为互联网的设备维护、优化和故障处理提供技术支援。5. 负责国内外运营商的互联网网间互联工作。6. 负责制定互联网网络组织、路由原则、局数据原则和全网性大客户BGP接入、跨省VP6、N等业务的网络实施方案，并组织实施。7. 负责互联网设备、软件版本、局数据、资源管理等工作。8. 组织制定互联网的应急通信保障方案，具体负责CMNET骨干网的应急演练，指导各省公司制定CMNET省网的应急方案。9. 分析互联网的运行情况，指导互联网的优化调整工作。10. 实施CMNET骨干网（包括设置在南方基地的骨干网设备）的维护和优化工作，负责724小时实时监控CMNET骨干网设备的运行状况，负责故障处理、资源调度、网络预警、质量控制、软件装载、局数据制作等工作，并落实相关安全要求。11. 组织实施CMNET骨干网（包括设置在南方基地的骨干网设备）工程建设期间的工程随工及验收测试工作。12.7、 牵头组织各级维护人员的技术、业务交流与培训。13. 负责非法网站的核查、封堵、解封及将封堵/解封数据下发给省公司。14. 负责根据业务需要接收省公司BGP接入客户的路由并通过CMNET骨干网发往整个互联网。15. 负责定期向省公司通告CMNET骨干网网络运行情况，负责CMNET骨干网新技术或新系统应用的推介。16. 指导国际公司做好境外网络维护工作，配合国际公司完成网络调整。17. 协助省公司处理通过CMNET骨干网互联到其他运营商间及其他运营商内部的互联互通投诉处理。18. 负责CMNET骨干网的日常运行和投诉分析。19. 负责CMNET骨干网的拥塞问题分析与解决。第十条 国际公司的主要职8、责为：1. 贯彻总部网络部互联网维护管理规定，根据境外网络情况制定切实可行的维护管理实施细则。2. 实施境外网络的维护和优化工作，负责724小时实时监控境外网络设备的运行状况，负责故障处理、资源调度、网络预警、质量控制、软件装载、局数据制作、资产管理、设备维护等工作，并落实相关安全要求。3. 负责CMNET境外网络进行运行分析，并定期向总部网络部通告。4. 负责国外运营商的互联网网间互联工作。5. 组织实施CMNET境外网络的工程随工及验收测试工作。第十一条 南方基地的职责1. 负责做好设置在南方基地的CMNET骨干网设备的现场维护工作，并配合完成骨干网设备的故障处理。2. 配合总部网络部做好9、设置在南方基地的CMNET骨干网设备的工程随工及验收测试工作。第十二条 各省公司网络维护部门主要职责为：1. 贯彻总部网络部互联网维护管理规定，根据本省情况制定切实可行的维护管理实施细则。2. 负责落实总部网络部互联网运行质量考核指标和考核办法，建立质量分析制度和质量监督体系。3. 负责CMNET省网的安全工作。组织制定CMNET省网应急通信保障方案并定期演练，指导各地市制定CMNET城域网的应急方案。4. 在总部的指导下，负责省内运营商直连的互联网网间互联工作。5. 负责制定CMNET省网网络结构、路由原则，负责审核省内业务系统接入CMNET省网的网络结构、路由原则，指导各地市制定省内大客户10、BGP接入、集团客户、家庭客户及个人用户互联网接入等业务的网络实施方案。6. 在总部的指导下，负责做好CMNET省网和城域网的设备、软件版本、局数据、资源管理等工作。7. 定期分析CMNET省网和城域网的运行状况，做好网络预警工作，制定并实施相应的改造、优化措施。8. 负责724小时实时监控CMNET省网和城域网网络运行状况，负责CMNET省网设备的日常维护、故障处理、资源调度、软件装载、局数据制作等工作，对于城域网设备问题派单给地市公司。重大故障需向总部网络部报告，并组织解决CMNET省网和城域网运行维护中的问题。9. CMNET骨干网设备所在省公司配合总部网络部做好CMNET骨干网设备的现11、场维护工作。10. 组织实施CMNET省网和城域网工程建设期间的工程随工和验收测试工作。11. 定期组织本省维护技术人员的交流和培训工作。12. 负责按照总部下发的数据对非法网站进行封堵、解封及数据上报。13. 负责根据省公司BGP接入业务需要向CMNET骨干网发布BGP接入客户的路由。14. 负责定期通报CMNET省网网络运行情况。15. 负责处理地市公司提交的CMNET跨域投诉。16. 负责CMNET省网和城域网的日常运行和投诉分析。17. 负责CMNET省网和城域网的拥塞问题分析与解决。第十三条 地市公司网络维护部门主要职责：1. 贯彻省公司互联网维护管理实施细则，根据本地情况制定可行的12、维护作业计划。2. 落实省公司互联网运行质量考核指标和考核办法，建立质量分析制度和质量监督体系。3. 负责所有属地CMNET骨干网和省网设备现场维护，并配合完成骨干网和省网设备的故障处理。4. 配合省公司进行CMNET省网应急通信保障预案的演练与实施。按照省公司要求制定CMNET城域网应急通信保障方案并定期演练。5. 在省公司的指导下，负责CMNET城域网设备的日常维护、故障处理、投诉处理、资源调度、软件装载、局数据制作等工作。6. 负责定期分析本地CMNET城域网设备和网络运行状况，做好网络预警工作，制定并实施相应的改造、优化措施，并按照要求及时提交省公司审核。7. 负责本地用户端、应用端设13、备的配合、调测、开通工作，负责本地电路的调测、开通工作。8. 做好省公司交办的其他任务。第二节 CMNET境内网络与境外网络的界面划分第十四条 以CMNET国际出口路由器与POP点路由器之间的链路为分工界面，AS9808设备及网络（境内网络）由总部网络部负责维护，AS58453设备及网络（境外网络）由国际公司负责维护。AS域之间的自建链路及国内租用链路由总部网络部维护，国际链路由国际公司维护。后续扩容、新增设备沿用以上原则。第三节 与其他系统的界面划分第十五条 CMNET是各项数据业务的承载网络，CMNET与其上承载的各业务系统维护分工界面是：各业务系统设备（防火墙）至CMNET设备的接口，接14、口内侧设备归属CMNET，接口外侧设备归属各业务系统。第十六条 CMNET要积极配合完成与GPRS、彩信、WAP、DSMP、邮箱、短信网关、IMS等有关的网络调整工作，并配合进行相关测试。第三章系统的日常维护和管理第十七条 互联网维护工作主要指设备网元和网络层面的维护，包括系统本身及相关连接设备的定期检测、数据备份、故障处理等。第十八条 系统维护作业计划的编制和实施1. 对于CMNET骨干网，总部参照本规定中所规定的维护监测项目、周期和要求, 制定详细的作业计划，并将部分作业计划任务指派给设备所在省公司。总部和设备所在省公司按照分工职责分别执行作业计划，设备所在省公司根据总部要求定期上报作业计15、划执行情况和设备检测结果，在设备检测中一旦发现异常情况，应立即上报总部。2. 对于境外网络，国际公司参照本规定中所规定的维护监测项目、周期和要求, 制定详细的作业计划并组织实施。3. 对于CMNET省网，省公司参照本规定中所规定的维护监测项目、周期和要求，编制日常维护作业计划并组织实施和定期检查。4. 对于CMNET城域网，各地市公司参照本规定及省公司维护管理实施细则编制并实施日常维护作业计划，并定期将维护作业计划的实施情况上报省公司。第十九条 互联网日常维护测试项目应包括以下内容。国际公司和各省公司可根据各自设备的实际情况自行补充，测试周期可根据实际情况制定，但频度不得低于下表中的规定。对于16、例行维护项目，若网管支撑系统支持自动检测，则优先采用网管支撑系统的自动检测功能。类别项目周期备注设备检查硬件系统检查日设备资源利用率（CPU、内存、磁盘空间）检查实时监控DNS、RADIUS系统软件进程检查日DNS服务器配置文件完整性检查周监测实时告警消息实时监控主备倒换测试半年系统各相关设备链路检查链路通断状态实时监控链路利用率实时监控网络检查网络连通性日网络时延、丢包率检查日DNS服务器解析成功率检查日DNS服务器并发请求数（QPS）检查日DNS服务器解析时延检查日DNS服务器域名解析可用性检查日重点域名解析准确性检查日数据备份应用系统数据及用户数据备份月DNS系统配置文件备份季DNS系统17、域名解析日志备份季系统数据核查季日志文件备份周文件系统备份半年其他配合集团公司进行设备倒换、安全演练半年IP地址资料的检查核对季端口资料的检查核对月软件版本核对月系统日志和操作日志安全审计月系统和软件安全补丁安装半年安全扫描半年现场看护机房电源、空调、温湿度检查日备品备件的清理核对季第二十条 DNS设备要接入数据网管系统，并至少提供以下监控指标：1. 设备运行指标：服务器的CPU、内存、主要进程、磁盘空间等，并提供5分钟粒度的实时指标曲线呈现和告警呈现。2. 业务相关指标：DNS业务解析成功率、并发请求数QPS 和解析时延，并提供5分钟粒度的实时指标曲线呈现和告警呈现。3. 至少保存三个月的上18、述监控记录数据。4. DNS重点域名解析统计报表（5分钟粒度）： DNS系统指标上报最大时延为30分钟。第二十一条 针对DNS系统可能发生的DDoS攻击、权威解析篡改、缓存投毒等安全事件，编写落实到具体设备、具体指令、具体人员的应急预案，并明确预案触发条件、联系方式、知晓范围等内容。组织应急演练，完善安全事件的联动处理流程。第二十二条 DNS系统设备要支持完备的日志管理功能。支持SYSLOG功能，支持日志的本地保存和远程保存。本地日志要保存在非易失性的介质上，系统重启或宕机时日志数据不会消失。设备输出的日志要包括系统日志、解析日志和操作日志三部分。系统日志要包括系统硬件、软件运行状态。解析日志19、信息中要至少包括用户源地址、请求域名、请求接受时间和处理时延、域名解析结果IP、解析结果代码等。操作日志要记录对DNS的所有操作情况（至少记录到文件级别）。要求三类日志应存储至少三个月，每月对系统日志和操作日志进行安全审计。第二十三条 DNS软件要具备支持标准DNSSEC协议的功能，具备根据未来总部要求快速启用的能力。第二十四条 设备的维护登录账号应纳入AAA系统，AAA系统日志至少保留6个月。第四章故障处理第二十五条 故障处理中的职责划分1. 对于CMNET骨干网，总部负责故障处理及指挥调度，对于需要设备所在省和南方基地进行处理的故障，通过工单方式通知设备所在省和南方基地。设备所在省和南方基20、地负责配合总部进行故障处理或根据总部的工单要求进行相关故障处理。各省公司和南方基地若发现全国CMNET骨干网设备故障，应立即上报总部协调处理。2. 对于境外网络，国际公司负责故障处理，必要时可商总部网络部进行配合。3. 对于CMNET省网，由各省公司负责组织故障处理，必要时可商总部网络部和其他省公司进行配合。4. 对于CMNET城域网，各地市公司接收省公司的故障工单，负责故障的处理工作。第二十六条 故障分类：1. 业务故障：由于CMNET设备不能正常运行、局数据设置错误、互联互通故障、人为差错等各种原因，造成CMNET相关业务质量下降甚至中断。2. 设备故障：CMNET的主备用设备由于各种原因21、不能正常运行，对业务正常的运行造成隐患，但尚未影响业务。3. 在业务故障和设备故障同时出现的情况下，定义为业务故障。第二十七条 故障级别分为重大故障、严重故障和一般故障三类。第二十八条 互联网重大故障1. 以下情况发生任意一种即为重大故障：1) 骨干DNS系统单套节点所有主机或四层交换机发生故障造成本节点不能承载业务，设备故障历时超过60分钟。2) 由于各种原因，造成CMNET骨干核心层节点双节点发生故障退出服务，且设备故障历时超过30分钟。3) 由于各种原因，造成CMNET RR双节点发生故障退出服务，且设备故障历时超过30分钟。4) 由于各种原因，造成CMNET骨干接入层节点双节点发生故障22、退出服务，且设备故障历时超过60分钟。5) 由于各种原因，造成国内/国际出口路由器三节点发生故障同时退出服务，且设备故障历时超过30分钟。6) 由于各种原因，造成CMNET省网核心双节点（多核心的省份为CMNET省网所有核心节点）发生故障退出服务，且设备故障历时超过30分钟。7) 由于各种原因，造成CMNET省网地市双节点发生故障退出服务，且设备故障历时超过60分钟。8) 由于各种原因，造成全国CMNET去往电信/联通/国际方向业务中断，且中断时间超过30分钟。2. 上报要求：重大故障一经确认，应立即上报，上报到总部不得超过60分钟。3. 故障通报：若重大故障涉及省际、国际业务，总部网络部应通23、报业务受影响的省。第二十九条 互联网严重故障2. 以下情况发生任意一种即为严重故障1) 由于各种原因，造成CMNET骨干核心层节点双节点、CMNET RR双节点、国内/国际出口路由器三节点、CMNET省网核心双节点（多核心的省份为CMNET省网所有核心节点）发生故障退出服务，且设备故障历时不超过30分钟；2) 由于各种原因，造成全国CMNET去往电信/联通/国际方向业务中断，且中断时间不超过30分钟；3) 骨干DNS系统单套节点所有主机或四层交换机发生故障造成本节点不能承载业务，设备故障历时不超过60分钟；4) 由于各种原因，造成CMNET骨干接入层节点双节点发生故障退出服务，且设备故障历时不24、超过60分钟；5) 由于各种原因，造成CMNET省网地市双节点发生故障退出服务，且设备故障历时不超过60分钟。6) DNS系统发生授权域名篡改、缓存中毒、DDoS攻击等安全事件影响DNS系统提供正常的域名服务，历时超过60分钟。7) 系统的冗余设备发生故障不能正常运行，尚未影响业务，但对业务正常的运行造成严重隐患，且设备故障历时超过120分钟。3. 除上述情况外，省公司可以根据实际情况对严重故障进行补充。第三十条 互联网一般故障：除重大故障和严重故障外的其他故障为一般故障。第三十一条 故障处理流程见附录一和附录二。涉及网间问题，请参照互联网网间投诉和障碍处理办法处理。第五章 用户投诉处理第三十25、二条 客服部门接到用户申告，经过预处理后无法解决且判断为网络问题的通过工单方式派单给各省网络维护部门。第三十三条 各省公司网络维护部门接到用户投诉后，牵头处理、协调落实解决。如涉及省际投诉通过工单方式派单给相关省公司网络维护部门，如需总部协调的通过工单方式派单给总部网络部，如涉及国际业务通过工单方式派单给国际公司。各省网络维护部门在处理完毕后，将处理结果反馈给派单部门，以形成闭环。第三十四条 国际公司受理国际运营商或中转商的投诉，进行预处理，如需总部网络部或省公司配合，可通过工单形式派单给总部网络部或相关省公司。总部网络部或相关省公司处理完毕后，将处理结果反馈国际公司。第三十五条 互联网业务投26、诉流程参见附录三、附录四、附录五。第六章 CMNET网络拥塞处理第三十六条 为保障CMNET骨干网链路拥塞早发现，早处理，各省公司应当具备拥塞提前发现、提前预警机制。集团公司负责骨干核心层节点（BB）、骨干接入层节点（BC）等CMNET骨干设备间链路的拥塞分析、预测和处理，各省公司负责本省CMNET链路的拥塞分析、预测和处理，并按集团公司要求做好配合工作。第三十七条 各省公司对忙时利用率超过50%链路重点关注并手工核实利用率，可通过数据网管查询利用率报表，也可通过集团管控平台登录骨干设备手工产看端口流量。第三十八条 各省公司对结合出省局向对业务增长进行预测，如判断3个月内骨干疏导能力不足，应当27、及时上报总部，提高处理问题的时效性。第三十九条 根据红橙黄蓝绿分级处理原则，当链路发生拥塞时要根据链路利用率进行分级处理，具体处理原则如下：1. 当链路利用率60%时，各省需定期分析链路流量，根据未来业务发展预估链路拥塞情况，做好提前预警；2. 当60%链路利用率70%时，各省重点关注并分析历史流量发展趋势，并安排每日手工核实链路流量。3. 当70%链路利用率80%时, 各省配合总部向计划建设部提链路紧急扩容需求，要求工程优先实施；分析流量组成及流向，推动内容与网络协同，对热点内容进行下沉。4. 当80%链路利用率90%时，已影响业务的链路：具备流量绕远优化条件，各省配合总部实施TE优化方案，28、使部分流量绕远通过空闲局向进行疏导；若无，省公司采取限流措施限制低价值流量上骨干网。第四十条 CMNET骨干网节点间流量遵循如下疏通原则：1. 核心节点间流量：任何情况下都从核心节点间链路疏通；2. 次核心节点到接入节点间流量：优选通过接入节点到次核心节点间链路疏通；再选通过核心节点间链路疏通；3. 接入节点间流量：优选通过接入节点间链路疏通；再选通过核心节点间链路疏通。第四十一条 流量调整可以通过BGP、部署流量工程两种方法调整。1. BGP调整：省内通过BGP调整路由属性，以控制每台骨干设备所有链路的出/入方向流量，例如在某省1平面流量总体大于2平面流量，则可以通过BGP调整的方式降低1平29、面流量；2. 部署流量工程：将原本较近的省间流量通过人工静态指定路径，绕路到其他节点以降低原有链路的利用率。此方法对比IGP Metric调整，可以预知绕路流量大小、穿越路径以及影响到的节点，在原有利用率降低后可随时撤除。第四十二条 CMNET网络拥塞监控及拥塞缓解分级处理流程参见附录六。第七章 质量管理 第四十三条 为完善对互联网各个环节的质量控制，应建立各级检查体系。做到统一领导，分级管理，分工负责，层层到位，把好质量关。第四十四条 总部网络部负责组织建立互联网的质量分析制度。1. 对于CMNET骨干网及国内运营商间的互联链路，总部网络部负责定期汇总运行质量、网络性能等指标，进行数据网运行30、质量分析，排除质量隐患，不断提高网络运行质量和服务质量。2. 对于境外网络，国际公司负责境外网络与国际其他运营商间的互联链路质量进行管理。3. 对于CMNET省网和城域网，省公司负责组织汇总整理运行质量、网络性能等指标，进行质量分析，并将运行质量情况定期上报总部网络部。第四十五条 互联网网络运行质量主要指标1. CPU平均和峰值利用率;2. 内存平均和峰值利用率;3. 网内主要节点间时延和丢包率;4. 网内主要节点至国际出口路由器时延和丢包率；5. 网络互联链路平均和峰值带宽利用率；6. DNS业务解析成功率；7. DNS业务并发请求数（QPS）；8. DNS业务解析时延；第四十六条 对各项运行维护指标的考核评定以运行维护考评体系的规定为准。附录一 CMNET骨干网故障处理流程 附录二 CMNET省网和城域网故障处理流程附录三 互联网业务投诉处理流程附录四 各省CMNET用户国际业务的投诉处理流程附录五 国际运营商及客户的投诉处理流程附录六 CMNET网络拥塞监控及拥塞缓解分级处理流程