1、市政单位营销业务应用系统上线故障应急预案编 制： 审 核： 批 准： 版 本 号: ESZAQDGF001 编 制： 审 核： 批 准： 版 本 号: 1 引言1.1 文档编制目的XX区XX营销业务应用经过了前期的业务需求核查、系统设计、开发测试、现场验证等阶段，目前已准备进行上线运行。为保证系统安全、稳定的运行，确保各类营销业务不间断，特制定此应急预案。此应急预案把目前营销业务应用中的19个业务类，按照对营销服务的服务紧急程度分为紧急应用、一般应用和非紧急应用，并针对这三类应用分别给出相应的应急预案。本应用预案是针对应用业务应用程序出现故障时的应急处理方案，对于由于硬件故障等的应急预案，有单2、独的文档进行说明，后续所有应急预案均为应用软件的应急处理预案。1.2 词汇表紧急应用：是指对营销业务应用有重大影响，直接服务于广大用电客户的功能，此类功能的停止将造成服务停止，严重影响用户服务。一般应用：是指营销业务应用中日常管理功能，此类应用的停止，不影响其它应用，不会对广大用电客户有直接的影响。非紧急应用：指营销业务应用中的考核、分析等功能，此类应用的停止对广大用电客户没有影响，只对营销业务应用内部有一定的影响。2 营销业务应用分类目前营销业务应用共分成19个业务类：新装、增容及变更用电，供用电合同管理，抄表管理，核算管理，电费收缴及帐务管理，用电检查管理，业务处理，资产管理，计量点管理，3、计量体系管理，电能信息采集，市场管理，线损管理，能效管理，有序用电管理，客户关系管理，客户联络，稽查及工作质量管理，客户档案资料管理。根据营销业务应用上线时各类应用的服务紧急程度分成如下三类：紧急应用：新装、增容及变更用电，抄表管理，核算管理，电费收缴及帐务管理，业务处理，客户联络，电能信息采集；一般应用：供用电合同管理，资产管理，计量点管理；非紧急应用：用电检查管理，计量体系管理，市场管理，线损管理，能效管理，有序用电管理，客户关系管理，稽查及工作质量管理，客户档案资料管理。3 人员保障方案3.1 东软技术人员现场服务在试点上线阶段，技术工程师在现场随时对各类问题进行响应，发现系统故障及时分4、析，查找故障原因，确定解决方案，并马上进行修改，在最早的时间解决问题，恢复系统正常运行。3.2 对具体操作人员现场指导在系统上线期间，为保证各类操作人员能够正确、顺利的使用系统，东软在试点单位安排技术人员，随时响应具体操作人员的询问，解答相应问题，在没有安排现场技术人员的地点，也会指定专人进行技术支持。在上线期间，为保证系统正常运行，可由东软技术人员对由于误操作导致的错误数据在数据库中进行修改，确保系统能够顺畅运行。4 各业务类处理应急预案4.1 总体说明根据前述的划分，我们把营销业务应用的19个业务类按照意外故障后的影响程度将其划分成“紧急应用、一般应用和非紧急应用”三个大类。1、对于紧急应5、用，由于其直接涉及到用户服务，因此，此类应用在系统上线前都已经过严格的测试，确保程序的正确和稳定运行。对于此类应用，若由于意外原因导致故障，不能进行正常的操作，此时东软的技术人员，会按照一类故障进行紧急处理，查找故障原因，进行系统修复，确保在最短时间进行故障恢复。为保证服务的连续性，以手工记录相应的用户服务请求为补救方法，待系统恢复后，由东软技术人员进行相应的数据导入，确保数据不遗漏。除此之外，针对不同的业务处理模式，在技术上采用不同的补救措施，下面的4.2章节会根据不同的业务进行详细的描述。2、对于一般应用，由于其不涉及到具体的用户服务，是内部的一些管理功能，对用户没有直接的影响，在系统上线6、时，若发生此类故障，东软的技术人员会在第一时间查找故障原因，尽快恢复系统运行。在此期间，由于系统故障而由手工替代记录的一些数据，如校验台的校验数据等，待系统恢复后，由东软的技术人员，通过手工调用接口的方式，重新从中间库中获取相应的数据，导入到系统中，保证系统数据的延续性。3、对于非紧急应用，主要涉及到一些管理功能和考核功能，由于此类应用对最终用户没有影响，对时间响应要求也不是很高，对于此类应用故障，东软技术人员会在第一时间查找故障原因，尽快恢复系统。对于此类应用，一般不涉及到数据的输入，因此也不需进行特殊的数据处理。4.2 紧急应用的应急预案4.2.1 业扩报装对于此类业务由于受意外原因导致业7、务不能正常办理，为保证不造成服务的中断，在进行故障处理的同时，需要进行人工处理，以满足用户的各类业务申请。此时，前台业务受理人员，可在系统暂停的情况下，先手工记录用户的申请信息，保留用户联系方式，待系统恢复正常后，补录入用户的申请信息，进行后续的工作流程处理。、 由于转档数据错误导致程序报错，无法推进：可以分为两种情况：a. 数据切换导致的档案数据错误数据切换过程中由于各种原因造成的档案数据错误，影响到无法完成正常进行业扩报装工作。例如变压器信息不正确。出现此类问题后，业务操作人员记录出错流程的相关信息并提供正确的档案数据给东软现场工作人员。东软现场工作人员将使用“申请注销”功能，将出现问题的8、业务流程终止，然后根据业务人员提供的正确档案数据及设备参数，使用“档案维护”功能将正确信息维护到系统中去。修改完毕后通知业务人员进行相关业务操作。b. 转档基础数据错误数据切换过程中由于各种原因造成的基础数据错误，影响到无法完成正常进行业扩报装工作。例如变电站、线路、台区关系不正确。出现此类问题后，业务人员应马上联系东软现场工作人员。业务操作人员提供正确的基础数据，由东软现场工作人员进行基础数据维护，维护完成后，通知操作人员继续程序操作。、 由于程序操作失误导致信息录入错误，影响归档结果：对于出现此类问题，应立即联系东软现场工作人员，由东软现场工作人员进行判断，可分为两种情况处理：a. 录入错9、误的信息可以再后续流程中修正，则由东软现场工作人员协助操作人员在后续流程中将问题修正；b. 录入错误的信息不能在后续流程中修正，则由操作人员提供正确信息给东软现场工作人员，东软现场工作人员通过现场修改后台数据进行修正，修正完成后操作人员继续该工作流程。如果无法通过后台数据修改修正错误，则注销该流程，再重新启动流程。、 由于程序错误导致流程无法推进：出现此类问题时，操作人员可在系统暂停的情况下，先手工记录流程信息并马上联系东软现场工作人员解决问题，待系统恢复正常后，进行后续的工作流程处理。4.2.2 抄表对于抄表方式为“抄表机”的抄表段，由于各种意外原因导致不能使用抄表机进行抄表，按照如下方式处10、理：1、对于由于抄表机故障导致的不能抄表，可通过替换抄表机来进行处理。2、对于由于程序故障导致的不能使用抄表机进行抄表的情况，可将此抄表段的抄表方式修改成“手工抄表”，然后打印相应的抄表清单，进行手工抄表，抄表完成后，进行手工表码的录入，待系统正常后，再恢复该抄表段的抄表方式。对于抄表方式为“集抄”，采用人工方式从相关系统导出采集数据，再人工导入新系统。4.2.3 电量电费计算对于电量电费计算这类关键业务应用，在系统上线前已进行了至少2个月的电费数据试算，确保算法的正确，算费程序的稳定。在系统上线过程中，若意外原因导致客户端不能进行电量电费的计算，在进行故障排查的同时，由于东软的算费程序采用独11、立的算费服务器进行，此时可通过东软的技术人员，在应用服务器端，通过控制台直接调用相应的算费程序，进行当天的电量电费计算，直至故障排除。若算费程序本身发生故障导致不能算费，对于此类情况，只能暂停进行电量电费的计算。东软技术人员进行紧急故障排查，对于在此期间导致的相应工作考核指标的变化，可通过手工方式进行调整，确保不影响相应的指标考核。4.2.4 银行联网收费对于银行联网收费，可针对代扣和代收两种方式分别处理。1、对于代扣收费，由于特殊情况导致不能正常扣款，在系统修复过程中对用电客户没有直接影响，但是需要考虑违约金计算问题，此时可通过人工处理的方式，对故障影响的代扣客户的违约金计算起始时间进行调整12、，保证不出现误计算违约金的情况发生，待系统正常后恢复相应的设置，进行正常的扣款。2、对于代收业务，可将故障类型分为银行端和电力端：1）若某一银行端发生故障导致该银行不能正常缴费，此时，可疏导客户到其它银行进行缴费。待银行端正常后，可恢复缴费。2）若电力端发生故障导致银行不能正常收费，东软现场技术人员进行紧急故障排查，在最短的时间内恢复系统运行。在此期间，若发生了相应的违约金，需要通过技术人员直接修改相应的违约金记录，对于在当天产生的违约金全部清零，保证不出现误计算的情况。如果是针对某个银行的电力端前置机出现故障，且重新启动后仍然无法恢复，则在另一台机器上部署针对此银行的通讯程序，并将新的IP和13、端口及时通知银行，恢复此银行的代收业务。4.2.5 帐务处理营销业务应用系统中帐务处理模块直接关系到广大用电客户的缴费，保障该模块稳定运行是重中之重。以下从系统切换、上线运行两个阶段分别描述相关日常监控保障措施和应急处理预案。4.2.5.1 日常监控过程4.2.6.1.1. 系统切换阶段1. 系统切换转入余额和欠费之前，检查系统中帐务相关的垃圾数据是否已经全部清理掉。2. 检查帐务相关的初始数据是否完成。3. 按照数据转换方案，转入上线单位的余额和欠费。转入后，检查各明细数据是否符合新营销系统的业务规则。4. 确认明细数据没有问题后，通过系统功能生成收费日志的期初数，并与转入的明细数据合计核对14、。如果发现不符，则根据新系统的业务规则导出明细，与原系统提供的明细数据核对，直到符合为止。5. 收费日志期初数确认后，初始化项目余额表的期初数据。并通过系统功能查询项目余额表，确认与收费日志是否相符。6. 东软公司、华电方胜与试点单位确认完以上结果后，备份原系统提供的欠费和余额明细文件，备份新系统中余额表、预收电费表、缴费记录、应收电费表、实收电费表以及其他初始导入的数据。4.2.6.1.2. 上线运行阶段下面分别从收费员、收费整理两个岗位分别说明在日常每天工作中如何保障收费帐务工作的平稳运行。4.2.6.1.3. 收费员（坐收、购电、杂项）为确保上线运行过程中，收费数据可核对，暂定在收费同时15、手工记录的方式(因此方案工作量巨大，因此待定)，具体过程如下：一、东软公司按照规定的格式倒出电子表格。（格式参见附表“收费记录表”。）二、收费员（坐收、托收）工作。1. 收费员完成一天的收费工作后，进行收费日结并生成款项交接单，每日保存好用户收据存根、打印收费明细、款项交接单、结账单。2. 每日按照收费情况填报“日收费明细表”。（格式见附表“日收费明细表”）3. 收费员根据当日收费情况及东软公司提供的“日收费记录明细表”核对实收数据。（格式见附表“收费记录表”）核对款项交接单上的各种款项是否与“收费记录表”、实物(现金，支票、收账通知单、发票存根等)相符。4. “日收费记录明细表”中用户实际收16、费金额及收欠费、收违约金、收预收与实际收费情况相符，则将“日收费明细表”及收费明细、款项交接单、结账单交与电费收入整理；若不符则及时查找原因，同时将问题数据用户号、用户名及差错原因上报班长转电费收入整理。 5. 初次收费时核对票据种类、号码、金额、内容。二、杂项业务收费员1. 要求收费员每日保存好用户收据存根、打印收费明细、款项交接单、结账单。2. 每日按照收费情况填报“日收费明细表”。（格式见附表“日收费明细表”）3. 收费员根据当日收费情况及东软公司提供的“日收费记录明细表”核对实收数据以及收费项目的正确性。（格式见附表“收费记录表”）4. “日收费记录明细表”中用户实际收费金额及收费项目17、与实际收费情况相符，则将“日收费明细表”及收费明细、款项交接单、结账单交与电费收入整理；若不符则及时查找原因，同时将问题数据用户号、用户名及差错原因上报班长转电费收入整理。5. 初次收费时核对票据种类、号码、金额、内容。4.2.6.1.4. 收费整理一、数据核对思路1. 核对每个收费员的款项交接单、结账单是否相符。2. 每日收费、发行结束后生成项目余额表，统计收费日志、实收明细、欠费明细、预收余额明细，应收电费发行总表。3. 每日核对实收项目。包括项目余额表、收费日志、实收明细、欠费明细、预收余额明细。4. 每日核对应收项目。包括项目余额表、总应收电费发行表、电量电费分类统计表。5. 每日平项18、目余额表预收与应收项目。包括前期预收、应收及本日应收、预收各项数据。6. 每日将收费员转来的“日收费明细表”与东软公司提供的“日收费记录明细表”进行核对，核对正确后于当日生成的营业项目余额表核对。数据有错误及时与上级领导沟通，配合东软公司人员查找原因。7. 月末进行应收、实收结账，生成月项目余额表，核对月账。打印项目余额表、收费日志、实收明细、应收电费发行表。二、核对数据步骤收费员核对完成后，试点单位收费整理员每日对收费员的款项交接单进行解款确认，同时收集收费员填报的“日收费明细表”及已签字确认的“收费记录表”。1. 核对日营业项目余额表每日生成项营业目余额表，并存档。1) 将前日营业项目余额19、表的预收、应收电费与当日营业项目余额表的前期应收、预收电费进行核对；2) 营业项目余额表上的发行数据与总应收电费发行表、电量电费分类统计表进行核对；3) 将项目余额表上的实收记录与收费日志（电力、购电、杂项）、实收收入明细表、电费实收查询情况；4) 检索用户欠费明细、预收明细查询，将合计欠费、预收金额与项目余额表预收及应收电费数据进行核对。2. 核对收费员收费信息： 电力：1) 核对“收费记录表.xls”用户的实收金额与收费员的款项交接单、结账单是否相符；2) 核对是否与电力收费日志明细中按收费员实收项一致； 3) 按收费员核对是否与电费实收查询情况中收机关电费一致；4) 依据“收费记录表.x20、ls”配合东软公司查找项目余额表的差值。 购电：1）同电力1）。2）按收费员核对是否与购电收费日志明细中实收项一致；3）按购电员核对是否与电费实收查询情况中收居民电费一致；4）同电力4） 业务费：1）同电力1）2）按收费员核对是否与杂项收费日志明细中实收项一致； 3）按收费员核对是否与电费实收查询情况中收杂项电费一致；4）同电力4）； 3. 按照收费员、日期、资金种别，汇总实际收费金额,包括收电费、收违约金、收预收。这里要分别汇总出居民购电、电力、杂项手工账并与“收费记录表.xls”数据进行核对。1) 核对是否与电力收费日志汇总中实收、余额是否一致；2) 核对是否与购电收费日志汇总中实收、余额21、是否一致；3) 核对是否与杂项收费日志汇总中实收、余额是否一致；4) 核对是否与营业项目余额表一致。4. 核对收费日志、项目余额表、发行表、收入明细表数据是否平衡，核对关系参照 “账务报表核对关系.xls”。4.2.6.1.5. 统计员1. 将1-7月份统计报表保存。2. 每日发行结束后统计各项报表。3. 每日将统计报表与电量电费分类统计表及发行表核对。同时与电费收入整理配合，根据收费员提供的“日收费明细表”与东软公司提供的“收费记录表”核对补收退还表的正确性。4. 月末电费收入整理结月账后生成月统计报表，核对正确后上报电业局。在核对过程中存在问题，配合东软支持人员通过技术手段（数据检查脚本）22、对收费员当天所作业务进行查找，找出具体的错误原因。（具体查找方式，见以下的“应急处理”）4.2.5.2 应急处理针对第一、二阶段联调中遇到的帐务部分问题，按照如下方式处理：1. 系统中款项交接单汇总数与实物不符在“交费查询”功能中通过款项交接单编号条件查询交费明细，逐条明细与实物核对（存在手工记帐期间，和手工帐核对），直到找到不符的明细数据。如果是系统中交费记录问题，则先“冲正”，再按照正确的信息重新收费。之后，重新生成款项交接单。2. 收费日志实收与当天到帐确认的款项交接单合计金额不符1) 首先确认这里说的款项交接单是指已经到帐确认的。没有到帐确认的收费记录，不会进入收费日志的实收中；2) 23、检查系统中当天发生的交费信息是否符合业务逻辑，如果存在不符合业务逻辑的数据查明原因后修正。3) 查询出收费日志中实收明细，与款项交接单对应的明细逐条核对。3. 收费日志前一天余额与今天的发行、实收、余额数据不符1) 通过sql语句查询出前一天和今天的明细，针对每一户核对：2) 前一天余额 今天实收 今天发行 今天余额 关系，对于不符合的明细记录，通过交费查询分析具体原因。4. 收费日志中今日欠费或余额与项目余额表不符1) 通过sql语句查询出收费日志中余额或欠费对应的明细；2) 根据项目余额表中的统计逻辑，查询出相应的明细，和第1步中的明细进行比较；由于上线运行中可能遇到各种复杂的数据情况，当24、遇到特殊情况时，现场实施工程师会根据具体的数据情况，及时分析并解决。无法分析的，第一时间上报支持中心电费专业业务负责人处理。4.2.5.3 人员安排4.2.5.3.1 总体负责人省公司管控项目组：东软： 4.2.5.3.2 试点单位负责人员明细业务应急处置工作小组名单及联系方式：序号姓 名部 门职 务办公电话移动电话备注12345东软公司实施工程师与试点单位营业主任、营业班长及电费收入整理员等帐务管理人员保持密切联系，发现问题及时解决。对于不能及时解决的，第一时间上报电业局及东软公司支持中心电费专业负责人处理。4.2.6 计量4.2.6.1 检定台体接口应急方案计量模块的上线风险主要在计量台体25、的检定接口上，该检定接口若不能完成，计量器具不能及时合格入库，将影响装换表业务的进行,那么可暂且使用下述方案支持整个营销业务应用系统的上线。以电能表为例：在计量资产模块中提供手工直接批量入库功能，即对某批计量器具在检定台体的独立检定环境上完成检定工作，然后在营销计量模块中对该批检定合格的计量器具手工入库，待接口实现后再向营销系统导入检定记录。互感器的解决方案与电能表相同。4.2.7 95598应急方案4.2.7.1 业务咨询1、确定是否是应用系统均不能使用，如果不能则需要人工记载受理记录，待系统恢复后补填需要咨询处理的工单。其他咨询查询无需单独做工作单，只对咨询查询记录按类统计，分别汇总，对统26、计报表数据进行修改。此时如果需要下发工单到相应部门进行咨询处理，则需要通过手动签入电话进行通知，待系统恢复后进行录音重新绑定；2、如果话务平台失效，则需要通过普通电话进行通知。4.2.7.2 故障报修受理1、确定是否是应用系统均不能使用，如果不能则需要人工记载受理记录，待系统恢复后补填报修主工单。此时如果可以人工手动签入话务系统，则签入后及时通知处理部门(报表数据受影响)；2、如果话务平台失效，则需要通过普通电话立即进行通知3、抢修到达现场时间可以通知生产调度进行补填(赤峰局制度)。4.2.7.3 投诉、举报受理1、确定是否是应用系统均不能使用，如果不能则需要人工记载受理记录，待系统恢复后补填27、投诉主工单、报修工单。此时如果可以人工手动签入话务系统，则签入后及时通知处理部门；2、如果话务平台失效，则需要通过普通电话立即进行通知4.2.7.4 服务接入1、确认话务平台是否可以人工手动签入，如果可以，则人工手动接听电话进行受理。2、如果话务平台不能手动签入，则需要通知维护人员立即将交换机呼叫方式转为普通座机进行受理，安装并启动外线电话的录音伴侣，手工记录工单,并待维护修复后，再转为数字话机进行签入受理。4.3 一般应用的应急预案4.3.1 概述对于一般类应用，当由于意外原因导致故障时，其对系统的影响相对较小，对广大用电客户一般不产生直接的影响。因此，对于此类应用，一般按照正常的系统处理方28、式，尽快进行系统故障的处理，保证系统在最短的时间内恢复正常。4.3.2 各类应用的应急处理预案资产管理，计量点管理中除了计量点管理中需要和各类校验设备进行接口外，其它的各项应用都为系统内部的功能应用。当各类计量校验设备接口出现故障，导致系统不能正常使用时，由于此类应用无法进行手工替代，因此，必需按照一类故障，在最短时间内进行故障排除，待系统正常后使用。对于系统内部原因导致的系统故障，则需要根据具体的问题情况，进行故障处理，在最短时间内使系统恢复正常。4.4 非紧急应用的应急预案4.4.1 概述对于非紧急应用，由于其故障对系统其它应用及用电客户基本不产生影响，只影响内部的管理和考评工作，对于此类应用，可根据具体的时间周期，根据问题的重要程度，统一进行系统升级，保证系统恢复正常使用。4.4.2 各类应用的应急处理预案对于用电检查管理，计量体系管理，市场管理，线损管理，能效管理，有序用电管理，客户关系管理，稽查及工作质量管理，客户档案资料管理等业务类，由于此类应用不直接影响用电客户，可待系统恢复后继续使用。