xx村鎮(zhèn)銀行網(wǎng)絡(luò)故障應(yīng)急處理預(yù)案
1.應(yīng)急響應(yīng)機(jī)制
1.1.基本處理流程
(1)值班人員平時應(yīng)做好應(yīng)急事件的監(jiān)控工作，對于突發(fā)事件應(yīng)認(rèn)真分析、準(zhǔn)確判定故障發(fā)生的數(shù)據(jù)域，負(fù)責(zé)跟蹤該事件直至其結(jié)束。對于不在運維中心的故障，應(yīng)在第一時間內(nèi)通知負(fù)責(zé)人去現(xiàn)場處理，密切關(guān)注事件流程及進(jìn)展情況，并做好登記工作上報領(lǐng)導(dǎo)。
(2)正常情況下，要求值班人員在10分鐘內(nèi)進(jìn)行事件確認(rèn)。如果屬于一般事件則按照事件流程進(jìn)行分派處理，否則應(yīng)迅速啟動《應(yīng)急預(yù)案》，并嚴(yán)格按照《應(yīng)急預(yù)案》所規(guī)定的步驟快速實施應(yīng)急處置，及時匯報上級領(lǐng)導(dǎo)，掌握實時處理情況。
(3)在處理過程中，如需其他部門去現(xiàn)場增援處理，應(yīng)及時向上級領(lǐng)導(dǎo)部門匯報，協(xié)調(diào)溝通，盡快聯(lián)系技術(shù)工程師或廠家技術(shù)支持趕赴現(xiàn)場援助處理。
2.演練準(zhǔn)備工作
2.1.視頻監(jiān)控系統(tǒng)
檢查視頻監(jiān)控是否正常工作，圖像是是否清晰。檢查接受到的視頻圖像為實時圖像。
2.2.濕溫監(jiān)控系統(tǒng)
檢查濕度控制器、溫度控制器是否正常工作，檢測當(dāng)濕度過高或溫度過高時其是否實現(xiàn)實時報警。
2.3.UPS檢測系統(tǒng)
檢查監(jiān)控中心所收到的UPS運行狀態(tài)，與實時UPS運行狀況是否一致，具體參數(shù)是否正常(如輸入電壓、電流、蓄電池供電情況等)。
3.演練過程
3.1.機(jī)房市電供電異常
3.1.1.準(zhǔn)備工作
機(jī)房供電系統(tǒng)圖、配電系統(tǒng)維修工具、應(yīng)急燈、UPS操作手冊、應(yīng)急聯(lián)系電話表。
全面檢查機(jī)房供電系統(tǒng)狀況，重點確保UPS主機(jī)系統(tǒng)和電池組等處于良好運行狀態(tài)。
與配電室聯(lián)系好，保證在演練期間配電室無維修或其他操作，電力供應(yīng)穩(wěn)定。
通知UPS供應(yīng)商或維護(hù)商做好相應(yīng)備件及技術(shù)支持準(zhǔn)備，以防止UPS后備電池因維護(hù)保養(yǎng)不善造成其使用壽命縮短或UPS主機(jī)在進(jìn)行逆變切換時發(fā)生故障。
演練前對網(wǎng)絡(luò)系統(tǒng)及應(yīng)用系統(tǒng)進(jìn)行一次系統(tǒng)備份和數(shù)據(jù)備份。
3.1.2.應(yīng)急演練應(yīng)掌握的數(shù)據(jù)
由于目前UPS系統(tǒng)在機(jī)房的負(fù)荷較大，目前UPS有效后備時間約2—2.5小時。
經(jīng)與相關(guān)小組了解業(yè)務(wù)系統(tǒng)數(shù)據(jù)應(yīng)急和設(shè)備正常關(guān)閉時間約1.5小時。
機(jī)房計算機(jī)設(shè)備允許最高環(huán)境溫度為33°C。
3.1.3.市電異常應(yīng)急演練處置流程圖
3.1.4.應(yīng)急操作過程
首先，接到應(yīng)急演練小組演練開始的命令，將UPS供電總電源切斷。
在供電電源停止后，每四分鐘對UPS供電情況進(jìn)行一次巡檢，檢查內(nèi)容主要是UPS的負(fù)載情況、輸出的電壓電流、電池后備時間、電池運行情況，并做好記錄(記錄表樣式附后)。
隨時聯(lián)系配電室人員，了解供電恢復(fù)時間，并向領(lǐng)導(dǎo)小組匯報。當(dāng)停電半小時后未得到準(zhǔn)確送電時間，通知維護(hù)小組及其他相關(guān)部門，做好停機(jī)準(zhǔn)備，停部分設(shè)備以減少用電負(fù)荷。當(dāng)停電一個小時后仍未得到準(zhǔn)確送電時間火災(zāi)配電室通知短時間內(nèi)故障無法排除，向領(lǐng)導(dǎo)小組匯報，由領(lǐng)導(dǎo)小組通知維護(hù)小組及相關(guān)部門關(guān)閉機(jī)房全部設(shè)備。
如果停電范圍較大，涉及機(jī)房空調(diào)市電停止，還需有專人對機(jī)房溫升情況進(jìn)行監(jiān)控并記錄(記錄樣式附后)。當(dāng)機(jī)房溫度達(dá)到33°C時，向領(lǐng)導(dǎo)小組匯報，由領(lǐng)導(dǎo)小組通知維護(hù)小組及其他相關(guān)部門關(guān)閉機(jī)房相關(guān)設(shè)備，隨著溫度的升高直至關(guān)閉全部設(shè)備。
上述UPS電源中斷和機(jī)房空調(diào)電源終端兩種情況同時發(fā)生時，只要其中一個條件不能滿足機(jī)房運行要求，就要向領(lǐng)導(dǎo)小組匯報，由領(lǐng)導(dǎo)小組通知維護(hù)小組及其他相關(guān)部門關(guān)閉機(jī)房全部設(shè)備。
送電后的恢復(fù)工作：市電恢復(fù)正常供電后，機(jī)房管理員檢查UPS系統(tǒng)運行情況和電池組充電狀況、空調(diào)系統(tǒng)運轉(zhuǎn)情況，并向領(lǐng)導(dǎo)小組進(jìn)行報告。
3.1.5.演練中發(fā)生異常故障的處理
(1)應(yīng)急演練過程中，發(fā)現(xiàn)任何異常情況要及時向應(yīng)急演練領(lǐng)導(dǎo)小組報告，由應(yīng)急演練領(lǐng)導(dǎo)決定是否終止應(yīng)急演練。
(2)在應(yīng)急演練過程中預(yù)先準(zhǔn)備好滅火器材，防止出現(xiàn)大電流放電出現(xiàn)著火。
(3)在UPS電池出現(xiàn)過熱時應(yīng)及時終止演練并恢復(fù)市電供電，以防意外發(fā)生。
(4)出現(xiàn)電池及電纜接頭過熱情況要及時處理，恢復(fù)市電，更換接頭等。
3.2.機(jī)房漏水
3.2.1.演練內(nèi)容
計算機(jī)機(jī)房場地漏水，對計算機(jī)系統(tǒng)運行造成嚴(yán)重影響。
3.2.2.準(zhǔn)備工作
吸水設(shè)備、水桶、拖布及地板吸盤等水災(zāi)搶救用品。機(jī)房供電系統(tǒng)系線路圖紙、了解機(jī)房漏水的風(fēng)險點。
3.2.3.機(jī)房可能發(fā)生大范圍漏水的部分
機(jī)房空調(diào)加濕用的供水水管、除濕的下水和吸頂空調(diào)的冷凝水。
3.2.4.演練操作步驟
演練開始。執(zhí)行小組接到計算機(jī)機(jī)房管理人員報告場地漏水或計算機(jī)機(jī)房場地監(jiān)控系統(tǒng)(漏水報警器報警)發(fā)現(xiàn)場地漏水，執(zhí)行小組立即檢查進(jìn)水部位，查明進(jìn)水原因，掌握危害程度，并與大樓后勤服務(wù)部門聯(lián)系，請求尋找進(jìn)水原因。
執(zhí)行小組向協(xié)調(diào)小組、領(lǐng)導(dǎo)小組報告計算機(jī)場地漏水原因、危害程度，同時為了減少損失，通知維護(hù)小組做好進(jìn)行數(shù)據(jù)備份、業(yè)務(wù)系統(tǒng)和電子設(shè)備關(guān)閉的操作準(zhǔn)備工作。
大樓后勤服務(wù)部門負(fù)責(zé)疏通排水通道、清楚計算機(jī)機(jī)房周邊積水、切斷計算機(jī)機(jī)房漏水水源。協(xié)調(diào)小組在確保無觸電危險的前提下，組織人員用吸水工具抽吸場地內(nèi)積水，控制進(jìn)水影響范圍。
領(lǐng)導(dǎo)小組根據(jù)進(jìn)水危害程度，命令維護(hù)小組部分關(guān)閉或全部關(guān)閉業(yè)務(wù)系統(tǒng)和電子設(shè)備后，由機(jī)房管理員切斷部分或全部場地電源，防止危害進(jìn)一步擴(kuò)大。
進(jìn)水危險解除后，機(jī)房管理員檢查計算機(jī)場地受災(zāi)情況和電力線路、網(wǎng)絡(luò)線路健康情況，進(jìn)行計算機(jī)機(jī)房去濕等環(huán)境恢復(fù)，并向領(lǐng)導(dǎo)小組報告。領(lǐng)導(dǎo)小組根據(jù)計算機(jī)機(jī)房環(huán)境恢復(fù)情況，命令維護(hù)小組部分恢復(fù)或全部恢復(fù)業(yè)務(wù)系統(tǒng)和電子設(shè)備進(jìn)行
3.3.機(jī)房火災(zāi)
3.3.1.演練內(nèi)容
計算機(jī)機(jī)房發(fā)生火災(zāi)，對人的生命和計算機(jī)系統(tǒng)運行造成危害。
3.3.2.準(zhǔn)備工作
(1)手持計算機(jī)機(jī)房滅火器、手持應(yīng)急照明燈具等火災(zāi)搶救用品。
(2)確保氣體滅火系統(tǒng)運行穩(wěn)定，并將啟動方式設(shè)置為手動。
3.3.3.演練步驟
火情發(fā)現(xiàn)。執(zhí)行小組接到機(jī)房管理人員的火情報告，或計算機(jī)機(jī)房場地監(jiān)控系統(tǒng)發(fā)現(xiàn)火情，或大樓消防監(jiān)控中心發(fā)現(xiàn)火情。
執(zhí)行小組在排除誤報和在確保生命安全的前提下，準(zhǔn)確掌握火情部位、災(zāi)情程度，并向協(xié)調(diào)小組報告。
協(xié)調(diào)小組向領(lǐng)導(dǎo)小組報告計算機(jī)機(jī)房發(fā)生的火情和危害程度。
經(jīng)領(lǐng)導(dǎo)小組同意，執(zhí)行小組按動火災(zāi)報警按鈕，發(fā)出聲、光報警信號，組織人員撤離計算機(jī)機(jī)房。
分一下兩種情況進(jìn)行處置：
(1)在火情未蔓延時，領(lǐng)導(dǎo)小組命令執(zhí)行小組切斷火災(zāi)部位電源、利用手持機(jī)房滅火器具進(jìn)行滅火。
(2)在火情蔓延時，領(lǐng)導(dǎo)小組命令執(zhí)行小組切斷計算機(jī)機(jī)房全部電源，在確保人員全部撤離機(jī)房后，關(guān)閉機(jī)房所有通道門、啟動滅火系統(tǒng)進(jìn)行滅火。
火情解除后，執(zhí)行小組檢查計算機(jī)機(jī)房空氣質(zhì)量，掌握受災(zāi)情況和電力線路、網(wǎng)絡(luò)線路等健康情況，并向協(xié)調(diào)小組、領(lǐng)導(dǎo)小組報告。
領(lǐng)導(dǎo)小組根據(jù)計算機(jī)機(jī)房環(huán)境情況，
命令執(zhí)行小組恢復(fù)部分或全部電源供應(yīng)、維護(hù)小組部分恢復(fù)或全部恢復(fù)業(yè)務(wù)系統(tǒng)和電子設(shè)備運行。
UPS異常運行記錄表
時間
輸出電壓
輸出電流
電池放電電流
電池后備時間
每十分鐘記錄一次
確認(rèn)簽字：
機(jī)房溫濕度記錄表
時間
機(jī)房1
機(jī)房2
溫度
濕度
溫度
濕度
每十分鐘記錄一次
確認(rèn)簽字：
市電中斷后主機(jī)組、網(wǎng)絡(luò)組、應(yīng)用組系統(tǒng)運行確認(rèn)表
時間
主機(jī)組
網(wǎng)絡(luò)組
應(yīng)用組
系統(tǒng)供電狀況
確認(rèn)簽字
系統(tǒng)供電狀況
確認(rèn)簽字
系統(tǒng)供電狀況
確認(rèn)簽字
每十分鐘進(jìn)行一次確認(rèn)
篇2：銀聯(lián)商務(wù)p公司生產(chǎn)網(wǎng)絡(luò)故障應(yīng)急預(yù)案
銀聯(lián)商務(wù)分公司生產(chǎn)網(wǎng)絡(luò)切換演練實施方案
銀聯(lián)商務(wù)**公司生產(chǎn)網(wǎng)絡(luò)故障
應(yīng)急預(yù)案
第1.1版
銀聯(lián)商務(wù)網(wǎng)絡(luò)室
20**年8月30日
版本控制信息
版本
日期
擬稿和修改
說明
0.00
20**-5-23
王濤
初稿
0.01
20**-5-28
戴小飛
增加部分細(xì)節(jié)
0.02
20**-6-8
王鋒
增加網(wǎng)控器故障演練
0.03
20**-6-15
王鋒
將內(nèi)外網(wǎng)交換機(jī)故障合并為同類故障
1.0
20**/8/7
王鋒
加入故障現(xiàn)象和故障研判
1.1
20**/8/30
孫毅
補(bǔ)充部分演練的故障現(xiàn)象和故障研判
本文檔中的所有內(nèi)容為銀聯(lián)商務(wù)有限公司的機(jī)密和專屬所有。未經(jīng)銀聯(lián)商務(wù)有限公司的明確書面許可，任何組織或個人不得以任何目的、任何形式及任何手段復(fù)制或傳播本文檔部分或全部內(nèi)容。
目錄
1目的范圍5
2演練目標(biāo)5
3風(fēng)險評估5
3.1分公司網(wǎng)絡(luò)設(shè)備現(xiàn)狀5
3.2風(fēng)險可控6
4演練實施步驟8
4.1演練時間及參加人員8
4.1.1演練前期準(zhǔn)備工作8
4.1.2實施時間8
4.1.3參與人員名單8
4.1.4演練完成后續(xù)工作9
4.2演練場景一：生產(chǎn)內(nèi)網(wǎng)上聯(lián)路由器故障9
4.2.1上聯(lián)到總公司/當(dāng)?shù)劂y聯(lián)網(wǎng)絡(luò)的線路出現(xiàn)故障9
4.2.1.1故障現(xiàn)象10
4.2.1.2故障研判10
4.2.1.3演練步驟11
4.2.1.4預(yù)期分析12
4.2.1.5結(jié)果分析12
4.2.1.6應(yīng)急處理13
4.2.2上聯(lián)到總公司/當(dāng)?shù)劂y聯(lián)網(wǎng)絡(luò)的設(shè)備接口模塊出現(xiàn)故障13
4.2.3上聯(lián)到總公司/當(dāng)?shù)劂y聯(lián)網(wǎng)絡(luò)的設(shè)備出現(xiàn)故障13
4.2.3.1故障現(xiàn)象13
4.2.3.2故障研判14
4.2.3.3演練步驟14
4.2.3.4預(yù)期分析14
4.2.3.5結(jié)果分析15
4.2.3.6應(yīng)急處理15
4.3演練場景二：交換機(jī)故障15
4.3.1主交換機(jī)設(shè)備故障16
4.3.1.1故障現(xiàn)象16
4.3.1.2故障研判17
4.3.1.3演練步驟17
4.3.1.4預(yù)期分析18
4.3.1.5結(jié)果分析18
4.3.1.6應(yīng)急處理19
4.4演練場景三：隔離區(qū)防火墻故障20
4.4.1防火墻設(shè)備故障20
4.4.1.1故障現(xiàn)象20
4.4.1.2故障研判21
4.4.1.3演練步驟22
4.4.1.4預(yù)期分析22
4.4.1.5結(jié)果分析22
4.4.1.6應(yīng)急處理23
4.4.2防火墻與內(nèi)、外網(wǎng)交換機(jī)連接線路（端口）故障23
4.5演練場景四：生產(chǎn)外網(wǎng)下聯(lián)路由器故障23
4.5.1外網(wǎng)路由器和商戶間線路故障23
4.5.1.1故障現(xiàn)象23
4.5.1.2故障研判23
4.5.1.3演練步驟24
4.5.1.4預(yù)期分析24
4.5.1.5結(jié)果分析24
4.5.1.6應(yīng)急處理25
4.5.2外網(wǎng)路由器設(shè)備故障25
4.6演練場景五：網(wǎng)控器切換25
4.6.1主上聯(lián)卡故障25
4.6.1.1演練步驟25
4.6.1.2預(yù)期分析27
4.6.1.3結(jié)果分析27
4.6.1.4應(yīng)急處理27
4.6.2主電源故障27
4.6.2.1演練步驟27
4.6.2.2預(yù)期分析29
4.6.2.3結(jié)果分析29
4.6.2.4應(yīng)急處理29
5附件29
19
1
總則
本預(yù)案旨在針對分子公司生產(chǎn)網(wǎng)絡(luò)出現(xiàn)故障時，能準(zhǔn)確定位故障原因，針對故障原因采取有效措施，短時間內(nèi)排除故障、恢復(fù)交易，最大限度地降低故障對生產(chǎn)造成的影響。
適用范圍
本預(yù)案包括分子公司標(biāo)準(zhǔn)架構(gòu)生產(chǎn)網(wǎng)的所有設(shè)備，主要包括：
1.
生產(chǎn)內(nèi)網(wǎng)上聯(lián)路由器故障；
2.
生產(chǎn)內(nèi)、外網(wǎng)交換機(jī)故障；
3.
隔離區(qū)防火墻故障；
4.
生產(chǎn)外網(wǎng)下聯(lián)路由器故障；
5.
網(wǎng)控器上聯(lián)卡及電源故障。
風(fēng)險評估
3.1
分子公司標(biāo)準(zhǔn)架構(gòu)網(wǎng)絡(luò)拓?fù)?/p>
分子公司網(wǎng)絡(luò)設(shè)備連接如下圖：
3.2
影響性評估
如上圖所示，分子公司標(biāo)準(zhǔn)架構(gòu)的內(nèi)網(wǎng)路由器、內(nèi)網(wǎng)交換機(jī)、隔離區(qū)防火墻、外網(wǎng)交換機(jī)、網(wǎng)控器等均采用熱備組成設(shè)級高可用，單臺設(shè)備發(fā)生故障時，業(yè)務(wù)數(shù)據(jù)流將自動切換到備用設(shè)備，生產(chǎn)交易不會出現(xiàn)長時間中斷。
分子公司外網(wǎng)路由器用于與合作商戶接入，當(dāng)設(shè)備出現(xiàn)故障時，需要手動將商戶接入線路切換至備用路由器，存在一定時間的生產(chǎn)交易中斷。
綜上所述，銀聯(lián)商務(wù)分子公司標(biāo)準(zhǔn)腳骨生產(chǎn)網(wǎng)絡(luò)發(fā)生單臺設(shè)備故障時，可能會對生產(chǎn)系統(tǒng)交易造成影響，但風(fēng)險總體是可控的。
故障場景
4.1
應(yīng)急人員
本預(yù)案所涉及的應(yīng)急人員包括：
崗位名稱
人員姓名
運行監(jiān)控崗
系統(tǒng)支持崗
網(wǎng)絡(luò)支持崗
應(yīng)用支持崗
4.2
場景一：生產(chǎn)內(nèi)網(wǎng)上聯(lián)路由器線路或設(shè)備故障
4.2.1
上聯(lián)到總公司/當(dāng)?shù)劂y聯(lián)網(wǎng)絡(luò)的線路出現(xiàn)故障
4.2.1.1
故障現(xiàn)象
監(jiān)控崗位
故障詳細(xì)內(nèi)容
運行監(jiān)控崗
通過NETCOOL短信或者監(jiān)控界面中的紅色告警信息判斷設(shè)備故障。
系統(tǒng)監(jiān)控崗
網(wǎng)絡(luò)監(jiān)控崗
1）
通過遠(yuǎn)程telnet
11.172.255.1登陸分公司主路由器，telnet登錄成功。
2）
通過ping11.172.255.1，ping成功。
3）
通過在總公司下聯(lián)路由器上ping直連接口11.131.172.2，ping不成功。
4）
通過在總公司下聯(lián)路由器上sh
ip
int
brie
顯示該分公司接口為down
down。
應(yīng)用支持崗
運行監(jiān)控崗：NETCOOL告警信息如下
如果出現(xiàn)紅色告警，并顯示線路類型：電信線路：總公司-**分公司
無法ping通
線路編號：NA
報障電話：80082810000,則可能該路由器或線路已經(jīng)出現(xiàn)故障。
網(wǎng)絡(luò)運行崗：檢查路由器所有狀態(tài)燈，顯示有紅色告警或熄滅。
4.2.1.2
故障研判
監(jiān)控崗位
故障研判
預(yù)期結(jié)果
運行監(jiān)控崗
查看總公司監(jiān)控機(jī)netcool告警界面（https://11.131.249.100:16316/ibm/console）
發(fā)現(xiàn)紅色告警，顯示線路類型：電信線路：總公司-**分公司
無法ping通
線路編號：NA
報障電話：80082810000
網(wǎng)絡(luò)支持崗
1）
通過遠(yuǎn)程telnet登陸故障路由器
命令：telnet
11.**.255.1
2）
通過ping路由器
命令：ping
11.**.255.1
3）
通過在總公司下聯(lián)路由器上ping直連接口
命令：ping
11.131.172.2。
4）
通過在總公司下聯(lián)路由器上查看接口狀態(tài)
命令：sh
ip
int
Serial1/2/0:1
1）
telnet登錄成功。
2）
ping成功。
3）
ping失敗。
4）
顯示Serial1/2/0:1
is
down,line
protocol
is
down。
判斷為：分公司生產(chǎn)內(nèi)網(wǎng)上聯(lián)路由器_CN**RT01001的通訊線路中斷。
4.2.1.3
故障處理步驟
故障處理步驟詳見《銀聯(lián)商務(wù)**公司生產(chǎn)網(wǎng)絡(luò)切換演練實施方案》中對應(yīng)章節(jié)。
4.2.1.4
預(yù)期分析
正常情況下，去銀聯(lián)/總公司的路由會通過主線路傳輸數(shù)據(jù)，同時通過cdp能看到與總公司/銀聯(lián)的網(wǎng)絡(luò)設(shè)備鄰接關(guān)系，當(dāng)主線路出現(xiàn)故障后，去總公司/銀聯(lián)的路由會切換到備線路工作，通過備線路傳輸數(shù)據(jù)，不會影響交易。
4.2.2
上聯(lián)到總公司/當(dāng)?shù)劂y聯(lián)網(wǎng)絡(luò)的設(shè)備接口模塊出現(xiàn)故障
故障現(xiàn)象類似4.2.1線路故障，故障的研判、故障處理步驟等與4.2.1一致，在此不做贅述。
4.2.3
上聯(lián)到總公司/當(dāng)?shù)劂y聯(lián)網(wǎng)絡(luò)的設(shè)備出現(xiàn)故障
首先排除線路的故障，如果確定為上聯(lián)路由器設(shè)備整機(jī)出現(xiàn)故障故障，需要關(guān)閉故障路由器上的端口，對設(shè)備進(jìn)行維修或更換。
4.2.3.1
故障現(xiàn)象
監(jiān)控崗位
故障詳細(xì)內(nèi)容
運行監(jiān)控崗
通過NETCOOL短信或者監(jiān)控界面中的紅色告警信息判斷設(shè)備故障。
系統(tǒng)監(jiān)控崗
網(wǎng)絡(luò)監(jiān)控崗
1）
通過遠(yuǎn)程telnet登陸故障路由器，telnet登錄失敗。
2）
通過ping路由器，ping不通。
3）
使用console口登陸，登陸失敗。
4）
檢查路由器所有狀態(tài)燈，顯示有紅色告警或熄滅。
應(yīng)用支持崗
運行監(jiān)控崗：NETCOOL告警信息如下
如果出現(xiàn)紅色告警，并顯示節(jié)點11.**.255.1無法獲取分公司生產(chǎn)內(nèi)網(wǎng)上聯(lián)路由器信息則可能該路由器已經(jīng)出現(xiàn)故障。
網(wǎng)絡(luò)運行崗：檢查路由器所有狀態(tài)燈，顯示有紅色告警或熄滅。
4.2.3.2
故障研判
監(jiān)控崗位
故障研判
預(yù)期結(jié)果
運行監(jiān)控崗
查看總公司監(jiān)控機(jī)netcool告警界面（https://11.131.249.100:16316/ibm/console）
發(fā)現(xiàn)紅色告警，顯示節(jié)點11.131.255.1無法獲取**分公司生產(chǎn)內(nèi)網(wǎng)主路由器信息
網(wǎng)絡(luò)支持崗
1）
通過遠(yuǎn)程telnet登陸故障路由器
命令：telnet
11.**.255.1
2）
通過ping路由器
命令：ping
11.**.255.1
3）
使用控制線連接到路由器標(biāo)識有“console”的端口登陸。
4）
檢查路由器狀態(tài)燈，顯示紅色告警或熄滅。
SYS/SYS
PWR
正常為綠色，
ACT
正常為綠色閃動；當(dāng)狀態(tài)燈為黃色或紅色時故障
1）
telnet登錄失敗。
2）
ping不通。
3）
console口登陸失敗，無法顯示信息。
4）
路由器狀態(tài)燈顯示紅色告警或熄滅。
判斷為：分公司生產(chǎn)內(nèi)網(wǎng)上聯(lián)路由器_CN**RT01001宕機(jī)。
4.2.3.3
故障處理步驟
故障處理步驟詳見《銀聯(lián)商務(wù)**公司生產(chǎn)網(wǎng)絡(luò)切換演練實施方案》中對應(yīng)章節(jié)。
4.2.3.4
預(yù)期分析
正常情況下，去銀聯(lián)/總公司的路由會通過主線路傳輸數(shù)據(jù)，同時通過cdp能看到與總公司/銀聯(lián)的網(wǎng)絡(luò)設(shè)備鄰接關(guān)系，當(dāng)設(shè)備出現(xiàn)故障后，去總公司/銀聯(lián)的路由會切換到備線路工作，通過備線路傳輸數(shù)據(jù)，不會影響交易。
4.3
場景二：交換機(jī)故障
下圖為生產(chǎn)內(nèi)網(wǎng)核心交換機(jī)連接圖：
下圖為生產(chǎn)外網(wǎng)核心交換機(jī)連接圖：
4.3.1
主交換機(jī)設(shè)備故障
首先排除線路的故障，如果確定為備用交換機(jī)設(shè)備整機(jī)出現(xiàn)故障故障，需要將備交換機(jī)上連接的主機(jī)切換到主交換機(jī)相應(yīng)的端口。若確定為主交換機(jī)設(shè)備整機(jī)出現(xiàn)故障，需要將與主交換機(jī)互連的上聯(lián)主路由器以及其他主機(jī)設(shè)備切換到備交換機(jī)相應(yīng)的端口上，并觀察備用交換機(jī)的工作是否正常。
4.3.1.1
故障現(xiàn)象
監(jiān)控崗位
故障詳細(xì)內(nèi)容
運行監(jiān)控崗
通過NETCOOL短信或者監(jiān)控界面中的紅色告警信息判斷設(shè)備故障。
系統(tǒng)監(jiān)控崗
網(wǎng)絡(luò)監(jiān)控崗
1）
通過遠(yuǎn)程telnet登陸故障交換機(jī)，telnet登錄失敗。
2）
通過ping
11.**.255.3，ping不通。
3）
使用console口登陸，登陸失敗。
4）
檢查路由器所有狀態(tài)燈，顯示有紅色告警或熄滅。
應(yīng)用支持崗
運行監(jiān)控崗：NETCOOL告警信息如下
如果出現(xiàn)紅色告警，并顯示節(jié)點11.**.255.3無法獲取分公司核心接入交換機(jī)信息則可能該交換機(jī)已經(jīng)出現(xiàn)故障。
網(wǎng)絡(luò)運行崗：檢查交換機(jī)所有狀態(tài)燈，顯示有紅色告警或熄滅。
4.3.1.2
故障研判
監(jiān)控崗位
故障研判
預(yù)期結(jié)果
運行監(jiān)控崗
查看總公司監(jiān)控機(jī)netcool告警界面（https://11.131.249.100:16316/ibm/console）
發(fā)現(xiàn)紅色告警，顯示節(jié)點11.131.255.3無法獲取**分公司生產(chǎn)內(nèi)網(wǎng)交換機(jī)SW1的信息
網(wǎng)絡(luò)支持崗
1）
通過遠(yuǎn)程telnet登陸故障交換機(jī)
命令：telnet
11.**.255.3
2）
通過ping交換機(jī)
命令：ping
11.**.255.3
3）
使用控制線連接到路由器標(biāo)識有“console”的端口登陸。
4）
檢查交換機(jī)狀態(tài)燈，顯示紅色告警或熄滅。
SYS/SYS
PWR
正常為綠色，
ACT
正常為綠色閃動；當(dāng)狀態(tài)燈為黃色或紅色時故障
1）
telnet登錄失敗。
2）
ping不通。
3）
console口登陸失敗，無法顯示信息。
4）
交換機(jī)狀態(tài)燈顯示紅色告警或熄滅。
判斷為：分公司生產(chǎn)核心接入交換機(jī)_CN**SW01001宕機(jī)。
4.3.1.3
故障處理步驟
故障處理步驟詳見《銀聯(lián)商務(wù)**公司生產(chǎn)網(wǎng)絡(luò)切換演練實施方案》中對應(yīng)章節(jié)。
4.3.1.4
預(yù)期分析
對于內(nèi)網(wǎng)核心交換機(jī)，正常情況下，交易在主交換機(jī)上傳輸數(shù)據(jù)，當(dāng)內(nèi)網(wǎng)備交換機(jī)設(shè)備故障時，不會影響交易；
當(dāng)內(nèi)網(wǎng)主交換機(jī)設(shè)備出現(xiàn)故障后，HSRP切換到備交換機(jī)為ACTIVE，也會引起防火墻的failover主、備切換，交易也將切換到備交換設(shè)備工作，通過備防火墻、備交換機(jī)的線路傳輸交易數(shù)據(jù)，影響交易時間40秒左右。
對于外網(wǎng)核心交換機(jī)，正常情況下，商戶通過外網(wǎng)路由設(shè)備接入進(jìn)行交易，當(dāng)外網(wǎng)交換機(jī)出現(xiàn)故障后，根據(jù)實際外網(wǎng)連接情況分為兩種：
未進(jìn)行外網(wǎng)改造過的，外網(wǎng)設(shè)備沒有全互聯(lián)的分公司，所有由該路由器接入的單專線商戶交易中斷；
有進(jìn)行過外網(wǎng)改造，外網(wǎng)設(shè)備有全互聯(lián)的分公司，商戶交易可以切換到備交換機(jī)上，切換時間約在30～40秒。
4.4
故障場景三：隔離區(qū)防火墻故障
4.4.1
防火墻設(shè)備故障
兩臺防火墻以Failover方式工作，與內(nèi)、外網(wǎng)交換機(jī)互連。在工作過程中，與主防火墻互連的內(nèi)外網(wǎng)主交換機(jī)的線路（端口）或防火墻的線路（端口）發(fā)生故障時，會引起防火墻主備切換。
4.4.1.1
故障現(xiàn)象
4.4.1.2
故障現(xiàn)象
監(jiān)控崗位
故障詳細(xì)內(nèi)容
運行監(jiān)控崗
通過NETCOOL短信或者監(jiān)控界面中的紅色告警信息判斷設(shè)備故障。
系統(tǒng)監(jiān)控崗
網(wǎng)絡(luò)監(jiān)控崗
1）
通過遠(yuǎn)程telnet登陸故障防火墻，telnet登錄失敗
2）
通知分公司同事使用console口登陸，登陸失敗。
3）
登陸當(dāng)前active防火墻，使用show
failover命令查看failover狀態(tài)是否發(fā)生切換。如發(fā)現(xiàn)This
host：Secondary
–
Active，則failover已經(jīng)發(fā)生切換。
應(yīng)用支持崗
運行監(jiān)控崗：NETCOOL告警信息如下
如果出現(xiàn)紅色告警，并顯示無法獲取**分公司防火墻信息則可能該防火墻已經(jīng)出現(xiàn)故障。
網(wǎng)絡(luò)運行崗：show
failover狀態(tài)圖如下
4.4.1.3
故障研判
監(jiān)控崗位
故障研判
預(yù)期結(jié)果
運行監(jiān)控崗
查看總公司監(jiān)控機(jī)netcool告警界面（https://11.131.249.100:16316/ibm/console）
發(fā)現(xiàn)紅色告警，顯示無法獲取**分公司防火墻信息
網(wǎng)絡(luò)支持崗
1)
登陸至故障分公司內(nèi)網(wǎng)交換機(jī)SW1，telnet
10.**.33.5,登陸成功后使用命令show
failover查看已經(jīng)發(fā)生切換，備機(jī)已經(jīng)接管成為Active狀態(tài)
2)
telnet
10.**.33.6至當(dāng)前備份防火墻，登陸失敗
3)
通知分公司同事使用console線登陸故障防火墻（該防火墻failover的active燈滅），登陸失敗
Failover已經(jīng)切換至備份防火墻，telnet/console登陸方式都無法登陸
判斷為：分公司核心主防火墻_CN**FW01001設(shè)備故障。
4.4.1.4
故障處理步驟
故障處理步驟詳見《銀聯(lián)商務(wù)**公司生產(chǎn)網(wǎng)絡(luò)切換演練實施方案》中對應(yīng)章節(jié)。
4.4.2
防火墻與內(nèi)、外網(wǎng)交換機(jī)連接線路（端口）故障
故障現(xiàn)象與4.4.1防火墻設(shè)備故障類似。故障的研判、故障處理步驟等與4.4.1一致，在此不做贅述。
4.5
故障場景四：生產(chǎn)外網(wǎng)下聯(lián)路由器故障
4.5.1
外網(wǎng)路由器和商戶間線路故障
對于商戶有主備雙線接入情況下，雙線中單獨一條線路發(fā)生故障的場景。
4.5.1.1
故障現(xiàn)象
監(jiān)控崗位
故障詳細(xì)內(nèi)容
運行監(jiān)控崗
網(wǎng)管平臺顯示分***分公司生產(chǎn)外網(wǎng)***商戶無法PING通
系統(tǒng)監(jiān)控崗
網(wǎng)絡(luò)監(jiān)控崗
1、通過遠(yuǎn)程telnet登陸商戶接入路由器，PING商戶互聯(lián)線路對端IP地址，PING失敗。
應(yīng)用支持崗
運行監(jiān)控崗：NETCOOL告警信息如下
如果出現(xiàn)紅色告警，并顯示無法PING通****分公司****商戶地址。
4.5.1.2
故障研判
監(jiān)控崗位
故障研判
預(yù)期結(jié)果
運行監(jiān)控崗
查看總公司監(jiān)控機(jī)netcool告警界面（https://11.131.249.100:16316/ibm/console）
顯示分***分公司生產(chǎn)外網(wǎng)***商戶無法PING通
不同
網(wǎng)絡(luò)監(jiān)控崗
1）
通過ping路由器
命令：ping
11.**.255.７
2）
通過ping路由器直連商戶對端
命令：ping
11.**.255.7
1）
正常
2）
不通
判斷為：分公司網(wǎng)絡(luò)區(qū)下聯(lián)路由器_CN**RT01003連接商戶通訊線路中斷。
4.5.1.3
故障處理步驟
故障處理步驟詳見《銀聯(lián)商務(wù)**公司生產(chǎn)網(wǎng)絡(luò)切換演練實施方案》中對應(yīng)章節(jié)。
4.5.1.4
預(yù)期分析
正常情況下，商戶由外網(wǎng)路由器接入銀商網(wǎng)絡(luò)進(jìn)行交易路由，當(dāng)外網(wǎng)路由器設(shè)備故障時，所有與該路由器設(shè)備連接的單線路商戶，交易中斷。
4.5.2
外網(wǎng)路由器設(shè)備故障
故障現(xiàn)象與4.5.1防火墻設(shè)備故障類似。故障的研判、故障處理步驟等與4.5.1一致，在此不做贅述。
4.6
故障場景五：網(wǎng)控器故障
4.6.1
主上聯(lián)卡故障
4.6.1.1
故障現(xiàn)象
監(jiān)控崗位
故障詳細(xì)內(nèi)容
運行監(jiān)控崗
網(wǎng)管PING臺顯示***分公司網(wǎng)控上聯(lián)卡無法PING通
系統(tǒng)監(jiān)控崗
網(wǎng)絡(luò)監(jiān)控崗
登陸分公司內(nèi)網(wǎng)交換機(jī)，無法PING通分公司網(wǎng)控上聯(lián)卡IP地址。
應(yīng)用支持崗
運行監(jiān)控崗：NETCOOL告警信息如下
如果出現(xiàn)紅色告警，并顯示無法PING通****分公司網(wǎng)控上聯(lián)卡IP地址。
4.6.1.2
故障研判
監(jiān)控崗位
故障研判
預(yù)期結(jié)果
運行監(jiān)控崗
查看總公司監(jiān)控機(jī)netcool告警界面（https://11.131.249.100:16316/ibm/console）
顯示分***分公司上聯(lián)卡無法PING通
不通
網(wǎng)絡(luò)監(jiān)控崗
通過ping分公司NAC
上聯(lián)卡
命令：ping
11.**.4.*
不通
判斷為：分公司網(wǎng)控器主上聯(lián)卡通訊中斷。
4.6.1.3
故障處理步驟
故障處理步驟詳見《銀聯(lián)商務(wù)**公司生產(chǎn)網(wǎng)絡(luò)切換演練實施方案》中對應(yīng)章節(jié)。
4.6.1.4
預(yù)期分析
此切換操作不會造成交易中斷。
4.6.2
主電源故障
4.6.2.1
故障現(xiàn)象
監(jiān)控崗位
故障詳細(xì)內(nèi)容
運行監(jiān)控崗
網(wǎng)控器主電源指示燈熄滅；
系統(tǒng)監(jiān)控崗
網(wǎng)絡(luò)監(jiān)控崗
登錄Hypercomview客戶端，觀察到網(wǎng)控器電源告警日志
應(yīng)用支持崗
判斷為：分公司網(wǎng)控器主電源故障。
4.6.2.2
故障研判
監(jiān)控崗位
故障研判
預(yù)期結(jié)果
運行監(jiān)控崗
查看網(wǎng)控器主面板，發(fā)現(xiàn)主電源指示燈熄滅
指示燈熄滅
網(wǎng)絡(luò)監(jiān)控崗
登錄Hypercomview客戶端，觀察到網(wǎng)控器電源告警日志，發(fā)現(xiàn)日志告警
出現(xiàn)紅色的電源告警
4.6.2.3
故障處理步驟
故障處理步驟詳見《銀聯(lián)商務(wù)**公司生產(chǎn)網(wǎng)絡(luò)切換演練實施方案》中對應(yīng)章節(jié)。
4.6.2.4
預(yù)期分析
此故障不會造成交易中斷。
5
附件
《銀聯(lián)商務(wù)**公司生產(chǎn)網(wǎng)絡(luò)切換演練實施方案》