01. 場(chǎng)景簡(jiǎn)述

使用WeOps服務(wù)撥測(cè)+告警，取代了原人工巡檢方式，實(shí)現(xiàn)即時(shí)查看內(nèi)部銀行前置機(jī)與各銀行的業(yè)務(wù)服務(wù)連接狀態(tài)，一旦出現(xiàn)網(wǎng)絡(luò)連接異常，兩分鐘內(nèi)發(fā)出告警通知，幫助運(yùn)維早于業(yè)務(wù)發(fā)現(xiàn)問題，變被動(dòng)響應(yīng)為主動(dòng)處置，從而減小對(duì)業(yè)務(wù)的影響。

02. 故事背景

資金管理系統(tǒng)是財(cái)務(wù)公司最重要的業(yè)務(wù)系統(tǒng)，由銀企直連系統(tǒng)①（簡(jiǎn)稱：銀企系統(tǒng)）、網(wǎng)絡(luò)金融服務(wù)系統(tǒng)（簡(jiǎn)稱：網(wǎng)銀系統(tǒng)）等多個(gè)子系統(tǒng)組成。

銀企系統(tǒng)通過內(nèi)部的銀行前置機(jī)，利用專線與各家銀行對(duì)接，中間涉及內(nèi)部網(wǎng)絡(luò)設(shè)備、專線網(wǎng)絡(luò)以及對(duì)端的銀行網(wǎng)絡(luò)設(shè)備三個(gè)部分，如果中間某個(gè)環(huán)節(jié)網(wǎng)絡(luò)出現(xiàn)問題，將直接導(dǎo)致銀企系統(tǒng)功能不可用。令該財(cái)務(wù)公司運(yùn)維團(tuán)隊(duì)頭痛的是：如何端到端對(duì)專線的可用性進(jìn)行監(jiān)測(cè)，曾經(jīng)嘗試過手工登錄到前置機(jī)，利用telnet命令檢查的方法，但由于以下兩個(gè)問題被棄用。

• 各家銀行使用的通訊端口不同（例如：農(nóng)行 TCP14031/14029，中行/民生銀行 TCP 443，交通銀行 TCP9003 等），手工對(duì)線路連通性檢查繁瑣，每次耗時(shí)20分鐘以上；
• 手工檢查時(shí)效差，無法第一時(shí)間發(fā)現(xiàn)故障，通常業(yè)務(wù)報(bào)障才發(fā)現(xiàn)，運(yùn)維陷入被動(dòng)；

過往發(fā)生過相關(guān)故障，業(yè)務(wù)部門投訴無法在銀企系統(tǒng)上完成對(duì)農(nóng)行的轉(zhuǎn)賬，IT運(yùn)維緊急聯(lián)系運(yùn)營(yíng)商，最終定位到是農(nóng)行的網(wǎng)絡(luò)設(shè)備老化，對(duì)端的接口連接狀態(tài)出現(xiàn)異常。業(yè)務(wù)受影響長(zhǎng)達(dá)2個(gè)多小時(shí)，IT被記過處分。

備注①：銀企直連系統(tǒng)是利用運(yùn)營(yíng)商專線，使企業(yè)的財(cái)務(wù)系統(tǒng)與銀行綜合業(yè)務(wù)系統(tǒng)實(shí)現(xiàn)對(duì)接，企業(yè)無需專門登錄網(wǎng)上銀行，就可以利用自身財(cái)務(wù)系統(tǒng)自主完成對(duì)其銀行賬戶包括分(子)公司銀行賬戶的查詢、轉(zhuǎn)賬、資金歸集、信息下載等功能，并在財(cái)務(wù)系統(tǒng)中自動(dòng)登記賬務(wù)信息，免去了以往財(cái)務(wù)系統(tǒng)、網(wǎng)銀系統(tǒng)兩次指令錄入的過程，提高了工作效率，確保了財(cái)務(wù)系統(tǒng)與銀行綜合業(yè)務(wù)系統(tǒng)賬戶信息的一致性。

03. WeOps應(yīng)對(duì)及效果

用WeOps服務(wù)撥測(cè)+告警，監(jiān)測(cè)前置機(jī)到銀行的服務(wù)連接狀態(tài)

① 對(duì)所有前置機(jī)批量下發(fā)代理，集中監(jiān)管

② 利用WeOps服務(wù)撥測(cè)功能，使用TCP協(xié)議，以各個(gè)前置機(jī)為撥測(cè)節(jié)點(diǎn)，對(duì)各家銀行的服務(wù)端口配置撥測(cè)任務(wù)，對(duì)連接狀態(tài)的可用性和響應(yīng)時(shí)長(zhǎng)進(jìn)行實(shí)時(shí)監(jiān)測(cè)

③ 針對(duì)“可用性”和“響應(yīng)時(shí)長(zhǎng)”配置告警，當(dāng)出現(xiàn)“可用性”小于100%、“響應(yīng)時(shí)長(zhǎng)”超過1s時(shí)，產(chǎn)生“致命”告警

④ 相關(guān)告警信息通過郵件和短信方式發(fā)送至指定運(yùn)維同事。

04. WeOps實(shí)現(xiàn)效果

1）用簡(jiǎn)單的方法解決專線端到端網(wǎng)絡(luò)可用性監(jiān)測(cè)的難題

• 即時(shí)檢查：通過WeOps服務(wù)撥測(cè)，立即查看到當(dāng)前及任一時(shí)間段內(nèi)與各銀行服務(wù)端口的連接狀態(tài)，感知專線端到端的網(wǎng)絡(luò)連接情況。
• 及時(shí)發(fā)現(xiàn)：一旦網(wǎng)絡(luò)聯(lián)通性出現(xiàn)問題，在兩分鐘內(nèi)推送“致命”告警通知，讓運(yùn)維人員快速察覺故障，主動(dòng)采取措施處置，加快故障的消除，減小對(duì)業(yè)務(wù)影響；

2）場(chǎng)景適用性

該專線連通性監(jiān)測(cè)的場(chǎng)景，適用于內(nèi)部核心業(yè)務(wù)系統(tǒng)與外部第三方對(duì)接，且對(duì)連通性有高要求的企業(yè)，如金融企業(yè)等，WeOps撥測(cè)功能，幫助企業(yè)實(shí)時(shí)監(jiān)測(cè)專線可用性，及時(shí)發(fā)現(xiàn)異常，縮短對(duì)業(yè)務(wù)影響時(shí)間。