中國(guó)人民保險(xiǎn)集團(tuán)股份有限公司南中心是中國(guó)人保集團(tuán)的生產(chǎn)中心，目前在建的還有北中心和北方同城中心。基礎(chǔ)運(yùn)維保障是南中心數(shù)據(jù)中心的核心能力，通過(guò)組織、人員、制度、流程和工具層面的完善和調(diào)優(yōu)，包括引入GB/T 33136和Uptime M&O運(yùn)維管理體系以體系化的方式進(jìn)行管理。在此基礎(chǔ)上，南中心還縱向拓展了網(wǎng)絡(luò)運(yùn)維、設(shè)備運(yùn)維、安全運(yùn)維以及災(zāi)備運(yùn)維等能力，之后將橫向拓展到北中心和北方同城中心。

隨著管理的進(jìn)一步深入，新的運(yùn)維提升要求不斷地涌現(xiàn)，比如：云運(yùn)維、AIOps、DevOps等，對(duì)于南中心而言，如何實(shí)現(xiàn)工具層面的統(tǒng)一運(yùn)維是提升運(yùn)維效率的關(guān)鍵；如何利用好平臺(tái)化運(yùn)維提升運(yùn)維管理的深度和廣度是體現(xiàn)其運(yùn)維價(jià)值的關(guān)鍵。

01. 搭建統(tǒng)一運(yùn)維管理平臺(tái)

2020年，根據(jù)集團(tuán)科技藍(lán)圖的相關(guān)規(guī)劃安排，為提升數(shù)據(jù)中心南中心機(jī)房精細(xì)化和智能化管理水平，南中心攜手嘉為藍(lán)鯨，打造“機(jī)房統(tǒng)一運(yùn)維中臺(tái)+機(jī)房運(yùn)維服務(wù)場(chǎng)景+數(shù)據(jù)報(bào)表及展示”的統(tǒng)一運(yùn)維管理平臺(tái)。

基于藍(lán)鯨PaaS平臺(tái)底座，構(gòu)建一級(jí)原生工具五大域，含配置管理域、監(jiān)控與故障處理域、運(yùn)維自動(dòng)化域、ITSM運(yùn)維流程自動(dòng)化域、運(yùn)維大數(shù)據(jù)域。同時(shí)，在此基礎(chǔ)上構(gòu)建了二級(jí)專用SaaS：網(wǎng)絡(luò)管理域。在最上層構(gòu)建統(tǒng)一信息展示窗口，以實(shí)現(xiàn)業(yè)務(wù)綜合信息、業(yè)務(wù)監(jiān)控?cái)?shù)據(jù)、統(tǒng)一報(bào)表數(shù)據(jù)、網(wǎng)絡(luò)性能數(shù)據(jù)、數(shù)據(jù)中心架構(gòu)的可視化。

通過(guò)統(tǒng)一運(yùn)維管理平臺(tái)，納管南中心機(jī)房資源，建設(shè)機(jī)房可視化、運(yùn)維流程及告警體系、統(tǒng)一CMDB數(shù)據(jù)及網(wǎng)絡(luò)自動(dòng)化管理，逐步構(gòu)建自主可控、高效敏捷的研運(yùn)體系與組織架構(gòu)。

02. 建設(shè)網(wǎng)絡(luò)自動(dòng)化管理SaaS

依托統(tǒng)一運(yùn)維管理平臺(tái)，南中心建設(shè)了網(wǎng)絡(luò)自動(dòng)化管理SaaS，作為集團(tuán)統(tǒng)一網(wǎng)管平臺(tái)的監(jiān)控手段及工具的補(bǔ)充，整合納管過(guò)往建設(shè)的網(wǎng)管系統(tǒng)，如傳統(tǒng)監(jiān)控、Zabbix監(jiān)控、SDN監(jiān)控等；在此基礎(chǔ)上，構(gòu)建專有的管理工具，如配置管理工具、自動(dòng)化工具、集中監(jiān)控工具等，夯實(shí)平臺(tái)的服務(wù)能力。

通過(guò)網(wǎng)絡(luò)自動(dòng)化管理SaaS，實(shí)現(xiàn)對(duì)多種告警源的數(shù)據(jù)對(duì)接；基于配置發(fā)現(xiàn)工具及自動(dòng)化工具，可以生成不同的防火墻腳本及交換機(jī)配置。同時(shí)，對(duì)集中監(jiān)控做了優(yōu)化，實(shí)現(xiàn)集中展示及告警分析。

03. 構(gòu)建防火墻自動(dòng)化運(yùn)維場(chǎng)景

隨著南北中心的整合及集團(tuán)體制化改革的進(jìn)程，南中心網(wǎng)絡(luò)團(tuán)隊(duì)接手了防火墻的運(yùn)維工作，在團(tuán)隊(duì)人員不變的情況下，需要額外運(yùn)維接近50臺(tái)防火墻，梳理超4萬(wàn)條策略。任務(wù)重，要求高，給網(wǎng)絡(luò)團(tuán)隊(duì)帶來(lái)極大的挑戰(zhàn)。因此，提高工作效率成了重中之重。

在統(tǒng)一運(yùn)維管理平臺(tái)落地過(guò)程中，南中心已經(jīng)構(gòu)建了一系列基礎(chǔ)運(yùn)維的能力，如ITSM、CMDB，并能夠把需求回寫(xiě)到數(shù)據(jù)庫(kù)中，實(shí)現(xiàn)需求可統(tǒng)計(jì)、可跟蹤、可回溯。網(wǎng)絡(luò)運(yùn)維SaaS依托上述基礎(chǔ)能力，建設(shè)了5大自動(dòng)化能力，工作效率得到大幅提高：

• 自動(dòng)校驗(yàn)輸入需求
• 自動(dòng)生成變更方案（腳本生成）
• 自動(dòng)執(zhí)行變更方案（經(jīng)審批的腳本）
• 自動(dòng)保存配置信息（應(yīng)實(shí)現(xiàn)的配置）
• 自動(dòng)驗(yàn)證執(zhí)行結(jié)果

同時(shí)，通過(guò)標(biāo)準(zhǔn)化、自動(dòng)化、可視化、智能化的4大舉措為用戶提供優(yōu)質(zhì)高效的運(yùn)維服務(wù)。

1）標(biāo)準(zhǔn)化

自動(dòng)化的前提是標(biāo)準(zhǔn)化，需要統(tǒng)一思想，規(guī)范流程。網(wǎng)絡(luò)團(tuán)隊(duì)在制定統(tǒng)一的策略規(guī)則后，對(duì)外開(kāi)啟統(tǒng)一的服務(wù)接口，對(duì)內(nèi)加強(qiáng)內(nèi)部運(yùn)維團(tuán)隊(duì)意識(shí)培訓(xùn)。

2）自動(dòng)化

① 歷經(jīng)三次迭代，最終實(shí)現(xiàn)自動(dòng)生成變更。

第一次迭代：不依托平臺(tái)，僅通過(guò)Excel及宏執(zhí)行生成，人工清洗；缺乏回溯性，無(wú)法記錄和統(tǒng)計(jì)；

第二次迭代：基于藍(lán)鯨平臺(tái)，將生成規(guī)則寫(xiě)到平臺(tái)上，與ITSM相結(jié)合，可以生成對(duì)應(yīng)工單、形成對(duì)應(yīng)代碼；沒(méi)有與CMDB相聯(lián)動(dòng)，無(wú)法對(duì)CMDB數(shù)據(jù)做校驗(yàn)；

第三次迭代：結(jié)合CMDB數(shù)據(jù)，對(duì)用戶輸入的需求進(jìn)行清洗，同時(shí)匹配到不同的產(chǎn)品及型號(hào)，如華為、飛塔、華三、山石的防火墻。

② 自動(dòng)執(zhí)行變更

用戶提交服務(wù)請(qǐng)求后，通過(guò)SaaS生成腳本，返回到堡壘機(jī)。其中涉及到SaaS與ITSM的聯(lián)動(dòng)、ITSM與堡壘機(jī)不同系統(tǒng)間的對(duì)接，該功能還在加快推進(jìn)，預(yù)計(jì)年內(nèi)實(shí)現(xiàn)全自動(dòng)的下發(fā)工作。

③ 自動(dòng)保存配置信息

第一次迭代：將ITSM的數(shù)據(jù)寫(xiě)進(jìn)工具，同時(shí)讀出設(shè)備的配置數(shù)據(jù)，回寫(xiě)到CMDB，將ITSM審批過(guò)的數(shù)據(jù)寫(xiě)進(jìn)CMDB；

第二次迭代：操作人員存在刷錯(cuò)腳本的情況，后續(xù)很難發(fā)現(xiàn)腳本的修改，且成本很高；在第二次迭代時(shí)，推進(jìn)CMDB的AB庫(kù)建設(shè)，在審批完后，將審批過(guò)的數(shù)據(jù)寫(xiě)到CMDB的一個(gè)庫(kù)里面，在下一步自動(dòng)化執(zhí)行結(jié)果校驗(yàn)的時(shí)候，對(duì)CMDB的數(shù)據(jù)進(jìn)行AB庫(kù)的校驗(yàn)。

④ 將設(shè)備的配置信息與工單數(shù)據(jù)做比對(duì)

第一次迭代：已錄入半份ITSM數(shù)據(jù)，如有哪些工單、哪些防火墻策略需要修改，但無(wú)法知道修改成什么樣；因此，通過(guò)讀取防火墻信息，把兩邊的信息結(jié)合，形成一條防火墻記錄，該過(guò)程存在校驗(yàn)問(wèn)題；

第二次迭代：將工單錄入數(shù)據(jù)錄入B庫(kù)，自動(dòng)采集數(shù)據(jù)至A庫(kù)，AB庫(kù)進(jìn)行比對(duì)校驗(yàn)，針對(duì)不同的校驗(yàn)結(jié)果做分析，提高運(yùn)維準(zhǔn)確率。

3）可視化

通過(guò)提高效率，網(wǎng)絡(luò)團(tuán)隊(duì)得以騰出手來(lái)，基于工單數(shù)據(jù)分析準(zhǔn)確率及服務(wù)效率，同時(shí)可以審查是否存在垃圾、冗余的策略，提升設(shè)備的運(yùn)行性能。

服務(wù)分析：分別以防火墻維度、公司維度展示防火墻策略、工單數(shù)據(jù)；

工單分析：按不同維度，通過(guò)一段時(shí)間內(nèi)完成的工單數(shù)量統(tǒng)計(jì)工作效率；在工單中可以查詢防火墻策略明細(xì)以及各類信息，同時(shí)可以查詢服務(wù)請(qǐng)求與對(duì)應(yīng)的變更關(guān)系，使得工作更加一目了然；

策略分析：基于CMDB的靜態(tài)數(shù)據(jù)，分析防火墻的新增策略及可合并策略，以及各防火墻策略數(shù)變化趨勢(shì)；基于運(yùn)行過(guò)程中產(chǎn)生的命中率的動(dòng)態(tài)數(shù)據(jù)，如策略命中情況、命中趨勢(shì)，分析策略是否合理及其變化情況。

04. 經(jīng)驗(yàn)分享

① 選用高頻、重復(fù)度高、有痛點(diǎn)的場(chǎng)景
高頻、重復(fù)度高的場(chǎng)景，能夠支撐運(yùn)維團(tuán)隊(duì)快速多次迭代；痛點(diǎn)代表有價(jià)值，克服痛點(diǎn)，SaaS才有價(jià)值所在；

② 標(biāo)準(zhǔn)化
SaaS設(shè)計(jì)之初是建立標(biāo)準(zhǔn)化的過(guò)程；

③ 做好增量，管住存量（適用于改造場(chǎng)景）
增量可能會(huì)線性爆炸發(fā)生，甚至非線性發(fā)展，做好SaaS就可以管好增量，然后再逐步去做存量策略及場(chǎng)景的優(yōu)化，SaaS就有了生命力；

④ 小步快跑，快速迭代
SaaS要能不斷推出功能，滿足業(yè)務(wù)側(cè)的需求，才能得到肯定與支持；

⑤ 橫向擴(kuò)展，縱向深挖
橫向?qū)⒁延心芰ν卣沟狡渌麛?shù)據(jù)中心或區(qū)域，縱向深挖某一場(chǎng)景的需求；

⑥ 自有團(tuán)隊(duì)，持續(xù)保障
在SaaS開(kāi)發(fā)過(guò)程中，需要有自主團(tuán)隊(duì)來(lái)保障知識(shí)產(chǎn)權(quán)持續(xù)發(fā)展，同時(shí)，保障迭代持續(xù)進(jìn)行。