01. 故事背景

IT運維部門平均每月都會接收1-2次內(nèi)部辦公系統(tǒng)訪問緩慢的用戶反饋或投訴，月月被投訴，IT不勝其煩。經(jīng)排查，絕大部分時候是由于與某個應(yīng)用有關(guān)的Windows服務(wù)器的CPU資源占用奇高，導(dǎo)致系統(tǒng)無法響應(yīng)用戶請求，從而產(chǎn)生“慢”的現(xiàn)象。

02. 問題排查

在羊城晚報，內(nèi)部辦公(OA)系統(tǒng)需要遵循“報業(yè)網(wǎng)絡(luò)安全等保第二級”的要求，對服務(wù)器日志進行集中收集和留存。

羊城晚報使用的日志審計系統(tǒng)，采用的時C/S架構(gòu)，需要在每臺服務(wù)器上安裝一個客戶端，該客戶端會收集那臺服務(wù)器產(chǎn)生的日志，并將日志轉(zhuǎn)發(fā)到集中日志接收和存儲系統(tǒng)。

可能是bug等原因，安裝在Windows服務(wù)器上的日志收集客戶端軟件，時不時“發(fā)瘋”一樣搶占CPU資源，導(dǎo)致資源耗盡，響應(yīng)卡死。該客戶端安裝在linux服務(wù)器上卻一切正常。

03. 臨時方案

臨時的故障解決方法是在Windows服務(wù)器上，將該日志收集客戶端先停掉，再次啟動，故障即可解決。

羊城晚報數(shù)次找到日志審計系統(tǒng)的廠家，要求廠家解決此問題，但廠家反饋是自身日志審計系統(tǒng)是基于開源社區(qū)的工具進行二開，該問題屬于原始工具的問題，他們也無法徹底處理，并且只在Windows服務(wù)器上不定時出現(xiàn)，他們暫時不會花精力投入研究，建議客戶每次問題出現(xiàn)后，就手動處理，但每次問題出現(xiàn)時，都伴隨對IT部門的投訴。

*廠家推測：客戶端在向集中日志存儲系統(tǒng)傳送日志時，如果出現(xiàn)失敗（比如網(wǎng)絡(luò)中斷），會再次嘗試，這種再次傳送行為在Windows系統(tǒng)上，可能觸發(fā)了一些兼容性問題，導(dǎo)致嘗試次數(shù)越多，舊的資源不會被釋放，同時，不斷搶占新資源，最終導(dǎo)致服務(wù)器資源“耗盡”。

04. WeOps應(yīng)對及效果

用WeOps監(jiān)控告警，先于用戶發(fā)現(xiàn)該問題，并在用戶保障前處理，避免用戶投訴。

① 監(jiān)控所有Windows服務(wù)器的資源情況，并設(shè)定告警規(guī)則，按照“提醒”“預(yù)警”“致命”三個層級，發(fā)送告警通知給IT管理員，管理員手工處理，與用戶投訴搶時間。

② 計劃進一步優(yōu)化到自動化處置（技術(shù)上可行，但處置風(fēng)險和管理要求在評估中），如告警后無人處理，則等待一段時間后，WeOps自動化處置并記錄，無需人為干預(yù)。

WeOps監(jiān)控告警還幫助羊城晚報加快發(fā)現(xiàn)其它生產(chǎn)故障，例如采編系統(tǒng)抽圖異常、通訊社稿件無法入庫到編輯系統(tǒng)稿件庫等，提升核心系統(tǒng)的可用性。