近些年信息化數(shù)字化的浪潮下，企業(yè)的IT資產(chǎn)和線上業(yè)務(wù)的規(guī)模迅速增長(zhǎng)，而為了維護(hù)其穩(wěn)定性和服務(wù)質(zhì)量，所需耗費(fèi)的成本、精力也在逐年攀升。

在此背景下，告警治理根本目標(biāo)就是能夠?qū)崿F(xiàn)快速響應(yīng)和解決故障，減少故障發(fā)生率和業(yè)務(wù)影響范圍，而這一環(huán)節(jié)中，不可避免地會(huì)遇到諸如以下的典型問(wèn)題：

• 告警散落不標(biāo)準(zhǔn)：在相互隔離的多個(gè)監(jiān)控系統(tǒng)中，散落著沒(méi)有統(tǒng)一的格式內(nèi)容規(guī)范的各類告警，缺少集中式的管理工具，且告警信息不全面，可讀性低。
• 告警噪音多：各監(jiān)控系統(tǒng)，人工設(shè)置固定閾值的標(biāo)準(zhǔn)不一、同一故障可能引發(fā)不同系統(tǒng)告警，導(dǎo)致大量的誤報(bào)、漏報(bào)、重復(fù)告警，也引起定位問(wèn)題困難，或責(zé)任人明確。
• 缺乏工具聯(lián)動(dòng)：告警處理人工干預(yù)過(guò)多，自動(dòng)處理少，告警流轉(zhuǎn)效率低，過(guò)程缺少追蹤，處理經(jīng)驗(yàn)沉淀難。
• 缺乏全局視圖：無(wú)法直觀了解應(yīng)用系統(tǒng)&對(duì)象模型的告警整體情況和關(guān)聯(lián)影響范圍。

……

“工欲善其事，必先利其器。”

企業(yè)要實(shí)現(xiàn)運(yùn)轉(zhuǎn)良好的告警管理流程，就需要利用好告警管理工具，從而能夠更快更低成本的達(dá)成目標(biāo)。接下來(lái)我們就以嘉為鯨眼告警中心為例，從告警管理流程出發(fā)進(jìn)行“順藤摸瓜”，對(duì)過(guò)程中的“告警集中匯聚”、“告警信息豐富”、“告警收斂降噪”三個(gè)重要典型場(chǎng)景進(jìn)行拆解分析，分享企業(yè)實(shí)現(xiàn)良好告警管理流程的經(jīng)驗(yàn)。

01. 告警集中匯聚：讓信息不再是一盤散沙

通常情況下很難有大而全的監(jiān)控系統(tǒng)能夠同時(shí)囊括服務(wù)器、網(wǎng)絡(luò)、數(shù)據(jù)庫(kù)中間件、存儲(chǔ)、應(yīng)用系統(tǒng)、日志、機(jī)房動(dòng)環(huán)等多種IT資產(chǎn)/業(yè)務(wù)系統(tǒng)的監(jiān)控訴求。因此，大部分企業(yè)都會(huì)建設(shè)多套監(jiān)控系統(tǒng)以應(yīng)對(duì)不同的業(yè)務(wù)需求。但這樣的煙囪式架構(gòu)，存在重復(fù)建設(shè)、數(shù)據(jù)難互通、維護(hù)成本高等問(wèn)題。

解決問(wèn)題的第一步，就是將這些分散在不同監(jiān)控系統(tǒng)中的全量告警匯聚起來(lái)，經(jīng)過(guò)流程流轉(zhuǎn)，對(duì)外發(fā)送統(tǒng)一、明確、及時(shí)的告警信息，使得事件得到快速有效的處理。實(shí)現(xiàn)集中匯聚告警，需要解決如下要點(diǎn)：

• 多種靈活匯集方式，統(tǒng)一管理告警

嘉為鯨眼告警中心，支持常規(guī)固定格式的REST API推送，還支持通過(guò)接口調(diào)用獲取、數(shù)據(jù)庫(kù)拉取、kafka對(duì)接、SNMP Trap推送、socket連接等多種方式，能有效滿足各類對(duì)接需求，使分散在各個(gè)監(jiān)控系統(tǒng)中的告警能夠有效匯聚起來(lái)，統(tǒng)一管理。

• 低門檻在線拓展能力，保障持續(xù)發(fā)展

企業(yè)在業(yè)務(wù)發(fā)展的同時(shí)，也伴隨著新的系統(tǒng)的引入和建設(shè)，告警系統(tǒng)需要具備拓展性，以應(yīng)對(duì)未來(lái)的業(yè)務(wù)需求。

嘉為鯨眼告警中心，在持續(xù)積累對(duì)常見(jiàn)監(jiān)控系統(tǒng)開(kāi)箱即用對(duì)接能力的同時(shí)，開(kāi)放了以python腳本形式的開(kāi)發(fā)獨(dú)立插件的能力，用戶可以在不影響線上系統(tǒng)穩(wěn)定的情況下，便捷的對(duì)接更多的第三方告警源（即監(jiān)控系統(tǒng)），企業(yè)運(yùn)維人員只需要簡(jiǎn)單的腳本開(kāi)發(fā)基礎(chǔ)，即可具備持續(xù)拓展能力，逐步轉(zhuǎn)型運(yùn)維開(kāi)發(fā)。

• 個(gè)性化定義，清晰展示不同告警

通常情況下，來(lái)自不同監(jiān)控系統(tǒng)的告警信息并不完全一致，在告警信息存在較大差異時(shí)，清晰明了的告警內(nèi)容分級(jí)分類展示，能夠有效提高運(yùn)維人員處理告警信息的效率。

嘉為鯨眼告警中心，支持用戶通過(guò)插件文件定義第三方系統(tǒng)的字段與告警中心標(biāo)準(zhǔn)字段的映射、清洗規(guī)則，并且支持針對(duì)每個(gè)告警源設(shè)定數(shù)量不限的拓展字段，以應(yīng)對(duì)個(gè)性化需求。

其中針對(duì)告警等級(jí)，除了常規(guī)的等級(jí)映射之外，用戶還可自定義拓展更多等級(jí)，設(shè)定每個(gè)等級(jí)需要的顯示名，標(biāo)識(shí)顏色等。

• 快速同步告警狀態(tài)，避免重復(fù)操作

告警系統(tǒng)除了接入觸發(fā)的新告警，也需要支持在監(jiān)控系統(tǒng)檢測(cè)到告警恢復(fù)，或監(jiān)控系統(tǒng)自行關(guān)閉告警、由于監(jiān)控策略關(guān)閉而關(guān)閉告警后，對(duì)此類終態(tài)告警進(jìn)行同步對(duì)接，以免在多個(gè)系統(tǒng)發(fā)生重復(fù)操作。

嘉為鯨眼告警中心，支持在恢復(fù)或關(guān)閉的告警接入時(shí)，按照相同的告警事件ID，找到觸發(fā)的有效告警，自動(dòng)完成告警狀態(tài)的變更，還可以按需補(bǔ)充告警恢復(fù)/關(guān)閉時(shí)間、關(guān)閉原因等信息。對(duì)關(guān)閉和恢復(fù)做區(qū)分，能進(jìn)一步明確狀態(tài)，避免用戶誤解。

• 確定告警事件唯一性，精準(zhǔn)定位來(lái)源

對(duì)于告警系統(tǒng)來(lái)說(shuō)，僅對(duì)每一條入庫(kù)告警賦予唯一的告警ID，是不足以做好去重和對(duì)應(yīng)恢復(fù)/關(guān)閉的，需要另外的特性ID來(lái)共同確定告警事件的唯一性。如果交由告警源來(lái)提供事件的特性ID字段，實(shí)際落地會(huì)遇到很多系統(tǒng)無(wú)法提供的問(wèn)題；而如果通過(guò)告警事件的屬性字段如“告警對(duì)象、告警內(nèi)容”自動(dòng)判斷告警的唯一性，適用性廣，落地方便，但不夠靈活。

嘉為鯨眼告警中心，采用“預(yù)定義+可擴(kuò)展”的方式，默認(rèn)規(guī)則是通過(guò)“告警源、告警對(duì)象、告警等級(jí)、告警指標(biāo)”組合生成唯一的告警事件ID，同時(shí)也支持用戶自行配置唯一性判斷的字段，確保告警事件唯一性，精準(zhǔn)定位告警來(lái)源并進(jìn)行有效處理。

02. 告警信息豐富：探本求源精準(zhǔn)定位問(wèn)題

為什么需要對(duì)告警信息進(jìn)行豐富呢？

在匯聚不同監(jiān)控系統(tǒng)的告警過(guò)程中，運(yùn)維人員通常會(huì)發(fā)現(xiàn)不同監(jiān)控系統(tǒng)、不同類型的告警信息差別很大。有些監(jiān)控系統(tǒng)的告警，信息充足且規(guī)范，除了完整的告警指標(biāo)、等級(jí)以及告警對(duì)象的實(shí)例名等，還附帶有告警主體所在業(yè)務(wù)拓?fù)湫畔ⅲ欢硗庖恍┫到y(tǒng)的告警信息比較簡(jiǎn)陋，只有諸如：一個(gè)ip地址、磁盤空間使用率過(guò)高等信息。即使通過(guò)告警源插件文件做了對(duì)告警標(biāo)準(zhǔn)字段的清洗、映射，仍無(wú)法有效解決信息偏差較大的問(wèn)題。如下所示：

而告警豐富功能，可以通過(guò)界面化配置，通過(guò)和CMDB（配置管理數(shù)據(jù)庫(kù)）的關(guān)聯(lián)，高效消費(fèi)用戶維護(hù)在CMDB中的實(shí)例配置信息，關(guān)聯(lián)關(guān)系等；還可以對(duì)告警信息完成輕量化的二次清洗，免除頻繁修改插件文件的工作量，便捷地實(shí)現(xiàn)告警事件內(nèi)容、格式的統(tǒng)一。告警豐富在提升告警可讀性的同時(shí)，能夠提供告警治理的抓手，便于完成后續(xù)更靈活的告警篩選和更簡(jiǎn)便的策略配置，有效提升分析和處理故障的效率。以嘉為鯨眼告警中心為例，以下是兩種告警豐富功能的落地實(shí)踐分享：

1. CMDB豐富

上文我們提到，當(dāng)?shù)谌奖O(jiān)控系統(tǒng)的告警信息比較簡(jiǎn)陋，并不包含用戶分析和處理告警事件所需的全部信息時(shí)，用戶還需要根據(jù)告警中的IP地址等信息，在CMDB中手動(dòng)查詢需要的內(nèi)容，兩相對(duì)照才可完成進(jìn)一步的處理。

通過(guò)CMDB豐富，可以直接將告警對(duì)應(yīng)的主體各項(xiàng)配置信息（實(shí)例的屬性信息）自動(dòng)添加到告警中，讓用戶一目了然的看到所有需要的信息。

下圖為典型示例，當(dāng)主機(jī)發(fā)生告警時(shí)，將主機(jī)的各項(xiàng)配置信息顯示在告警內(nèi)。

當(dāng)然，配置告警字段和CMDB實(shí)例屬性信息的映射規(guī)則，生效的前提是告警可以找到唯一的實(shí)例。對(duì)于沒(méi)有和CMDB關(guān)聯(lián)的第三方監(jiān)控系統(tǒng)，可以通過(guò)配置CMDB關(guān)聯(lián)規(guī)則來(lái)實(shí)現(xiàn)：根據(jù)告警字段和CMDB則能夠根據(jù)告警內(nèi)容中正則提取的IP地址和CMDB中的內(nèi)網(wǎng)IP屬性值進(jìn)行比對(duì)，以準(zhǔn)確找到唯一對(duì)應(yīng)的實(shí)例，從而實(shí)現(xiàn)后續(xù)的字段信息豐富。

實(shí)際效果如下所示：

2. 常規(guī)豐富

通過(guò)字符替換、字符提取、字段調(diào)整等方式，以頁(yè)面配置的方式，對(duì)告警信息進(jìn)行標(biāo)準(zhǔn)化清洗，同時(shí)運(yùn)維人員可以自定義上述方案的生效規(guī)則和應(yīng)用范圍，從而快速實(shí)現(xiàn)對(duì)需要處理的部分告警信息的豐富。

1）字符替換

當(dāng)相同事務(wù)在不同系統(tǒng)間名稱不同時(shí)，如有些系統(tǒng)是中文：主機(jī)、數(shù)據(jù)庫(kù)，有些是英文：host、DB、database；還有些是名稱不規(guī)范，如mysql、MYSQL等。可以通過(guò)字符替換功能，對(duì)每個(gè)告警源的告警配置翻譯替換規(guī)則，便于運(yùn)維人員理解。

2）字符提取

有些系統(tǒng)的告警將指標(biāo)當(dāng)前的具體值寫入一個(gè)獨(dú)立的拓展字段內(nèi)，而另一些系統(tǒng)的告警，只能從告警內(nèi)容字段中找到指標(biāo)具體值，如zabbix的告警，告警內(nèi)容的尾部the value is 之后就是監(jiān)控指標(biāo)的當(dāng)前值。

通過(guò)字符提取功能，靈活運(yùn)用正則表達(dá)式，將指標(biāo)的當(dāng)前值從告警內(nèi)容中拆分出來(lái)，進(jìn)一步實(shí)現(xiàn)指標(biāo)規(guī)范，讓所有系統(tǒng)的告警，都將指標(biāo)具體值單獨(dú)顯示為一個(gè)字段。

3）字段調(diào)整

類似的，對(duì)于一些監(jiān)控系統(tǒng)定義了很多拓展字段，而用戶使用過(guò)程中，想要將這些字段合并為一個(gè)，更便于去查看，也可以通過(guò)字段的調(diào)整功能實(shí)現(xiàn)。

例如某系統(tǒng)的告警，將主機(jī)所在位置，分城市、機(jī)房、機(jī)柜三個(gè)字段顯示，通過(guò)字段調(diào)整，將三個(gè)字段合并為機(jī)器位置這一個(gè)字段。

4）自定義應(yīng)用范圍

大多數(shù)情況下，我們需要的只是上述提到的方案對(duì)某一部分的告警生效。那么可以通過(guò)配置策略匹配規(guī)則，制定方案應(yīng)用范圍：按告警字段進(jìn)行篩選，如“告警內(nèi)容”包含某個(gè)信息，或者“告警對(duì)象”匹配某個(gè)正則表達(dá)式等，讓符合條件的告警執(zhí)行設(shè)定的方案。

03. 告警收斂降噪：去蕪存菁，剔除“無(wú)效告警”

實(shí)現(xiàn)告警集中和信息豐富之后，自然而然就遇到了另一個(gè)亟待解決的問(wèn)題——告警噪音過(guò)多。一線團(tuán)隊(duì)可能每天都會(huì)收到幾千封告警通知，但精力范圍內(nèi)可處理的數(shù)量卻遠(yuǎn)遠(yuǎn)不及。疲于應(yīng)對(duì)的同時(shí)，無(wú)法從汪洋大海一般的告警中甄別出真正重要的內(nèi)容。

部分團(tuán)隊(duì)無(wú)奈之下，可能會(huì)采取一種簡(jiǎn)單粗暴的方式，即通過(guò)告警等級(jí)來(lái)區(qū)分，優(yōu)先處理最高等級(jí)的告警（實(shí)際上也只能夠勉強(qiáng)處理最高等級(jí)告警）。

然而這種方式實(shí)際上存在著極大的隱患：在各個(gè)監(jiān)控工具上，對(duì)于不同的監(jiān)控對(duì)象、監(jiān)控指標(biāo)設(shè)置的閾值標(biāo)準(zhǔn)，不一定具備實(shí)際的業(yè)務(wù)含義，必然存在大量的誤報(bào)、漏報(bào)。

另外經(jīng)常忽略低等級(jí)告警信息，就不能及時(shí)發(fā)現(xiàn)故障前兆，而當(dāng)致命故障發(fā)生時(shí)，處理難度會(huì)更大，也對(duì)業(yè)務(wù)服務(wù)和終端用戶造成更大范圍的影響。

只有通過(guò)合理高效的告警降噪能力，才能夠幫助運(yùn)維人員在有限的時(shí)間范圍內(nèi)快速、智能地篩選、定位出真正需要關(guān)注或人工處理的告警，以點(diǎn)帶面，大幅降低故障影響范圍，更好的感知到當(dāng)前需要處理的告警全貌，維護(hù)業(yè)務(wù)的穩(wěn)定。

而完成告警降噪，首先需要定義哪些屬于理應(yīng)被壓縮的“無(wú)效告警”，然后針對(duì)各類告警制定相對(duì)應(yīng)的解決方案，最終快速實(shí)現(xiàn)高效的告警降噪。

1. 常見(jiàn)“無(wú)效告警”：

• 維護(hù)期告警：在應(yīng)用發(fā)布/遷移/切換、環(huán)境維護(hù)、例行重啟、災(zāi)備演練等變更維護(hù)期間，所產(chǎn)生大量無(wú)需關(guān)注的告警。
• 重復(fù)告警：監(jiān)控系統(tǒng)在故障未解決的情況下持續(xù)檢測(cè)，持續(xù)發(fā)送的告警。
• 相同維度告警：多個(gè)監(jiān)控系統(tǒng)監(jiān)控覆蓋面有重疊，對(duì)同一個(gè)IT設(shè)備的相同問(wèn)題，來(lái)自不同監(jiān)控系統(tǒng)，多條具備相同維度屬性的告警，如同一個(gè)對(duì)象相同指標(biāo)的告警、或者具備相同的業(yè)務(wù)、集群、模塊、關(guān)聯(lián)信息等屬性的不同對(duì)象的告警。
• 相同負(fù)責(zé)人告警：隸屬于同一個(gè)人負(fù)責(zé)的，短時(shí)間內(nèi)集中爆發(fā)的告警。
• 抖動(dòng)類告警：CPU使用率、網(wǎng)卡流量等指標(biāo)偶發(fā)高于閾值的告警。
• 快速恢復(fù)告警：產(chǎn)生后較短時(shí)間（如2分鐘內(nèi)）內(nèi)自動(dòng)恢復(fù)的告警。
• 依賴相關(guān)告警：依賴關(guān)系引發(fā)的告警，如數(shù)據(jù)庫(kù)運(yùn)行于主機(jī)，或設(shè)備通過(guò)交換機(jī)聯(lián)通網(wǎng)絡(luò)等，由于被依賴設(shè)備產(chǎn)生故障而導(dǎo)致由依賴關(guān)系的的告警。

2. 對(duì)應(yīng)的制定告警降噪的方案：

1）時(shí)間屏蔽

由于系統(tǒng)變更、跑批等維護(hù)期間，很少會(huì)采取同時(shí)停止監(jiān)控的方式，所以因系統(tǒng)、設(shè)備的異常態(tài)而必然引發(fā)的告警，可以通過(guò)告警屏蔽，實(shí)現(xiàn)對(duì)指定時(shí)間窗口內(nèi)可預(yù)知的無(wú)效告警進(jìn)行收斂——不會(huì)分派通知，也不出現(xiàn)在需要處理的告警列表中。

2）告警去重

嘉為鯨眼告警中心采取自動(dòng)去重策略。當(dāng)一條告警還處于處理中未結(jié)束的狀態(tài)（下文中稱此類告警為“活動(dòng)告警”），后續(xù)接入的重復(fù)告警，會(huì)被自動(dòng)收斂掉。此處的重復(fù)告警的定義，取決于在接入告警環(huán)節(jié)告警事件的唯一性方案。相同告警事件ID的告警，被視為重復(fù)告警。

收斂同時(shí)累加活動(dòng)告警的“告警計(jì)數(shù)”，并將被收斂的告警和對(duì)應(yīng)的活動(dòng)告警進(jìn)行關(guān)聯(lián)。

3）關(guān)聯(lián)聚合

將某個(gè)時(shí)間窗口內(nèi)，指定的一個(gè)或多個(gè)告警字段完全相同的多條告警聚合，讓這些相同維度或者相同負(fù)責(zé)人的告警，只分派通知一次，減少對(duì)運(yùn)維人員的打擾，又可以便捷的查看所有聚合的告警。

例如配置將主機(jī)產(chǎn)生的告警，在設(shè)定的10分鐘時(shí)間窗口內(nèi)，有著相同的“告警指標(biāo)、CMDB業(yè)務(wù)、主要維護(hù)人”的多條告警收斂為一條。

這也可以視為一種更靈活的去重策略，能有效解決內(nèi)置自動(dòng)去重策略所未涉及的一些場(chǎng)景，如：來(lái)自同一個(gè)監(jiān)控系統(tǒng)的不同類型/不同負(fù)責(zé)人告警，告警事件唯一性方案有區(qū)別，需要靈活的設(shè)定；用戶希望超過(guò)一定時(shí)間段后，再此生成一條新的活動(dòng)告警，而非全部抑制等。

4）告警防抖

某些監(jiān)控系統(tǒng)不具備防抖檢測(cè)機(jī)制，經(jīng)常出現(xiàn)一些指標(biāo)值突升突降，引發(fā)很多迅速恢復(fù)的告警，這使得運(yùn)維人員收到大量告警后來(lái)不及查看又恢復(fù)了。

在實(shí)際的業(yè)務(wù)場(chǎng)景中，雖然這些指標(biāo)設(shè)定的閾值是合理的，超過(guò)閾值需要告警，但用戶希望僅當(dāng)指標(biāo)值連續(xù)幾個(gè)檢測(cè)周期，持續(xù)高于閾值再發(fā)出告警通知。

那么對(duì)于這些抖動(dòng)類指標(biāo)（如CPU使用率、網(wǎng)卡流量、內(nèi)存使用率、磁盤IO等）產(chǎn)生的告警，可以設(shè)定一些防抖的規(guī)則。如5分鐘內(nèi)產(chǎn)生3次告警，第3次才會(huì)成為有效告警進(jìn)行分派通知，未達(dá)標(biāo)的偶發(fā)告警即被抑制。

5）依賴告警收斂

對(duì)于有依賴關(guān)系影響而導(dǎo)致的關(guān)聯(lián)告警事件，如組件安裝/運(yùn)行于主機(jī)、各設(shè)備通過(guò)交換機(jī)連通網(wǎng)絡(luò)、主機(jī)磁盤掛載了存儲(chǔ)提供的存儲(chǔ)盤、虛擬機(jī)運(yùn)行于宿主機(jī)或宿主機(jī)集群上等，通過(guò)配置依賴關(guān)聯(lián)規(guī)則，按照告警之間的依賴關(guān)系，將依賴告警進(jìn)行收斂。

根據(jù)目前的落地實(shí)踐，通過(guò)以上五種降噪方案的配置，企業(yè)一般能夠有效收斂60%~80%的告警量。

6）智能化降噪未來(lái)展望：

當(dāng)然，在后續(xù)產(chǎn)品能力建設(shè)過(guò)程中，還需要考慮如何進(jìn)一步提升降噪效果，減輕人工配置的工作量同時(shí)增強(qiáng)告警智能化降噪的能力。對(duì)此我們也可以展望未來(lái)的一些建設(shè)發(fā)展方向：

7）智能聚類告警

通過(guò)AI人工智能技術(shù)，如NLP算法（自然語(yǔ)言處理Natural Language Processing）、DBSCAN聚類算法，對(duì)告警信息進(jìn)行文本分類聚類、模式發(fā)現(xiàn)，從海量告警中自動(dòng)化地去學(xué)習(xí)告警之間的關(guān)聯(lián)或相似關(guān)系，然后對(duì)相似、相關(guān)的告警進(jìn)行收斂。

通過(guò)有監(jiān)督的機(jī)器學(xué)習(xí)能力，結(jié)合人工標(biāo)記誤告或錯(cuò)誤收斂的告警，在最小化用戶配置成本的同時(shí)，逐步提高智能聚類告警的準(zhǔn)確性和可靠性。

對(duì)DBSCAN聚類效果演示感興趣的讀者可以在相關(guān)網(wǎng)站深入探索，此處不作進(jìn)一步展示。

2. 抑制快速恢復(fù)告警

對(duì)于一些會(huì)在產(chǎn)生告警后幾分鐘又迅速恢復(fù)的告警，不需要立刻分派通知的，可以在緩存一段時(shí)間后（可以設(shè)置最大延遲時(shí)間如5分鐘，從而保證告警時(shí)效性），這段時(shí)間內(nèi)未恢復(fù)的告警，再作為有效告警，通知相關(guān)人員處理。

1）告警事件合并

通過(guò)一些用戶自定義的合并規(guī)則，將一個(gè)時(shí)間窗口內(nèi)，多條有關(guān)聯(lián)的告警合并到一起，衍生一條新的告警事件，可以生成一些組合的告警信息，在告警通知信息中，體現(xiàn)合并告警的原因和影響范圍，讓運(yùn)維人員更有針對(duì)性去排查故障。

2）拓?fù)潢P(guān)系收斂

通過(guò)調(diào)用CMDB拓?fù)洌ńM件實(shí)例間的關(guān)聯(lián)關(guān)系）、APM應(yīng)用拓?fù)洌ǚ?wù)調(diào)用依賴關(guān)系，如前端應(yīng)用調(diào)用后臺(tái)服務(wù)、進(jìn)程等），根據(jù)完善的拓?fù)潢P(guān)系，自動(dòng)生成依賴收斂規(guī)則，極大減輕手工維護(hù)依賴關(guān)系的工作量。