近年來，可觀測性熱度節(jié)節(jié)攀升，企業(yè)在可觀測性實(shí)踐過程中常常也伴隨著一系列棘手的問題：

• 監(jiān)控與可觀測區(qū)別是什么？
• 可觀測發(fā)展史是怎樣的？
• 如何規(guī)劃可觀測的體系化建設(shè)之路？
• 如何讓可觀測平臺與工具順利落地？

接下來我們就跟隨嘉為科技AIOps產(chǎn)品負(fù)責(zé)人宋蘊(yùn)真的腳步，步步深入，深度剖析可觀測性，全面深度挖掘探索企業(yè)運(yùn)維可觀測體系的建設(shè)之路。

*注：以下內(nèi)容整理自：嘉為科技AIOps產(chǎn)品負(fù)責(zé)人 宋蘊(yùn)真 于 嘉為藍(lán)鯨2022研運(yùn)一體創(chuàng)新峰會的精彩分享——《運(yùn)維可觀測體系化建設(shè)之路》。

01. 正本清源——可觀測與相關(guān)易混淆概念

1）監(jiān)控VS可觀測性

談及可觀測性，就不得不提一個經(jīng)常會被混淆的概念，也就是監(jiān)控。在我們以往的實(shí)踐過程中，通常遇到最多的問題就是：企業(yè)現(xiàn)在已經(jīng)建設(shè)了許多監(jiān)控工具了，可觀測的體系建設(shè)能夠帶來什么價值？

首先需要明確：監(jiān)控是一種可觀測的實(shí)現(xiàn)手段，而可觀測性本身不止于監(jiān)控。

對于運(yùn)維來說，在發(fā)現(xiàn)問題時，傳統(tǒng)監(jiān)控通通僅能指向問題發(fā)生的對象，將告警發(fā)送給用戶，此時依靠運(yùn)維人員的歷史處理經(jīng)驗(yàn)來進(jìn)行下一步動作。往往這種處理方式經(jīng)由經(jīng)驗(yàn)豐富的運(yùn)維人員處理，能夠得心應(yīng)手，但是當(dāng)運(yùn)維人員缺乏處理經(jīng)驗(yàn)時，我們僅僅只能夠發(fā)現(xiàn)問題的表層，而無法得知問題的根源，造成運(yùn)維在解決問題時，猶如開“盲盒”一般，毫無頭緒的境況。

監(jiān)控使用者更偏向于具備豐富經(jīng)驗(yàn)的傳統(tǒng)運(yùn)維老手，舉個例子來說，就如同老中醫(yī)通過把脈能夠大體判斷病癥，同樣的，運(yùn)維老手從儀表盤就大概能夠判斷出問題的程序或機(jī)器。但這種方式非常依賴于過往的經(jīng)驗(yàn)，以及運(yùn)維人員對這套系統(tǒng)的熟悉度。

而對于可觀測來說，它更像是西醫(yī)的概念，就好比去醫(yī)院進(jìn)行體檢時，通過很多全面的檢查，醫(yī)生就能夠比較精確的指向病因根源。可觀測性讓我們通過更加復(fù)合的手段，讓不具有很多運(yùn)維經(jīng)驗(yàn)或者對系統(tǒng)并不熟悉的人也能夠很好的完成運(yùn)維工作。

2）可視化VS可觀測性

第二個容易混淆的概念，往往出現(xiàn)在初步接觸可觀測領(lǐng)域，即可視化和可觀測性的混淆。本身這兩個概念都比較大，在此我們也僅僅只淺談可觀測里面的可視化。

在可觀測中的可視化就是將觀測數(shù)據(jù)進(jìn)行展現(xiàn)的手段，而在更大的領(lǐng)域，有的企業(yè)會去做數(shù)字孿生，將各種對象以數(shù)字化方式進(jìn)行投射或展示。

可觀測更關(guān)注的點(diǎn)并不在可視化上，更多時候只是將可視化作為呈現(xiàn)數(shù)據(jù)的手段，除了呈現(xiàn)數(shù)據(jù)，可觀測還包括數(shù)據(jù)的收集、存儲、分析等，最終整合后組織成一個良好的產(chǎn)品形態(tài)，輔助運(yùn)維人員進(jìn)行排障。

02. 以史為鏡——可觀測發(fā)展進(jìn)程

1）可觀測性的發(fā)展

以史為鏡，縱觀可觀測性的整個發(fā)展歷程。企業(yè)在選用或采購產(chǎn)品時，通常也會去了解產(chǎn)品發(fā)展的來龍去脈，那么可觀測的發(fā)展是怎樣的呢？

在早期，可觀測并不是作為一個獨(dú)立概念被提出，而是在海外經(jīng)典理論——控制論中有所提及。在控制論的描述中，信息在系統(tǒng)中不斷的進(jìn)行傳輸，系統(tǒng)會隨著信息不斷的反饋而調(diào)整行為，最終形成整體反饋的閉環(huán)。

控制論在傳入國內(nèi)后，被我國著名科學(xué)家錢學(xué)森發(fā)揚(yáng)光大，并且在工程學(xué)上進(jìn)一步進(jìn)行應(yīng)用。其核心基本問題就是系統(tǒng)的能控性與能觀測性，也就是通過系統(tǒng)中信息的不斷反饋，來指導(dǎo)并優(yōu)化整體工程。

為了方便理解，我們以人體領(lǐng)域來和研運(yùn)領(lǐng)域進(jìn)行對比，更形象的解釋可觀測的概念。

對于人來說，判斷事物需要從眼睛看到，耳朵聽到以及感官獲取，這就是人體的觀測系統(tǒng)。在觀測到數(shù)據(jù)后，通過大腦進(jìn)行判斷，接著進(jìn)行下一步行動思考，構(gòu)成完整的觀測閉環(huán)。

而對于運(yùn)維，我們希望建立AI專家系統(tǒng)的概念，能夠像人腦一樣，通過可觀測系統(tǒng)收集數(shù)據(jù)后進(jìn)行判斷，對于能夠解決的問題給予自動化或手動的操控，對于需要求助的可以申請工單獲得問題支持。

在這里，最大的價值點(diǎn)仍然在于信息的輸入，如果能夠盡早的獲取系統(tǒng)中的數(shù)據(jù)，就能夠盡早的思考和分析，從而采取行動。

2）IT與可觀測性相輔相成

回顧IT發(fā)展史，事實(shí)上，可觀測性與IT的發(fā)展是密不可分、相輔相成的。IT發(fā)展史大體來說可以分為三個時代，可觀測性手段也隨之不斷的進(jìn)步。

① 單機(jī)時代

早期IT對象較為單一，大型機(jī)時期，觀測手段主要通過儀表盤進(jìn)行，隨著DOS的出現(xiàn)，可以通過命令查詢信息，但此時并不具備監(jiān)控的能力，直到Windows/Linux的出現(xiàn)，通過記錄Syslog數(shù)據(jù)，使得大家可以在遠(yuǎn)端或者不在電腦上的情況下理解系統(tǒng)的信息。

而這種結(jié)構(gòu)化的文本數(shù)據(jù)Syslog，如今在在業(yè)內(nèi)，我們也通常稱之為日志，實(shí)際上，日志就是最明細(xì)、最單元、也是最早出現(xiàn)的一種觀測數(shù)據(jù)。

② 局域網(wǎng)時代

隨著局域網(wǎng)時代的到來，存儲成本變高，上述對結(jié)構(gòu)化數(shù)據(jù)記錄這種觀測手段，存在著是信息量日趨龐大的問題，面對這樣的挑戰(zhàn)，一個劃時代的數(shù)據(jù)——指標(biāo)類型數(shù)據(jù)出現(xiàn)了，它通過將低維度的結(jié)構(gòu)化事件進(jìn)行升維，在此之后，我們逐漸能夠?qū)T對象進(jìn)行集群式的觀測和監(jiān)控，通過插件對結(jié)構(gòu)化的日志聚合成指標(biāo)數(shù)據(jù)，從而節(jié)省存儲和網(wǎng)絡(luò)的開銷，這也是最早期監(jiān)控的雛形。

在這個時代，誕生了一些極具代表性的軟件：Zabbix以及以日志為核心的Splunk，代表了集群化的局域網(wǎng)時代IT觀測的的兩種核心工具。

③ 互聯(lián)網(wǎng)時代

我們來到現(xiàn)在的互聯(lián)網(wǎng)時代，C端用戶不斷增多，在云原生技術(shù)的飛速推動下，IT面臨著更多更復(fù)雜的對象和架構(gòu)，如右上角CNCF矩陣圖所示。

在這樣一個對象暴漲的時代，依靠過去用插件做采集的模式已經(jīng)逐漸行不通，于是云原生開發(fā)者們相應(yīng)的開始做一些觀測工具，為了拓展生態(tài)能力，適配對接更多類型的對象，開源社區(qū)共建共享的形式也逐漸鋪開。誕生一些諸如DATADOG、dynatrace等較為代表性的工具。

回顧整個觀測手段的發(fā)展過程，其核心也是圍繞經(jīng)典三支柱Metrics、Logs和Traces在發(fā)展，其中Traces即是分布式架構(gòu)時代下產(chǎn)生的新的元數(shù)據(jù)。在互聯(lián)網(wǎng)時代，新的商業(yè)化的軟件和企業(yè)也有以下一些與以往不同的思路，來實(shí)現(xiàn)現(xiàn)代化的可觀測：

• 全棧覆蓋更多觀測手段
• 數(shù)據(jù)采集能力通過開源生態(tài)共建
• 海量數(shù)據(jù)處理，多場景支持

03. 工欲善其事，必先利其器

在整個可觀測發(fā)展過程中，每一個企業(yè)可能都會建立一些監(jiān)控工具、日志工具，但這些工具就像是散亂的零件，沒有辦法組裝打通，各個工具之間體驗(yàn)也完全不一致。

這就好比過去我們需要進(jìn)行拍照，打電話，閱讀文本時，往往需要不同的工具，而到了現(xiàn)在，這些功能會被統(tǒng)一整合進(jìn)手機(jī)里，以更高的效率、更好的體驗(yàn)來去解決問題。

“工欲善其事，必先利其器”。可觀測性并非是簡單的工具搭建，低整合度的工具排查問題時不僅效率低下，同時存在著跨系統(tǒng)排障不一定可行的隱患。那么如何“打磨利器”呢？這里我們看DATADOG提出的3個重要概念：Any Stack、Any Scale和Any APP。

1）豐富且可擴(kuò)展的采集能力（Any Stack）

運(yùn)維系統(tǒng)最大的復(fù)雜度并不在于運(yùn)維系統(tǒng)的建設(shè)，也不在于運(yùn)維工具如何建設(shè)，而是在于運(yùn)維的對象非常多，要求各種各樣的運(yùn)維專家來應(yīng)對這些不同對象所產(chǎn)生的問題。

可觀測性的建立第一步，即是強(qiáng)調(diào)需要具備豐富的從不同對象采集數(shù)據(jù)的能力。這也是整個觀測系統(tǒng)建設(shè)的基礎(chǔ)，實(shí)現(xiàn)方式主要有兩個點(diǎn)，一是要依賴于開源社區(qū)的貢獻(xiàn)，而是將采集能力建設(shè)為可插拔的方式。

2）靈活可擴(kuò)展的大數(shù)據(jù)后臺架構(gòu)（Any Scale）

通常在做可觀測時，都會面向一個非常大的系統(tǒng)，與傳統(tǒng)局域網(wǎng)集群和單體監(jiān)控不同，我們所面臨的主要問題并不是穩(wěn)定的指標(biāo)數(shù)據(jù)，而是相對變化頻繁的Logs，Traces數(shù)據(jù)，隨著業(yè)務(wù)系統(tǒng)調(diào)用量的變化，如流量洪峰時，系統(tǒng)的數(shù)據(jù)壓力就非常難以預(yù)測。所以，建立背后可彈性支持海量數(shù)據(jù)、能夠扛住流量洪峰的后臺架構(gòu)，是系統(tǒng)穩(wěn)定的重要保障。

3）觀測手段整合，提供下鉆能力（Any App）

第三點(diǎn)Any App，是針對各類不同場景，都可提供相應(yīng)工具或能力。一方面體現(xiàn)的場景在于對Traces Logs和Metrics數(shù)據(jù)之間相互映射的關(guān)系，從低維度數(shù)據(jù)聚合到中高維度，在實(shí)際使用過程中從高維數(shù)據(jù)產(chǎn)生的告警去探索和溯源。

另一方面，在整個運(yùn)維系統(tǒng)組織構(gòu)建時，CMDB的建模與可觀測也是相輔相成的，在CMDB中建立資源對象模型后，能夠進(jìn)一步實(shí)現(xiàn)維度下鉆，通過Traces的動態(tài)聚合，生成不同的微服務(wù)，從而獲取不同時段下具體的指標(biāo)有哪些，相關(guān)動態(tài)拓?fù)溆质鞘裁礃拥模瑥亩玫膶?shí)現(xiàn)從宏觀到微觀角度排查問題。

04. 規(guī)程 OR 文化？

聊完了工具，我們最后再來談一談企業(yè)落地決策，到底是以一個好的規(guī)程，還是建立一個文化來去落地。這里我們的建議是根據(jù)企業(yè)組織現(xiàn)狀來去決定。

1）設(shè)立規(guī)程

這種思路比較適用于人才密度相對較低的團(tuán)隊(duì)，例如在一些企業(yè)中，會有一定的正式員工負(fù)責(zé)監(jiān)控、觀測的項(xiàng)目，同時會有一些外包團(tuán)隊(duì)幫助進(jìn)行具體操作，在這種情況下，一般是Control（控制）大于Context（基于背景信息協(xié)作）的協(xié)作模式，也就是需要通過建立良好的流程來控制整套系統(tǒng)的運(yùn)行。

在建立工具體系以后，制定好具體的流程策略以及相對于的負(fù)責(zé)團(tuán)隊(duì)，同時打通觀測前中后期全流程，可以更好的控制整個團(tuán)隊(duì)排查問題的效率。

2）形成文化

在一些企業(yè)中，團(tuán)隊(duì)會追求運(yùn)維向運(yùn)維開發(fā)轉(zhuǎn)型，或是運(yùn)維工程師向SRE工程師的轉(zhuǎn)型，企業(yè)希望能夠?qū)F(tuán)隊(duì)變得更加精英化，此時我們就需要去激發(fā)每個人的主觀能動性，通過建立一些正向的反饋，讓整個團(tuán)隊(duì)在過程中不僅得到技術(shù)上的精進(jìn)，更能夠從中獲得成就感，從而形成一正向的循環(huán)。

同時我們也鼓勵團(tuán)隊(duì)中積極分享更多的技術(shù)與方法論實(shí)踐，將整個文化進(jìn)行推廣，不僅僅局限在運(yùn)維團(tuán)隊(duì)之中，還需要與開發(fā)、業(yè)務(wù)團(tuán)隊(duì)之間溝通交流，跨團(tuán)隊(duì)的推廣實(shí)踐。其次，提早進(jìn)行埋點(diǎn)設(shè)計(jì)，早期建設(shè)時就需要考慮可觀測設(shè)計(jì)中可能出現(xiàn)的瓶頸，在后續(xù)的實(shí)際運(yùn)行過程中，能夠幫助更好的發(fā)現(xiàn)問題。

最后是鼓勵工程師探索更多觀測手段，而不是像傳統(tǒng)的所謂“盡責(zé)”，單純追求所有問題的呈現(xiàn)和記錄，最后造成“狼來了”的局面，告警一直不停，但卻不會去關(guān)注問題所在。這樣的團(tuán)隊(duì)最終也就演變成為“互相甩鍋”的割裂組織。

關(guān)于可觀測性的內(nèi)容還有很多，限于篇幅，我們僅僅只涉及到了冰山一角，當(dāng)然可觀測性的發(fā)展路途還很漫長。