日志中心是面向企業IT研發和運維，滿足分布式架構下海量日志采集及存儲、檢索及分析的一款高性能日志產品，基于業界主流的全文檢索引擎，通過藍鯨專屬 Agent 提供多種場景化日志采集，提供快速檢索分析、輔助故障定位功能。

日志中心——雙價值鏈條驅動的企業級日志解決方案：

• 價值鏈1：根據日志數據的分散、海量、異構的特點，打造日志數據流轉鏈，應對集中管理的場景。
• 價值鏈2：基于可觀測三支柱數據理論，構建可觀測全景數據鏈條，應對日益復雜的觀測場景。

01. 日志采集

日志中心引入日志主題的概念，將多個采集項封裝成一個日志主題，屏蔽采集層的物理限制，以業務維度重新組織日志數據管理維度，從而實現跨應用的聯合查詢。

支持通過Agent采集源日志和接入第三方ES來消費日志數據。

1）基于Agent采集日志

日志中心支持通過Agent采集來自多種來源的日志文件，包括操作系統、應用系統、容器、網絡設備、安全設備、中間件以及數據庫生成的日志。此外，系統還支持從第三方Kafka采集日志信息，確保用戶可以全面獲取所需的日志數據。

針對上述提到多來源的日志文件，具體而言，日志中心提供以下七種日志采集方式，以滿足不同場景和需求：

• 文本日志：直接采集存儲在文件系統中的文本格式日志，適用于大多數應用和服務生成的日志文件。
• Syslog協議：通過標準的Syslog協議采集網絡設備和安全設備的日志，確保日志傳輸的高效性和可靠性。
• Windows事件日志：支持從Windows系統中采集事件日志，幫助用戶監控和分析Windows環境下的系統和應用活動。
• Kubernetes文件日志：直接采集Kubernetes集群中容器生成的日志文件，便于用戶對容器化應用進行監控和故障排查。
• Kubernetes標準輸出：通過采集Kubernetes容器的標準輸出日志，用戶可以輕松獲取應用運行時的實時信息。
• Kubernetes Node日志：采集Kubernetes節點上的日志信息，幫助用戶全面了解集群的運行狀態和性能。
• Kafka采集：支持從第三方Kafka集群中采集日志信息，使得用戶能夠靈活處理和分析通過Kafka流轉的日志數據。

選擇采集類型后，用戶需要進行詳細的日志采集配置，包括設置采集目標、指定文本路徑以及定義過濾規則等。為提升采集配置的效率，日志中心提供了一系列便捷的功能，幫助用戶快速而準確地完成配置：

• 日志路徑預覽：支持逐級預覽物理環境中的日志路徑，確保用戶能夠準確選擇目標路徑，避免因路徑輸入錯誤而導致的日志采集問題，從而提高采集的準確性。
• 日志預覽：用戶可以實時預覽物理環境中的日志內容和格式，這一功能有助于用戶更好地理解日志結構，確保采集配置的合理性和有效性。
• 日志過濾：通過配置過濾規則，用戶可以精確控制采集的日志數據。只有滿足特定過濾條件的日志才會被采集，這樣不僅滿足了用戶的采集需求，還有效降低了日志采集后傳輸帶寬的占用，提高了系統的整體效率。
• 基于采集配置模板：支持用戶基于現有的采集配置模板快速完成新的采集配置。此外，用戶還可以將當前的采集配置保存為模板，以便在后續的接入任務中重復使用，進一步簡化配置流程。

而對于用戶在采集配置階段保存的采集模板，可在模板管理中進行管理，同時也可以在模板管理中直接新增采集模板。

2）接入第三方ES消費日志

如果日志數據已經通過其他工具采集并存儲在Elasticsearch中，日志中心同樣支持直接接入第三方ES存儲源，以便用戶能夠輕松消費和分析這些日志數據。這一功能使得用戶無需重復采集，能夠高效利用現有的數據資源。

02. 數據處理

1）數據清洗

支持基于JSON、分隔符和正則表達式三種字段提取方式，實現日志數據結構化，提升日志可讀性。

同時支持使用已有的字段提取模板，日志中心內置了20+套清洗模板，并支持用戶自定義提取模板，不僅可以提升日志清洗的效率，還可以助力企業日志標準化建設，有利于減輕落地推廣的難度。

支持用戶在數據清洗步驟中，直接將字段提取規則保存為模板，之后可在模板管理中進行管理，同時也可以在模板管理中直接新增字段提取模板。

2）數據存儲

① Elasticsearch溫熱分層存儲

支持ES溫熱分層，日志接入步驟中，根據數據的訪問頻率可以對數據進行溫、熱分層，訪問頻率高數據為熱數據，訪問頻率低的數據為溫數據。溫熱兩層存儲模式，節省至少30%存儲成本。

② 日志歸檔

除了通過Elasticsearch的溫熱分層技術降低存儲成本外，日志中心還提供了HDFS、騰訊云COS和共享目錄三種歸檔倉庫的創建選項。用戶可以基于這些歸檔倉庫創建歸檔任務，實現日志的有效歸檔功能。這使得需要長時間保留的日志能夠安全地轉移至成本更低的存儲設備，優化了存儲資源的使用。這樣的歸檔策略不僅降低了存儲費用，還確保了數據的安全性和可訪問性，滿足了合規性要求和業務需求。

創建完歸檔倉庫后，用戶可以基于該倉庫創建歸檔任務。當Elasticsearch中存儲的日志數據達到設定的過期時間后，將自動觸發日志數據的歸檔過程。用戶還可以靈活配置日志數據在歸檔倉庫中的存放時長，以便于滿足不同的業務需求和合規要求。

對于已經遷移到歸檔倉庫的日志數據，系統提供歸檔回溯功能，將日志數據重新載入到Elasticsearch中，此外，用戶可以靈活配置日志數據在Elasticsearch中的過期時間，以便有效管理存儲資源和數據生命周期。

③ 數據脫敏

日志中心支持對數據清洗后的字段進行脫敏處理，涵蓋從全文脫敏和部分脫敏策略，以確保滿足各類安全合規要求，同時確保脫敏后的數據依然保持其檢索功能的完整性和高效性，不影響日志檢索分析工作的進行。此外，針對不同角色，日志中心可以設置是否展示原文，例如后臺管理員可以不受脫敏影響。

• 全文脫敏：支持對提取后的日志字段進行全面脫敏處理。在進行全文脫敏后，相關日志數據在檢索時將全部以脫敏形式展示。

• 部分脫敏：部分脫敏功能支持對提取后的日志字段進行靈活的部分脫敏處理。通過設定脫敏規則，用戶可以在日志檢索時保留字段的前后字符，而對其余數據進行脫敏展示。

03. 日志檢索

日志中心支持通過Elasticsearch原生語法和正則表達式進行日志查詢，提供近實時的搜索能力。用戶可以進行全文檢索、跨業務檢索以及脫敏檢索，以滿足不同場景下的需求。此外，系統還提供一鍵轉化為監控策略的功能，簡化了監控配置的過程。結合實時日志和上下文能力，用戶能夠更高效地進行故障排查和問題分析。

• QueryString語法和正則表達式匹配：支持通過QueryString語法和正則表達式匹配方式進行靈活的日志查詢。用戶可以使用QueryString語法，簡單明了地構造查詢條件，以便快速篩選所需的日志數據。同時，正則表達式匹配方式提供了更強大的查詢功能，允許用戶根據特定的模式高效地檢索日志信息。這種組合方式能夠滿足不同場景下的查詢需求，提高日志分析的效率。

• 關鍵字全文檢索：支持通過關鍵字進行全文模糊匹配搜索日志，用戶可以輸入一個或多個關鍵字，系統將自動檢索包含這些關鍵字的相關日志記錄，通過模糊匹配，用戶即使不完全記得關鍵字的準確拼寫或形式，也能有效找到相關內容。這種搜索方式極大地提升了日志分析的便捷性，助力用戶迅速獲取所需信息。

• 組合條件檢索：支持通過與、或、非等組合條件查詢日志，用戶可以按照需求場景靈活構建復雜的查詢邏輯。

• 聯合檢索：提供聯合檢索功能，用戶可以關聯多個業務系統之間的日志進行綜合排查。通過這一功能，用戶能夠跨系統地整合和分析日志數據，從而更全面地識別和解決問題。

• 日志聚類分析：支持日志聚類能力，能夠將千萬條日志數據聚合為十幾種格式類型，從而顯著提高信息密度。通過這一功能，運維人員可以避免耗費大量時間在重復數據上，快速聚焦于關鍵信息。

• 日志上下文查看：日志上下文功能，方便用戶查看當前日志的上下文信息，深入了解事件發生的前后關系。此外，該功能還支持對上下文日志進行關鍵字檢索，并提供高亮提示，幫助用戶快速識別與當前日志相關的重要信息。

• 實時日志查看：支持實時日志查看，用戶可以隨時監控當前設備的實時日志，確保對系統狀態的即時了解。此外，該功能還允許用戶對實時日志進行關鍵字檢索，并提供高亮提示，幫助用戶快速定位關鍵信息。

• 一鍵生成監控策略：支持將當前的檢索語句一鍵轉換為監控策略，極大提升監控覆蓋率。這一功能使得運維人員能夠快速將有效的檢索表達式轉化為自動監控規則，確保系統關鍵指標和異常情況得到實時監控。

04. 日志監控

日志中心支持多種異常檢測方式，包括日志關鍵字檢測、日志指標數據檢測、無數據異常檢測和智能指標檢測。結合靜態閾值、同比策略（高級）、環比策略（高級）、同比策略（簡易）、環比策略（簡易）、同比振幅、環比振幅和同比區間等8種異常檢測算法，日志中心能夠實現多場景的日志監控。這些強大的檢測能力確保了業務的穩定性，幫助用戶及時識別和應對潛在問題，從而有效維護系統的健康運行。通過綜合運用多種檢測算法，用戶能夠獲得更全面的監控視角，提升故障預警的準確性和響應速度。

• 關鍵字檢測：關鍵字檢測功能支持用戶通過自定義檢索語句獲取符合條件的日志記錄，并結合8種異常檢測算法，實現對日志關鍵字的全面監控。

• 日志指標數據檢測：日志數據格式化清洗轉化為指標時序數據后，可當指標數據進行使用，并結合8種異常檢測算法，可實現日志指標的監控。

• 無數據異常檢測：無數據異常檢測功能支持用戶監控自定義時間段內的日志采集情況，當在設定的時間范圍內未采集到任何日志數據時，將自動觸發告警。

• 智能指標檢測：智能指標檢測功能提供了先進的日志分析能力，使用戶能夠迅速而清晰地識別日志中的異常變化。系統會自動根據特定格式的日志數據進行量統計，從而判斷是否存在異常情況，包括突增、突減、數值偏離或格式變化等。

05. 日志告警處理

支持觸發閾值后的告警處理策略配置，支持自動分派、自動關閉、自愈處理以及自動轉工單的處理方案，并且可以根據通知場景配置告警通知的頻率以及方式。

總的來說，日志中心以其全面的功能、高效的性能和智能的監控能力，為企業提供了一套完整的日志統一管理解決方案。它不僅能夠幫助企業實現日志數據的集中管理和高效利用，還能夠提升運維效率和系統穩定性，是企業運維排障中不可或缺的重要工具。