[發明專利]基于ELK的大數據告警方法、裝置、設備及存儲介質

有效

• 申請號: 201910757196.1
• 申請日: 2019-08-16
• 公開（公告）號: CN110677271B
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 魏萬勇;易李軍
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: H04L41/06
• 分類號: H04L41/06;H04L41/0631
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 劉暢

本申請實施例公開了一種基于ELK的大數據告警方法、裝置、設備及存儲介質，涉及大數據處理技術領域。一種基于ELK的大數據告警方法，包括：采集業務的原始結果數據；對原始結果數據執行清洗加工，以獲取有效數據；對有效數據執行多維度的數據抽取；獲取每一項數據特征在總體數據中所占的比例，并分配特征權重；生成多類告警特征的特征值，生成告警消息進行推送。所述方法通過對由原始數據獲取的有效數據進行多維度的數據抽取，可以深入到更細粒度的分析，從而更好地發現業務邏輯或者功能點中的異常，并結合特征權重和特征值這兩種影響告警策略的參數調整告警策略，能夠實現動態地調整告警策略，避免告警的誤報和騷擾等問題。

技術領域

本申請實施例涉及大數據處理技術領域，特別是一種基于ELK的大數據告警方法、裝置、設備及存儲介質。

背景技術

日志，在計算機系統里面，是極其重要的組成部分。日志主要包括系統日志、業務日志以及安全日志。系統運維和開發人員可以通過日志了解服務器軟硬件信息、查閱日志信息以及分析錯誤發生的原因等。但是由于現在的計算機系統大多比較復雜，很多系統都不是在一個地方，甚至都是跨國界的。而且隨著現在計算機系統的日益復雜，大數據時代的來臨，越來越容易就涉及到幾十甚至上百臺的服務器，它們都在不停產生各種各樣的日志數據。面對如此海量的日志數據，又是分布在各個不同地方，如果我們需要去查找一些重要的信息，使用傳統的工具和方法會顯得非常笨拙和低效。因此迫切地需要有一套針對日志的集中式管理方法，把不同來源的數據集中整合到一個地方，集中式日志系統的概念因此產生。業務系統運行中可以通過集中式日志系統實時監控其性能和關鍵技術指標，當出現異常時會產生日志類的告警信息，當告警產生時，運維人員查看告警信息，并去查找是否有對應的應急預案。

但是目前常見通過集中式日志系統進行的業務監控告警和分析，主要是針對機器、或者業務接口響應碼來告警，沒有深入到接口響應內容的分析，很難發現業務邏輯或者功能點異常的問題，告警的細粒度不夠，且告警策略比較單一，無法滿足快速發現問題的同時又盡量避免誤報和騷擾。

發明內容

本申請實施例所要解決的技術問題是，提供一種基于ELK的大數據告警方法、裝置、設備及存儲介質，可以基于集中式日志系統深入到更細粒度的分析，能夠動態地調整告警策略，解決告警策略過于單一的缺陷。

為了解決上述技術問題，本申請實施例所述的一種基于ELK的大數據告警方法，采用了如下所述的技術方案：

一種基于ELK的大數據告警方法，包括：

采集業務的原始結果數據；

通過Logstash對所述原始結果數據執行清洗加工處理，以獲取有效數據；

通過ElasticSearch對所述有效數據執行多維度的數據抽取，以生成多維度的若干項數據特征；

獲取每一個維度的若干項數據特征和每一項數據特征在所述若干項數據特征的總體數據中所占的比例，并基于所述比例為每一項所述數據特征分配特征權重；

基于各項數據特征對應的特征權重生成多類告警特征的特征值，聚合所述多類告警特征并基于聚合的多類告警特征生成告警消息進行推送，或分別為每一類告警特征生成告警消息進行推送。

本申請實施例所述的基于ELK的大數據告警方法，通過對由原始數據獲取的有效數據進行多維度的數據抽取，可以深入到更細粒度的分析，從而更好地發現業務邏輯或者功能點中的異常；而通過計算各個維度的每項數據特征在若干項數據特征的總體數據中的所占比例并合理分配其特征權重，并結合特征權重和特征值這影響告警策略的參數調整告警策略，能夠實現動態地調整告警策略，避免告警的誤報和騷擾等問題。

進一步的，所述的基于ELK的大數據告警方法，所述采集業務的原始結果數據的步驟之前，所述方法還包括：

監控至少一種業務數據源的日志；所述原始結果數據記錄在所述日志中。