[發明專利]基于ELK的大數據告警方法、裝置、設備及存儲介質

有效

• 申請號: 201910757196.1
• 申請日: 2019-08-16
• 公開（公告）號: CN110677271B
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 魏萬勇;易李軍
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: H04L41/06
• 分類號: H04L41/06;H04L41/0631
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 劉暢

1.一種基于ELK的大數據告警方法，其特征在于，包括：

采集業務的原始結果數據；

通過Logstash對所述原始結果數據執行清洗加工處理，以獲取有效數據；

通過ElasticSearch對所述有效數據執行多維度的數據抽取，以生成多維度的若干項數據特征；

獲取每一個維度的若干項數據特征和每一項數據特征在所述若干項數據特征的總體數據中所占的比例，并基于所述比例為每一項所述數據特征分配特征權重；

基于各項數據特征對應的特征權重生成多類告警特征的特征值，所述特征值隨所述特征權重可變，聚合所述多類告警特征并基于聚合的多類告警特征生成告警消息進行推送，或分別為每一類告警特征生成告警消息進行推送。

2.根據權利要求1所述的基于ELK的大數據告警方法，其特征在于，所述采集業務的原始結果數據的步驟之前，所述方法還包括：

監控至少一種業務數據源的日志；所述原始結果數據記錄在所述日志中。

3.根據權利要求1所述的基于ELK的大數據告警方法，其特征在于，所述通過ElasticSearch對所述有效數據執行多維度的數據抽取，以生成多維度的若干項數據特征的步驟包括：

通過ElasticSearch對HTTP請求報文這一維度執行數據抽取，獲取請求行、請求頭和請求體三項數據特征；

通過ElasticSearch對HTTP響應報文這一維度執行數據抽取，獲取響應行、響應頭和響應體三項數據特征。

4.根據權利要求1所述的基于ELK的大數據告警方法，其特征在于，在所述生成多維度的若干項數據特征的步驟之后，所述方法還包括：

通過Kibana對所述多維度的數據特征執行可視化分析及展示。

5.根據權利要求1所述的基于ELK的大數據告警方法，其特征在于，在所述生成多維度的若干項數據特征的步驟之后，所述方法還包括：

通過ElasticSearch將所述多維度的若干項數據特征聚合生成一個整體的數據集；

發送所述數據集至所述ElasticSearch進行存儲。

6.根據權利要求1所述的基于ELK的大數據告警方法，其特征在于，所述基于各項數據特征對應的特征權重生成多類告警特征的特征值的步驟包括：

為每一項數據特征設置若干權重閾值；

基于各項數據特征對應的特征權重和為各項數據特征設置的若干權重閾值，確定各項數據特征對應的告警等級，進而基于所述數據特征和所述告警等級生成多類告警特征的特征值。

7.一種基于ELK的大數據告警裝置，其特征在于，包括：

采集模塊，用于采集業務的原始結果數據；

加工模塊，用于通過Logstash對所述原始結果數據執行清洗加工處理，以獲取有效數據；

數據抽取模塊，用于通過ElasticSearch對所述有效數據執行多維度的數據抽取，以生成多維度的若干項數據特征；

權重分配模塊，用于獲取每一個維度的若干項數據特征和每一項數據特征在所述若干項數據特征的總體數據中所占的比例，并基于所述比例為每一項所述數據特征分配特征權重；

推送模塊，用于基于各項數據特征對應的特征權重生成多類告警特征的特征值，所述特征值隨所述特征權重可變，聚合所述多類告警特征并基于聚合的多類告警特征生成告警消息進行推送，或分別為每一類告警特征生成告警消息進行推送。

8.根據權利要求7所述的基于ELK的大數據告警裝置，其特征在于，還包括：監控模塊；所述監控模塊用于監控至少一種業務數據源的日志；所述原始結果數據記錄在所述日志中。

9.一種計算機設備，包括存儲器和處理器，所述存儲器中存儲有計算機程序，所述處理器執行所述計算機程序時實現如權利要求1-6中任意一項所述的基于ELK的大數據告警方法的步驟。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現如權利要求1-6中任意一項所述的基于ELK的大數據告警方法的步驟。