[發明專利]日志數據處理方法、裝置、設備及計算機可讀存儲介質

有效

• 申請號: 202010115818.3
• 申請日: 2020-02-24
• 公開（公告）號: CN111274095B
• 公開（公告）日: 2023-01-24
• 發明（設計）人: 魏帥超;鄭明華;鐘志明
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 晏波

本發明公開了一種日志數據處理方法、裝置、設備及計算機可讀存儲介質，該方法包括以下步驟：采集多個系統的業務日志數據，并根據多個系統的日志數據類型，對各項業務日志數據進行解析，生成標準日志數據；將各項標準日志數據進行聚合，生成聚合數據，并對聚合數據進行時區標準化處理和數據補齊處理，得到聚合時序數據；統計聚合時序數據中的異常關鍵字，并根據預設監控類型，對異常關鍵字進行預警。本發明通過將各類型業務日志數據解析為標準日志數據聚合處理，避免了針對不同類型的日志數據來部署多套系統架構進行處理，并可由異常關鍵字在聚合時序數據中的時間順序體現異常時間，簡化了處理過程，節省了對多套系統框架運維處理的成本。

技術領域

本發明涉及金融科技(Fintech)技術領域，尤其涉及一種日志數據處理方法、裝置、設備及計算機可讀存儲介質。

背景技術

隨著金融科技(Fintech)，尤其是互聯網科技金融的不斷發展，越來越多的技術(如大數據、云存儲、分布式系統等)應用在金融領域，但金融業也對各類技術提出了更高的要求，如要求對存儲在分布式系統中各個設備上的各類日志數據進行統一處理。

當前為了支持對各設備上不同類型日志數據的統一處理，通常借助諸如Filebeat(日志收集)、Logstash(日志收集處理)、ElasticSearch(日志存儲)此類的開源工具來搭建系統架構。

這種系統架構帶來的問題之一是難以支撐異構系統下的多類型日志數據源輸入，若分布式系統中有普通日志，消息，遠程服務等異構日志數據需要處理，則需要部署多套系統架構來處理不同類型的日志數據，導致系統復雜度增加，且運維成本升高。

發明內容

本發明的主要目的在于提供一種日志數據處理方法、裝置、設備及計算機可讀存儲介質，旨在解決現有技術中通過多套系統來對不同類型的日志數據進行處理，所存在的系統復雜，且運維成本高的的技術問題。

為實現上述目的，本發明提供一種日志數據處理方法，所述日志數據處理方法包括以下步驟：

采集多個系統的業務日志數據，并根據多個所述系統的日志數據類型，對各項所述業務日志數據進行解析，生成標準日志數據；

將各項所述標準日志數據進行聚合，生成聚合數據，并對所述聚合數據進行時區標準化處理和數據補齊處理，得到聚合時序數據；

統計所述聚合時序數據中的異常關鍵字，并根據預設監控類型，對所述異常關鍵字進行預警。

可選地，所述根據預設監控類型，對所述異常關鍵字進行預警的步驟包括：

若所述預設監控類型為關鍵字監控，則將所述異常關鍵字生成為預警信息進行預警；

若所述預設監控類型為頻率監控，則判斷在預設時間區間內統計的所述異常關鍵字的數量是否大于預設閾值；

若所述異常關鍵字的數量大于預設閾值，則將所述異常關鍵字生成為預警信息進行預警。

可選地，所述對所述聚合數據進行時區標準化處理和數據補齊處理，得到聚合時序數據的步驟包括：

獲取各項所述業務日志數據的生成時間，并根據各所述生成時間將所述聚合數據劃分為第一數據和第二數據，其中各所述第一數據對應的所述生成時間為空值，各所述第二數據對應的所述生成時間為非空值；

獲取將各項所述標準日志數據進行聚合的聚合時間，并根據各所述第二數據對應的所述生成時間，對與各所述第二數據對應的所述聚合時間進行調整，以對所述聚合數據進行時區標準化處理；

根據所述當前時間，對與各所述第一數據對應的所述生成時間進行補全，以對所述聚合數據進行數據補全處理，并將與各所述第一數據對應的所述聚合時間調整為補全后的所述生成時間；

將經調整的各所述第一數據和各所述第二數據生成為所述聚合時序數據。