[發明專利]一種日志數據處理方法、裝置、存儲介質及電子設備

在審

• 申請號: 202011056747.0
• 申請日: 2020-09-30
• 公開（公告）號: CN112182160A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 劉亞寧
• 申請（專利權）人: 中國民航信息網絡股份有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/18;G06F16/35
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張建

本發明公開了一種日志數據處理方法、裝置、存儲介質及電子設備，日志數據處理裝置包括數據輸入組件、腳本插件以及數據輸出組件。本公開通過確定日志事件的事件類型，使用腳本插件調用與該事件類型相匹配的數據處理方式對日志事件進行處理，縮短對日志數據的處理時長，提升了對日志數據的處理效率。

技術領域

本發明涉及日志處理技術領域，特別是涉及一種日志數據處理方法、裝置、存儲介質及電子設備。

背景技術

在大數據時代下，技術人員可以通過系統、應用程序以及安全維護等產生的日志了解相關服務器的軟硬件信息、檢查配置過程中的錯誤以及錯誤產生的原因，從而及時采取措施糾正錯誤。技術人員為了更好地從日志數據中獲取到相關的信息，需要及時對日志數據進行統計和分析等相關處理。

然而，隨著數據業務的不斷增長，相關日志數據也不斷增多，對日志數據的處理也越來越復雜。現有日志分析平臺已經難以滿足當前對日志數據的處理需求。

發明內容

鑒于上述問題，本發明提供克服上述問題或者至少部分地解決上述問題的一種日志數據處理方法、裝置、存儲介質及電子設備，技術方案如下：

一種日志數據處理方法，應用于日志數據處理裝置中，所述日志數據處理裝置包括數據輸入組件、腳本插件以及數據輸出組件，所述方法包括：

所述數據輸入組件獲得日志服務器中的目標日志數據；

所述數據輸入組件將所述目標日志數據進行事件封裝，獲得第一日志事件，其中，所述第一日志事件攜帶有第一事件標簽；

所述數據輸入組件將所述第一日志事件傳輸至所述腳本插件；

所述腳本插件根據所述第一事件標簽，確定所述第一日志事件的事件類型；

所述腳本插件調用與所述第一日志事件的事件類型匹配的數據處理方式對所述第一日志事件進行處理，獲得至少一個第二日志事件；

所述腳本插件分別為各第二日志事件添加相匹配的第二事件標簽，以使各第二日志事件攜帶有相匹配的第二事件標簽；其中，與第二日志事件相匹配的第二事件標簽與該第二日志事件的事件類型具有對應關系；

所述腳本插件將至少一個第二日志事件傳輸至所述數據輸出組件；

所述數據輸出組件分別根據各第二日志事件攜帶的第二事件標簽，輸出各第二日志事件。

一種日志處理裝置，包括數據輸入組件、腳本插件以及數據輸出組件，

所述數據輸入組件，被配置為執行獲得日志服務器中的目標日志數據，將所述目標日志數據進行事件封裝，獲得第一日志事件，其中，所述第一日志事件攜帶有第一事件標簽，將所述第一日志事件傳輸至所述腳本插件；

所述腳本插件，被配置為執行根據所述第一事件標簽，確定所述第一日志事件的事件類型，調用與所述第一日志事件的事件類型匹配的數據處理方式對所述第一日志事件進行處理，獲得至少一個第二日志事件，分別為各第二日志事件添加相匹配的第二事件標簽，以使各第二日志事件攜帶有相匹配的第二事件標簽，其中，與第二日志事件相匹配的第二事件標簽與該第二日志事件的事件類型具有對應關系，將至少一個第二日志事件傳輸至所述數據輸出組件；

所述數據輸出組件，被配置為執行分別根據各第二日志事件攜帶的第二事件標簽，輸出各第二日志事件。

一種存儲介質，其上存儲有程序，所述程序被處理器執行時實現如上所述的日志數據處理方法。

一種電子設備，所述電子設備包括至少一個處理器、以及與處理器連接的至少一個存儲器、總線；其中，所述處理器、所述存儲器通過所述總線完成相互間的通信；所述處理器用于調用所述存儲器中的程序指令，以執行如上所述的日志數據處理方法。