[發明專利]日志處理方法、裝置、電子設備及計算機可讀存儲介質

在審

• 申請號: 202010637932.2
• 申請日: 2020-07-03
• 公開（公告）號: CN111782479A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 趙進;李燕丹;張振華;汪啟安;任少彬
• 申請（專利權）人: 北京妙醫佳健康科技集團有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 范彥揚

本發明提供了一種日志處理方法、裝置、電子設備及計算機可讀存儲介質，包括實時獲取用戶的日志流數據；基于Flink計算引擎對日志流數據執行計算流程，并將得到的計算結果輸出；其中，計算流程包括實時計算流程、近線計算流程和離線計算流程。本發明可以提高代碼重用度，降低資源使用率，滿足大數據量計算的同時保證計算的實時性。

技術領域

本發明涉及數據處理技術領域，尤其是涉及一種日志處理方法、裝置、電子設備及計算機可讀存儲介質。

背景技術

隨著目前網絡環境中關鍵信息資源的威脅數量和類型的急劇上升，如何及時對網絡攻擊行為做出主動反應，是網絡安全領域近年來的研究熱點。通過分析日志數據對網絡安全態勢進行評估已得到越來越廣泛的認可。現有的數據處理流程滿足了實時和離線兩種計算需要，但是實時計算和離線計算使用兩套處理邏輯，不僅占用資源多，而且代碼重用率低；此外，由于實時計算無法支持大數據量，而離線計算實時性差，因此現有的數據處理方法無法滿足延遲低，數據量較大的情況。

發明內容

有鑒于此，本發明的目的在于提供一種日志處理方法、裝置、電子設備及計算機可讀存儲介質，以提高了代碼重用度，降低資源使用率，滿足大數據量計算的同時保證計算的實時性。

第一方面，本發明實施例提供了一種日志處理方法，包括：實時獲取用戶的日志流數據；基于Flink計算引擎對日志流數據執行計算流程，并將得到的計算結果輸出；其中，計算流程包括實時計算流程、近線計算流程和離線計算流程。

在一種實施方式中，基于Flink計算引擎對日志流數據執行實時計算流程，并將計算結果輸出的步驟，包括：將日志流數據劃分成多個批次；基于Flink計算引擎對每個批次的日志流數據分別進行計算，并將實時計算結果輸出。

在一種實施方式中，基于Flink計算引擎對日志流數據執行近線計算流程，并將計算結果輸出的步驟，包括：基于Flink計算引擎實時對日志流數據進行解析，并將解析后的日志流數據保存到KUDU數據庫中；基于Spark計算引擎對KUDU數據庫中的日志流數據進行計算，并將近線計算結果輸出。

在一種實施方式中，基于Flink計算引擎實時對日志流數據進行解析，并將解析后的日志流數據保存到KUDU數據庫中的步驟，包括：去除日志流數據中的垃圾數據；基于Flink計算引擎將去除垃圾數據后的日志流數據解析成標準格式，得到解析后的日志流數據；將解析后的日志流數據保存到KUDU數據庫中。

在一種實施方式中，基于Flink計算引擎對日志流數據執行離線計算流程，并將計算結果輸出的步驟，包括：基于Flink計算引擎實時對日志流數據進行解析，并將解析后的日志流數據保存到HDFS中；通過hive將解析后的日志流數據映射成數據表；基于Spark計算引擎和/或MapReduce計算引擎對數據表中的數據進行計算，并將離線計算結果輸出。

在一種實施方式中，實時獲取用戶的日志流數據的步驟，包括：通過kafka平臺實時獲取用戶的日志流數據。

第二方面，本發明實施例提供了一種日志處理裝置，包括：數據獲取模塊，用于實時獲取用戶的日志流數據；計算模塊，用于基于Flink計算引擎對日志流數據執行計算流程，并將得到的計算結果輸出；其中，計算流程包括實時計算流程、近線計算流程和離線計算流程。

在一種實施方式中，計算模塊還用于基于Flink計算引擎實時對日志流數據進行解析，并將解析后的日志流數據保存到KUDU數據庫中；基于Spark計算引擎對KUDU數據庫中的日志流數據進行計算，并將近線計算結果輸出。

第三方面，本發明實施例提供了一種電子設備，包括處理器和存儲器，存儲器存儲有能夠被處理器執行的計算機可執行指令，處理器執行計算機可執行指令以實現上述第一方面提供的任一項的方法的步驟。