[發明專利]日志處理方法、裝置、電子設備及計算機可讀存儲介質

在審

• 申請號: 202010637932.2
• 申請日: 2020-07-03
• 公開（公告）號: CN111782479A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 趙進;李燕丹;張振華;汪啟安;任少彬
• 申請（專利權）人: 北京妙醫佳健康科技集團有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 范彥揚

1.一種日志處理方法，其特征在于，包括：

實時獲取用戶的日志流數據；

基于Flink計算引擎對所述日志流數據執行計算流程，并將得到的計算結果輸出；其中，所述計算流程包括實時計算流程、近線計算流程和離線計算流程。

2.根據權利要求1所述的方法，其特征在于，所述基于Flink計算引擎對所述日志流數據執行實時計算流程，并將計算結果輸出的步驟，包括：

將所述日志流數據劃分成多個批次；

基于Flink計算引擎對每個批次的所述日志流數據分別進行計算，并將實時計算結果輸出。

3.根據權利要求1所述的方法，其特征在于，所述基于Flink計算引擎對所述日志流數據執行近線計算流程，并將計算結果輸出的步驟，包括：

基于Flink計算引擎實時對所述日志流數據進行解析，并將解析后的日志流數據保存到KUDU數據庫中；

基于Spark計算引擎對所述KUDU數據庫中的日志流數據進行計算，并將近線計算結果輸出。

4.根據權利要求3所述的方法，其特征在于，所述基于Flink計算引擎實時對所述日志流數據進行解析，并將解析后的日志流數據保存到KUDU數據庫中的步驟，包括：

去除所述日志流數據中的垃圾數據；

基于Flink計算引擎將去除垃圾數據后的所述日志流數據解析成標準格式，得到解析后的日志流數據；

將所述解析后的日志流數據保存到KUDU數據庫中。

5.根據權利要求1所述的方法，其特征在于，所述基于Flink計算引擎對所述日志流數據執行離線計算流程，并將計算結果輸出的步驟，包括：

基于Flink計算引擎實時對所述日志流數據進行解析，并將解析后的日志流數據保存到HDFS中；

通過hive將所述解析后的日志流數據映射成數據表；

基于Spark計算引擎和/或MapReduce計算引擎對所述數據表中的數據進行計算，并將離線計算結果輸出。

6.根據權利要求1所述的方法，其特征在于，所述實時獲取用戶的日志流數據的步驟，包括：

通過kafka平臺實時獲取用戶的日志流數據。

7.一種日志處理裝置，其特征在于，包括：

數據獲取模塊，用于實時獲取用戶的日志流數據；

計算模塊，用于基于Flink計算引擎對所述日志流數據執行計算流程，并將得到的計算結果輸出；其中，所述計算流程包括實時計算流程、近線計算流程和離線計算流程。

8.根據權利要求7所述的日志處理裝置，其特征在于，所述計算模塊還用于基于Flink計算引擎實時對所述日志流數據進行解析，并將解析后的日志流數據保存到KUDU數據庫中；

基于Spark計算引擎對所述KUDU數據庫中的日志流數據進行計算，并將近線計算結果輸出。

9.一種電子設備，其特征在于，包括處理器和存儲器，所述存儲器存儲有能夠被所述處理器執行的計算機可執行指令，所述處理器執行所述計算機可執行指令以實現權利要求1至6任一項所述的方法的步驟。

10.一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有計算機程序，其特征在于，所述計算機程序被處理器運行時執行上述權利要求1至6任一項所述的方法的步驟。