[發明專利]日志處理方法、裝置、發送端、接收端設備及存儲介質

有效

• 申請號: 202110317277.7
• 申請日: 2021-03-23
• 公開（公告）號: CN113064869B
• 公開（公告）日: 2023-06-13
• 發明（設計）人: 范長杰;馮陽;吳劍飛;劉柏
• 申請（專利權）人: 網易(杭州)網絡有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/16;G06F16/174;G06F16/18
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 鐘揚飛

1.一種日志處理方法，其特征在于，應用于接收端設備，所述接收端設備的日志處理鏈路的多個處理模塊中包括去重處理模塊，所述方法包括：

在一個處理模塊對來自發送端設備的多條日志數據流均處理完成之后，由所述日志處理鏈路上的下一處理模塊對所述多條日志數據流進行處理；每條日志數據流中的每個日志數據包括：所述發送端設備中的一個日志線程的標識；

在所述日志處理鏈路上的最后一個處理模塊對所述多條日志數據流均處理完成之后，存儲所述最后一個處理模塊輸出的目標日志數據；

其中，所述去重處理模塊用于根據所述日志數據中的日志線程標識，對所述每條日志數據流中的日志數據進行重復檢測，將檢測到的重復日志數據刪除；其中，對所述日志線程標識相同，且，所述日志數據相同的日志數據進行去重處理；對所述日志數據相同，所述日志線程標識不同的日志數據不進行去重處理。

2.根據權利要求1所述的方法，其特征在于，所述存儲所述最后一個處理模塊輸出的目標日志數據，包括：

對所述目標日志數據進行緩存；

將緩存的所述目標日志數據寫入所述接收端設備的本地磁盤。

3.根據權利要求2所述的方法，其特征在于，所述將緩存的所述目標日志數據寫入所述接收端設備的本地磁盤，包括：

根據所述目標日志數據的緩存速率、預設的消費速率，生成至少一個消費實例；

采用所述至少一個消費實例，以所述消費速率，將緩存的所述目標日志數據寫入所述本地磁盤。

4.根據權利要求3所述的方法，其特征在于，所述方法還包括：

根據所述目標日志數據所包括的日志種類數，在所述本地磁盤中為每個消費實例創建所述日志種類數對應的多個文件；

所述將緩存的所述目標日志數據寫入所述本地磁盤，包括：

根據所述目標日志數據中日志數據的類型，將所述目標日志數據中各類型的日志數據分別寫入所述磁盤中所述每個消費實例對應的所述多個文件中。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：

對所述多個處理模塊的處理狀態信息進行存儲；

若所述目標日志數據中存在存儲失敗的日志數據，從所述處理狀態信息中確定存儲成功的已存儲日志數據的狀態信息；

根據所述已存儲日志數據的狀態信息，刪除已存儲的所述已存儲日志數據之后存儲的所有日志數據；

根據所述已存儲日志數據的狀態信息，確定所述已存儲日志數據對應的元數據；

依次采用所述多個處理模塊對所述元數據進行處理，得到處理后的日志數據。

6.根據權利要求5所述的方法，其特征在于，所述從所述處理狀態信息中確定存儲成功的已存儲日志數據的狀態信息，包括：

從所述處理狀態信息中確定最后一次存儲成功的日志數據的狀態信息。

7.根據權利要求1所述的方法，其特征在于，所述每條日志數據流的末端還包括保障點，所述由所述日志處理鏈路上的下一處理模塊對所述多條日志數據流進行處理，包括：

在所述下一處理模塊獲取到所述多條日志數據流中的保障點后，對所述多條日志數據流進行處理。

8.根據權利要求4所述的方法，其特征在于，所述方法還包括：

對每個消費實例對應的所述多個文件中寫入的日志數據添加所述每個消費實例的標識信息，得到多個待上傳日志數據；

向分布式文件系統上傳所述多個待上傳日志數據。

9.根據權利要求8所述的方法，其特征在于，所述向分布式文件系統上傳所述多個文件中的待上傳日志數據，包括：

運行打包程序，分別對所述多個待上傳日志數據進行打包，得到多個打包文件；

運行所述多個打包文件對應的上傳程序，以分別向所述分布式文件系統上傳所述多個打包文件。