[發明專利]日志解析方法、裝置、設備及計算機可讀存儲介質

有效

• 申請號: 201910034883.0
• 申請日: 2019-01-14
• 公開（公告）號: CN109800207B
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 林袖倫;馮慶磊;殷躍;封偉城;蔡聲群;沈劍;付洋;王勇
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/172;G06F16/17;G06F16/18
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國;魏蘭

1.一種日志解析方法，其特征在于，所述日志解析方法包括以下步驟：

當通過日志解析進程接收到業務日志后，獲取所述業務日志對應的日志標識；

通過所述日志標識在所述日志解析進程中獲取與所述業務日志對應的日志配置信息；

遍歷所述日志配置信息中各個解析分支，根據各個解析分支對應的日志解析格式解析所述業務日志，得到所述業務日志對應的日志數據；

其中，所述通過所述日志標識在所述日志解析進程中獲取與所述業務日志對應的日志配置信息的步驟包括：

通過所述日志標識在所述日志解析進程中獲取與所述業務日志對應解析分支的分支文件的文件名；

獲取所述文件名對應的哈希表，獲取所述哈希表緩存的與所述分支文件對應的文件描述符；

通過所述文件描述符獲取與所述業務日志對應的日志配置信息。

2.如權利要求1所述的日志解析方法，其特征在于，所述遍歷所述日志配置信息中各個解析分支，根據各個解析分支對應的日志解析格式解析所述業務日志，得到所述業務日志對應的日志數據的步驟之后，還包括：

通過所述日志解析進程將所述日志數據中的解析參數存儲至預設存儲表中，并將所述解析參數的字段名稱映射到所述存儲表對應的字段名稱中，得到存儲表文件；

若確定所述存儲表文件需要發送至hive中，則在檢測到與所述日志解析進程對應的定時任務進程啟動時，將所述存儲表文件發送給所述定時任務進程，以供所述定時任務進程將所述存儲表文件發送至所述hive中。

3.如權利要求1所述的日志解析方法，其特征在于，所述當通過日志解析進程接收到業務日志后，獲取所述業務日志對應的日志標識的步驟之前，還包括：

當通過數據解析系統的主進程接收到日志配置系統發送的變更日志配置信息的變更消息后，獲取所述變更消息攜帶的變更后的日志配置信息；

通過所述主進程將變更后的所述日志配置信息發送給由所述主進程創建的定時任務進程和日志解析進程；

在檢測到所述定時任務進程當前存儲的日志配置信息版本號小于變更后的所述日志配置信息版本號時，控制所述定時任務進程根據變更后的所述日志配置信息更新當前存儲的所述日志配置信息；

和/或在檢測到所述日志解析進程當前存儲的日志配置信息版本號小于變更后的所述日志配置信息版本號時，控制所述日志解析進程根據變更后的所述日志配置信息更新當前存儲的所述日志配置信息。

4.如權利要求3所述的日志解析方法，其特征在于，所述在檢測到所述定時任務進程當前存儲的日志配置信息版本號小于變更后的所述日志配置信息版本號時，控制所述定時任務進程根據變更后的所述日志配置信息更新當前存儲的所述日志配置信息的步驟之后，還包括：

獲取變更后的所述日志配置信息對應的日志標識，并根據所述日志標識創建配置樹；

在預設的存儲系統中按照所述配置樹的樹形結構創建文件夾，以及在所述日志標識對應文價夾中創建分支文件；

確定所述定時任務進程所在的當前時間；

若所述當前時間與目標時間進行取模運算后的結果等于零，則將分支文件按照變更后的所述日志配置信息中的hive表名稱發送至hive中，其中，所述目標時間為變更后的所述日志配置信息中切分間隔對應的時間。

5.如權利要求4所述的日志解析方法，其特征在于，所述在預設的存儲系統中按照所述配置樹的樹形結構創建文件夾，以及在所述日志標識對應文價夾中創建分支文件的步驟之后，還包括：

在檢測到所述定時任務進程當前所在時間為掃描所述存儲系統的掃描時間后，檢測所述存儲系統中的文件夾目錄數量是否大于配置樹數量；

若所述文件夾目錄數量大于所述配置樹數量，則確定所述存儲系統中不存在對應配置樹的文件夾目標目錄，并刪除所述文件夾目標目錄。

6.如權利要求5所述的日志解析方法，其特征在于，在檢測到所述定時任務進程當前所在時間為掃描所述存儲系統的掃描時間的步驟之后，還包括：

判斷所述存儲系統中的分支文件生成時長是否大于所述配置樹節點的存活時長；

若所述生成時長大于所述存活時長，則刪除大于所述存活時長的生成時長對應的分支文件。