[發明專利]基于日志文件的數據解析方法、系統及裝置

在審

• 申請號: 201911018843.3
• 申請日: 2019-10-24
• 公開（公告）號: CN110866022A
• 公開（公告）日: 2020-03-06
• 發明（設計）人: 崔云鵬
• 申請（專利權）人: 貝殼技術有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/25
• 代理公司: 北京潤平知識產權代理有限公司 11283
• 代理人: 肖冰濱;王曉曉

1.一種基于日志文件的數據解析方法，其特征在于，所述方法包括：

將數據庫接入日志解析組件，以

將數據庫的原始日志文件解析為目標格式；

基于所述目標格式的日志文件，添加與所述日志文件相對應的事件解析表達式；

通過所述事件解析表達式將所述日志文件的變更解析為新事件；

將解析生成的新事件輸出。

2.根據權利要求1所述的基于日志文件的數據解析方法，其特征在于，所述基于所述目標格式的日志文件，添加與所述日志文件相對應的事件解析表達式，包括：

基于所述目標格式的日志文件，根據所述日志文件中涉及的表的特征添加與其相對應的事件解析表達式。

3.根據權利要求1所述的基于日志文件的數據解析方法，其特征在于，所述通過所述事件解析表達式將所述日志文件的變更解析為新事件，包括：

通過所述事件解析表達式根據所述日志文件的新增字段、更新字段或刪除字段進行判斷，將某個字段的變更解析為一個新事件。

4.根據權利要求1所述的基于日志文件的數據解析方法，其特征在于，所述將解析生成的新事件輸出，包括：

根據所述日志文件的事件輸出配置信息將解析生成的新事件輸出到對應的消息隊列、數據庫或API。

5.根據權利要求1所述的基于日志文件的數據解析方法，其特征在于，所述日志解析組件是Canal組件。

6.根據權利要求5所述的基于日志文件的數據解析方法，其特征在于，通過所述Canal組件將數據庫的原始日志文件解析為JSON格式。

7.一種基于日志文件的數據解析系統，其特征在于，所述系統包括：

數據輸入層，包括日志解析組件，通過所述日志解析組件將接收到的原始日志文件解析為目標格式；

解析層，用于添加與日志文件相對應的事件解析表達式，通過所述事件解析表達式將所述日志文件的變更解析為新事件；

數據輸出層，用于將解析生成的新事件輸出。

8.根據權利要求7所述的基于日志文件的數據解析系統，其特征在于，所述解析層用于添加與日志文件相對應的事件解析表達式，通過所述事件解析表達式將所述日志文件的變更解析為新事件，包括：

所述解析層根據所述日志文件中涉及的表的特征添加與其相對應的事件解析表達式，通過任務調度器對所述日志文件中的各個表進行策略調度，派發到對應的事件解析表達式，通過所述事件解析表達式將所述日志文件中某個字段的變更解析為新事件。

9.一種基于日志文件的數據解析裝置，其特征在于，所述裝置包括：存儲器和處理器；

所述存儲器，用于存儲程序指令；

所述處理器，用于調用所述存儲器中存儲的所述程序指令以實現權利要求1至6中任一項所述的基于日志文件的數據解析方法步驟。

10.一種存儲介質，其上存儲有計算機程序指令，其特征在于，所述計算機程序指令被處理器執行時實現權利要求1至6中任一項所述的基于日志文件的數據解析方法步驟。