[發明專利]一種數據抽取、轉換和加載ETL的方法和設備

有效

• 申請號: 202010153445.9
• 申請日: 2020-03-06
• 公開（公告）號: CN113360554B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 梅臻;堯新星
• 申請（專利權）人: 深圳法大大網絡科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 任敏

1.一種數據抽取、轉換和加載ETL方法，其特征在于，包括：

獲取待處理日志文件；其中，所述待處理日志文件包含至少一條日志記錄；

獲取業務處理規則，并對所述業務處理規則進行解析處理生成對應的流式處理鏈；其中，所述流式處理鏈包含所述業務處理規則中預設轉換算子的邏輯表達式；

在消費所述待處理日志文件的日志記錄時，執行所述流式處理鏈，生成所述日志記錄的以上下文樹存儲的運算結果；其中，所述上下文樹至少包含一個根節點，所述上下文樹的節點用于保存描述所述運算結果的變量；其中，所述執行所述流式處理鏈包括將所述日志記錄中的數據以流式的方式通過所述流式處理鏈；

提取所述上下文樹中各節點路徑上的所有變量，生成所述日志記錄的處理結果；其中，所述上下文樹中的每一個葉節點代表一條待發送到后端的記錄，所述上下文樹的葉節點到根節點形成的路徑上包含組織所述待發送到后端的記錄的變量；

將所述處理結果加載至目標數據庫；

所述獲取待處理日志文件，包括：

將采集到的日志數據按照日志主題進行分類，得到多個日志文件；

從預設配置文件中查找各所述日志主題的數據連接規則；

針對每個日志文件，根據該日志文件對應的數據連接規則對所述日志文件中的日志數據進行解析處理，生成多條日志記錄，并將所述多條日志記錄組合生成待處理日志文件；

所述獲取業務處理規則，并對所述業務處理規則進行解析處理生成對應的流式處理鏈，包括：

從所述預設配置文件中查找各所述日志主題的業務處理規則；

基于規則引擎對各所述業務處理規則進行解析處理，生成對應的流式處理鏈；

在消費所述待處理日志文件的日志記錄時，執行所述流式處理鏈，生成所述日志記錄的以上下文樹存儲的運算結果，包括：

接收消費者發送的日志訂閱請求；其中，所述日志訂閱請求包含目標日志主題；

從所述預設配置文件中查找所述目標日志主題對應的第一待處理日志文件和對應的第一流式處理鏈；

針對所述第一待處理日志文件中的每條日志記錄，基于所述第一流式處理鏈對所述日志記錄進行邏輯運算，將所述日志記錄分裂為變量群組來產生上下文樹，并將所述上下文樹保存為所述日志記錄的運算結果；

所述提取所述運算結果中各節點路徑上包含的數據，生成對應的處理結果，包括：

在所述上下文樹包含葉節點的情況下，遍歷所述上下文樹中所有的葉節點，提取每個葉節點至所述根節點路徑上的變量，生成變量集；

識別所述變量集中的元數據，生成對應所述日志記錄的處理結果。

2.如權利要求1所述的數據抽取、轉換和加載ETL方法，所述將所述處理結果加載至目標數據庫，包括：

根據所述目標日志主題確定目標數據庫；

從預設配置文件中查找所述目標數據庫的元數據類型；

根據元數據類型對處理結果進行格式轉換，并將轉換后的數據加載至目標數據庫。

3.如權利要求1或2所述的數據抽取、轉換和加載ETL方法，其特征在于，所述預設轉換算子包括下述至少一種：

過濾filter算子、map算子、flatmap算子以及選擇select算子。