[發明專利]基于ETL任務的增量數據抽取方法、裝置、設備及介質

在審

• 申請號: 202010610186.8
• 申請日: 2020-06-29
• 公開（公告）號: CN111813845A
• 公開（公告）日: 2020-10-23
• 發明（設計）人: 熊漢
• 申請（專利權）人: 平安國際智慧城市科技股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 汪琳琳

1.一種基于ETL任務的增量數據抽取方法，其特征在于，所述基于ETL任務的增量數據抽取方法包括：

從預設任務庫中獲取ETL任務，其中，所述ETL任務包含多個基礎字段；

在所述多個基礎字段中篩選出包含預設字段的ETL任務作為目標任務；

對所述目標任務進行解析處理，確定所述目標任務對應的數據類型；

判斷所述目標任務是否屬于首次運行；

若所述目標任務屬于首次運行，則根據所述數據類型確定所述目標任務對應的目標增量界限值；

若所述目標任務不屬于首次運行，則獲取所述預設字段對應的目標值，作為所述目標任務對應的目標增量界限值；

根據所述目標增量界限值，對所述ETL任務進行增量數據抽取。

2.如權利要求1所述的基于ETL任務的增量數據抽取方法，其特征在于，所述對所述目標任務進行解析處理，確定所述目標任務對應的數據類型的步驟包括：

對所述目標任務進行解析處理，獲取所述目標任務對應的輸出數據；

識別所述輸出數據是否包含預設類型，并根據識別結果確定所述目標任務對應的數據類型。

3.如權利要求2所述的基于ETL任務的增量數據抽取方法，其特征在于，所述識別所述輸出數據是否包含預設類型，并根據識別結果確定所述目標任務對應的數據類型的步驟包括：

識別所述輸出數據是否包含預設類型；

若識別到預設類型，則將所述預設類型作為所述目標任務對應的數據類型；

若未識別到預設類型，則從預設類型表中獲取基本類型，并將所述基本類型作為所述目標任務對應的數據類型。

4.如權利要求1所述的基于ETL任務的增量數據抽取方法，其特征在于，所述若所述目標任務屬于首次運行，則根據所述數據類型確定所述目標任務對應的目標增量界限值的步驟包括：

若所述目標任務屬于首次運行，則從預設配置表中查詢所述目標任務是否存在配置值；

當查詢到所述配置值時，將所述配置值作為所述目標增量界限值；

當未查詢到所述配置值時，從預設數據庫中查詢所述數據類型對應的最小基礎值，并將所述最小基礎值作為所述目標任務對應的目標增量界限值。

5.如權利要求2所述的基于ETL任務的增量數據抽取方法，其特征在于，所述若所述目標任務不屬于首次運行，則獲取所述預設字段對應的目標值，作為所述目標任務對應的目標增量界限值的步驟包括：

若所述目標任務不屬于首次運行，則從預設日志表中獲取所述目標任務的檢測狀態；

通過將所述檢測狀態與預設狀態進行匹配的方式，篩選出檢測狀態與預設狀態相匹配的目標任務作為初始任務；

判斷所述初始任務對應的輸出數據是否輸出至數據庫；

若所述輸出數據輸出至數據庫，則查詢所述數據庫中預設字段對應的最大值，以及所述數據庫對應的歷史緩存值，其中，所述數據庫包含預設字段；

將所述最大值與所述歷史緩存值進行比較，并根據比較結果確定所述目標任務對應的目標增量界限值；

若所述輸出數據未輸出至數據庫，則獲取所述輸出數據對應的更新緩存值作為所述目標增量界限值。

6.如權利要求5所述的基于ETL任務的增量數據抽取方法，其特征在于，所述將所述最大值與所述歷史緩存值進行比較，并根據比較結果確定所述目標任務對應的目標增量界限值的步驟包括：

將所述最大值與所述歷史緩存值進行比較；

若所述最大值小于所述歷史緩存值，則將所述最大值作為所述目標增量界限值；

若所述最大值大于等于所述歷史緩存值，則將所述歷史緩存值作為所述目標增量界限值。

7.如權利要求1所述的基于ETL任務的增量數據抽取方法，其特征在于，所述從預設任務庫中獲取ETL任務的步驟之后，所述基于ETL任務的增量數據抽取方法還包括：

將所述ETL任務存儲至區塊鏈中。