[發明專利]ETL調度方法及裝置

有效

• 申請號: 202010475399.4
• 申請日: 2020-05-29
• 公開（公告）號: CN111666326B
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 沈夢婷;孫麗娜;張文翰;朱姣姣
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/242
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 王濤;湯在彥

本申請提供了一種ETL調度方法及裝置，該方法包括：定時獲取目標SQL語句列表，目標SQL語句列表包含多條SQL語句，各個SQL語句中包含有對應的語句類型標識；若根據各個SQL語句的語句類型標識確定屬于操作類型的SQL語句中包含有子查詢，則基于包含有子查詢的SQL語句的源表的標識和目標表的標識生成血緣對照關系表；將血緣對照關系表和目標SQL語句列表發送至目標調度服務器，以使目標調度服務器根據映射關系表、目標數據平臺信息、血緣對照關系表和目標SQL語句列表執行目標調度作業。本申請能夠提高ETL調度的準確性、靈活性和效率，實現數據模型的動態修正以及調度結果的可視化顯示，進而能夠提高數據處理的可靠性。

技術領域

本申請涉及數據處理技術領域，尤其涉及一種ETL調度方法及裝置。

背景技術

傳統的ETL(Extraction-Transformation-Loading)調度是指將分散的數據和異構數據源中的數據進行數據清洗和集成后加載到大數據平臺、數據平臺、數據集市中，能夠為聯機分析處理和數據挖掘提供決策支持和數據支持。ETL調度流程非常復雜，不僅需要考慮各個步驟的先后順序和依賴關系等，還需要考慮不同作業間的先后順序和依賴關系。

在精準營銷、產品創新、風險控制、市場分析和資源配置等領域，通過ETL調度對原始數據進行處理，能夠為公司管理決策人員、風險管理人員、業務處理人員和客戶等提供數據支持。目前，從對數據加工處理到可視化顯示有以下兩種途徑：

(1)在數據倉庫中建立數據集市，以ETL調度為基礎，以業務需求為驅動，將開發人員開發指標加工作業和數據對接至各個應用平臺，應用平臺根據業務需求將原始數據的處理指標和處理結果進行可視化圖表展示。

(2)通過現有的一些數據挖掘工具，例如，應用SAS EG、SAS Viya和SPSS等統計分析軟件，對原始數據進行統計分析并將統計結果可視化顯示。

第一種方式，人力成本高；開發周期長，每次需求變更或問題的修正，需要重新制定版本；難以滿足動態高頻變化的業務需求；第二種方式，為了保證數據的完整性，需要確定T-1或者T數據是否到期(T表示自然日)，再對數據進行處理、統計和可視化顯示；在頻繁統計的情況下，增加了額外重復性的工作量，處理效率低；需要人工觸發或定時觸發，數據處理時效性低。

發明內容

針對現有技術中的問題，本申請提出了一種ETL調度方法及裝置，能夠提高ETL調度的準確性、靈活性和效率，進而能夠提高數據處理的可靠性。

第一方面，本申請提供一種ETL調度方法，包括：

定時獲取目標SQL語句列表，其中，所述目標SQL語句列表中包含有多條SQL語句，且各個所述SQL語句中均包含有對應的語句類型標識；

若根據各個所述SQL語句的語句類型標識確定屬于操作類型的SQL語句中包含有子查詢，則該包含有子查詢的SQL語句中還包含有用于獲取待處理數據的源表的標識以及用于存儲處理后的數據的目標表的標識；

基于所述包含有子查詢的SQL語句的源表的標識和目標表的標識，生成血緣對照關系表，該血緣對照關系表包含有至少一條ETL調度作業記錄，且各條ETL調度作業記錄中包括：包含有子查詢的SQL語句對應的所述源表和所述目標表的標識；

將所述血緣對照關系表和目標SQL語句列表發送至目標調度服務器，以使該目標調度服務器根據預存儲的映射關系表、目標數據平臺信息、所述血緣對照關系表和目標SQL語句列表執行目標調度作業。