[發明專利]一種可視化拖拽流程圖式ETL在線數據交換方法和系統

有效

• 申請號: 202010197562.5
• 申請日: 2020-03-19
• 公開（公告）號: CN111399826B
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 金震;李明;畢旭東;王旭
• 申請（專利權）人: 北京三維天地科技股份有限公司
• 主分類號: G06F8/34
• 分類號: G06F8/34;G06F16/25;G06F16/22;G06F3/0486
• 代理公司: 北京冠和權律師事務所 11399
• 代理人: 陳國軍

1.一種可視化拖拽流程圖式ETL在線數據交換方法，其特征在于，所述可視化拖拽流程圖式ETL在線數據交換方法包括如下步驟：

步驟S1，讀取預定資源庫中存儲的與ETL任務對應的元數據，并對所述元數據進行預定操作以實現所述ETL任務關于B/S架構的模型開發；

步驟S2，根據對所述元數據進行的所述預定操作，對所述ETL任務進行定時調度；

步驟S3，獲取部署的若干臺服務器的節點分布特性，并結合所述定時調度的結果，在不同節點上分布式地執行對應的ETL任務；

步驟S4，根據所述ETL任務的執行結果，生成相應的任務歷史日志和/或形成相應的任務反饋操作；

在所述步驟S1中，讀取預定資源庫中存儲的與ETL任務對應的元數據，并對所述元數據進行預定操作以實現所述ETL任務關于B/S架構的模型開發具體包括，

步驟S101，獲取所述預定資源庫中元數據的存儲組織結構，以此確定所述元數據的定位與讀取方式，從而讀取得到所述與ETL任務對象的元數據；

步驟S102，對所述元數據進行解析處理后，將所述ETL任務以MXGraph的方式展現至所述B/S框架對應的系統中；

步驟S103，在所述B/S框架對應的系統中，對相應展示的ETL任務進行所述模型開發，以此獲得相應的模型開發結果。

2.如權利要求1所述的可視化拖拽流程圖式ETL在線數據交換方法，其特征在于：

在所述步驟S2中，根據對所述元數據進行的所述預定操作，對所述ETL任務進行定時調度具體包括，

步驟S201，監控對所述元數據進行的所述預定操作，以此獲得所述元數據對應的ETL任務的完成進度和/或轉換進度；

步驟S202，根據所述完成進度和/或所述轉換進度，將所述ETL任務映射至Quartz定時框架中，以此確定所述ETL任務的定時計算信息，其中，所述ETL任務包括ETL抽取和ETL轉換，并且確定所述定時計算信息具體為，

根據下面公式(1)，計算進行所述ETL抽取對應需要的時間長度，

在上述公式(1)中，x₁為進行所述ETL抽取對應需要的時間長度，ε為當前ETL抽取對應的完成進度，t₁為完成當前ETL抽取進度需要的時間，n為ETL抽取的抽取總量；

根據下面公式(2)，計算進行所述ETL轉換對應需要的時間長度，

在上述公式(2)中，x₂為進行所述ETL轉換對應需要的時間長度，δ為當前ETL轉換對應的完成進度，t₂為完成當前ETL轉換進度需要的時間；

根據下面公式(3)，計算得到所述ETL任務對應的預計定時信息，

A＝{μ-t₁,μ+x₁,μ+x₂+t₂} (3)

在上述公式(3)中，A為所述ETL任務對應的預計定時信息，μ為當前實際時間，t₁為完成當前ETL抽取進度需要的時間，x₁為進行所述ETL抽取對應需要的時間長度，t₂為完成當前ETL轉換進度需要的時間，x₂為進行所述ETL轉換對應需要的時間長度；

根據下面公式(4)，計算得到所述ETL任務的所述定時計算信息，

f:A→B (4)

在上述公式(4)中，f為將所述ETL任務映射至所述Quartz定時框架對應的映射函數，A為所述ETL任務對應的預計定時信息，B為所述ETL任務的所述定時計算信息；

步驟S203，根據所述定時計算信息，對所述ETL任務進行定時調度。

3.如權利要求1所述的可視化拖拽流程圖式ETL在線數據交換方法，其特征在于：

在所述步驟S3中，獲取部署的若干臺服務器的節點分布特性，并結合所述定時調度的結果，在不同節點上分布式地執行對應的ETL任務具體包括，

步驟S301，根據kettle執行引擎，獲取所述部署的若干臺服務器對應的節點拓撲結構信息和/或節點性能指標信息，以作為所述節點分布特性；

步驟S302，通過所述B/S框架對應的系統，向不同遠程節點發送HTTP請求，以此實現在不同節點上分布式地執行對應的ETL任務。