[發明專利]基于ETL引擎的前后端分離執行方法

在審

• 申請號: 202110293087.6
• 申請日: 2021-03-18
• 公開（公告）號: CN112966039A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 程永新;宋輝;郭振宇
• 申請（專利權）人: 上海新炬網絡技術有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 上海科律專利代理事務所(特殊普通合伙) 31290
• 代理人: 袁亞軍

1.一種基于ETL引擎的前后端分離執行方法，其特征在于，包括如下步驟：

S1)將Kettle的前端UI層與后端核心層、引擎層、資源庫進行分離，并將分離出來的核心層和引擎層集成到WEB容器中；

S2)將分離出來的資源庫做成獨立的模塊進行集中管理；

S3)將核心層功能歸類，打包成獨立的服務對外提供接口，并引入Zookepeer和Dubbox實現分布式的ETL服務；

S4)利用mxGraph作為UI層實現網頁版拖拽式開發，將Kettle的C/S架構改成B/S架構。

2.如權利要求1所述的基于ETL引擎的前后端分離執行方法，其特征在于，所述步驟S1抽取的Kettle的核心層包括通用工廠、通用工具、程序生命周期監聽、異常處理、日志工廠管理、連接協議、插件工廠、數據源管理功能；抽取的Kettle的引擎層包括插件注冊管理、執行日志管理、Job執行引擎和轉換執行引擎。

3.如權利要求2所述的基于ETL引擎的前后端分離執行方法，其特征在于，所述步驟S1先將核心層和引擎層的核心jar通過maven的依賴管理導入到springboot2框架中，使得springboot2微服務能直接使用核心層和引擎層的核心jar功能，所述步驟S3將核心功能歸類及抽象，包括集群管理、Job管理、轉換管理、數據源管理和目錄管理，并分別寫入到Service層作為服務，再將服務發布到Zookeeper注冊中心，通過Dubbo的RCP協議實現分布式服務；同時引入分布式服務的接口類和Dubbo的消費者的配置文件，用來調用ETL的核心層和引擎層功能。

4.如權利要求1所述的基于ETL引擎的前后端分離執行方法，其特征在于，所述步驟S2中分離出來的資源庫分為文件資源庫和數據庫資源庫，所述文件資源庫將ETL所有節點保存為一個XML文件，所述XML文件中保存有Job參數、轉換參數、連接參數、日志參數、基本參數、集群參數、共享參數和執行參數，不同參數以不同的標簽進行區分；所述數據庫資源庫采用關系型數據庫，并將各種參數拆分存儲到不同的表中。

5.如權利要求1所述的基于ETL引擎的前后端分離執行方法，其特征在于，所述步驟S4中的前端UI層采用vue和mxGraph的組合來實現，ETL流程里多個圖形節點用直線相連接組成一條流水線工作，每個圖形節點代表一個數據處理節點，不同節點實現不同的數據處理邏輯。

6.如權利要求5所述的基于ETL引擎的前后端分離執行方法，其特征在于，所述步驟S2中的前端UI層還在基礎功能上擴展實現資源庫目錄管理，目錄授權，ETL執行實時監控、日志監控和歷史日志管理功能，同時UI層配置好服務接口，用于調用執行引擎層提供的ETL讀取/新增/更新/刪除/執行/暫停/終止/監控/歷史操作及獲取ETL數據。

7.如權利要求5所述的基于ETL引擎的前后端分離執行方法，其特征在于，所述前端UI層與后端核心層、引擎層、資源庫的交互過程如下：

a)前端UI層工作流設計器配置完成后將ETL工作流定義信息生成XML；

b)前端UI層將XML通過Dubbo接口傳送給后端引擎層；

c)后端引擎層調用核心層的api接口檢驗XML正確性，并保存到獨立資源庫，返回保存狀態給UI層；

d)UI層通過Dubbo接口發起ETL執行任務；

e)后端引擎層接收到指令啟動ETL工作；

f)UI層監控ETL工作過程和狀態。

8.如權利要求1所述的基于ETL引擎的前后端分離執行方法，其特征在于，還包括在Web應用基礎上通過增加狀態標記替代全局鎖的代碼來控制訪問，支持相同資源的并發訪問，并利用checkin和checkout機制檢測相同資源是否存在使用沖突。