[發明專利]基于ETL引擎的前后端分離執行方法

在審

• 申請號: 202110293087.6
• 申請日: 2021-03-18
• 公開（公告）號: CN112966039A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 程永新;宋輝;郭振宇
• 申請（專利權）人: 上海新炬網絡技術有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 上?？坡蓪＠硎聞账?特殊普通合伙) 31290
• 代理人: 袁亞軍

本發明公開了一種基于ETL引擎的前后端分離執行方法，包括如下步驟：S1)將Kettle的前端UI層與后端核心層、引擎層、資源庫進行分離，并將分離出來的核心層和引擎層集成到WEB容器中；S2)將分離出來的資源庫做成獨立的模塊進行集中管理；S3)將核心層功能歸類，打包成獨立的服務對外提供接口，并引入Zookepeer和Dubbox實現分布式的ETL服務；S4)利用mxGraph作為UI層實現網頁版拖拽式開發，將Kettle的C/S架構改成B/S架構。本發明提供的基于ETL引擎的前后端分離執行方法，不但安裝使用方便，而且易于實現網頁版拖拽式開發，擴展性和應用性更強。

技術領域

本發明涉及一種數據倉庫技術，尤其涉及一種基于ETL引擎的前后端分離執行方法。

背景技術

信息是現代企業的重要資源，是企業運用科學管理、決策分析的基礎。目前，大多數企業花費大量的資金和時間來構建聯機事務處理OLTP的業務系統和辦公自動化系統，用來記錄事務處理的各種相關數據。

據統計，數據量每2～3年時間就會成倍增長，這些數據蘊含著巨大的商業價值，而企業所關注的通常只占總數據量的2％～4％左右。因此，企業仍然沒有最大化地利用已存在的數據資源，以至于浪費了更多的時間和資金，也失去制定關鍵商業決策的最佳契機。因此，企業如何通過各種技術手段，并把數據轉換為信息、知識，已經成了提高其核心競爭力的主要瓶頸。而ETL則是主要的一個技術手段。

ETL分別是“Extract”、“Transform”、“Load”三個單詞的首字母縮寫，也就是“抽取”、“轉換”、“裝載”。

“抽取”：將數據從各種原始的業務系統中讀取出來，這是所有工作的前提。

“轉換”：按照預先設計好的規則將抽取得數據進行轉換，使本來異構的數據格式能統一起來。

“裝載”：將轉換完的數據按計劃增量或全部導入到數據倉庫中。

ETL是BI/DW(商務智能/數據倉庫)的核心和靈魂，按照統一的規則集成并提高數據的價值。ETL負責完成數據從數據源向目標數據倉庫轉化的過程，是實施數據倉庫的重要步驟。但是ETL為桌面應用程序，采用CS架構。相比傳統的WEB應用程序，現有技術存在如下缺點：

1)、安裝使用不便。傳統的ETL工具要安裝，并且只能本地電腦啟動，在網絡隔離環境下無法投入生產。

2)、UI層無法做成網頁版：傳統ETL工具的工作流都是圖形化拖拽式設計，ETL工作流定義和參數本身非常復雜，導致要實現圖形化拖拽非常困難，而網頁版的圖形化也無法滿足全部拖拽式定義工作流的需求。

2)、傳統ETL工具是單機版：同時只能單人操作。傳統的ETL的UI展示粗糙繁雜，易用性極差。

3)、傳統的垂直架構，緊耦合，很難擴展。傳統ETL工具的工作流設計器和執行都整合在一起，代碼臃腫擴展非常困難。

4)、支持多人團隊協作困難：由于ETL的CS架構設計，導致操作時必須要控制不能兩個用戶同時操作設計同一個ETL工作流，所以在源碼中用全局鎖控制，一個用戶操作一個轉換或者作業時會鎖住相關的邏輯表，其他用戶再在本地訪問同一個資源庫時，又會對再次去鎖表，發生鎖等待或者死鎖讓同時操作多個用戶都無法正常使用。

發明內容

本發明所要解決的技術問題是提供一種基于ETL引擎的前后端分離執行方法，不但安裝使用方便，而且易于實現網頁版拖拽式開發，擴展性和應用性更強。