[發明專利]一種屏蔽異構數據源的方法及裝置

在審

• 申請號: 201410382384.8
• 申請日: 2014-08-05
• 公開（公告）號: CN104166704A
• 公開（公告）日: 2014-11-26
• 發明（設計）人: 黃紅莉;劉衍初
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州三環專利代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

技術領域

本發明涉及通信技術領域，尤其涉及一種屏蔽異構數據源的方法及裝置。

背景技術

數據集成(Extract?Transform?Load，ETL)主要是從各種源系統中獲取數據，再經過ETL的轉換、清洗、關聯、匯總等邏輯處理，最后根據業務需求將處理得到的數據加載到目標系統。ETL的數據流實現核心的抽取、轉換和加載等功能，數據流中對抽取、轉換、加載等邏輯抽象封裝，形成多個計算步驟，通過圖形化的開發模式，最終完成一個E-T-L邏輯。

在現有的ETL架構中，ETL的開發流程包括：1、在集成開發環境(Integrated?Development?Environment，IDE)上開發數據流模型、開發控制流模型、設置調度計劃，并將數據流模型、開發控制流模型、設置調度計劃保存為流程信息；2、執行裝置獲取相應的流程信息，并執行具體邏輯；3、監控裝置通過監控界面監控相應的執行結果。現有的ETL開發流程中對于采用相同格式的數據，經過相同的計算邏輯后加載到不同的目標數據源中，若目標數據源有N個，數據流模型則需要配置N個，相應的控制流模型也需要配置N個。若增加一個數據源，則需要新增開發一套控制流模型和數據流模型，參見圖1，圖1是現有技術中相同格式的數據經過相同的計算邏輯后加載到不同的目標數據源時的控制流模型和數據流模型配置的示意圖。在這種情況下，產品的基線開發中需要維護多個工程的流程信息，還要對多個工程的流程做相應的映射，加大了開發難度，產品流程發布成本高。此外，流程開發完成后，由于流程是分開調試，一旦發現問題，需要逐個流程進行修改，流程測試需要逐套進行測試，后期如果流程配置要升級，工作量都是多份，流程測試以及后期維護成本高。

發明內容

本發明實施例提供一種屏蔽異構數據源的方法及裝置，以屏蔽不同輸入數據源或目標數據源之間的差異，降低了產品流程發布或測試的實現成本。

本發明實施例第一方面提供了一種屏蔽異構數據源的方法，其可包括：

集成開發環境IDE接收用戶發起的產品流程發布請求或產品流程測試請求；

所述IDE獲取所述產品的配置參數以及預先為所述產品配置的數據流模型，所述數據流模型中包括接入多個輸入數據源的多輸入節點，所述多輸入節點上配置有所述輸入數據源與不同類型的配置參數的匹配關系；

所述IDE以所述產品的配置參數在所述匹配關系中查找對應的輸入數據源；

所述IDE將所述數據流模型中的多輸入節點替換為查找到的輸入數據源，并以替換后的數據流模型作為所述產品流程發布或所述產品流程測試的數據流模型。

結合第一方面，在第一種可能的實現方式中，在所述IDE以所述產品的配置參數在所述匹配關系中查找對應的輸入數據源之前，所述方法還包括：

所述IDE遍歷所述數據流模型中的圖元，找出所述數據流模型中為多輸入節點的圖元。

結合第一方面或第一方面第一種可能的實現方式，在第二種可能的實現方式中，所述IDE將所述數據流模型中的多輸入節點替換為查找到的輸入數據源具體包括：

將查找到的輸入數據源的圖元編號修改為所述多輸入節點的圖元編號；

刪除所述多輸入節點接入的除所述查找到的輸入數據源外的其它輸入數據源以及刪除所述多輸入節點。

結合第一方面至第一方面第二種可能的實現方式中任一種，在第三種可能的實現方式中，所述數據流模型中還包括連接多個目標數據源的多輸出節點，所述多輸出節點上配置有所述目標數據源與不同類型的配置參數的匹配關系；

所述IDE遍歷所述數據流模型中的圖元時，還進一步找出所述數據流模型中為多輸出節點的圖元。

結合第一方面第三種可能的實現方式，在第四種可能的實現方式中，所述方法還包括：

所述IDE以所述產品的配置參數在所述目標數據源與不同類型的配置參數的匹配關系中查找對應的目標數據源；

所述IDE將所述數據流模型中的多輸出節點替換為查找到的目標數據源。

結合第一方面第四種可能的實現方式，在第五種可能的實現方式中，所述IDE將所述數據流模型中的多輸出節點替換為查找到的目標數據源具體包括：

將查找到的目標數據源的圖元編號修改為所述多輸出節點的圖元編號；

刪除與所述多輸出節點連接的除所述查找到的目標數據源外的其它目標數據源以及刪除所述多輸出節點。

結合第一方面至第一方面第五種可能的實現方式中任一種，在第六種可能的實現方式中，所述IDE獲取所述產品的配置參數具體包括：