[發明專利]一種異構數據源的數據轉換方法及中間件

在審

• 申請號: 202010253863.5
• 申請日: 2020-04-02
• 公開（公告）號: CN111460019A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 楊瑛;余藝韓;李琦
• 申請（專利權）人: 中電工業互聯網有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F9/54
• 代理公司: 長沙國科天河知識產權代理有限公司 43225
• 代理人: 邱軼

1.一種異構數據源的數據轉換方法，其特征在于，包括如下步驟：

步驟1，添加源數據與目標數據，并為其配置數據源類型和連接信息；

步驟2，搭建數據轉換流程，所述數據轉換流程包括功能串聯的數據接入適配、數據采集、加工轉換、數據接出適配；

步驟3，通過任務調度的形式配置異構數據源基于數據轉換流程的數據轉換調度策略；

步驟4，根據數據轉換調度策略執行異構數據源數的數據轉換。

2.根據權利要求1所述異構數據源的數據轉換方法，其特征在于，步驟1中，所述數據源類型包括結構化數據、半結構化數據與非結構化數據。

3.根據權利要求1所述異構數據源的數據轉換方法，其特征在于，步驟1中，所述連接信息具體包括數據庫型數據源的連接信息、接口型數據源的連接信息與文件型數據源的連接信息；

所述數據庫型數據源的連接信息包括：數據庫地址、數據庫名稱、實例名、用戶名、密碼；

所述接口型數據源的連接信息包括：接口地址、用戶名、密碼、自定義參數列表，其中，所述用戶名、密碼、自定義參數列表均可為空；

所述文件型數據源的連接信息包括：FTP地址、FTP用戶名、FTP密碼、端口、文件路徑，其中，所述FTP地址、FTP用戶名、FTP密碼、端口均可為空。

4.根據權利要求1所述異構數據源的數據轉換方法，其特征在于，步驟2中，所述搭建數據轉換流程具體包括：

步驟2.1，配置源數據：選擇源數據，選擇配置需要采集的字段；

步驟2.2，配置數據采集策略：可選擇增量或全量的采集方式，可根據字段配置條件過濾采集；

步驟2.3，配置數據加工轉換策略：包括數據清洗和加工轉換策略；

步驟2.4，配置目標數據：選擇目標數據，配置源數據與目標數據的字段映射。

5.根據權利要求4所述異構數據源的數據轉換方法，其特征在于，步驟2中，所述搭建數據轉換流程具體還包括：

步驟2.5，測試轉換流程：通過測試監控轉換過程，確保流程設計正確。

6.根據權利要求1所述異構數據源的數據轉換方法，其特征在于，步驟3中，所述通過任務調度的形式配置異構數據源基于數據轉換流程的數據轉換調度策略，具體包括：

新建調度任務，所述調度任務關聯一個或多個數據轉換流程；

當調度任務關聯多個數據轉換流程時，配置數據轉換流程之間的先后執行順序；

其中，所述調度任務包括實時調度任務與定時調度任務，所述調度任務支持配置全量和增量的數據抽取轉換方式。

7.根據權利要求1所述異構數據源的數據轉換方法，其特征在于，步驟4中，所述執行異構數據源數的數據轉換具體為：采用基于Kafka消息隊列技術執行異構數據源數的數據轉換。

8.一種異構數據源的數據轉換中間件，其特征在于，該中間件被實現如權利要求1-7中任一項所述的異構數據源的數據轉換方法，其功能模塊包括：

接入-接出數據配置模塊，添加源數據與目標數據，并為其配置數據源類型和連接信息；

轉換配置模塊，搭建數據轉換流程，所述數據轉換流程包括功能串聯的數據接入適配、數據采集、加工轉換、數據接出適配；

調度配置模塊，通過任務調度的形式配置異構數據源基于數據轉換流程的數據轉換調度策略；

轉換執行模塊，根據數據轉換調度策略執行異構數據源數的數據轉換。

9.根據權利要求8所述異構數據源的數據轉換中間件，其特征在于，所述接入-接出配置模塊包括：

接入數據源配置模塊，選擇一個或多個接入數據源，配置各數據源需要采集的數據屬性；

接出數據源配置模塊，選擇一個或多個接出數據源，配置接入數據源與接出數據源的屬性映射關系。

10.根據權利要求8所述異構數據源的數據轉換中間件，其特征在于，所述轉換配置模塊包括：

數據映射配置子模塊，用于配置接入、接出數據源的類型、連接信息、驅動信息；根據接入和接出數據源技術元數據，配置接入-接出屬性映射關系；

數據接入適配子模塊，根據數據映射子配置模塊配置的接入數據源的類型、連接信息、驅動信息連接接入數據源；識別并讀取數據源的技術元數據；根據技術元數據讀取解析接入數據，將解析的數據傳給數據轉換子模塊；

數據轉換子模塊：根據接入數據源的類型以及各屬性數據類型，將數據接入適配子模塊傳過來的接入數據轉換為Java支持且最佳適配的數據類型；然后將轉換后Java數據類型的數據轉換為接出數據源支持的數據類型；最后將轉換后的數據傳給數據接出適配子模塊；

數據接出適配子模塊：根據數據映射配置模塊配置的接出數據源的類型、連接信息、驅動信息連接接出數據源；識別并讀取數據源的技術元數據；根據數據映射配置模塊配置的接入-接出屬性映射關系，將數據轉換器傳過來的數據進行封裝；將封裝后的數據加載至接出數據源；

數據采集范圍配置模塊，用于根據數據屬性配置條件過濾采集；

數據加工轉換策略配置模塊，配置包括數據清洗和加工轉換在內的數據轉換策略；

轉換流程測試模塊，通過測試監控轉換過程，確保流程設計正確。