[發明專利]一種異構數據源的數據轉換方法及中間件

在審

• 申請號: 202010253863.5
• 申請日: 2020-04-02
• 公開（公告）號: CN111460019A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 楊瑛;余藝韓;李琦
• 申請（專利權）人: 中電工業互聯網有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F9/54
• 代理公司: 長沙國科天河知識產權代理有限公司 43225
• 代理人: 邱軼

本發明公開了一種異構數據源的數據轉換方法及中間件，該方法包括如下步驟：步驟1，添加源數據與目標數據，并為其配置數據源類型和連接信息；步驟2，搭建數據轉換流程，所述數據轉換流程包括功能串聯的數據接入適配、數據采集、加工轉換、數據接出適配；步驟3，通過任務調度的形式配置異構數據源基于數據轉換流程的數據轉換調度策略；步驟4，根據數據轉換調度策略執行異構數據源數的數據轉換。該方法支持多種結構化、半結構化和非結構化數據源，支持武漢達夢、人大金倉、神州通用、南大通用四大國產數據庫；采用流程引擎技術，實現數據轉換流程的個性化控制；通過任務調度，實現自動化的數據轉換。

技術領域

本發明涉及數據集成與治理技術領域，尤其涉及一種異構數據源的數據轉換方法及中間件。

背景技術

隨著企業信息化的發展，應業務部門的需求，信息中心部門協助建設了HR、財務、生產、銷售等業務系統。但一方面由于缺乏信息規劃和頂層設計，建設/采購業務系統時未對數據庫提出要求，不同的業務系統采用了異構或不同版本的數據庫數據源，部分業務系統開發了Http接口數據源；另一方面，也存在一些核心業務沒有業務系統支撐，數據以電子表格等線下的形式流轉；同時，企業內部還存在如文本數據，視頻、音頻、圖片等多媒體數據；此外，為了實現自主可控，很多軍工企業的核心業務系統開始采用國產數據庫。隨著企業信息化的深入發展，企業對業務數據的打通和共享愿望越發強烈。但數據源的異構加上技術人才的匱乏，加上現有技術的數據轉換主要是面向商用(Oralce、SQL Server)或開源數據庫(MySQL、PostgreSQL等)，無法有力支撐企業實現數據打通和共享需求。

專利CN104615630A提出了一種異構數據庫系統之間數據格式轉換的方法，以定周期監視IBA數據庫的文件存放目錄，將IBA數據庫中的數據轉換成PI實時數據庫接口PI-BATCHFile interface可以識別的文本格式，寫入到PI實時數據庫中，并將轉換數據格式后的文件從工作目錄移動到輸出目錄，實現異構數據庫系統之間的數據共享。但基于IBA公司的軟件，只能適用于生產過程數據轉換和交換問題，很難適應和移植至企業運營中的其他常見數據轉換應用場景。

專利CN109992595A提供了一種異構數據庫轉換方法、裝置、設備和存儲介質，通過獲取源數據庫中與源數據表關聯的待轉換DDL語句和待轉換DML語句；將待轉換DDL語句和待轉換DML語句，分別轉換為符合目標數據庫語法規則的目標DDL語句和目標DML語句；依據目標DDL語句和目標DML語句，在目標數據庫中同步源數據表，得到轉換后的目標數據表。雖然能夠支持多種類型數據庫之間的相互轉換，但是只支持商用、開源的關系型數據庫，對國產數據庫以及半結構化和非結構化的數據源無能為力；同時，缺乏轉換流程控制和轉換任務調度，很難實現自動化的轉換。

發明內容

針對現有數據轉換方法支持場景、異構數據源類型不足、不支持國產數據庫、很難實現自動化轉換等問題，本發明提供一種異構數據源的數據轉換方法及中間件，支持多種結構化、半結構化和非結構化數據源，支持武漢達夢、人大金倉、神州通用、南大通用四大國產數據庫；采用流程引擎技術，實現數據轉換流程的個性化控制；通過任務調度，實現自動化的數據轉換。

為實現上述目的，本發明提供一種異構數據源的數據轉換方法，包括如下步驟：

步驟1，添加源數據與目標數據，并為其配置數據源類型和連接信息；

步驟2，搭建數據轉換流程，所述數據轉換流程包括功能串聯的數據接入適配、數據采集、加工轉換、數據接出適配；

步驟3，通過任務調度的形式配置異構數據源基于數據轉換流程的數據轉換調度策略；

步驟4，根據數據轉換調度策略執行異構數據源數的數據轉換。

進一步優選的，步驟1中，所述數據源類型包括結構化數據、半結構化數據與非結構化數據。