[發明專利]異構數據源的數據集成方法、系統以及終端

有效

• 申請號: 202010566643.8
• 申請日: 2020-06-19
• 公開（公告）號: CN111767332B
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 王福;陳良
• 申請（專利權）人: 上海森億醫療科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/28
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 倪靜

1.一種異構數據源的數據集成方法，其特征在于，包括：

對多個異構數據庫中各數據源進行抽象映射，以獲得在該映射關系下的各元模型的元數據，其中，每個元模型對應一個數據源；

將各異構數據庫復制到復制數據庫，并在該復制數據庫上建立變更捕獲，以獲得記錄各異構數據庫中變化數據的變更表；

將讀取到的各異構數據庫中的變化數據轉換為與所述元數據統一的數據格式；

將經過統一數據格式轉換的所述變化數據與所述元數據進行數據治理，并儲存至集成的數據湖中；

其中，所述對多個異構數據庫中各數據源進行抽象映射，以獲得在該映射關系下獲得的各元模型的元數據的方式包括：對多個異構數據庫中的各數據源中的由不同語義類型和/或業務邏輯管理的物理模型按照映射關系進行抽象映射，分別生成具有統一邏輯關系的元模型；基于各元模型，獲得各數據源在該映射關系下的元模型的由同一語義類型和/或業務邏輯管理的元數據；

所述將各異構數據庫復制到復制數據庫，并在該復制數據庫上建立變更捕獲，以獲得記錄各異構數據庫中變化數據的變更表包括：將各異構數據庫中的數據同步復制到復制數據庫；每經過一個時間閾值，將所述復制數據庫中的新的變化數據捕獲到變更表中。

2.根據權利要求1所述的異構數據源的數據集成方法，其特征在于，所述異構數據庫包含結構化數據和/或非結構化數據。

3.根據權利要求2所述的異構數據源的數據集成方法，其特征在于，所述非結構化數據包括：患者病歷數據、檢查報告數據、圖像數據、文字數據以及錄音數據庫的一種或多種。

4.根據權利要求1所述的異構數據源的數據集成方法，其特征在于，所述復制數據庫支持的數據結構包括：DB2,Oracle,Sqlserver以及Mysql數據庫中的一種或多種。

5.根據權利要求1所述的異構數據源的數據集成方法，其特征在于，所述數據治理的方式包括：去除無效數據、統一數據定義、處理缺失數據以及提取非結構化數據的有效變量方式中的一種或多種。

6.一種異構數據源的數據集成系統，其特征在于，所述系統包括：

元數據管理模塊，用于對多個異構數據庫中各數據源進行抽象映射，以獲得在該映射關系下的各元模型的元數據，其中，每個元模型對應一個數據源；

復制數據庫模塊，用于將各異構數據庫復制到復制數據庫，并在該復制數據庫上建立變更捕獲，以獲得記錄各異構數據庫中變化數據的變更表；

數據集成模塊，連接所述元數據管理模塊以及復制數據庫模塊，用于將讀取到的各異構數據庫中的變化數據轉換為與所述元數據統一的數據格式；

數據治理模塊，連接所述數據集成模塊，用于將經過統一數據格式轉換的所述變化數據與所述元數據進行數據治理，并儲存至集成的數據湖中；

其中，所述對多個異構數據庫中各數據源進行抽象映射，以獲得在該映射關系下獲得的各元模型的元數據的方式包括：對多個異構數據庫中的各數據源中的由不同語義類型和/或業務邏輯管理的物理模型按照映射關系進行抽象映射，分別生成具有統一邏輯關系的元模型；基于各元模型，獲得各數據源在該映射關系下的元模型的由同一語義類型和/或業務邏輯管理的元數據；

所述將各異構數據庫復制到復制數據庫，并在該復制數據庫上建立變更捕獲，以獲得記錄各異構數據庫中變化數據的變更表包括：將各異構數據庫中的數據同步復制到復制數據庫；每經過一個時間閾值，將所述復制數據庫中的新的變化數據捕獲到變更表中。

7.一種異構數據源的數據集成終端，其特征在于，包括：

存儲器，用于存儲計算機程序；

處理器，用于執行如權利要求1至5中任一項所述的異構數據源的數據集成方法。