[發明專利]異構數據源的數據集成方法、系統以及終端

有效

• 申請號: 202010566643.8
• 申請日: 2020-06-19
• 公開（公告）號: CN111767332B
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 王福;陳良
• 申請（專利權）人: 上海森億醫療科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/28
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 倪靜

本發明的異構數據源的數據集成方法、系統以及終端，用于解決現有技術中基于大量異構數據，尤其是對結構化數據以及非結構化數據集成時，數據集成不完整、效率不高、難以擴展，并且數據缺乏治理，應用范圍受到限制，將集成范圍擴展到新應用的時候需要重復開發，成本較高的問題。本發明將多個子系統的異構數據庫轉換成數據湖所支持的統一的數據格式，并對異構數據之間數據內容標準不一致的問題進行了深度治理，實現了數據集成、共享，并且建立了數據標準，方便后續數據應用，可擴展性好。

技術領域

本發明涉及數據信息處理技術領域，特別是涉及一種異構數據源的數據集成方法、系統以及終端。

背景技術

數據是可傳輸和可存儲的計算機信息。“數據庫”則是指將一組相關數據以特定的邏輯結構進行存儲，組織和操縱。為了確保事務處理速率，可靠性，可維護性，可伸縮性和成本，現有的大型應用程序通常通過“數據庫管理軟件”(DBMS)訪問數據庫，獲取所需數據或進行數據維護。IBM DB2，Oracle，Mysql，SqlServer等數據庫管理軟件在大型數據處理應用程序中占主導地位。

一個企業內部可能會同時存在多個子應用系統，隨著信息化建設的發展，如果一個企業希望通過數據分析，商業智能(BI)來支撐企業內部的運營管理，那勢必要建立統一的數據倉庫，將各個子應用系統的數據進行集中存儲，保證數據一致性，實現數據互聯互通、各數據源之間高效地交換與共享，減少數據收集的重復勞動和相應費用。然而，由于不同的應用系統使用的數據庫軟件各不相同，各系統的數據存儲結構、數據維護方式也千差萬別，異構數據的交換問題由此產生。異構數據不僅指不同類型的數據庫軟件，還包括不同結構數據之間的異構，如結構化數據和非結構化數據。

特別在醫療場景，非結構化數據非常常見，如患者的病歷，檢查報告，圖像，文字，錄音等。

為了解決該問題，現有的技術一般是在需要集成的子系統之間開發獨立的數據接口，按規定的數據內容和格式進行數據集成，但是限制較多，無法滿足企業內所有系統的大量數據交換。另外，數據缺乏治理，應用范圍受到一定的限制，將集成范圍擴展到新應用的時候需要重復開發，成本較高。

發明內容

鑒于以上所述現有技術的缺點，本發明的目的在于提供一種異構數據源的數據集成方法、系統以及終端，用于解決現有技術中基于大量異構數據，尤其是對結構化數據以及非結構化數據集成時，數據集成不完整、效率不高、難以擴展，并且數據缺乏治理，應用范圍受到限制，將集成范圍擴展到新應用的時候需要重復開發，成本較高的問題。

為實現上述目的及其他相關目的，本發明提供一種異構數據源的數據集成方法，包括：對多個異構數據庫中各數據源進行抽象映射，以獲得在該映射關系下的各元模型的元數據，其中，所述每個元模型對應一個數據源；將各異構數據庫復制到復制數據庫，并在該復制數據庫上建立變更捕獲，以獲得記錄各異構數據庫中變化數據的變更表；將讀取到的各異構數據庫中的變化數據轉換為與所述元數據統一的數據格式；將經過統一數據格式轉換的所述變化數據與所述元數據進行數據治理，并儲存至集成的數據湖中。

于本發明的一實施例中，所述對多個異構數據庫中各數據源進行抽象映射，以獲得在該映射關系下獲得的各元模型的元數據的方式包括：對多個異構數據庫中的各數據源中的物理模型按照映射關系進行抽象映射，分別生成具有邏輯關系的元模型；基于各元模型，獲得各數據源在該映射關系下的元模型的元數據。

于本發明的一實施例中，所述異構數據庫包含結構化數據和/或非結構化數據。

于本發明的一實施例中，所述非結構化數據包括：患者病歷數據、檢查報告數據、圖像數據、文字數據以及錄音數據庫的一種或多種。

于本發明的一實施例中，所述將各異構數據庫復制到復制數據庫，并在該復制數據庫上建立變更捕獲，以獲得記錄各異構數據庫中變化數據的變更表包括：將各異構數據庫中的數據同步復制到復制數據庫；每經過一個時間閾值，將所述復制數據庫中的新的變化數據捕獲到變更表中。