[發明專利]一種基于有向圖結構的數據集成方法

有效

• 申請號: 201910090079.4
• 申請日: 2019-01-18
• 公開（公告）號: CN109828972B
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 劉基陽
• 申請（專利權）人: 深圳易嘉恩科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25
• 代理公司: 四川省成都市天策商標專利事務所(有限合伙) 51213
• 代理人: 吳瑞芳

本發明公開了一種基于有向圖結構的數據集成方法，消除了異構模式描述與表示的差異；然后將各異構的數據源模式轉換成使用模式圖描述的形式，形成了數據源的模式圖集，并通過對圖形結構節點集及邊集定義變換操作以及等價條件，模式圖相互比對自動生成映射規則文檔集以消除模式間沖突，重組為全局模式。

技術領域

本發明涉及數據集成領域，尤其涉及一種基于有向圖結構的數據集成方法。

背景技術

在“互聯網+”、中國制造2025提出后，大數據的重要價值被發現，相關的應用正改變著諸多方面。而大數據分析的質量和有效性在很大程度上依賴于對各個環節數據的整合與集成質量。因此，如何將分散、分布、異構的各“小”數據進行整合，集成為有效的“大”數據以全面共享和支持大數據應用已成為當前需要解決的核心關鍵問題，也是大數據應用的前提和基礎。

數據集成是將分散存放在“數據孤島”中且在數據模式、格式、結構、表示、特點等方面存在差異的數據在邏輯上或物理上有機地集中，從而提供全面的數據共享服務。其核心關鍵主要是在不改變分布自治異構數據源原始模式的前提下，用一種統一的模式描述各數據源數據，以消除多源異構數據的多模式沖突，形成統一描述且無沖突的全局模式，屏蔽模式的異構性，維護數據源整體的一致性；以及消解統一描述的各模式間結構沖突這兩大難點問題。企業往往渴望能夠集成各異構的數據源，以便進行數據共享及數據挖掘等工作。

在數據集成過程中，由于將數據源模式轉換為公共模式是第一步，且其后的結構沖突的消除是以公共模式為基礎，因此不同的公共模式對數據集成的難易程度影響很大，需要重點考慮。傳統的數據集成方法，主要是以XML Schema作為公共模式，使用XML語言描述各異構的數據源模式形成XML文檔，然后對XML文檔進行更改操作以消除數據源模式間的模式以及結構沖突，形成全局數據集，但其并未對XML模式進行良好的約束，導致模式復雜以及編程實現困難。或者是通過不規則的樹形結構為公共模式描述各異構數據源，然后對樹形結構進行樹節點以及樹枝的變化操作消除沖突形成全局數據集，但其樹形結構重復節點過多導致消耗存儲太多，性能不佳。因此這些方法存在適用范圍窄，實現難度大，付出成本高，實用性不高等缺陷。

發明內容

本發明的目的在于提供一種基于有向圖結構的數據集成方法，具有節省存儲、提高通信效率、性能高、適用范圍廣的優點。

本發明的上述目的是通過以下技術方案得以實現的：

一種基于有向圖結構的數據集成方法，包括適配器、融合器、分析器和集成引擎解析器，還包括以下步驟：

S1、適配器找出數據源注冊信息且連接各異構數據源，并通過各異構數據源的元數據庫獲得描述各異構數據的數據源模式，通過圖形結構將數據源模式進行模式轉換，轉換為公共模式集，消除模式表示沖突，數據源模式包括數據庫名、表名、字段名、數據類型和主外鍵；

S2、通過適配器獲得的數據源模式信息按模式轉換規則以及轉換流程轉換為模式圖上對應的節點，模式圖包括第一層節點、第二層節點、第三層節點和第四層節點，將數據庫名映射為無入度的第一層節點，將各數據表名映射為入度為1的第二層節點，將表中各字段名映射為入度出度都等于1的第三層節點，將各字段的數據類型映射為無出度的第四層節點，各相同信息映射為相同節點，形成對應于數據源模式的模式圖集合，并按需要進行調整，將在適配器中形成的模式圖描述的數據源模式通過接口與數據集成引擎中的融合器通信；