[發明專利]基于數據流技術的多源異構數據集成系統

無效

• 申請號: 200710043432.0
• 申請日: 2007-07-05
• 公開（公告）號: CN101083656A
• 公開（公告）日: 2007-12-05
• 發明（設計）人: 曹健;胡志萍;何援軍;章義;李曉琳
• 申請（專利權）人: 上海交通大學
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L12/56
• 代理公司: 上海交達專利事務所
• 代理人: 王錫麟;王桂忠

技術領域

本發明涉及的是一種電信技術領域的系統，具體地說是一種用于解決分布式多源異構數據集成的基于數據流技術的多源異構數據集成系統。

背景技術

信息化時代和全球經濟競爭的環境下，隨著信息化的不斷發展，各行業、單位或者機構、部門內部逐漸實現了業務信息化。但由于業務和功能歸屬不同，所采用的計算機環境由不同平臺組成，形成了大量分布式異構數據源，這些孤立的異構數據源也被稱為“信息孤島”。對多個異構數據源提供統一的表示、存儲、查詢和管理的工作稱為信息集成。當前，不同人不同組織開發的針對不同領域的數據集成系統重復開發，系統靈活性差，增加了系統開發和維護的開銷。現在缺乏各信息領域都能通用的靈活的，可擴展的數據交換集成系統。本發明將數據流技術引入數據集成領域，以一種柔性的手段為用戶提供了可定制的數據服務，實現異構數據交換和集成，從根本上解決數據交換集成系統的靈活性、可擴展性和重用性。

經對現有技術文獻的檢索發現，中國專利申請號0410057020.9，發明名稱：數據交換方法，公開號：CN1738309，該專利涉及的數據交換系統中，系統通過定義可擴展標記語言的文本格式，對交換數據進行封裝，實現數據交換。但不能解決數據交換中出現的語義異構和數據沖突。該數據交換系統：(1)添加新的異構數據源時，需要重新定義可擴展標記語言，可擴展性差，難于實現該方法的即插即用。(2)需根據不同的應用領域定義可擴展標記語言文本格式，限制了該方法的應用領域，影響了數據交換集成系統的通用性。(3)由于不同數據源對同一數據項提供的數據可能會產生沖突，信息集成需要消除數據沖突，而該系統沒有解決數據交換集成中出現的數據沖突問題。

發明內容

本發明針對現有技術的不足與缺陷，提供一種基于數據流技術的多源異構數據集成系統，使其能夠在分布式環境下為不同信息集成系統提供一種靈活、通用的即插即用的數據集成系統，解決當前信息集成系統需要對數據集成功能進行重復開發，以及現有數據集成系統不能滿足信息系統需求，以及不靈活、可擴展性差的問題，推動數據集成的應用和發展。

本發明是通過以下技術方案實現的，本發明包括：數據源管理服務器、數據交換服務器、數據流建模服務器、數據流執行管理服務器。

所述數據源管理服務器，提供與外部異構數據源的接口，實現數據源的注冊，提供數據源的地址、局部模式、數據源連接屬性；接收外部異構數據源輸出的待集成數據，并將這些數據傳送到數據交換服務器。

所述數據交換服務器，接收數據源管理服務器傳送的數據，管理各異構數據源提供的局部模式和由此生成的系統全局模式，以及存儲局部模式和全局模式之間的映射規則，并根據映射規則實現數據集成任務涉及的數據全局模式和局部模式之間的映射，以及對數據源管理器輸入的采集數據實現由局部模式到全局模式的映射，對數據流執行管理服務器輸入的參數實現由全局模式到局部模式的映射。

所述數據流建模服務器，根據數據交換服務器提供的基于全局統一視圖的應用類型進行數據流過程的定義，生成數據流模型存儲到模型庫中。

所述數據流執行管理服務器，連接數據交換服務器，負責與外部應用系統的連接、創建流程使數據流模型實例化、啟動數據流流程、數據流執行啟動解釋、打開活動和提交活動給數據交換服務器，并將數據流流程結果返回的給外部應用系統。

外部異構數據源和外部應用系統是與本發明系統交互的兩個外部系統，本發明的任務需求來自外部應用系統，集成的數據來自外部異構數據源，集成結果返回給外部應用系統。

所述的數據源管理服務器包括：系統連接單元、數據管理單元和數據源存儲單元，主要負責與外部異構數據源進行連接和數據交互，并負責外部異構數據源的注冊，提供對外部異構數據源的相關描述信息；其中系統連接單元主要負責與外部異構數據源進行連接，外部異構數據源可以通過系統連接單元提供的接口與本發明系統進行連接，從而實現本發明系統在各種信息系統中的即插即用；數據管理單元主要負責外部異構數據源的注冊，從通過系統連接單元已連接的外部異構數據源獲得數據源的地址、局部數據模式、數據源連接屬性等相關信息，以及向數據模式服務器提供描述本數據源數據的局部模式；數據源存儲單元負責存儲外部異構數據源的注冊信息。