[發明專利]一種異構多源數據的動態集成方法及系統

有效

• 申請號: 201410102827.3
• 申請日: 2014-03-19
• 公開（公告）號: CN103902671B
• 公開（公告）日: 2018-04-13
• 發明（設計）人: 謝永紅;趙利民;張德政;阿孜古麗·吾拉木;栗輝;杜宏博
• 申請（專利權）人: 北京科技大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京金智普華知識產權代理有限公司11401
• 代理人: 皋吉甫

1.一種異構多源數據的動態集成系統，該系統適用于開放生產環境中多源、異構數據的集成，支持數據源動態變化和數據采集方式相對靈活多變的情況，其特征在于，所述系統包括數據采集模塊、動態建庫模塊、入庫加載模塊、數據持久層模塊；

所述數據采集模塊動態為各數據源量身定做采集方法并發送至數據持久層模塊，采集數據至系統緩存庫，完成數據源的定義，提取數據源特征并發送至動態建庫模塊；

所述動態建庫模塊接收數據采集模塊發送的數據源特征，用于為異構多源數據動態定制業務數據庫和元數據庫，生成元表記錄并更新元數據庫數據；

所述入庫加載模塊接收數據采集模塊緩存庫的轉換后的數據，并做再定義處理，實現數據結構統一性，并引導多源數據進入相應業務數據庫；

所述數據持久層模塊存儲異構多源業務數據、異構多源元數據和數據采集模塊定制的采集方法，提供元數據庫管理機制，并實現元數據庫與業務數據的兩庫聯動；

所述數據采集模塊包括：

數據源定義單元，用于在數據持久層定義數據源基本信息；

采集方法動態定制單元，用于管理多源數據相應的數據采集方法，并將采集方法發送給采集方法庫；

特征提取單元，用于提取數據源的屬性、數據結構信息，并將其發送給動態建庫模塊；

所述入庫加載模塊包括：

數據源再定義單元，用于接收數據采集模塊緩存庫中的數據，通過分析元數據庫屬性間關系對數據結構再定義；

入庫加載單元，用于根據各數據源特征定制入庫引導程序，并完成數據入庫加載工作。

2.如權利要求1所述的異構多源數據的動態集成系統，其特征在于，所述動態建庫模塊包括：

元數據庫動態定制單元，用于為各數據源動態定制元數據庫表結構，接收數據采集模塊的數據源特征信息，并依此作為元表記錄更新元數據庫；

業務數據庫動態定制單元，為各數據源動態定制業務數據庫。

3.一種異構多源數據的動態集成方法，其特征在于，該集成方法包括以下步驟：

步驟1、采集源數據并向系統提供數據源特征、定制采集方法；

步驟2、動態定制元數據庫和業務數據庫；

步驟3、對業務數據結構再定義，生成入庫引導程序并完成業務數據入庫；

所述步驟1還包括以下具體步驟：

步驟1.1，數據采集模塊在數據持久層定義數據源；

步驟1.2，所述數據采集模塊動態定制各數據源的采集方法，并發送至采集方法庫；

步驟1.3，所述數據采集模塊提取各數據源的特征信息并發送至動態建庫模塊；

所述步驟2還包括以下具體步驟：

步驟2.1，動態建庫模塊定制表元表和屬性元表；

步驟2.2，所述動態建庫模塊定制業務數據庫結構；

步驟3包括以下具體步驟：

步驟3.1，入庫加載模塊動態定制各數據源的入庫引導程序；

步驟3.2，所述入庫加載模塊接收數據采集模塊的數據，進行數據結構再定義；

步驟3.3，所述入庫引導程序將再定義后的數據加載至業務數據庫中。