[發明專利]一種動態異構元數據獲取方法及系統

在審

• 申請號: 201610007862.6
• 申請日: 2016-01-06
• 公開（公告）號: CN105701181A
• 公開（公告）日: 2016-06-22
• 發明（設計）人: 閔圣捷;金日海;靳永超;漆楊
• 申請（專利權）人: 中電科華云信息技術有限公司;成都市公安局;四川省公安廳
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 郭國中

技術領域

本發明涉及企業數據資源管理技術領域的異構元數據獲取及管理方法，具體地 說，涉及的是一種基于企業元數據獲取及管理的動態異構元數據獲取方法及系統。

背景技術

人們用大數據來描述和定義信息爆炸時代產生的海量數據，并命名與之相關的 技術發展與創新。數據正在迅速膨脹并變大，并且數據類型豐富，而怎么管理這些 不同類型的數據決定著企業的未來發展，雖然現在企業可能并沒有意識到數據爆炸 性增長帶來問題的隱患，但是隨著時間的推移，人們將越來越多的意識到數據對企 業的重要性。同時，企業中海量數據的實時處理、數據類型多樣化和數據資源狀態 瞬時更新的特點對動態元數據的同步獲取方式和元數據管理方法提出了挑戰。

目前沒有發現同本發明類似技術的說明或報道，也尚未收集到國內外類似的資 料。

發明內容

針對現有技術中存在的上述不足，本發明的目的是提供一種動態異構元數據獲 取方法及系統，該方法及系統根據企業級元數據管理體系特點依據數據架構規劃構 建了包括元數據獲取和元數據管理系統在內的企業級元數據管理體系，為企業系統 更高效、更規范的運轉提供規范的管理和系統支撐。

為實現上述目的，本發明是通過以下技術方案實現的。

根據本發明的第一個方面，提供了一種動態異構元數據獲取系統，包括元數據 動態采集模塊、動態元數據緩存模塊、分布式消息服務模塊、元數據同步服務訂閱 模塊；其中：

所述元數據動態采集模塊設有用于動態獲取元數據的統一接口，并通過統一接 口與數據存儲設備相連接；

所述動態元數據緩存模塊，用于保存及變更元數據信息；

所述分布式消息服務模塊，用于發布元數據變更請求；

所述元數據同步服務訂閱模塊，用于訂閱元數據變更請求、維護元數據動態分 區以及元數據結構信息。

根據本發明的第二個方面，提供了另一種動態異構元數據獲取系統，所述動態 異構元數據獲取系統為多層架構式結構，包括采集層、傳輸層、存儲層、監控層、 服務層以及應用層；其中：

所述采集層，用于提供數據源統一的元數據訪問接口，并針對不同元數據對象， 提供不同的靜態元數據獲取及動態元數據發布；

所述傳輸層，利用異步通信和遠程調用協議實現動態元數據和靜態元數據之間 的交換；

所述存儲層，利用分布式存儲技術提供元數據的存儲和搜索；

所述監控層，用于完成對元數據服務節點的監控；

所述服務層，是一個用于提供具體服務處理的功能單元，通過組合服務層提供 的具體服務需求，實現不同的實際應用；

所述應用層，用于為服務層提供的服務提供服務接口。

優選地，所述元數據服務節點包括：元數據采集適配器和元數據處理服務節點。

優選地，所述應用層提供的服務接口包括如下任一項或任多項：

-元數據定義管理接口；

-元數據版本管理接口；

-元數據服務節點管理接口。

根據本發明的第三個方面，提供了一種動態異構元數據獲取方法，包括如下步 驟：

步驟S1：將元數據采集服務注冊到監控中心；

步驟S2：通過元數據采集服務訂閱元數據狀態；

步驟S3：元數據采集服務對結構化數據源和/或非結構化數據源進行元數據動 態抽取，并將變更內容作為元數據發布消息通過對元數據格式的定義發布到網絡；

步驟S4：元數據同步服務實時訂閱元數據發布消息，根據元數據協議解析后存 儲到元數據庫；

步驟S5：元數據庫中保存定義元數據之間的關系，根據元數據業務特點形成語 義庫；其中，元數據庫中的元數據存儲包括靜態歷史數據存儲區和動態數據存儲區。

優選地，步驟S2中，所述元數據狀態包括如下任一項或任多項：

-元數據MD5校驗碼；

-元數據獲取方式；

-元數據平均更新頻率。

優選地，步驟S3中，所述元數據格式的定義為：XMLSchema形式。

優選地，步驟S4中，所述元數據庫采用分布式元數據庫。

優選地，步驟S5中，所述靜態歷史數據存儲區內的元數據滿足數據影響分析 及版本追蹤需求。

與現有技術相比，本發明具有如下有益效果：