[發(fā)明專利]一種基于元數(shù)據(jù)管理分析系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011644798.5
• 申請(qǐng)日: 2020-12-31
• 公開(kāi)（公告）號(hào): CN112699100A
• 公開(kāi)（公告）日: 2021-04-23
• 發(fā)明（設(shè)計(jì)）人: 張衛(wèi)民;高振宇
• 申請(qǐng)（專利權(quán)）人: 天津浪淘科技股份有限公司
• 主分類號(hào): G06F16/21
• 分類號(hào): G06F16/21;G06F16/22;G06F16/25
• 代理公司: 北京沁優(yōu)知識(shí)產(chǎn)權(quán)代理有限公司 11684
• 代理人: 李蓓蕾

本發(fā)明提供一種基于元數(shù)據(jù)管理分析系統(tǒng)，包括元模型管理模塊配置含有源系統(tǒng)業(yè)務(wù)數(shù)據(jù)表的業(yè)務(wù)單元和映射管理單元，源系統(tǒng)業(yè)務(wù)數(shù)據(jù)表存儲(chǔ)有若干增量字段，映射管理單元用于創(chuàng)建元數(shù)據(jù)的映射關(guān)系和代碼匹配規(guī)則；元數(shù)據(jù)采集模塊用于采集元數(shù)據(jù)并將采集到的元數(shù)據(jù)傳輸至元數(shù)據(jù)處理模塊，元數(shù)據(jù)采集模塊包括模板管理單元、元數(shù)據(jù)庫(kù)以及入庫(kù)審核單元；模板管理單元用于提供導(dǎo)入導(dǎo)出元數(shù)據(jù)的模板，元數(shù)據(jù)庫(kù)配置有若干元數(shù)據(jù)，入庫(kù)審核單元用于對(duì)產(chǎn)生變動(dòng)的元數(shù)據(jù)提供入庫(kù)審核功能；元數(shù)據(jù)處理模塊用于將源系統(tǒng)業(yè)務(wù)數(shù)據(jù)表進(jìn)行處理并整合到元數(shù)據(jù)庫(kù)。本發(fā)明能夠?yàn)槠髽I(yè)建立元數(shù)據(jù)管理體系提供了可靠、便捷的支持。

技術(shù)領(lǐng)域

本發(fā)明涉及元數(shù)據(jù)管理技術(shù)領(lǐng)域，具體涉及一種基于元數(shù)據(jù)管理分析系統(tǒng)。

背景技術(shù)

元數(shù)據(jù)(Metadata)，又稱中介數(shù)據(jù)、中繼數(shù)據(jù)，為描述數(shù)據(jù)的數(shù)據(jù)(data aboutdata)，主要是描述記錄數(shù)據(jù)倉(cāng)庫(kù)中模型的定義、各層級(jí)間的映射關(guān)系、監(jiān)控?cái)?shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)狀態(tài)及ETL的任務(wù)運(yùn)行狀態(tài)。一般通過(guò)元數(shù)據(jù)資料庫(kù)來(lái)統(tǒng)一地存儲(chǔ)和管理元數(shù)據(jù)，其主要目的是使數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)、部署、操作和管理能達(dá)成協(xié)同一致。元數(shù)據(jù)是數(shù)據(jù)倉(cāng)庫(kù)管理的重要組成部分，元數(shù)據(jù)管理是企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)中的核心部分，貫穿了數(shù)據(jù)倉(cāng)庫(kù)的整個(gè)生命周期，使用元數(shù)據(jù)驅(qū)動(dòng)數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)，使得數(shù)據(jù)倉(cāng)庫(kù)自動(dòng)化、可視化。

元數(shù)據(jù)的基本特點(diǎn)主要有：

a)元數(shù)據(jù)一經(jīng)建立，便可共享。元數(shù)據(jù)的結(jié)構(gòu)和完整性依賴于信息資源的價(jià)值和使用環(huán)境；元數(shù)據(jù)的開(kāi)發(fā)與利用環(huán)境往往是一個(gè)變化的分布式環(huán)境；任何一種格式都不可能完全滿足不同團(tuán)體的不同需要；

b)元數(shù)據(jù)首先是一種編碼體系。元數(shù)據(jù)是用來(lái)描述數(shù)字化信息資源，特別是網(wǎng)絡(luò)信息資源的編碼體系，這導(dǎo)致了元數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)編碼體系的根本區(qū)別；元數(shù)據(jù)的最為重要的特征和功能是為數(shù)字化信息資源建立一種機(jī)器可理解框架。

數(shù)據(jù)倉(cāng)庫(kù)需要借助元數(shù)據(jù)管理，這是因?yàn)閿?shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)加工復(fù)雜，用戶訪問(wèn)方式復(fù)雜，以某銀行的DW數(shù)據(jù)為例：上游系統(tǒng)60個(gè)，下游系統(tǒng)20多個(gè)，倉(cāng)庫(kù)內(nèi)部的表多達(dá)12000多個(gè)，運(yùn)行的ETL任務(wù)6000多，每個(gè)月都有新版本上線，需要維護(hù)的數(shù)據(jù)信息量眾多，上下游系統(tǒng)多，變更頻繁；維護(hù)周期長(zhǎng)。此外，現(xiàn)有技術(shù)往往采用三范式建模，因此LDM的核心表會(huì)有大量的來(lái)源與目標(biāo)，一旦做影響分析，結(jié)果就會(huì)擴(kuò)散放大。最終導(dǎo)致分析結(jié)果無(wú)法使用。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明要解決的問(wèn)題是提供一種基于元數(shù)據(jù)管理分析系統(tǒng)。

為解決上述技術(shù)問(wèn)題，本發(fā)明采用的技術(shù)方案是：一種基于元數(shù)據(jù)管理分析系統(tǒng)，包括元模型管理模塊，所述元模型管理模塊配置含有源系統(tǒng)業(yè)務(wù)數(shù)據(jù)表的業(yè)務(wù)單元和映射管理單元，所述源系統(tǒng)業(yè)務(wù)數(shù)據(jù)表存儲(chǔ)有若干增量字段，所述映射管理單元用于創(chuàng)建元數(shù)據(jù)的映射關(guān)系和代碼匹配規(guī)則；

元數(shù)據(jù)采集模塊，所述元數(shù)據(jù)采集模塊用于采集元數(shù)據(jù)并將采集到的元數(shù)據(jù)傳輸至元數(shù)據(jù)處理模塊，所述元數(shù)據(jù)采集模塊包括模板管理單元、元數(shù)據(jù)庫(kù)以及入庫(kù)審核單元；所述模板管理單元用于提供導(dǎo)入導(dǎo)出元數(shù)據(jù)的模板，所述元數(shù)據(jù)庫(kù)配置有若干元數(shù)據(jù)，所述入庫(kù)審核單元用于對(duì)產(chǎn)生變動(dòng)的元數(shù)據(jù)提供入庫(kù)審核功能；以及

元數(shù)據(jù)處理模塊，所述元數(shù)據(jù)處理模塊用于將源系統(tǒng)業(yè)務(wù)數(shù)據(jù)表進(jìn)行處理并整合到元數(shù)據(jù)庫(kù)。

在本發(fā)明中，優(yōu)選地，所述元數(shù)據(jù)處理模塊包括數(shù)據(jù)抽取模塊、數(shù)據(jù)清洗模塊、數(shù)據(jù)庫(kù)轉(zhuǎn)換模塊以及數(shù)據(jù)加載模塊，所述數(shù)據(jù)抽取模塊用于確定數(shù)據(jù)源及其來(lái)源歸屬，所述數(shù)據(jù)清洗模塊用于將不完整數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)、重復(fù)數(shù)據(jù)進(jìn)行處理剔除；所述數(shù)據(jù)庫(kù)轉(zhuǎn)換模塊用于空值處理、數(shù)據(jù)拆分以及負(fù)責(zé)驗(yàn)證，所述數(shù)據(jù)加載模塊用于將數(shù)據(jù)緩沖區(qū)的數(shù)據(jù)加載到數(shù)據(jù)庫(kù)對(duì)應(yīng)表中。

在本發(fā)明中，優(yōu)選地，所述元模型管理模塊還配置有元訪問(wèn)分析模塊，所述元訪問(wèn)分析模塊用于提供元數(shù)據(jù)相互關(guān)聯(lián)度、元數(shù)據(jù)訪問(wèn)頻度以及版本比對(duì)。

在本發(fā)明中，優(yōu)選地，所述增量字段設(shè)置為時(shí)間字段或自增長(zhǎng)字段，所述增量字段用于判斷新增數(shù)據(jù)或修改數(shù)據(jù)。