[發(fā)明專利]一種基于企業(yè)數(shù)據(jù)盤點的元數(shù)據(jù)采集方法

在審

• 申請?zhí)枺?/td>: 202110335841.8
• 申請日: 2021-03-29
• 公開（公告）號: CN112988730A
• 公開（公告）日: 2021-06-18
• 發(fā)明（設(shè)計）人: 馬瑞;馬一鳴;朱東歌;劉佳;夏緒衛(wèi);黃鳴宇;張爽;閆振華;李秀廣;李興華;李曉龍;高博;張慶平;李學(xué)鋒;羅海榮;李永亮;郭飛;柴育峰;韓紅衛(wèi);段文奇;王峰;蔡建輝;楊雪紅;沙江波;胡煒航
• 申請（專利權(quán)）人: 國網(wǎng)寧夏電力有限公司電力科學(xué)研究院
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25;G06F16/23;G06F16/907
• 代理公司: 蘇州言思嘉信專利代理事務(wù)所(普通合伙) 32385
• 代理人: 徐永雷

本發(fā)明公開了一種基于企業(yè)數(shù)據(jù)盤點的元數(shù)據(jù)采集方法，包括以下步驟：步驟1：建立元數(shù)據(jù)采集標(biāo)準(zhǔn)目錄庫，配置數(shù)據(jù)源，在此目錄下進(jìn)行數(shù)據(jù)采集實施的準(zhǔn)備工作；步驟2：建立元數(shù)據(jù)采集規(guī)則，在此規(guī)則下，通過數(shù)據(jù)采集模塊自動采集元數(shù)據(jù)信息，生成數(shù)據(jù)目錄與數(shù)據(jù)表進(jìn)行關(guān)聯(lián)；步驟3：數(shù)據(jù)分析模塊對數(shù)據(jù)表進(jìn)行有效性篩選和自動判定，五個工作日內(nèi)，進(jìn)行更新匹配；步驟4：數(shù)據(jù)監(jiān)控模塊實時監(jiān)控數(shù)據(jù)有效性及數(shù)據(jù)變更信息，進(jìn)行數(shù)據(jù)重新采集和篩除。本發(fā)明的優(yōu)點在于提高了元數(shù)據(jù)采集的效率及數(shù)據(jù)準(zhǔn)確率，避免了重復(fù)性的元數(shù)據(jù)采集操作，從而實現(xiàn)了元數(shù)據(jù)的快速采集。實時監(jiān)控數(shù)據(jù)的有效性和準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)資源管理技術(shù)領(lǐng)域，特別是一種基于企業(yè)數(shù)據(jù)盤點的元數(shù)據(jù)采集方法。

背景技術(shù)

當(dāng)今社會中，數(shù)據(jù)量高速膨脹，數(shù)據(jù)正成為政府、企業(yè)的核心競爭力，人們通過數(shù)據(jù)分析，挖掘數(shù)據(jù)價值為管理決策者提供準(zhǔn)確的判斷依據(jù)。

元數(shù)據(jù)管理系統(tǒng)是提升共享、重新獲取和理解企業(yè)信息資產(chǎn)水平的重要工具，是企業(yè)信息管理的潤滑劑。如果企業(yè)不對元數(shù)據(jù)進(jìn)行管理或管理不得當(dāng)，信息將被丟失或處于隱匿狀態(tài)而難以被用戶使用，數(shù)據(jù)集成將十分昂貴，不能對業(yè)務(wù)進(jìn)行有效支撐。其中，元數(shù)據(jù)采集是元數(shù)據(jù)管理系統(tǒng)的核心，亦是整個系統(tǒng)的基礎(chǔ)。

當(dāng)前的元數(shù)據(jù)采集主要分為手動采集和定時采集兩種。手動采集是根據(jù)數(shù)據(jù)源信息，利用對應(yīng)采集器去采集指定數(shù)據(jù)源中庫，表，字段等屬性信息。定時采集是按照指定時間去采集上述信息。

不論是手動采集還是定時采集，其技術(shù)方案如下：配置數(shù)據(jù)源：配置將要采集的數(shù)據(jù)源信息，如數(shù)據(jù)源的IP，端口，用戶名，密碼等。選擇采集器：根據(jù)不同的數(shù)據(jù)源選擇不同的采集器進(jìn)行采集，比如采集Oracle數(shù)據(jù)源信息，則需要選擇Oracle采集器進(jìn)行元數(shù)據(jù)的采集。采集元數(shù)據(jù)：按照事先約定的規(guī)則按順序采集對應(yīng)元數(shù)據(jù)信息，比如先采集庫相關(guān)元數(shù)據(jù)，然后采集表相關(guān)元數(shù)據(jù)，最后采集字段相關(guān)元數(shù)據(jù)等。

上述元數(shù)據(jù)采集方案具有以下缺點：數(shù)據(jù)量很大時，采集元數(shù)據(jù)信息很費時；重復(fù)工作很多，比如指定數(shù)據(jù)源上次采集的信息和這次采集的信息是相同的，那么這次的工作毫無意義。還有當(dāng)庫信息發(fā)生變更時，利用上述方法，還會采集表，字段這些沒有變化的屬性，這些實際沒有必要，因為上一次采集已經(jīng)都有這些屬性了。

發(fā)明內(nèi)容

本發(fā)明的目的是為了解決上述問題，設(shè)計了一種基于企業(yè)數(shù)據(jù)盤點的元數(shù)據(jù)采集方法，其特征在于，包括以下步驟：

步驟1：建立元數(shù)據(jù)采集標(biāo)準(zhǔn)目錄庫，配置數(shù)據(jù)源，在此目錄下進(jìn)行數(shù)據(jù)采集實施的準(zhǔn)備工作；

步驟2：建立元數(shù)據(jù)采集規(guī)則，在此規(guī)則下，通過數(shù)據(jù)采集模塊自動采集元數(shù)據(jù)信息，生成數(shù)據(jù)目錄與數(shù)據(jù)表進(jìn)行關(guān)聯(lián)；

步驟3：數(shù)據(jù)分析模塊對數(shù)據(jù)表進(jìn)行有效性篩選和自動判定，五個工作日內(nèi)，進(jìn)行更新匹配；

步驟4：數(shù)據(jù)監(jiān)控模塊實時監(jiān)控數(shù)據(jù)有效性及數(shù)據(jù)變更信息，進(jìn)行數(shù)據(jù)重新采集和篩除。

為了對本技術(shù)方案進(jìn)行進(jìn)一步補(bǔ)充，步驟1中所述數(shù)據(jù)采集實施的準(zhǔn)備工作包括；明確數(shù)據(jù)盤點的范圍及其所涉及的業(yè)務(wù)活動；明確支撐數(shù)據(jù)盤點工作的業(yè)務(wù)部門和人員；明確盤點對象數(shù)據(jù)架構(gòu)，收集相關(guān)電子文檔資料；收集元數(shù)據(jù)采集所需的數(shù)據(jù)庫配置信息。

為了對本技術(shù)方案進(jìn)行進(jìn)一步補(bǔ)充，所述元數(shù)據(jù)采集規(guī)則包含各個元數(shù)據(jù)屬性與相應(yīng)元數(shù)據(jù)內(nèi)容在目標(biāo)數(shù)據(jù)內(nèi)容中的布局位置之間的對應(yīng)關(guān)系，各個所述元數(shù)據(jù)屬性為預(yù)先制定的元數(shù)據(jù)標(biāo)準(zhǔn)所規(guī)定的屬性。

為了對本技術(shù)方案進(jìn)行進(jìn)一步補(bǔ)充，所述元數(shù)據(jù)采集標(biāo)準(zhǔn)目錄包括若干個布局結(jié)構(gòu)相同的子目錄。

為了對本技術(shù)方案進(jìn)行進(jìn)一步補(bǔ)充，所述數(shù)據(jù)表包括技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)和管理元數(shù)據(jù)。