[發(fā)明專利]一種用于不同行業(yè)的大數(shù)據(jù)治理方法、裝置、設(shè)備和介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011239848.1
• 申請日: 2020-11-09
• 公開（公告）號: CN112364003A
• 公開（公告）日: 2021-02-12
• 發(fā)明（設(shè)計）人: 吳志雄;甘俊奇;翁安祿
• 申請（專利權(quán)）人: 南威軟件股份有限公司;福建威盾科技集團有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/242;G06F16/2457;G06F16/2458;G06F16/28
• 代理公司: 泉州市文華專利代理有限公司 35205
• 代理人: 陳雪瑩

本發(fā)明提供一種用于不同行業(yè)的大數(shù)據(jù)治理方法、裝置、設(shè)備和介質(zhì)，方法包括：對于接入的數(shù)據(jù)進行數(shù)據(jù)定義；對所述數(shù)據(jù)進行數(shù)據(jù)標準化，將字段轉(zhuǎn)化成標準的字段名稱?數(shù)據(jù)元；建立主體與要素的基于數(shù)據(jù)項的關(guān)聯(lián)關(guān)系；根據(jù)數(shù)據(jù)定義判斷是否需要對所述數(shù)據(jù)進行提取；若需要，則針對數(shù)據(jù)組織內(nèi)的資源庫建立要素流轉(zhuǎn)模型；并針對數(shù)據(jù)組織內(nèi)的主題庫，建立主體要素模型，提高平臺在多地域多行業(yè)內(nèi)的數(shù)據(jù)治理。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機技術(shù)領(lǐng)域，特別涉及一種用于不同行業(yè)的大數(shù)據(jù)治理方法、裝置、設(shè)備和介質(zhì)。

背景技術(shù)

隨著信息化的發(fā)展，大數(shù)據(jù)概念的爆發(fā)，各行業(yè)都開始進行大數(shù)據(jù)治理，挖掘數(shù)據(jù)更深的價值，因此各種大數(shù)據(jù)治理平臺應(yīng)運而生。

數(shù)據(jù)治理的傳統(tǒng)方法是接入一張新的表或一份新的文件，接入后都由數(shù)據(jù)分析人員對這張新的表進行分析處理，都需要由人去推動整個治理過程，因此數(shù)據(jù)治理平臺普片存在幾個問題：

1、初次治理是最有效的，后期效果越來越差。

初次治理往往都會花上很大力氣，建立數(shù)據(jù)組織體系，挖掘數(shù)據(jù)價值，隨著接入數(shù)據(jù)不斷多樣，很難在去主動對新數(shù)據(jù)進行研究挖掘。

2、不同行業(yè)，不同地域治理的對象都不一樣，往往需要對數(shù)據(jù)進行反復(fù)處理，不同行業(yè)地域進行數(shù)據(jù)梳理就是一個龐大的工作量，而無法復(fù)用性制約平臺的發(fā)展。

因此，如何對新數(shù)據(jù)進行自動解析，而非需要手動進行建模，如何提高工作的可復(fù)用性，是本發(fā)明的方向。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題，在于提供一種用于不同行業(yè)的大數(shù)據(jù)治理方法、裝置、設(shè)備和介質(zhì)，提高平臺在多地域多行業(yè)內(nèi)的數(shù)據(jù)治理。

第一方面，本發(fā)明提供了一種用于不同行業(yè)的大數(shù)據(jù)治理方法，包括：

步驟1、對于接入的數(shù)據(jù)進行數(shù)據(jù)定義；

步驟2、對所述數(shù)據(jù)進行數(shù)據(jù)標準化，將字段轉(zhuǎn)化成標準的字段名稱-數(shù)據(jù)元；

步驟3、建立主體與要素的基于數(shù)據(jù)項的關(guān)聯(lián)關(guān)系；

步驟4、根據(jù)數(shù)據(jù)定義判斷是否需要對所述數(shù)據(jù)進行提取；若需要，則針對數(shù)據(jù)組織內(nèi)的資源庫建立要素流轉(zhuǎn)模型；并針對數(shù)據(jù)組織內(nèi)的主題庫，建立主體要素模型。

進一步地，所述組織體系包括原始庫、資源庫、主題庫以及業(yè)務(wù)庫，數(shù)據(jù)經(jīng)過清洗以及轉(zhuǎn)換后匯聚進入原始庫；對原始庫中的數(shù)據(jù)進行要素提取至資源庫；對原始庫中的數(shù)據(jù)進行主體提取至主題庫。

進一步地，所述步驟2進一步具體為：配置字段轉(zhuǎn)化規(guī)則，采用sqoop將源數(shù)據(jù)接入到HIVE，在通過hiveSQL對數(shù)據(jù)進行規(guī)則化處理，將字段轉(zhuǎn)化成標準的字段名稱-數(shù)據(jù)元。

進一步地，所述要素流轉(zhuǎn)模型是根據(jù)接入數(shù)據(jù)的數(shù)據(jù)定義，將要素提取出來，分別流轉(zhuǎn)進要素重點行為庫，要素分布庫，要素關(guān)系庫以及要素關(guān)聯(lián)庫；所述主體要素模型是將同一主體的要素重點行為庫，要素分布庫，要素關(guān)系庫以及要素關(guān)聯(lián)庫進行合并。

第二方面，本發(fā)明提供了一種用于不同行業(yè)的大數(shù)據(jù)治理裝置，包括：

定義模塊，對于接入的數(shù)據(jù)進行數(shù)據(jù)定義；

標準化模塊，對所述數(shù)據(jù)進行數(shù)據(jù)標準化，將字段轉(zhuǎn)化成標準的字段名稱-數(shù)據(jù)元；

關(guān)聯(lián)模塊，建立主體與要素的基于數(shù)據(jù)項的關(guān)聯(lián)關(guān)系；

治理模塊，根據(jù)數(shù)據(jù)定義判斷是否需要對所述數(shù)據(jù)進行提取；若需要，則針對數(shù)據(jù)組織內(nèi)的資源庫建立要素流轉(zhuǎn)模型；并針對數(shù)據(jù)組織內(nèi)的主題庫，建立主體要素模型。