[發(fā)明專利]一種用于不同行業(yè)的大數(shù)據(jù)治理方法、裝置、設(shè)備和介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011239848.1
• 申請日: 2020-11-09
• 公開（公告）號: CN112364003A
• 公開（公告）日: 2021-02-12
• 發(fā)明（設(shè)計）人: 吳志雄;甘俊奇;翁安祿
• 申請（專利權(quán)）人: 南威軟件股份有限公司;福建威盾科技集團(tuán)有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/242;G06F16/2457;G06F16/2458;G06F16/28
• 代理公司: 泉州市文華專利代理有限公司 35205
• 代理人: 陳雪瑩

1.一種用于不同行業(yè)的大數(shù)據(jù)治理方法，其特征在于：包括：

步驟1、對于接入的數(shù)據(jù)進(jìn)行數(shù)據(jù)定義；

步驟2、對所述數(shù)據(jù)進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化，將字段轉(zhuǎn)化成標(biāo)準(zhǔn)的字段名稱-數(shù)據(jù)元；

步驟3、建立主體與要素的基于數(shù)據(jù)項的關(guān)聯(lián)關(guān)系；

步驟4、根據(jù)數(shù)據(jù)定義判斷是否需要對所述數(shù)據(jù)進(jìn)行提取；若需要，則針對數(shù)據(jù)組織內(nèi)的資源庫建立要素流轉(zhuǎn)模型；并針對數(shù)據(jù)組織內(nèi)的主題庫，建立主體要素模型。

2.根據(jù)權(quán)利要求1所述的一種用于不同行業(yè)的大數(shù)據(jù)治理方法，其特征在于：所述組織體系包括原始庫、資源庫、主題庫以及業(yè)務(wù)庫，數(shù)據(jù)經(jīng)過清洗以及轉(zhuǎn)換后匯聚進(jìn)入原始庫；對原始庫中的數(shù)據(jù)進(jìn)行要素提取至資源庫；對原始庫中的數(shù)據(jù)進(jìn)行主體提取至主題庫。

3.根據(jù)權(quán)利要求1所述的一種用于不同行業(yè)的大數(shù)據(jù)治理方法，其特征在于：所述步驟2進(jìn)一步具體為：配置字段轉(zhuǎn)化規(guī)則，采用sqoop將源數(shù)據(jù)接入到HIVE，在通過hiveSQL對數(shù)據(jù)進(jìn)行規(guī)則化處理，將字段轉(zhuǎn)化成標(biāo)準(zhǔn)的字段名稱-數(shù)據(jù)元。

4.根據(jù)權(quán)利要求1所述的一種用于不同行業(yè)的大數(shù)據(jù)治理方法，其特征在于：所述要素流轉(zhuǎn)模型是根據(jù)接入數(shù)據(jù)的數(shù)據(jù)定義，將要素提取出來，分別流轉(zhuǎn)進(jìn)要素重點行為庫，要素分布庫，要素關(guān)系庫以及要素關(guān)聯(lián)庫；所述主體要素模型是將同一主體的要素重點行為庫，要素分布庫，要素關(guān)系庫以及要素關(guān)聯(lián)庫進(jìn)行合并。

5.一種用于不同行業(yè)的大數(shù)據(jù)治理裝置，其特征在于：包括：

定義模塊，對于接入的數(shù)據(jù)進(jìn)行數(shù)據(jù)定義；

標(biāo)準(zhǔn)化模塊，對所述數(shù)據(jù)進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化，將字段轉(zhuǎn)化成標(biāo)準(zhǔn)的字段名稱-數(shù)據(jù)元；

關(guān)聯(lián)模塊，建立主體與要素的基于數(shù)據(jù)項的關(guān)聯(lián)關(guān)系；

治理模塊，根據(jù)數(shù)據(jù)定義判斷是否需要對所述數(shù)據(jù)進(jìn)行提取；若需要，則針對數(shù)據(jù)組織內(nèi)的資源庫建立要素流轉(zhuǎn)模型；并針對數(shù)據(jù)組織內(nèi)的主題庫，建立主體要素模型。

6.根據(jù)權(quán)利要求5所述的一種用于不同行業(yè)的大數(shù)據(jù)治理裝置，其特征在于：所述組織體系包括原始庫、資源庫、主題庫以及業(yè)務(wù)庫，數(shù)據(jù)經(jīng)過清洗以及轉(zhuǎn)換后匯聚進(jìn)入原始庫；對原始庫中的數(shù)據(jù)進(jìn)行要素提取至資源庫；對原始庫中的數(shù)據(jù)進(jìn)行主體提取至主題庫。

7.根據(jù)權(quán)利要求5所述的一種用于不同行業(yè)的大數(shù)據(jù)治理裝置，其特征在于：所述標(biāo)準(zhǔn)化模塊進(jìn)一步具體為：配置字段轉(zhuǎn)化規(guī)則，采用sqoop將源數(shù)據(jù)接入到HIVE，在通過hiveSQL對數(shù)據(jù)進(jìn)行規(guī)則化處理，將字段轉(zhuǎn)化成標(biāo)準(zhǔn)的字段名稱-數(shù)據(jù)元。

8.根據(jù)權(quán)利要求5所述的一種用于不同行業(yè)的大數(shù)據(jù)治理裝置，其特征在于：所述要素流轉(zhuǎn)模型是根據(jù)接入數(shù)據(jù)的數(shù)據(jù)定義，將要素提取出來，分別流轉(zhuǎn)進(jìn)要素重點行為庫，要素分布庫，要素關(guān)系庫以及要素關(guān)聯(lián)庫；所述主體要素模型是將同一主體的要素重點行為庫，要素分布庫，要素關(guān)系庫以及要素關(guān)聯(lián)庫進(jìn)行合并。

9.一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述程序時實現(xiàn)如權(quán)利要求1至4任一項所述的方法。

10.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，該程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至4任一項所述的方法。