[發(fā)明專利]一種不可算臺區(qū)數(shù)據(jù)治理方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201911298485.6
• 申請日: 2019-12-17
• 公開（公告）號: CN111125075A
• 公開（公告）日: 2020-05-08
• 發(fā)明（設計）人: 李剛;劉浩宇;李野;顧強;趙寶國;楊光;季浩;何澤昊;董得龍;呂偉嘉;張兆杰;盧靜雅;翟術然;喬亞男;陳娟;許迪;趙紫敬;孫虹;衛(wèi)天超
• 申請（專利權）人: 國網(wǎng)天津市電力公司電力科學研究院;國網(wǎng)天津市電力公司;國家電網(wǎng)有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06Q50/06
• 代理公司: 天津盛理知識產(chǎn)權代理有限公司 12209
• 代理人: 王來佳

1.一種不可算臺區(qū)數(shù)據(jù)治理方法，其特征在于：包括如下步驟：

(1)建立原始數(shù)據(jù)區(qū)；

(2)針對原始數(shù)據(jù)區(qū)的數(shù)據(jù)進行整合，使數(shù)據(jù)與數(shù)據(jù)間建立主外鍵關系；

(3)將建立主外鍵關系后的各能源類基礎數(shù)據(jù)按照統(tǒng)一分析模型進行整合，并進行數(shù)據(jù)的抽取和分發(fā)，制定數(shù)據(jù)清洗規(guī)則，對數(shù)據(jù)進行清洗；

(4)對清洗后的數(shù)據(jù)進行質(zhì)量管理，形成用于描述數(shù)據(jù)的元數(shù)據(jù)，完成對元數(shù)據(jù)本身質(zhì)量的檢查；

(5)利用元數(shù)據(jù)對數(shù)據(jù)描述條件的完整性進行管理，并通過圖形化的方式對數(shù)據(jù)的合理性進行判定。

2.根據(jù)權利要求1所述的一種不可算臺區(qū)數(shù)據(jù)治理方法，其特征在于：所述的原始數(shù)據(jù)區(qū)分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)兩個區(qū)域，其中兩個區(qū)域中均劃分為檔案、數(shù)據(jù)、設備。

3.根據(jù)權利要求1所述的一種不可算臺區(qū)數(shù)據(jù)治理方法，其特征在于：所述元數(shù)據(jù)本身質(zhì)量的檢查包括元數(shù)據(jù)屬性填充率檢查、屬性和法律檢查、名稱重復性檢查、關系健全性檢查。

4.根據(jù)權利要求1所述的一種不可算臺區(qū)數(shù)據(jù)治理方法，其特征在于：所述對數(shù)據(jù)描述條件的完整性進行管理包括從數(shù)據(jù)的數(shù)據(jù)量，字段獲取的值兩層維度對數(shù)據(jù)完整性進行的判斷；對同一采集頻度下，數(shù)據(jù)量的條數(shù)進行統(tǒng)計，確定數(shù)據(jù)的數(shù)據(jù)量；對同一類數(shù)據(jù)數(shù)據(jù)表中存在空值的字段進行判斷，根據(jù)規(guī)則確定其空值是否合理。

5.一種不可算臺區(qū)數(shù)據(jù)治理系統(tǒng)，其特征在于：包括

原始數(shù)據(jù)區(qū)建立模塊，用于建立原始數(shù)據(jù)區(qū)；

數(shù)據(jù)整合區(qū)建立模塊，用于針對原始數(shù)據(jù)區(qū)的數(shù)據(jù)進行整合，使數(shù)據(jù)與數(shù)據(jù)間建立主外鍵關系；

數(shù)據(jù)匯總區(qū)建立模塊，用于將整合后的各能源類基礎數(shù)據(jù)按照統(tǒng)一分析模型進行整合，并進行數(shù)據(jù)的抽取和分發(fā)，制定數(shù)據(jù)清洗規(guī)則，淘汰無用的無效的數(shù)據(jù)；

元數(shù)據(jù)形成模塊，用于對清洗后的數(shù)據(jù)進行質(zhì)量管理，形成用于描述數(shù)據(jù)的元數(shù)據(jù)，同時完成對元數(shù)據(jù)本身質(zhì)量的檢查；

數(shù)據(jù)合理性判定模塊，用于利用元數(shù)據(jù)對數(shù)據(jù)描述條件的完整性進行管理，并通過圖形化方式對數(shù)據(jù)合理性進行判定。

6.根據(jù)權利要求5所述的一種基于元數(shù)據(jù)管理的不可算臺區(qū)數(shù)據(jù)治理系統(tǒng)，其特征在于：所述的原始數(shù)據(jù)區(qū)分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)兩個區(qū)域，其中兩個區(qū)域中均劃分為檔案、數(shù)據(jù)、設備。

7.根據(jù)權利要求5所述的一種不可算臺區(qū)數(shù)據(jù)治理系統(tǒng)，其特征在于：所述元數(shù)據(jù)本身質(zhì)量的檢查包括元數(shù)據(jù)屬性填充率檢查、屬性和法律檢查、名稱重復性檢查、關系健全性檢查。

8.根據(jù)權利要求5所述的一種不可算臺區(qū)數(shù)據(jù)治理系統(tǒng)，其特征在于：所述對數(shù)據(jù)描述條件的完整性進行管理包括從數(shù)據(jù)的數(shù)據(jù)量，字段獲取的值兩層維度對數(shù)據(jù)完整性進行的判斷；對同一采集頻度下，數(shù)據(jù)量的條數(shù)進行統(tǒng)計，確定數(shù)據(jù)的數(shù)據(jù)量；對同一類數(shù)據(jù)數(shù)據(jù)表中存在空值的字段進行判斷，根據(jù)規(guī)則確定其空值是否合理。