[發明專利]一種大數據主外鍵一致性評價方法、裝置和設備

有效

• 申請號: 202010827738.0
• 申請日: 2020-08-17
• 公開（公告）號: CN111949663B
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 許博
• 申請（專利權）人: 沈陽京華博瑞科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/28;G06Q50/06
• 代理公司: 北京華專卓海知識產權代理事務所(普通合伙) 11664
• 代理人: 李巨智

本發明提供了一種大數據主外鍵一致性評價方法、裝置和設備。所述方法包括從數據庫中讀取數據表信息以及數據表中字段信息，判斷各字段屬性；選擇一目標數據表，并從其他數據表中選擇對比數據表；根據主外鍵關系篩選方法對所述目標數據表和所述對比數據表進行主外鍵關系評價。以此方式，可以對字段間關系進行預判，過濾掉明顯不可能存在主外鍵關系的字段，大幅度減少字段間內容比對的工作量，快速高效的檢測出缺失的主外鍵關系，提高檢測效率和準確性，且具有廣泛的適用性。

技術領域

本發明的實施例一般涉及計算機數據處理領域，并且更具體地，涉及一種大數據主外鍵一致性評價方法、裝置和設備

背景技術

隨著我國電力行業信息化水平的不斷提升、互聯網應用的持續普及，電力業務系統中所需存儲與處理的數據量呈指數級增長。為了提升系統響應速度與開發效率，越來越多的開發人員選擇忽略關系型數據庫中的主外鍵約束。這使得不同表中的相同數據無法及時準確的同步，數據質量顯著降低，無法支撐企業級的大數據分析與應用。企業不得不花費大量的時間和精力開展數據治理工作。由于主外鍵關系的缺失，數據治理工作人員也無法獲取表與表之間的關聯關系，只能通過與開發人員的溝通和業務的梳理來獲取關聯關系。這樣的方法效率極低，隨著數據的增長，這樣的方法也難以維系，并且難以對數據治理工作的成效進行量化評估。

發明內容

根據本發明的實施例，提供了一種大數據主外鍵一致性評價方案。

在本發明的第一方面，提供了一種大數據主外鍵一致性評價方法。該方法包括：

從數據庫中讀取數據表信息以及數據表中字段信息，判斷各字段屬性；

選擇一目標數據表，并從其他數據表中選擇對比數據表；

根據主外鍵關系篩選方法對所述目標數據表和所述對比數據表進行主外鍵關系評價。

進一步地，所述判斷各字段屬性，包括：

判斷所選字段是否為uuid；

判斷所選字段內容的類型；

判斷所選字段是否為所屬數據表主鍵。

進一步地，所述判斷所選字段是否為uuid，包括：

如果所選字段中只包含字符“0123456789ABCDEFabcdef”和分隔符“-”，且字符長度在32～42之間，則判定所選字段為uuid。

進一步地，所述判斷所選字段的內容類型，包括：

判斷所選字段中每條記錄的類型是否一致，如果是，則判定所選字段的內容類型為該記錄類型；否則判定所選字段的內容類型為無類型。

進一步地，所述判斷所選字段是否為所屬數據表主鍵，包括：

判斷所選字段是否滿足下述條件之一，如果是，則所選字段是所屬數據表主鍵，否則，所選字段不是所屬數據表主鍵；

條件1：所選字段已被設置為數據表主鍵；

條件2：所選字段為uuid，且字段編號為1；

條件3：所選字段包含不同值的個數不小于數據表包含的記錄數，且所選字段的字段編號為1。

進一步地，所述根據主外鍵關系篩選方法對所述目標數據表和所述對比數據表進行主外鍵關系評價，包括：

步驟1：判斷所述目標數據表的記錄數是否為0，如果是，則所述目標數據表和所述對比數據表之間無主外鍵關系；否則判斷所述對比數據表的記錄數是否為0，如果是，則所述目標數據表和所述對比數據表之間無主外鍵關系；否則繼續判斷所述目標數據表中是否存在主鍵字段，如果是，則執行步驟2；否則所述目標數據表和所述對比數據表之間無主外鍵關系；