[發明專利]一種數據質量稽核引擎及其稽核方法

在審

• 申請號: 202110735553.1
• 申請日: 2021-06-30
• 公開（公告）號: CN113377758A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 鄭丹輝;楊昊天;王程遠;孟凡勝;郝亮
• 申請（專利權）人: 數字鄭州科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2458
• 代理公司: 鄭州睿信知識產權代理有限公司 41119
• 代理人: 吳敏

1.一種數據質量稽核方法，其特征在于，包括：

1)獲取待稽查數據集的元數據和數據質量標準規范的質量規則項，從所述質量規則項中提取對應的特征詞，所述元數據包括數據集名稱、數據屬性名稱和數據屬性注釋；

2)將所述特征詞與所述元數據中的數據屬性名稱或者數據屬性注釋進行匹配，建立質量規則項和所述元數據中每個屬性的關聯關系；

3)基于所述待稽查數據集中的屬性和所述關聯關系得到稽核任務；

4)基于所述稽核任務與質量規則項對應的稽核處理方法，獲得所述待稽查數據集的稽核處理方法，以生成所述待稽查數據集的稽核腳本；

5)運行所述稽核腳本對所述待稽查數據集進行稽查以獲得稽核結果。

2.根據權利要求1所述的數據質量稽核方法，其特征在于，所述步驟2)中進行匹配所采用的匹配方法是正則表達式算法或Jaro Distance字符串相似性度量算法。

3.根據權利要求1所述的數據質量稽核方法，其特征在于，所述元數據還包括數據集記錄數，若數據集記錄數為零，則該待稽查數據集為空數據集，不對該待稽查數據集進行稽查。

4.根據權利要求1所述的數據質量稽核方法，其特征在于，所述元數據還包括數據屬性值去重個數，所述數據屬性值去重個數表示任意屬性下數據記錄去重后的個數，若數據屬性值去重個數為零，則該待稽查數據集的元數據中存在空值數據屬性，不對該空值數據屬性進行稽查；若不為零，按照數據屬性值去重個數對所屬屬性進行稽核。

5.根據權利要求1所述的數據質量稽核方法，其特征在于，所述待稽查數據集為多個時，獲得各待稽查數據集的稽核腳本，按照設定順序運行各待稽查數據集的稽核腳本。

6.根據權利要求5所述的數據質量稽核方法，其特征在于，各待稽查數據集的稽核腳本可以同時獲得或順次獲得。

7.根據權利要求1所述的數據質量稽核方法，其特征在于，還包括對經過稽核的數據集中各個已稽核數據屬性的稽核結果進行合并與保存。

8.根據權利要求7所述的數據質量稽核方法，其特征在于，在經過稽核的數據集中增加稽核結果數據屬性，所述稽核結果數據屬性用于存儲經過稽核的數據集的稽核結果。

9.根據權利要求1所述的數據質量稽核方法，其特征在于，若質量規則項更新，則基于更新后的質量規則項對待稽查數據集進行稽查。

10.一種數據質量稽核引擎，其特征在于，包括：存儲器和處理器，所述處理器用于執行存儲在所述存儲器中的指令，以實現權利要求1-9中任一項所述的數據質量稽核方法。