[發明專利]一種數據質量稽核引擎及其稽核方法

在審

• 申請號: 202110735553.1
• 申請日: 2021-06-30
• 公開（公告）號: CN113377758A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 鄭丹輝;楊昊天;王程遠;孟凡勝;郝亮
• 申請（專利權）人: 數字鄭州科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2458
• 代理公司: 鄭州睿信知識產權代理有限公司 41119
• 代理人: 吳敏

本發明涉及一種數據質量稽核引擎及其稽核方法，該方法包括獲取待稽查數據集的元數據和數據質量標準規范的質量規則項，從質量規則項中提取對應的特征詞，元數據包括數據集名稱、數據屬性名稱和數據屬性注釋；將特征詞與元數據中的數據屬性名稱或者數據屬性注釋進行匹配，建立質量規則項和元數據中每個屬性的關聯關系；基于待稽查數據集中的屬性和關聯關系得到稽核任務；基于稽核任務與質量規則項對應的稽核處理方法，獲得待稽查數據集的稽核處理方法，以生成待稽查數據集的稽核腳本；運行稽核腳本對待稽查數據集進行稽查以獲得稽核結果。在本發明中，能夠解決現有技術中稽核效率較低，配置任務工作繁重的問題。

技術領域

本發明屬于數據稽核的技術領域，具體涉及一種數據質量稽核引擎及其稽核方法。

背景技術

隨著技術的發展，數字化成為趨勢。為提高基層治理的水平，城市開始向數字化轉型，數字政府也開始走進人們的生活。其中，作為數字政府新型基礎設施建設的城市大腦更是智慧化城市的重要內容。城市大腦的正常運作離不開數據中臺。數據中臺是城市大腦的數據基座，其為城市大腦行業應用提供標準、干凈、全量數據。數據中臺中的數據種類繁多、來源廣泛、體量巨大，這些數據主要歸集于政府各個單位的政務數據。然而歸集數據愈多，數據質量問題愈突出。為了提高收集的數據的質量，在從多個數據源收集數據的過程中，需要對收集的數據進行數據質量稽核。

目前的數據質量稽核的方法包括：從歸集的各個單位數據集中選擇待稽查數據集，獲取待稽查數據集的待稽查屬性，根據數據質量標準規范，由業務定義明確待稽查屬性適用的質量規則，按數據集人工配置產生質量稽查任務，依據稽查任務對待稽查數據集進行稽核處理，產生質量稽核任務對應的稽核腳本程序，執行待稽查數據集的待稽查屬性的稽核程序。其中，業務定義明確適用各個待稽查數據集的待稽查屬性的質量規則。然而上述方法中，每個待稽查數據集的稽查任務均需人工配置一次，稽核效率比較低，若業務規則調整，涉及一或多個待稽查數據集的稽查任務配置需返工修改，導致配置任務工作繁重。

發明內容

本發明提供了一種數據質量稽核引擎及其稽核方法，用以解決現有技術中稽核效率較低，配置任務工作繁重的問題。

為解決上述技術問題，本發明提供了一種數據質量稽核方法，其包括：1)獲取待稽查數據集的元數據和數據質量標準規范的質量規則項，從所述質量規則項中提取對應的特征詞，所述元數據包括數據集名稱、數據屬性名稱和數據屬性注釋；2)將所述特征詞與所述元數據中的數據屬性名稱或者數據屬性注釋進行匹配，建立質量規則項和所述元數據中每個屬性的關聯關系；3)基于所述待稽查數據集中的屬性和所述關聯關系得到稽核任務；4)基于所述稽核任務與質量規則項對應的稽核處理方法，獲得所述待稽查數據集的稽核處理方法，以生成所述待稽查數據集的稽核腳本；5)運行所述稽核腳本對所述待稽查數據集進行稽查以獲得稽核結果。

上述技術方案的有益效果為：該數據質量稽核方法利用待稽核數據集的元數據和引用的數據質量標準規范的質量規則項的特征詞，建立質量規則項與元數據中每個屬性的關聯關系，以自動化匹配待稽核數據集適用的稽查規則；基于待稽查數據集的屬性和關聯關系創建稽核任務，以自動生成待稽查數據集的稽核腳本，運行稽核腳本對待稽查數據集進行稽查以獲得稽核結果。整個稽核過程自動匹配質量規則、自動生成稽核腳本，避免了人工匹配數據集適用的質量規則導致效率低、準確性差以及過程繁瑣的問題，且能夠提高了稽核效率。

進一步地，為了提高建立的關聯關系的準確性，本發明提供了一種數據質量稽核方法，還包括所述步驟2)中進行匹配所采用的匹配方法是正則表達式算法或JaroDistance字符串相似性度量算法。

進一步地，為了更好地提高稽核效率，本發明提供了一種數據質量稽核方法，還包括所述元數據還包括數據集記錄數，若數據集記錄數為零，則該待稽查數據集為空數據集，不對該待稽查數據集進行稽查。