[發明專利]數據質量評估方法、裝置、計算機設備和存儲介質

在審

• 申請號: 201911231211.5
• 申請日: 2019-12-05
• 公開（公告）號: CN111026742A
• 公開（公告）日: 2020-04-17
• 發明（設計）人: 韓超;李勇波;盧子忱
• 申請（專利權）人: 東莞中國科學院云計算產業技術創新與育成中心
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 李姣姣

本申請涉及一種數據質量評估方法、裝置、計算機設備和存儲介質。所述方法包括：服務器獲取數據集，該數據集包括多個數據行，該數據行包括多個字段值；對于每個該數據行，服務器根據該數據行中各個字段值的完整性、精確性、正確性、唯一性以及時效性對該數據行的數據質量進行評估，得到該數據行的評估結果；服務器根據每個該數據行的評估結果對該數據集的數據質量進行評估，得到該數據集的評估結果。采用本方法能夠提高對數據質量評估的準確性。

技術領域

本申請涉及計算機技術領域，特別是涉及一種數據質量評估方法、裝置、計算機設備和存儲介質。

背景技術

隨著計算機技術的發展，大數據的應用也越來越廣泛，而大數據的應用必然需要大量的數據支持，數據質量的好壞可以直接影響著大數據的應用效果，因此，對于數據質量的評估成為了研究的熱點。

相關技術中，將數據存儲于數據庫中，當需要對數據質量進行評估時，從數據庫中調取需要評估的數據，該數據可以是多個字段值，對這多個字段值進行評估，進而，得到字段值的評估結果。

然而，只對每個字段值進行評估，無法得到綜合全面的評估結果，進而，降低了數據質量評估結果的準確性。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠提高數據質量評估的準確性的數據質量評估方法、裝置、計算機設備和存儲介質。

第一方面，提供了一種數據質量評估方法，該方法包括：

獲取數據集，該數據集包括多個數據行，該數據行包括多個字段值；

對于每個數據行，根據該數據行中各個字段值的完整性、精確性、正確性、唯一性以及時效性對該數據行的數據質量進行評估，得到該數據行的評估結果，其中，字段值的完整性用于表征字段值是否缺失，字段值的精確性用于表征字段值與預設字段值之間的接近程度，字段值的正確性用于表征字段值遵循預定的語法規則的程度，字段值的唯一性用于表征字段值在所在數據行中是否唯一，字段值的時效性用于表征字段值從產生到使用的時長；

根據每個該數據行的評估結果對該數據集的數據質量進行評估，得到該數據集的評估結果。

在其中一個實施例中，該根據該數據行中各個字段值的完整性、精確性、正確性、唯一性以及時效性對該數據行的數據質量進行評估，得到該數據行的評估結果，包括：

根據該數據行中各個字段值的完整性對該數據行的完整性進行評估，得到完整性評估結果；

根據該數據行中各個字段值的精確性對該數據行的精確性進行評估，得到精確性評估結果；

根據該數據行中各個字段值的正確性對該數據行的正確性進行評估，得到正確性評估結果；

根據該數據行中各個字段值的唯一性對該數據行的唯一性進行評估，得到唯一性評估結果；

根據該數據行中各個字段值的時效性對該數據行的時效性進行評估，得到時效性評估結果；

根據該完整性評估結果、該精確性評估結果、該正確性評估結果、該唯一性評估結果以及該時效性評估結果，得到該數據行的評估結果。

在其中一個實施例中，該根據該數據行中各個字段值的完整性對該數據行的完整性進行評估，得到完整性評估結果，包括：

獲取該數據行中各個字段值對應的完整性分值，該完整性分值用于指示對應的字段值是否缺失；

將該數據行中各個字段值對應的完整性分值進行相加，得到完整性總分值，將該完整性總分值作為該完整性評估結果。

在其中一個實施例中，該根據該數據行中各個字段值的精確性對該數據行的精確性進行評估，得到精確性評估結果，包括：