[發明專利]數據質量確定方法、裝置、電子設備及存儲介質

有效

• 申請號: 201811525693.0
• 申請日: 2018-12-13
• 公開（公告）號: CN110019174B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 張敏
• 申請（專利權）人: 創新先進技術有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/28
• 代理公司: 北京晉德允升知識產權代理有限公司 11623
• 代理人: 王戈

本公開實施例公開了一種數據質量確定方法、裝置、電子設備及存儲介質。其中，所述方法包括：獲取目標應用場景下與待評價數據質量相關的預設因子；其中，預設因子包括以下至少之一：待評價數據所在目標數據源在目標應用場景下前一時間周期的質量、待評價數據在目標應用場景下當前時間周期的應用效能、目標數據源中預設種子數據集在目標應用場景下前一時間周期的質量、與待評價數據的相關數據在目標應用場景下前一時間周期的質量；根據預設因子確定待評價數據在目標應用場景下當前時間周期的質量。本公開實施例能夠在多數據源、多應用的大數據環境下，對待評價數據進行價值量化評估，并隨著時間周期波動而不斷變化。

技術領域

本公開涉及計算機技術領域，具體涉及一種數據質量確定方法、裝置、電子設備及存儲介質。

背景技術

數據倉庫是一個面向主題的(Subject?Oriented)、集成的(Integrated)、相對穩定的(Non-Volatile)、反映歷史變化(Time?Variant)的數據集合，用于支持管理決策(Decision?Making?Support)。數據倉庫中的每一例數據應用于整個體系，理論上將產生正面或負面的作用，這個作用的量化評價值可以定義為應用效能；數據倉庫中每一條數據的價值可以基于應用效能而量化。

在大數據時代，數據質量直接關系到數據挖掘、機器學習的質量。同時，數據的質量及價值也會隨著時間而逐漸衰減，因此，需要在事中能量化評估數據的質量。

當前評估數據質量的方案通常是兩類：事前的定性評價和事前的量化評估。本公開發明人發現，這兩類數據質量評估方法都局限于事前評估，不能進行基于反饋的事中質量管理；沒有考慮到同一數據源的繼承關系，也沒有考慮到數據在實際應用中的價值波動；也沒有考慮大數據體系、多源數據體系中，數據質量因外部變化而產生的變化；數據質量評估模型或核心參數均為人定，非客觀。

發明內容

本公開實施例提供一種數據質量確定方法、裝置、電子設備及計算機可讀存儲介質。

第一方面，本公開實施例中提供了一種數據質量確定方法。

具體的，所述數據質量確定方法，包括：

獲取目標應用場景下與待評價數據質量相關的預設因子；其中，所述預設因子包括以下至少之一：所述待評價數據所在目標數據源在所述目標應用場景下前一時間周期的質量、所述待評價數據在所述目標應用場景下當前時間周期的應用效能、所述目標數據源中預設種子數據集在所述目標應用場景下前一時間周期的質量、與所述待評價數據的相關數據在所述目標應用場景下前一時間周期的質量；

根據所述預設因子確定所述待評價數據在所述目標應用場景下當前時間周期的質量。

進一步地，所述數據質量確定方法還包括：

確定所述待評價數據在所述目標應用場景下當前時間周期每次被調用后得到的多個反饋信息；

根據所述多個反饋信息確定所述待評價數據在所述目標應用場景下當前時間周期的應用效能。

進一步地，所述根據所述預設因子確定所述待評價數據在所述目標應用場景下當前時間周期的質量，包括以下至少之一：

根據所述目標數據源在所述目標應用場景下前一時間周期的質量、預設衰減因子確定所述待評價數據在所述目標應用場景下當前時間周期的質量；

根據所述待評價數據在所述目標應用場景下當前時間周期的應用效能、所述待評價數據在所述目標應用場景下當前時間周期被調用的次數，確定所述待評價數據在所述目標應用場景下當前時間周期的質量；

根據所述目標數據源中預設種子數據集在所述目標應用場景下前一時間周期的質量、所述種子數據集在所述目標應用場景下當前時間周期與所述待評價數據之間的相似度，確定所述待評價數據在所述目標應用場景下當前時間周期的質量；