[發(fā)明專利]一種數(shù)據(jù)清洗方法、裝置、計算機(jī)設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111211420.0
• 申請日: 2021-10-18
• 公開（公告）號: CN113935421A
• 公開（公告）日: 2022-01-14
• 發(fā)明（設(shè)計）人: 楊鴻林;張云龍;潘安金;郭志;廖永健;江吉兵
• 申請（專利權(quán)）人: 湖北億緯動力有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 劉臣剛

1.一種數(shù)據(jù)清洗方法，其特征在于，包括：

從待清洗數(shù)據(jù)中查找與預(yù)設(shè)特征值匹配的特征數(shù)據(jù)，所述特征值為根據(jù)無效數(shù)據(jù)所生成的值；

計算所述特征數(shù)據(jù)的置信度；

當(dāng)根據(jù)所述置信度確定所述特征數(shù)據(jù)為無效數(shù)據(jù)時，對所述待清洗數(shù)據(jù)中的、確定為無效數(shù)據(jù)的所述特征數(shù)據(jù)進(jìn)行清洗，得到清洗后的數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述計算所述特征數(shù)據(jù)的置信度，包括：

獲取所述特征數(shù)據(jù)的第一參考數(shù)據(jù)；

基于所述第一參考數(shù)據(jù)計算所述特征數(shù)據(jù)的至少一個置信度；

和/或，

將所述特征數(shù)據(jù)輸入數(shù)據(jù)檢測模型中確定所述特征數(shù)據(jù)的置信度。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述當(dāng)根據(jù)所述置信度確定所述特征數(shù)據(jù)為無效數(shù)據(jù)時，對所述待清洗數(shù)據(jù)中的、確定為無效數(shù)據(jù)的所述特征數(shù)據(jù)清洗，得到清洗后的數(shù)據(jù)之前，還包括：

根據(jù)所述置信度判斷所述特征數(shù)據(jù)是否為無效數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述置信度判斷所述特征數(shù)據(jù)是否為無效數(shù)據(jù)，包括：

若所述置信度的數(shù)量為多個，對所述置信度加權(quán)求和得到所述特征數(shù)據(jù)的總評分；

在所述總評分大于預(yù)設(shè)值時確定所述特征數(shù)據(jù)為無效數(shù)據(jù)；

在所述總評分小于預(yù)設(shè)值時確定所述特征數(shù)據(jù)為有效數(shù)據(jù)。

5.根據(jù)權(quán)利要求1-4任一項所述的方法，其特征在于，所述當(dāng)根據(jù)所述置信度確定所述特征數(shù)據(jù)為無效數(shù)據(jù)時，對所述待清洗數(shù)據(jù)中的、確定為無效數(shù)據(jù)的所述特征數(shù)據(jù)清洗，得到清洗后的數(shù)據(jù)，包括：

獲取確定為無效數(shù)據(jù)的所述特征數(shù)據(jù)的時間戳；

統(tǒng)計所述時間戳下確定為無效數(shù)據(jù)的特征數(shù)據(jù)的總數(shù)量；

判斷所述總數(shù)量是否大于預(yù)設(shè)數(shù)量；

若是，刪除所述時間戳下的所有數(shù)據(jù)；

若否，確定目標(biāo)數(shù)據(jù)；

采用所述目標(biāo)數(shù)據(jù)替換確定為無效數(shù)據(jù)的所述特征數(shù)據(jù)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述確定目標(biāo)數(shù)據(jù)，包括：

獲取與所述時間戳間隔時長在預(yù)設(shè)時長內(nèi)的、與所述特征數(shù)據(jù)同類型的數(shù)據(jù)作為第二參考數(shù)據(jù)；

根據(jù)所述第二參考數(shù)據(jù)和預(yù)設(shè)填補(bǔ)算法計算目標(biāo)數(shù)據(jù)。

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述預(yù)設(shè)填補(bǔ)算法為均值填補(bǔ)法、中位數(shù)填補(bǔ)法、眾數(shù)填補(bǔ)、熱卡填補(bǔ)法、最近距離決定填補(bǔ)法、回歸填補(bǔ)法、多重填補(bǔ)方法、基于貝葉斯方法中的一種。

8.一種數(shù)據(jù)清洗裝置，其特征在于，包括：

特征數(shù)據(jù)查找模塊，用于從待清洗數(shù)據(jù)中查找與預(yù)設(shè)特征值匹配的特征數(shù)據(jù)，所述特征值為根據(jù)無效數(shù)據(jù)所生成的值；

置信度計算模塊，用于計算所述特征數(shù)據(jù)的置信度；

無效數(shù)據(jù)清洗模塊，用于當(dāng)根據(jù)所述置信度確定所述特征數(shù)據(jù)為無效數(shù)據(jù)時，對所述待清洗數(shù)據(jù)中的、確定為無效數(shù)據(jù)的所述特征數(shù)據(jù)清洗，得到清洗后的數(shù)據(jù)。

9.一種計算機(jī)設(shè)備，其特征在于，所述計算機(jī)設(shè)備包括：

一個或多個處理器；

存儲器，用于存儲一個或多個計算機(jī)程序，

當(dāng)所述一個或多個計算機(jī)程序被所述一個或多個處理器執(zhí)行，使得所述一個或多個處理器實現(xiàn)如權(quán)利要求1-7中任一項所述的數(shù)據(jù)清洗方法。

10.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，所述計算機(jī)可讀存儲介質(zhì)上存儲計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-7中任一項所述的數(shù)據(jù)清洗方法。