[發(fā)明專利]一種數(shù)據(jù)清洗方法、裝置、計算機設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111211420.0
• 申請日: 2021-10-18
• 公開（公告）號: CN113935421A
• 公開（公告）日: 2022-01-14
• 發(fā)明（設(shè)計）人: 楊鴻林;張云龍;潘安金;郭志;廖永健;江吉兵
• 申請（專利權(quán)）人: 湖北億緯動力有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 劉臣剛

本發(fā)明實施例提供了一種數(shù)據(jù)清洗方法、裝置、計算機設(shè)備和存儲介質(zhì)，該方法包括：從待清洗數(shù)據(jù)中查找與預設(shè)特征值匹配的特征數(shù)據(jù)，特征值為根據(jù)無效數(shù)據(jù)所生成的值，進一步計算特征數(shù)據(jù)的置信度，當根據(jù)置信度確定特征數(shù)據(jù)為無效數(shù)據(jù)時，對待清洗數(shù)據(jù)中的、確定為無效數(shù)據(jù)的特征數(shù)據(jù)清洗得到清洗后的數(shù)據(jù)，由于通過計算置信度來確定特征數(shù)據(jù)是否為無效數(shù)據(jù)，避免了與預設(shè)特征值匹配的有效的特征數(shù)據(jù)被清洗掉，提升了識別無效數(shù)據(jù)的準確性，實現(xiàn)了準確清洗無效數(shù)據(jù)，通過清洗后的數(shù)據(jù)進行大數(shù)據(jù)分析，能夠提高汽車大數(shù)據(jù)分析的準確性。

技術(shù)領(lǐng)域

本發(fā)明實施例涉及汽車數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)清洗方法、裝置、計算機設(shè)備和存儲介質(zhì)。

背景技術(shù)

新能源汽車在國家的大力推動下，多數(shù)車企都建立了車聯(lián)網(wǎng)平臺，但是由于傳感器或者傳輸?shù)腡BOX質(zhì)量問題，抑或車輛在穿越隧道或者在地下時等信號弱的地段時，由于網(wǎng)絡(luò)信號延時導致新能源汽車傳輸?shù)臄?shù)據(jù)信號出現(xiàn)無效或者缺失，即可能產(chǎn)生無效數(shù)據(jù)，為了更好地實現(xiàn)對汽車上傳數(shù)據(jù)的大數(shù)據(jù)分析，則需要對無效數(shù)據(jù)進行清洗，保證大數(shù)據(jù)算法的模型和結(jié)果的準確性。

現(xiàn)有清洗無效數(shù)據(jù)的方法主要為：預先設(shè)置默認的無效數(shù)據(jù)，在識別數(shù)據(jù)中存在無效數(shù)據(jù)時將無效數(shù)據(jù)刪除，但當數(shù)據(jù)有效卻恰好等于該默認的無效數(shù)據(jù)時，以上方法容易誤刪有效的數(shù)據(jù)，影響汽車大數(shù)據(jù)分析的準確性。

發(fā)明內(nèi)容

本發(fā)明實施例提出了一種數(shù)據(jù)清洗方法、裝置、計算機設(shè)備和存儲介質(zhì)，以解決現(xiàn)有方法可能會誤刪有效數(shù)據(jù)，影響汽車大數(shù)據(jù)分析的準確性的問題。

第一方面，本發(fā)明實施例提供了一種數(shù)據(jù)清洗方法，包括：

從待清洗數(shù)據(jù)中查找與預設(shè)特征值匹配的特征數(shù)據(jù)，所述特征值為根據(jù)無效數(shù)據(jù)所生成的值；

計算所述特征數(shù)據(jù)的置信度；

當根據(jù)所述置信度確定所述特征數(shù)據(jù)為無效數(shù)據(jù)時，對所述待清洗數(shù)據(jù)中的、確定為無效數(shù)據(jù)的所述特征數(shù)據(jù)進行清洗，得到清洗后的數(shù)據(jù)。

可選地，計算所述特征數(shù)據(jù)的置信度，包括：

獲取所述特征數(shù)據(jù)的第一參考數(shù)據(jù)；

基于所述第一參考數(shù)據(jù)計算所述特征數(shù)據(jù)的至少一個置信度；

和/或，

將所述特征數(shù)據(jù)輸入數(shù)據(jù)檢測模型中確定所述特征數(shù)據(jù)的置信度。

可選地，在所述當根據(jù)所述置信度確定所述特征數(shù)據(jù)為無效數(shù)據(jù)時，對所述待清洗數(shù)據(jù)中的、確定為無效數(shù)據(jù)的所述特征數(shù)據(jù)清洗，得到清洗后的數(shù)據(jù)之前，還包括：

根據(jù)所述置信度判斷所述特征數(shù)據(jù)是否為無效數(shù)據(jù)。

可選地，所述根據(jù)所述置信度判斷所述特征數(shù)據(jù)是否為無效數(shù)據(jù)，包括：

若所述置信度的數(shù)量為多個，對所述置信度加權(quán)求和得到所述特征數(shù)據(jù)的總評分；

在所述總評分大于預設(shè)值時確定所述特征數(shù)據(jù)為無效數(shù)據(jù)；

在所述總評分小于預設(shè)值時確定所述特征數(shù)據(jù)為有效數(shù)據(jù)。

可選地，述當根據(jù)所述置信度確定所述特征數(shù)據(jù)為無效數(shù)據(jù)時，對所述待清洗數(shù)據(jù)中的、確定為無效數(shù)據(jù)的所述特征數(shù)據(jù)清洗，得到清洗后的數(shù)據(jù)，包括：

獲取確定為無效數(shù)據(jù)的所述特征數(shù)據(jù)的時間戳；

統(tǒng)計所述時間戳下確定為無效數(shù)據(jù)的特征數(shù)據(jù)的總數(shù)量；

判斷所述總數(shù)量是否大于預設(shè)數(shù)量；

若是，刪除所述時間戳下的所有數(shù)據(jù)；

若否，確定目標數(shù)據(jù)；