[發明專利]數據清洗方法、模型訓練方法、裝置、存儲介質及設備

在審

• 申請號: 201910282171.0
• 申請日: 2019-04-09
• 公開（公告）號: CN111797078A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 陳仲銘;何明
• 申請（專利權）人: OPPO廣東移動通信有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06N20/00
• 代理公司: 深圳翼盛智成知識產權事務所(普通合伙) 44300
• 代理人: 黃威

本申請實施例公開了一種數據清洗方法、模型訓練方法、裝置、存儲介質及設備，其中，可以首先獲取需要進行數據清洗的待清洗數據，以及獲取待清洗數據的清洗需求，然后根據獲取到的待清洗數據、清洗需求以及預先訓練的清洗規則分類模型，確定出用于對待清洗數據進行數據清洗的目標清洗規則，最后根據確定出的目標清洗規則對待清洗數據進行數據清洗，使得對待清洗數據的清洗效果滿足清洗需求。由此，只要預先訓練得到清洗規則分類模型，后續即可利用該清洗規則分類模型實現對數據的自動清洗，而無需過多的人工參與，不僅降低了數據清洗的人力成本，更提高了數據清洗的效率。

技術領域

本申請涉及數據處理技術領域，具體涉及一種數據清洗方法、模型訓練方法、裝置、存儲介質及設備。

背景技術

目前，如何對海量的數據進行處理已經成為電子設備不得不面對的考驗，而對數據進行處理的首要工作就是數據清洗，通俗的說，即識別并濾除“臟數據”、保留“干凈數據”。然而，相關技術中在進行數據清洗時，往往依賴于人工的領域知識、經驗等，導致了大量的人力資源消耗，使得數據清洗的人力成本較高。

發明內容

本申請實施例提供了一種數據清洗方法、模型訓練方法、裝置、存儲介質及設備，能夠降低數據清洗的人力成本。

第一方面，本申請實施例提供了一種數據清洗方法，應用于電子設備，該數據清洗方法包括：

獲取需要進行數據清洗的待清洗數據；

獲取所述待清洗數據的清洗需求；

根據所述待清洗數據、所述清洗需求以及預訓練的清洗規則分類模型，確定用于對所述待清洗數據進行數據清洗的目標清洗規則；

根據所述目標清洗規則對所述待清洗數據進行數據清洗，使得對所述待清洗數據的清洗效果滿足所述清洗需求；

其中，所述清洗規則分類模型利用表征清洗規則的清洗規則特征作為目標輸出、表征所述清洗規則對應的待清洗樣本數據及其清洗效果的聯合特征作為訓練輸入，進行模型訓練得到。

第二方面，本申請實施例提供了一種模型訓練方法，應用于電子設備，該模型訓練方法包括：

獲取多個清洗規則，以及獲取對應各所述清洗規則的待清洗樣本數據；

獲取各所述清洗規則對其對應的待清洗樣本數據進行數據清洗的清洗效果；

獲取各所述待清洗樣本數據及其對應的清洗效果的聯合特征，以及獲取各所述清洗規則的清洗規則特征；

將各所述聯合特征作為訓練輸入、將各所述聯合特征對應的清洗規則特征作為目標輸出進行模型訓練，得到清洗規則分類模型。

第三方面，本申請實施例提供了一種數據清洗裝置，應用于電子設備，該數據清洗裝置包括：

數據獲取模塊，用于獲取需要進行數據清洗的待清洗數據；

需求獲取模塊，用于獲取所述待清洗數據的清洗需求；

規則確定模塊，用于根據所述待清洗數據、所述清洗需求以及預訓練的清洗規則分類模型，確定用于對所述待清洗數據進行數據清洗的目標清洗規則；

數據清洗模塊，用于根據所述目標清洗規則對所述待清洗數據進行數據清洗，使得對所述待清洗數據的清洗效果滿足所述清洗需求；

其中，所述清洗規則分類模型利用表征清洗規則的清洗規則特征作為目標輸出、表征所述清洗規則對應的待清洗樣本數據及其清洗效果的聯合特征作為訓練輸入，進行模型訓練得到。

第四方面，本申請實施例提供了一種模型訓練裝置，應用于電子設備，該模型訓練裝置包括：

第一獲取模塊，用于獲取多個清洗規則，以及獲取對應各所述清洗規則的待清洗樣本數據；