[發明專利]數據清洗方法、裝置、存儲介質及電子設備

在審

• 申請號: 201910282140.5
• 申請日: 2019-04-09
• 公開（公告）號: CN111797077A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 陳仲銘;何明
• 申請（專利權）人: OPPO廣東移動通信有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 深圳翼盛智成知識產權事務所(普通合伙) 44300
• 代理人: 黃威

1.一種數據清洗方法，應用于電子設備，其特征在于，包括：

獲取需要進行數據清洗的待清洗數據集合，所述待清洗數據集合包括多個待清洗數據；

識別所述待清洗數據集合中各待清洗數據對應的用戶主體；

識別所述待清洗數據集合中各待清洗數據對應的事件；

對所述待清洗數據集合中用戶主體和事件均重復的待清洗數據進行去重處理，得到去重后的待清洗數據集合。

2.根據權利要求1所述的數據清洗方法，其特征在于，所述識別所述待清洗數據集合中各待清洗數據對應的用戶主體，包括：

獲取所述待清洗數據對應的用戶特征；

根據所述待清洗數據對應的用戶特征建立用戶畫像；

根據所述待清洗數據對應的用戶畫像識別其對應的用戶主體。

3.根據權利要求2所述的數據清洗方法，其特征在于，所述獲取所述待清洗數據對應的用戶特征，包括：

獲取所述待清洗數據對應的用戶描述信息集合，所述用戶描述信息集合包括多個不同維度的用戶描述信息；

將所述用戶描述信息集合輸入預先訓練的多通道神經網絡模型，得到所述多通道神經網絡模型輸出的所述待清洗數據的用戶特征。

4.根據權利要求1所述的數據清洗方法，其特征在于，所述識別所述待清洗數據集合中各待清洗數據對應的事件，包括：

獲取所述待清洗數據對應的事件特征；

根據所述待清洗數據的事件特征識別所述待清洗數據對應的事件。

5.根據權利要求4所述的數據清洗方法，其特征在于，所述根據所述待清洗數據的事件特征識別所述待清洗數據對應的事件包括：

獲取所述待清洗數據的事件特征與多個預定義事件的事件特征之間的相似度；

將相似度達到預設相似度的預定義事件作為所述待清洗數據所對應的事件。

6.根據權利要求5所述的數據清洗方法，其特征在于，所述獲取所述待清洗數據的事件特征與多個預定義事件的事件特征之間的相似度，包括：

獲取所述待清洗數據的事件特征與所述預定義事件的事件特征之間的特征距離；

將所述特征距離作為所述待清洗數據的事件特征與所述預定義事件的事件特征之間的相似度。

7.根據權利要求4所述的數據清洗方法，其特征在于，所述根據所述待清洗數據的事件特征識別所述待清洗數據對應的事件，包括：

根據所述待清洗數據的事件特征以及預先訓練的事件識別模型，識別所述待清洗數據對應的事件。

8.一種數據清洗裝置，應用于電子設備，其特征在于，包括：

數據獲取模塊，用于獲取需要進行數據清洗的待清洗數據集合，所述待清洗數據集合包括多個待清洗數據；

主體識別模塊，用于識別所述待清洗數據集合中各待清洗數據對應的用戶主體；

事件識別模塊，用于識別所述待清洗數據集合中各待清洗數據對應的事件；

數據清洗模塊，用于對所述待清洗數據集合中用戶主體和事件均重復的待清洗數據進行去重處理，得到去重后的待清洗數據集合。

9.一種存儲介質，其上存儲有計算機程序，其特征在于，當所述計算機程序在計算機上運行時，使得所述計算機執行如權利要求1至7任一項所述的數據清洗方法。

10.一種電子設備，包括處理器和存儲器，所述存儲器儲存有計算機程序，其特征在于，所述處理器通過調用所述計算機程序，用于執行如權利要求1至7任一項所述的數據清洗方法。