[發明專利]數據清洗方法、裝置、存儲介質及電子設備

在審

• 申請號: 201910282140.5
• 申請日: 2019-04-09
• 公開（公告）號: CN111797077A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 陳仲銘;何明
• 申請（專利權）人: OPPO廣東移動通信有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 深圳翼盛智成知識產權事務所(普通合伙) 44300
• 代理人: 黃威

本申請公開了一種數據清洗方法、裝置、存儲介質及電子設備，電子設備可以獲取需要進行數據清洗的待清洗數據集合，識別待清洗數據集合中各待清洗數據對應的用戶主體，以及識別待清洗數據集合中各待清洗數據對應的事件，對待清洗數據集合中用戶主體和事件均重復的待清洗數據進行去重處理，得到去重后的待清洗數據集合。由此，不僅提升了數據質量，更節省了數據存儲空間。

技術領域

本申請涉及計算機技術領域，尤其涉及一種數據清洗方法、裝置、存儲介質及電子設備。

背景技術

目前，如何對海量的數據進行數據分析已經成為電子設備不得不面對的考驗，而對數據進行數據分析的首要工作就是數據清洗，通俗的說，即識別并濾除“臟數據”、保留“干凈數據”。

發明內容

第一方面，本申請實施例提供一種數據清洗方法，應用于電子設備，包括：

獲取需要進行數據清洗的待清洗數據集合，所述待清洗數據集合包括多個待清洗數據；

識別所述待清洗數據集合中各待清洗數據對應的用戶主體；

識別所述待清洗數據集合中各待清洗數據對應的事件；

對所述待清洗數據集合中用戶主體和事件均重復的待清洗數據進行去重處理，得到去重后的待清洗數據集合。

第二方面，本申請實施例提供一種數據清洗裝置，應用于電子設備，包括：

數據獲取模塊，用于獲取需要進行數據清洗的待清洗數據集合，所述待清洗數據集合包括多個待清洗數據；

主體識別模塊，用于識別所述待清洗數據集合中各待清洗數據對應的用戶主體；

事件識別模塊，用于識別所述待清洗數據集合中各待清洗數據對應的事件；

數據清洗模塊，用于對所述待清洗數據集合中用戶主體和事件均重復的待清洗數據進行去重處理，得到去重后的待清洗數據集合。

第三方面，本申請實施例提供一種存儲介質，其上存儲有計算機程序，其中，當所述計算機程序在計算機上執行時，使得所述計算機執行本申請實施例提供的數據清洗方法中的步驟。

第四方面，本申請實施例提供一種電子設備，包括存儲器，處理器，所述處理器通過調用所述存儲器中存儲的計算機程序，用于執行本申請實施例提供的數據清洗方法中的步驟。

在本申請實施例中，電子設備可以獲取需要進行數據清洗的待清洗數據集合，識別待清洗數據集合中各待清洗數據對應的用戶主體，以及識別待清洗數據集合中各待清洗數據對應的事件，對待清洗數據集合中用戶主體和事件均重復的待清洗數據進行去重處理，得到去重后的待清洗數據集合。由此，不僅提升了數據質量，更節省了數據存儲空間。

附圖說明

為了更清楚地說明本申請實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的一些實施例，對于本領域技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1是本申請實施例提供的全景感知架構的結構示意圖。

圖2是本申請實施例提供的數據清洗方法的一流程示意圖。

圖3是本申請實施例中電子設備對待清洗數據集合進行去重的示意圖。

圖4是本申請實施例提供的數據清洗方法的另一流程示意圖。

圖5是本申請實施例中提供的數據清洗方法的應用場景示意圖。

圖6是本申請實施例提供的數據清洗裝置的結構示意圖。

圖7是本申請實施例提供的電子設備的一結構示意圖。