[發明專利]數據清洗方法及裝置

在審

• 申請號: 201710552485.9
• 申請日: 2017-07-07
• 公開（公告）號: CN107239581A
• 公開（公告）日: 2017-10-10
• 發明（設計）人: 唐銳;秦鋒劍
• 申請（專利權）人: 小草數語（北京）科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙)11201
• 代理人: 張潤

技術領域

本發明涉及計算機領域，尤其涉及一種數據清洗方法及裝置。

背景技術

信息技術的飛速發展使得眾多信息系統積累了海量的業務數據，數據分析、數據挖掘和人工智能等技術的逐步成熟使得這些數據轉化為更好服務于業務的知識成為可能。數據分析、數據挖掘需要以數據整合為前提，而數據整合的首要工作是數據清洗，即識別并處理臟數據、保留干凈的數據，以保證數據質量，進而學習出高質量的知識。

現有的數據清洗方法多依賴于人工的領域知識、經驗和技能，根據各自對數據的學習、理解，主觀地判別數據情況，再利用Excel、文本處理工具、簡易的數據處理工具，或者編寫相應的計算機程序腳本、代碼，對數據進行清洗，以獲得符合要求的數據。

然而，現有的數據清洗方法工作量較大，特別是多源異構、非結構化的數據，工作任務尤其繁重；通過人工的方式識別數據情況具有較強的主觀性，清洗方法不夠規范，清洗結果不統一。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的第一個目的在于提出一種數據清洗方法，以實現數據的自動清洗，降低數據清洗的工作量和人工參與度，提高方法的復用性，解決現有技術中工作量大、人工參與度和主觀性高、不規范的問題。

本發明的第二個目的在于提出一種數據清洗裝置。

本發明的第三個目的在于提出另一種數據清洗裝置。

本發明的第四個目的在于提出一種計算機程序產品。

本發明的第五個目的在于提出一種非臨時性計算機可讀存儲介質。

為達上述目的，本發明第一方面實施例提出了一種數據清洗方法，包括：

對待清洗的第一數據進行結構化處理，得到結構化的目標數據；所述目標數據中包括需要清洗的數據字段；

確定各數據字段對應的屬性以及從屬于各屬性的清洗規則；

利用從屬于各屬性的清洗規則形成清洗規則集；

基于所述清洗規則集對所述目標數據進行清洗。

本發明實施例的數據清洗方法，通過對待清洗的第一數據進行結構化處理得到結構化的目標數據，確定各數據字段對應的屬性以及從屬于各屬性的清洗規則，利用從屬于各屬性的清洗規則形成清洗規則集，基于清洗規則集對目標數據進行清洗。由此，能夠實現數據的自動清洗，降低數據清洗的工作量和人工參與度，提高方法的復用性。

為達上述目的，本發明第二方面實施例提出了一種數據清洗裝置，包括：

處理模塊，用于對待清洗的第一數據進行結構化處理，得到結構化的目標數據；所述目標數據中包括需要清洗的數據字段；

確定模塊，用于確定各數據字段對應的屬性以及從屬于各屬性的清洗規則；

第一生成模塊，用于利用從屬于各屬性的清洗規則形成清洗規則集；

清洗模塊，用于基于所述清洗規則集對所述目標數據進行清洗。

本發明實施例的數據清洗裝置，通過對待清洗的第一數據進行結構化處理得到結構化的目標數據，確定各數據字段對應的屬性以及從屬于各屬性的清洗規則，利用從屬于各屬性的清洗規則形成清洗規則集，基于清洗規則集對目標數據進行清洗。由此，能夠實現數據的自動清洗，降低數據清洗的工作量和人工參與度，提高方法的復用性。

為達上述目的，本發明第三方面實施例提出了另一種數據清洗裝置，包括：處理器和存儲器；其中，所述處理器通過讀取所述存儲器中存儲的可執行程序代碼來運行與所述可執行程序代碼對應的程序，以用于實現第一方面實施例所述的數據清洗方法。

為達上述目的，本發明第四方面實施例提出了一種計算機程序產品，當所述計算機程序產品中的指令由處理器執行時，執行如第一方面實施例所述的數據清洗方法。

為達上述目的，本發明第五方面實施例提出了一種非臨時性計算機可讀存儲介質，其上存儲有計算機程序，當計算機程序被處理器執行時實現如第一方面實施例所述的數據清洗方法。

本發明附加的方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發明的實踐了解到。

附圖說明

本發明上述的和/或附加的方面和優點從下面結合附圖對實施例的描述中將變得明顯和容易理解，其中：

圖1為本發明一實施例提出的數據清洗方法的流程示意圖；

圖2為本發明另一實施例提出的數據清洗方法的流程示意圖；

圖3為本發明又一實施例提出的數據清洗方法的流程示意圖；

圖4為本發明一實施例提出的數據清洗裝置的結構示意圖；