[發明專利]一種無監督的數據自動清洗方法

有效

• 申請號: 201811325335.5
• 申請日: 2018-11-08
• 公開（公告）號: CN109491991B
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 李玲;唐軍;吳純彬;于躍;陳秋宇
• 申請（專利權）人: 四川長虹電器股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06K9/62
• 代理公司: 四川省成都市天策商標專利事務所(有限合伙) 51213
• 代理人: 吳瑞芳

本發明公開了一種無監督的數據自動清洗方法，包括以下步驟：A.數據模型學習，從可能包含無效數據的原始數據中學習屬性之間的依賴關系，通過找出隱含的非絕對的或者相對較弱的依賴關系，得到用貝葉斯網絡的形式表示的數據模型；B.數據清洗規則的生成；在得到原始數據或者原始數據采樣的完整的數據模型之后即進行數據清洗規則的生成，并具體生成謂詞和一階謂詞規則；C.基于步驟B中生成的謂詞和一階謂詞規則生成馬爾科夫邏輯網絡；D.基于步驟C中生成的馬爾科夫邏輯網絡進行推理規則的生成和基于推理結果進行數據的清洗。本發明的方法可實現在無需耗費大量人力物力的情況下有效提高公司各業務系統的數據質量，有助于管理層做出正確決策。

技術領域

本發明涉及數據管理技術領域，特別涉及一種無監督的數據自動清洗方法。

背景技術

現實世界中的數據通常是需要清洗的(以下對需要進行清洗的數據定義為臟數據)，如可能包含諸如不一致的、存在噪聲的、不完整的或者重復的值。在商業領域，錯誤數據可能造成很大的經濟損失。如錯誤的客戶信息可能導致公司對客戶所購買商品的錯誤投遞，這不僅增加了企業的投遞成本，同時在相當長的時間內對企業的形象也有著較大的負面影響。

現有的數據清洗方法當中，一些方法在數據清洗過程中需要人工的重度參與，如對清洗提供建議或者確認修復等；一些方法雖然清洗過程中不需要人工參與，但是需要提前制定好相關的清洗規則。在數據規則未知或者人工成本難以承受的情況下，現有的數據清洗方法并不適用。考慮到當前數據清洗方法的現狀，本專利解決的就是無需事先定義好清洗規則同時無需人工參與情況下進行數據清洗，提升數據質量。

發明內容

本發明的目的是克服上述背景技術中不足，提供一種無監督的數據自動清洗方法，基于統計關系學習從數據中學習規則，基于概率推理進行數據清洗，可以有效提高數據清洗效率和效果，實現在無需耗費大量人力物力的情況下有效提高公司各業務系統的數據質量，提升用戶的滿意度，同時有助于管理層基于提升的數據質量做出正確決策。

為了達到上述的技術效果，本發明采取以下技術方案：

一種無監督的數據自動清洗方法，包括以下步驟：

A.數據模型學習，從可能包含無效數據的原始數據中學習屬性之間的依賴關系，通過找出隱含的非絕對的或者相對較弱的依賴關系，得到用貝葉斯網絡的形式表示的數據模型；

B.數據清洗規則的生成；在得到原始數據或者原始數據采樣的完整的數據模型之后即進行數據清洗規則的生成，并具體生成謂詞和一階謂詞規則即一階謂詞邏輯表達式；

C.基于步驟B中生成的謂詞和一階謂詞規則生成馬爾科夫邏輯網絡；

D.基于步驟C中生成的馬爾科夫邏輯網絡進行推理規則的生成和基于推理結果進行數據的清洗。

進一步地，所述步驟A具體包括：

A1.對待修復數據即可能包含無效數據的原始數據進行評估和采樣；

A2.對原始數據集或者采樣后的數據集進行學習，得到用貝葉斯網絡的形式表示的數據模型的結構；貝葉斯網絡的結構反映了數據屬性之間的依賴關系和依賴程度，

A3.對原始數據集或者采樣后的數據集進行學習得到數據模型的參數，其具體形式為依賴關系的條件概率表；

A4.合并數據模型的結構和數據模型的參數，得到完整的數據模型。進一步地，所述步驟B具體包括：

B1.定義用于表示主體之間關系的關系常量；

B2.根據步驟A4中得到的完整的數據模型生成對應的一階謂詞邏輯表達式：具體包括依據學習得到的貝葉斯網絡生成謂詞和一階謂詞規則，針對單個屬性指向一個屬性和多個屬性指向一個屬性的不同情況，分別制定依賴關系轉換為一階謂詞邏輯表達式的轉換規則。