[發明專利]一種無監督的數據自動清洗方法

有效

• 申請號: 201811325335.5
• 申請日: 2018-11-08
• 公開（公告）號: CN109491991B
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 李玲;唐軍;吳純彬;于躍;陳秋宇
• 申請（專利權）人: 四川長虹電器股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06K9/62
• 代理公司: 四川省成都市天策商標專利事務所(有限合伙) 51213
• 代理人: 吳瑞芳

1.一種無監督的數據自動清洗方法，其特征在于，包括以下步驟：

A.數據模型學習，從可能包含無效數據的原始數據中學習屬性之間的依賴關系，通過找出隱含的非絕對的或者相對較弱的依賴關系，得到用貝葉斯網絡的形式表示的數據模型；

B.數據清洗規則的生成；在得到原始數據或者原始數據采樣的完整的數據模型之后即進行數據清洗規則的生成，并具體生成謂詞和一階謂詞規則；

C.基于步驟B中生成的謂詞和一階謂詞規則生成馬爾科夫邏輯網絡；

D.基于步驟C中生成的馬爾科夫邏輯網絡進行推理規則的生成和基于推理結果進行數據的清洗。

2.根據權利要求1所述的一種無監督的數據自動清洗方法，其特征在于，所述步驟A具體包括：

A1.對待修復數據即可能包含無效數據的原始數據進行評估和采樣；

A2.對原始數據集或者采樣后的數據集進行學習，得到用貝葉斯網絡的形式表示的數據模型的結構；

A3.對原始數據集或者采樣后的數據集進行學習得到數據模型的參數，其具體形式為依賴關系的條件概率表；

A4.合并數據模型的結構和數據模型的參數，得到完整的數據模型。

3.根據權利要求2所述的一種無監督的數據自動清洗方法，其特征在于，所述步驟B具體包括：

B1.定義用于表示主體之間關系的關系常量；

B2.根據步驟A4中得到的完整的數據模型生成對應的一階謂詞邏輯表達式：具體包括依據學習得到的貝葉斯網絡生成謂詞和一階謂詞規則即一階謂詞邏輯表達式，針對單個屬性指向一個屬性和多個屬性指向一個屬性的不同情況，分別制定依賴關系轉換為一階謂詞邏輯表達式的轉換規則。

4.根據權利要求3所述的一種無監督的數據自動清洗方法，其特征在于，所述步驟B2中；

當為單個屬性指向一個屬性時，即屬性A₁和A₂之間存在一條有向邊且從A₁指向A₂，則將A₁和A₂之間的依賴關系形式化為如下的一階謂詞邏輯：

其中v是元組id₁和id₂的A屬性值；

當為多個屬性指向一個屬性時，屬性A₁、A₂、…、A_i同時指向A_j，則其依賴關系形式化為如下的一階謂詞邏輯：

其中，v₁、v₂、…、v_i是元組id₁和id₂在屬性A₁、A₂、…、A_i上的屬性值。

5.根據權利要求3所述的一種無監督的數據自動清洗方法，其特征在于，所述步驟C具體包括：

C1.對生成的一階謂詞規則進行區分，分為絕對規則和非絕對規則；

C2.對一階謂詞邏輯進行權重的計算，包括針對絕對規則和非絕對規則分別制定不同的權重計算策略，其中，對絕對規則的權重賦值為正無窮大，對非絕對規則使用互信息計算這些規則的權重；

C3.根據步驟B2生成的一階謂詞規則，基于規則涉及的屬性之間的互信息計算規則的權重；

C4.根據步驟C3中的權重計算結果，得到原始數據集或者采樣后的數據集的馬爾可夫邏輯網絡。

6.根據權利要求5所述的一種無監督的數據自動清洗方法，其特征在于，所述步驟C3具體包括：

C3.1針對一條一階謂詞邏輯規則涉及到兩個屬性的情況，利用兩個屬性在原始數據集或者采樣后的數據集上的互信息進行規則權重的計算；

所述互信息是一個取值范圍在0和1之間的實數，如果屬性完全相關，則互信息為1，如果完全不相關，則互信息為0；

C3.2在進行規則權重的計算的時候，引入指數函數進行計算，確保權重結果為不小于0的數。