[發(fā)明專利]一種數(shù)據(jù)清洗方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010016926.5
• 申請(qǐng)日: 2020-01-08
• 公開（公告）號(hào): CN111241079A
• 公開（公告）日: 2020-06-05
• 發(fā)明（設(shè)計(jì)）人: 王宏志;丁小歐;蘇佳軒
• 申請(qǐng)（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215
• 代理公司: 北京格允知識(shí)產(chǎn)權(quán)代理有限公司 11609
• 代理人: 周嬌嬌

本發(fā)明涉及一種數(shù)據(jù)清洗方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)；該方法包括獲取結(jié)構(gòu)化數(shù)據(jù)和時(shí)效約束，對(duì)所有元組建立時(shí)序圖，并經(jīng)傳遞規(guī)約后得到時(shí)效子圖；基于時(shí)序子圖計(jì)算每條元組的時(shí)效值；以時(shí)效性?一致性聯(lián)合修復(fù)距離作為指標(biāo)，計(jì)算錯(cuò)誤元組和高質(zhì)量元組之間的編輯距離，選擇滿足一致性規(guī)則約束，且與該錯(cuò)誤元組時(shí)效值最為接近的修復(fù)模式對(duì)錯(cuò)誤元組進(jìn)行一致性修復(fù)；利用貝葉斯填充方法，將元組的時(shí)效值作為該元組的新增屬性參與貝葉斯的訓(xùn)練過程，實(shí)現(xiàn)對(duì)缺失值的填充；得到清洗后的數(shù)據(jù)集。本發(fā)明能夠?qū)?shù)據(jù)集中同時(shí)存在的時(shí)間戳不可用、不完整屬性值、不一致屬性值這三種數(shù)據(jù)質(zhì)量問題進(jìn)行有效地識(shí)別和修復(fù)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)清洗技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)清洗方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

數(shù)據(jù)清洗作為數(shù)據(jù)預(yù)處理環(huán)節(jié)的重要步驟，在數(shù)據(jù)倉庫、數(shù)據(jù)質(zhì)量管理和數(shù)據(jù)挖掘等領(lǐng)域有廣泛應(yīng)用。通過執(zhí)行數(shù)據(jù)清洗，能夠有效修復(fù)數(shù)據(jù)中的錯(cuò)誤，提高數(shù)據(jù)質(zhì)量。

在數(shù)據(jù)質(zhì)量管理技術(shù)中，時(shí)效性、完整性、一致性是評(píng)價(jià)數(shù)據(jù)質(zhì)量的三個(gè)重要因素。目前，現(xiàn)有技術(shù)通常只針對(duì)其中單一的某個(gè)因素進(jìn)行數(shù)據(jù)清洗，且已有的數(shù)據(jù)清洗方法往往不考慮數(shù)據(jù)質(zhì)量問題的時(shí)效性因素，易導(dǎo)致數(shù)據(jù)清洗方法的可靠性和準(zhǔn)確性降低，造成更多的誤判和漏判。而結(jié)構(gòu)化數(shù)據(jù)中，時(shí)間標(biāo)記經(jīng)常發(fā)生時(shí)間戳缺失或不可用的情況，導(dǎo)致時(shí)效性因素難以被建模利用。同時(shí)，由于數(shù)據(jù)內(nèi)容的豐富性和復(fù)雜性，導(dǎo)致結(jié)構(gòu)化數(shù)據(jù)中錯(cuò)誤類型多，低質(zhì)量數(shù)據(jù)產(chǎn)生的緣由復(fù)雜，且通常存在多種類型的錯(cuò)誤問題，而目前已有的數(shù)據(jù)清洗方法，通常只能提供一些簡(jiǎn)單的數(shù)據(jù)清洗功能，不能檢測(cè)識(shí)別到數(shù)據(jù)中的復(fù)雜質(zhì)量問題。由于已有的數(shù)據(jù)清洗方法往往只能在一定限制條件下，針對(duì)某種錯(cuò)誤進(jìn)行檢測(cè)和修復(fù)，缺少針對(duì)多種數(shù)據(jù)質(zhì)量性質(zhì)的綜合性數(shù)據(jù)清洗策略，數(shù)據(jù)清洗質(zhì)量不佳。

發(fā)明內(nèi)容

本發(fā)明的目的是針對(duì)上述至少一部分不足之處，提供一種基于時(shí)效性、完整性、一致性的綜合的數(shù)據(jù)清洗方法，以解決現(xiàn)有技術(shù)中難以識(shí)別、修復(fù)結(jié)構(gòu)化數(shù)據(jù)中復(fù)雜質(zhì)量問題的缺陷。

為了實(shí)現(xiàn)上述目的，本發(fā)明提供了一種數(shù)據(jù)清洗方法，包括如下步驟：

S1、數(shù)據(jù)預(yù)處理：獲取待清洗的結(jié)構(gòu)化數(shù)據(jù)和時(shí)效約束，根據(jù)時(shí)效約束對(duì)結(jié)構(gòu)化數(shù)據(jù)中所有元組建立時(shí)序圖，并經(jīng)傳遞規(guī)約后，消除所述時(shí)序圖上的沖突，得到時(shí)效子圖；

S2、時(shí)效性判定：基于所述時(shí)序子圖計(jì)算每條元組的時(shí)效值，根據(jù)時(shí)效值量化各元組之間的時(shí)效順序；

S3、一致性修復(fù)：輸入CFD規(guī)則作為一致性規(guī)則，并從待清洗的結(jié)構(gòu)化數(shù)據(jù)中提取一致性規(guī)則模式，得到一致性規(guī)則約束集合；基于各元組的時(shí)效值及元組之間的時(shí)效順序，以時(shí)效性-一致性聯(lián)合修復(fù)距離作為指標(biāo)，計(jì)算錯(cuò)誤元組和高質(zhì)量元組之間的編輯距離，選擇滿足一致性規(guī)則約束，且與該錯(cuò)誤元組時(shí)效值最為接近的修復(fù)模式對(duì)錯(cuò)誤元組進(jìn)行一致性修復(fù)；

S4、完整性修復(fù)：對(duì)經(jīng)過一致性修復(fù)后的各個(gè)元組，利用貝葉斯填充方法，將元組的時(shí)效值作為該元組的新增屬性參與貝葉斯的訓(xùn)練過程，實(shí)現(xiàn)對(duì)缺失值的填充；

S5、數(shù)據(jù)集輸出：輸出經(jīng)過完整性修復(fù)后的各個(gè)元組，得到清洗后的數(shù)據(jù)集。

優(yōu)選地，所述數(shù)據(jù)預(yù)處理步驟中，根據(jù)時(shí)效約束對(duì)結(jié)構(gòu)化數(shù)據(jù)中所有元組建立時(shí)序圖時(shí)，對(duì)于結(jié)構(gòu)化數(shù)據(jù)中的每一個(gè)實(shí)體，先基于時(shí)效約束確定其對(duì)應(yīng)的各條元組作為節(jié)點(diǎn)的時(shí)效值相對(duì)大小，再由任意兩節(jié)點(diǎn)中時(shí)效值較小的節(jié)點(diǎn)向時(shí)效值較大的節(jié)點(diǎn)建立有向邊。

優(yōu)選地，所述數(shù)據(jù)預(yù)處理步驟中，所述時(shí)效子圖定義為：

對(duì)于時(shí)效圖G＝(V,E)，其子圖G_c＝(V,E^TR)是時(shí)效圖G經(jīng)傳遞規(guī)約后得到的時(shí)效子圖，當(dāng)且僅當(dāng)：

G_c與G擁有相同的傳遞閉包；

G′_c的傳遞閉包與G的不同；