[發(fā)明專利]一種面向MES的數(shù)據(jù)清洗方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011387905.0
• 申請(qǐng)日: 2020-12-01
• 公開(kāi)（公告）號(hào): CN112416920B
• 公開(kāi)（公告）日: 2023-01-24
• 發(fā)明（設(shè)計(jì)）人: 柴森春;董騰碩;王昭洋;姚分喜;張百海;崔靈果;李慧芳
• 申請(qǐng)（專利權(quán)）人: 北京理工大學(xué)
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/21
• 代理公司: 北京高沃律師事務(wù)所 11569
• 代理人: 王愛(ài)濤

1.一種面向MES的數(shù)據(jù)清洗方法，其特征在于，所述數(shù)據(jù)清洗方法包括如下步驟：

采用可變窗口的鄰近排序算法計(jì)算待清洗數(shù)據(jù)中每?jī)蓷l記錄之間的相似度；

根據(jù)每?jī)蓷l記錄之間的相似度，對(duì)待清洗數(shù)據(jù)中的重復(fù)數(shù)據(jù)進(jìn)行處理，獲得處理后的數(shù)據(jù)；

采用K近鄰缺失填充算法填補(bǔ)處理后的數(shù)據(jù)中的缺失數(shù)據(jù)，獲得清洗后的數(shù)據(jù)；

所述采用可變窗口的鄰近排序算法計(jì)算待清洗數(shù)據(jù)中每?jī)蓷l記錄之間的相似度，具體包括：

判斷窗口內(nèi)第一條記錄與最后一條記錄的相似度是否小于第一相似度閾值，獲得第一判斷結(jié)果；

若所述第一判斷結(jié)果表示是，則利用公式增加窗口長(zhǎng)度，獲得長(zhǎng)度改變后的窗口；其中，sim₀表示相似度閾值，sim(x₁,x_w)表示窗口內(nèi)第一條記錄x₁與最后一條記錄x_w之間的相似度，W表示長(zhǎng)度改變前的窗口，W′表示長(zhǎng)度改變后的窗口；

若所述第一判斷結(jié)果表示否，則利用公式減小窗口長(zhǎng)度，獲得長(zhǎng)度改變后的窗口；

計(jì)算長(zhǎng)度改變后的窗口內(nèi)的第一條記錄與第一條記錄之后的每條記錄的相似度，并將長(zhǎng)度改變后的窗口向后移動(dòng)一條記錄，返回步驟“判斷窗口內(nèi)第一條記錄與最后一條記錄的相似度是否小于第一相似度閾值，獲得第一判斷結(jié)果”，直到完成待清洗數(shù)據(jù)中的所有記錄的計(jì)算，獲得每?jī)蓷l記錄的相似度。

2.根據(jù)權(quán)利要求1所述的種面向MES的數(shù)據(jù)清洗方法，其特征在于，所述計(jì)算長(zhǎng)度改變后的窗口內(nèi)的第一條記錄與第一條記錄之后的每條記錄的相似度，具體包括：

分別令j＝2，3，…，W′，利用相似度計(jì)算公式，計(jì)算長(zhǎng)度改變后的窗口內(nèi)的第一條記錄與第j條記錄的每個(gè)屬性下的相似度，獲得長(zhǎng)度改變后的窗口內(nèi)的第一條記錄與第一條記錄之后的每個(gè)屬性下的相似度；

分別令j＝2，3，…，W′，利用公式對(duì)第一條記錄與第j條記錄的每個(gè)屬性下的相似度進(jìn)行加權(quán)求和，獲得長(zhǎng)度改變后的窗口內(nèi)的第一條記錄與第一條記錄之后的每條記錄的相似度；其中，sim(r₁,r_j)表示長(zhǎng)度改變后的窗口內(nèi)的第一條記錄與第j條記錄的相似度，sim[r_1,i,r_j,i]表示長(zhǎng)度改變后的窗口內(nèi)的第一條記錄與第j條記錄的第i個(gè)屬性下的相似度，n表示屬性的數(shù)量，W[i]表示第i個(gè)屬性的權(quán)重。

3.根據(jù)權(quán)利要求1所述的種面向MES的數(shù)據(jù)清洗方法，其特征在于，所述根據(jù)每?jī)蓷l記錄之間的相似度，對(duì)待清洗數(shù)據(jù)中的重復(fù)數(shù)據(jù)進(jìn)行處理，獲得處理后的數(shù)據(jù)，具體包括：

判斷兩條記錄之間的相似度是否等于1，獲得第二判斷結(jié)果；

若所述第二判斷結(jié)果表示是，則采用刪除兩條記錄中的一條記錄或者將兩條記錄合并的方式，對(duì)兩條所述記錄進(jìn)行處理；

若所述第二判斷結(jié)果表示否，則判斷兩條記錄之間的相似度是否介于第一相似度閾值和第二相似度閾值之間，獲得第三判斷結(jié)果；

若所述第三判斷結(jié)果表示是，則對(duì)兩條所述記錄進(jìn)行記錄；

若所述第三判斷結(jié)果表示否，則判斷兩條記錄之間的相似度是否介于第二相似度閾值和1之間，獲得第四判斷結(jié)果；

若所述第四判斷結(jié)果表示是，則采用刪除兩條記錄中與外部源文件匹配程度低的記錄、隨機(jī)刪除兩條記錄中的一條記錄或采用兩條所述記錄的平均值替換兩條所述記錄的方式對(duì)兩條所述記錄進(jìn)行處理。

4.根據(jù)權(quán)利要求1所述的種面向MES的數(shù)據(jù)清洗方法，其特征在于，所述采用K近鄰缺失填充算法填補(bǔ)處理后的數(shù)據(jù)中的缺失數(shù)據(jù)，獲得清洗后的數(shù)據(jù)，具體包括：

利用處理后的數(shù)據(jù)中待填補(bǔ)的記錄中同一屬性下的所有數(shù)據(jù)的平均值，作為待填補(bǔ)的記錄中的預(yù)填補(bǔ)數(shù)據(jù)；

將所述預(yù)填補(bǔ)數(shù)據(jù)填補(bǔ)至所述待填補(bǔ)的記錄，獲得預(yù)填補(bǔ)后的記錄；

對(duì)所述預(yù)填補(bǔ)后的記錄的數(shù)值型屬性的數(shù)據(jù)進(jìn)行去量綱處理，獲得去量綱處理后的記錄；

以去量綱處理后的記錄中同一屬性下的數(shù)據(jù)作為行向量，不同屬性下的對(duì)應(yīng)數(shù)據(jù)作為列向量，構(gòu)建待填補(bǔ)矩陣；

計(jì)算待填補(bǔ)矩陣中，預(yù)填補(bǔ)數(shù)據(jù)所在的行與每個(gè)無(wú)缺失數(shù)據(jù)的行的歐氏距離；

計(jì)算歐式距離較小的K個(gè)無(wú)缺失數(shù)據(jù)的行中第k列的數(shù)據(jù)的平均值，替換所述預(yù)填補(bǔ)數(shù)據(jù)；其中，第k列為預(yù)填補(bǔ)數(shù)據(jù)所在的列。