[發(fā)明專利]一種MES系統(tǒng)的標(biāo)識數(shù)據(jù)庫去重方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110023231.4
• 申請日: 2021-01-08
• 公開（公告）號: CN112685399B
• 公開（公告）日: 2022-10-18
• 發(fā)明（設(shè)計）人: 柴森春;王昭洋;黃經(jīng)緯;張百海;崔靈果;李慧芳;姚分喜
• 申請（專利權(quán)）人: 北京理工大學(xué)
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 北京高沃律師事務(wù)所 11569
• 代理人: 杜陽陽

1.一種MES系統(tǒng)的標(biāo)識數(shù)據(jù)庫去重方法，其特征在于，所述去重方法包括如下步驟：

將待處理的每個標(biāo)識數(shù)據(jù)庫分別作為一個從節(jié)點(diǎn)，將空閑的運(yùn)算節(jié)點(diǎn)作為主節(jié)點(diǎn)，并按照標(biāo)識數(shù)據(jù)庫中存儲的數(shù)據(jù)的重要程度對所述從節(jié)點(diǎn)進(jìn)行順序標(biāo)號；

采用主節(jié)點(diǎn)和從節(jié)點(diǎn)交互的方式，利用近鄰排序算法將所有從節(jié)點(diǎn)中的數(shù)據(jù)分成N份，得到N個數(shù)據(jù)集；

采用主節(jié)點(diǎn)和從節(jié)點(diǎn)交互的方式，分別計算每個數(shù)據(jù)集的最小簽名矩陣，具體包括：每個所述從節(jié)點(diǎn)分別將所述從節(jié)點(diǎn)中包含在第n個數(shù)據(jù)集中的數(shù)據(jù)轉(zhuǎn)換成集合形式，求集合形式的數(shù)據(jù)的并集，并進(jìn)行順序打亂后，得到每個從節(jié)點(diǎn)的待處理數(shù)據(jù)子集n_i，并分別將每個從節(jié)點(diǎn)的待處理數(shù)據(jù)子集發(fā)送給同一主節(jié)點(diǎn)；其中，n_i表示第i個從節(jié)點(diǎn)的待處理數(shù)據(jù)子集；所述主節(jié)點(diǎn)對每個從節(jié)點(diǎn)的待處理數(shù)據(jù)子集取并集，得到第n個數(shù)據(jù)元素全集，并將第n個數(shù)據(jù)元素全集分別發(fā)送給每個所述從節(jié)點(diǎn)；每個所述從節(jié)點(diǎn)分別根據(jù)第n個數(shù)據(jù)元素全集采用t個哈希函數(shù)計算所述從節(jié)點(diǎn)中包含在第n個數(shù)據(jù)集中的數(shù)據(jù)的最小哈希值，構(gòu)建從節(jié)點(diǎn)的最小簽名矩陣，并將從節(jié)點(diǎn)的最小簽名矩陣發(fā)送給主節(jié)點(diǎn)；主節(jié)點(diǎn)對每個從節(jié)點(diǎn)的最小簽名矩陣進(jìn)行合并，獲得合并后的最小簽名矩陣作為第n個數(shù)據(jù)集的最小簽名矩陣；

通過主節(jié)點(diǎn)，根據(jù)每個數(shù)據(jù)集的最小簽名矩陣，分別計算每個數(shù)據(jù)集中每兩個數(shù)據(jù)元之間的相似度；

采用主節(jié)點(diǎn)和從節(jié)點(diǎn)交互的方式，根據(jù)每個數(shù)據(jù)集中每兩個數(shù)據(jù)元之間的相似度和數(shù)據(jù)元所在的從節(jié)點(diǎn)的標(biāo)號，對每個數(shù)據(jù)集中的數(shù)據(jù)源進(jìn)行去重處理。

2.根據(jù)權(quán)利要求1所述的MES系統(tǒng)的標(biāo)識數(shù)據(jù)庫去重方法，其特征在于，所述采用主節(jié)點(diǎn)和從節(jié)點(diǎn)交互的方式，利用近鄰排序算法將所有從節(jié)點(diǎn)中的數(shù)據(jù)分成N份，得到N個數(shù)據(jù)集，具體包括：

主節(jié)點(diǎn)確定排序關(guān)鍵字生成方式，并將排序關(guān)鍵字生成方式發(fā)送給每個從節(jié)點(diǎn)；

每個所述從節(jié)點(diǎn)分別根據(jù)所述排序關(guān)鍵字生成方式生成所述從節(jié)點(diǎn)中的每個數(shù)據(jù)元的關(guān)鍵字；

每個所述從節(jié)點(diǎn)分別按照從節(jié)點(diǎn)中每個數(shù)據(jù)元的關(guān)鍵字，對所述從節(jié)點(diǎn)的數(shù)據(jù)元進(jìn)行排序，獲得每個從節(jié)點(diǎn)的排序表；

每個所述從節(jié)點(diǎn)分別將所述從節(jié)點(diǎn)的排序表中第一個數(shù)據(jù)元的關(guān)鍵字發(fā)送給主節(jié)點(diǎn)；

主節(jié)點(diǎn)對每個從節(jié)點(diǎn)的排序表中的第一個數(shù)據(jù)元的關(guān)鍵字進(jìn)行排序，確定最小關(guān)鍵字，并將除最小關(guān)鍵字所在的從節(jié)點(diǎn)之外的所有從節(jié)點(diǎn)的排序表中的第一個數(shù)據(jù)元的關(guān)鍵字發(fā)送給最小關(guān)鍵字所在的從節(jié)點(diǎn)；

最小關(guān)鍵字所在的從節(jié)點(diǎn)確定除最小關(guān)鍵字所在的從節(jié)點(diǎn)之外的所有從節(jié)點(diǎn)的排序表中的第一個數(shù)據(jù)的關(guān)鍵字在最小關(guān)鍵字所在的從節(jié)點(diǎn)的排序表中的序號，獲得除最小關(guān)鍵字所在的從節(jié)點(diǎn)之外的所有從節(jié)點(diǎn)的調(diào)整序號，并分別發(fā)送每個除最小關(guān)鍵字所在的從節(jié)點(diǎn)之外的從節(jié)點(diǎn)；

除最小關(guān)鍵字所在的從節(jié)點(diǎn)之外的從節(jié)點(diǎn)根據(jù)從節(jié)點(diǎn)的調(diào)整序號調(diào)整從節(jié)點(diǎn)的排序表；

每個所述從節(jié)點(diǎn)分別將從節(jié)點(diǎn)的排序表的最后一個數(shù)據(jù)元的序號發(fā)送給主節(jié)點(diǎn)；

主節(jié)點(diǎn)從所有從節(jié)點(diǎn)的排序表的最后一個數(shù)據(jù)元的序號中選取最大的序號作為末尾標(biāo)號S，并將所述末尾標(biāo)號發(fā)送給每個所述從節(jié)點(diǎn)；

每個所述從節(jié)點(diǎn)按照每份跨度P為的方式，將從節(jié)點(diǎn)中的排序表中的數(shù)據(jù)元分成N份，且每個從節(jié)點(diǎn)的第n份數(shù)據(jù)組成第n個數(shù)據(jù)集，得到N個數(shù)據(jù)集。

3.根據(jù)權(quán)利要求1所述的MES系統(tǒng)的標(biāo)識數(shù)據(jù)庫去重方法，其特征在于，所述通過主節(jié)點(diǎn)，根據(jù)每個數(shù)據(jù)集的最小簽名矩陣，分別計算每個數(shù)據(jù)集中每兩個數(shù)據(jù)元之間的相似度，具體包括：

主節(jié)點(diǎn)根據(jù)每個數(shù)據(jù)集的最小簽名矩陣，分別利用公式計算每個數(shù)據(jù)集中每兩個數(shù)據(jù)元之間的相似度；

其中，sim表示數(shù)據(jù)集中兩個數(shù)據(jù)元的相似度，t表示數(shù)據(jù)集的最小簽名矩陣的行數(shù)，k表示數(shù)據(jù)集的最小簽名矩陣的兩個數(shù)據(jù)元所在的列中最小哈希值相同的行數(shù)。