[發(fā)明專利]一種用于網(wǎng)絡(luò)日志文件中的多維度數(shù)據(jù)去重方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201710795837.3
• 申請日: 2017-09-06
• 公開（公告）號: CN107562893A
• 公開（公告）日: 2018-01-09
• 發(fā)明（設(shè)計(jì)）人: 葉進(jìn)蓉
• 申請（專利權(quán)）人: 葉進(jìn)蓉
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳市精英專利事務(wù)所44242
• 代理人: 馮筠

1.一種用于網(wǎng)絡(luò)日志文件中的多維度數(shù)據(jù)去重方法，其特征在于，包括如下步驟：

根據(jù)網(wǎng)絡(luò)日志文件中的任一多維度數(shù)據(jù)的屬性值確定所述多維度數(shù)據(jù)的格式；

根據(jù)確定的所述多維度數(shù)據(jù)格式來標(biāo)識所述多維度數(shù)據(jù)內(nèi)的原邏輯對象；

將當(dāng)前多維度數(shù)據(jù)對應(yīng)的當(dāng)前原邏輯對象與所述網(wǎng)絡(luò)日志文件中多個(gè)多維度數(shù)據(jù)對應(yīng)的多個(gè)原邏輯對象進(jìn)行比較，當(dāng)所述當(dāng)前原邏輯對象存在所述多個(gè)原邏輯對象中時(shí)，則刪除所述原邏輯對象對應(yīng)的多維度數(shù)據(jù)，以實(shí)現(xiàn)多維度數(shù)據(jù)的去重。

2.根據(jù)權(quán)利要求1所述的多維度數(shù)據(jù)去重方法，其特征在于，判斷所述當(dāng)前原邏輯對象是否存在所述多個(gè)原邏輯對象中，包括如下步驟：

在當(dāng)前原邏輯對象中執(zhí)行散列函數(shù)，獲得所述當(dāng)前原邏輯對象對應(yīng)的當(dāng)前散列值和所述多個(gè)原邏輯對象對應(yīng)的多個(gè)散列值；

將當(dāng)前散列值與所述多個(gè)散列值進(jìn)行比較，

當(dāng)所述當(dāng)前散列值與所述多個(gè)散列值相同時(shí)，則確定所述當(dāng)前原邏輯對象在所述多個(gè)原邏輯對象中存在，

當(dāng)所述當(dāng)前散列值與所述多個(gè)散列值不相同時(shí)，則確定所述當(dāng)前原邏輯對象在所述多個(gè)原邏輯對象中不存在。

3.根據(jù)權(quán)利要求2所述的多維度數(shù)據(jù)去重方法，其特征在于，獲得所述當(dāng)前原邏輯對象對應(yīng)的當(dāng)前散列值和所述多個(gè)原邏輯對象對應(yīng)的多個(gè)散列值，包括如下步驟：

利用哈希算法對所述當(dāng)前散列值和所述多個(gè)散列值進(jìn)行計(jì)算，以獲取各個(gè)多維度數(shù)據(jù)的關(guān)鍵字；

將所述關(guān)鍵字作為對應(yīng)的原邏輯對象的散列值。

4.根據(jù)權(quán)利要求2或3所述的多維度數(shù)據(jù)去重方法，其特征在于，所述多維度數(shù)據(jù)格式包括唯一標(biāo)識符，用以標(biāo)識所述多維度數(shù)據(jù)內(nèi)的原邏輯對象。

5.一種用于網(wǎng)絡(luò)日志文件中的多維度數(shù)據(jù)去重系統(tǒng)，其特征在于，包括：

確定模塊，用于根據(jù)網(wǎng)絡(luò)日志文件中的任一多維度數(shù)據(jù)的屬性值確定所述多維度數(shù)據(jù)的格式；

標(biāo)識模塊，用于根據(jù)確定的所述多維度數(shù)據(jù)格式來標(biāo)識所述多維度數(shù)據(jù)內(nèi)的原邏輯對象；

處理模塊，用于將當(dāng)前多維度數(shù)據(jù)對應(yīng)的當(dāng)前原邏輯對象與所述網(wǎng)絡(luò)日志文件中多個(gè)多維度數(shù)據(jù)對應(yīng)的多個(gè)原邏輯對象進(jìn)行比較，當(dāng)所述當(dāng)前原邏輯對象存在所述多個(gè)原邏輯對象中時(shí)，則刪除所述原邏輯對象對應(yīng)的多維度數(shù)據(jù)，以實(shí)現(xiàn)多維度數(shù)據(jù)的去重。

6.根據(jù)權(quán)利要求5所述的多維度數(shù)據(jù)去重系統(tǒng)，其特征在于，所述處理模塊包括：

執(zhí)行單元，用于在當(dāng)前原邏輯對象中執(zhí)行散列函數(shù)，獲得所述當(dāng)前原邏輯對象對應(yīng)的當(dāng)前散列值和所述多個(gè)原邏輯對象對應(yīng)的多個(gè)散列值；

比較單元，用于將當(dāng)前散列值與所述多個(gè)散列值進(jìn)行比較，

當(dāng)所述當(dāng)前散列值與所述多個(gè)散列值相同時(shí)，則確定所述當(dāng)前原邏輯對象在所述多個(gè)原邏輯對象中存在，

當(dāng)所述當(dāng)前散列值與所述多個(gè)散列值不相同時(shí)，則確定所述當(dāng)前原邏輯對象在所述多個(gè)原邏輯對象中不存在。

7.根據(jù)權(quán)利要求6所述的多維度數(shù)據(jù)去重系統(tǒng)，其特征在于，所述執(zhí)行單元包括：

計(jì)算子單元，用于利用哈希算法對所述當(dāng)前散列值和所述多個(gè)散列值進(jìn)行計(jì)算，以獲取各個(gè)多維度數(shù)據(jù)的關(guān)鍵字；

確定子單元，用于將所述關(guān)鍵字作為對應(yīng)的原邏輯對象的散列值。

8.根據(jù)權(quán)利要求6或7所述的多維度數(shù)據(jù)去重系統(tǒng)，其特征在于，所述多維度數(shù)據(jù)格式包括唯一標(biāo)識符，用以標(biāo)識所述多維度數(shù)據(jù)內(nèi)的原邏輯對象。