[發明專利]一種車輛物聯網云存儲系統重復數據刪除方法

在審

• 申請號: 202010950313.9
• 申請日: 2020-09-11
• 公開（公告）號: CN112115108A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 朱東杰;胡浩;王大方;楊博文;王興成;李旭;黃奐奇
• 申請（專利權）人: 哈爾濱工業大學（威海）;蘇州玄盾汽車科技有限公司
• 主分類號: G06F16/174
• 分類號: G06F16/174;G06F16/13
• 代理公司: 威海科星專利事務所 37202
• 代理人: 宋立國

1.一種車輛物聯網云存儲系統重復數據刪除方法，其特征在于包括如下步驟：

步驟a：將基于內容分塊算法的固定窗口置于數據流的未分塊的起始位置，記錄固定窗口內字節的極大值V_max,基于內容分塊算法的滑動窗口逐字節的尋找大于等于極大值V_max的字節作為分塊點；使用哈希函數對分塊點和前一個分塊點之間的字節內容生成塊指紋Chunk_fp；

步驟b：記錄滑動窗口中字節的極大值記錄步驟a獲得的分塊點和前一個分塊點之間的字節長度Size_Chunk；

步驟c：重復步驟a、步驟b，直至數據流剩余長度小于2KB，不再尋找分塊點，將剩余長度小于2KB的數據作為最后一個分塊，數據流全部分塊完成；

步驟d：建立三元組列表：根據數據流分塊的順序依次排列其三元組數據、形成三元組列表；任意一個分塊的三元組數據為為該分塊滑動窗口中字節的極大值，Chunk_fp為該分塊的塊指紋，Size_Chunk+1為下一分塊的字節長度；

步驟e：當有新的數據流輸入時，執行步驟a，在三元組列表中尋找具有與當前分塊的塊指紋相同塊指紋的三元組數據，找到時，判定三元組列表為新輸入的數據流的對照分塊列表；未找到時，執行步驟b，判定三元組列表需更新；

步驟f：當判定三元組列表為新輸入的數據流的對照分塊列表時，將三元組列表中自具有相同塊指紋的三元組數據起向后的各三元組數據中的Size_Chunk+1依次作為對新輸入的數據流分塊的字節長度，對新輸入的數據流進行分塊，直至分塊完成；

步驟g：當判定三元組列表需更新時，對未分塊的數據執行步驟a、步驟b，記錄上一分塊的三元組數據，使用該三元組數據對三元組列表進行實時更新：將該三元組數據排列在三元組列表尾端，使用當前分塊上一分塊的字節長度Size_Chunk更新其上一個三元組數據中的字節長度Size_Chunk+1；在三元組列表中尋找具有與當前分塊的塊指紋相同塊指紋的三元組數據，找到時，判定三元組列表為新輸入的數據流的對照分塊列表，執行步驟f；未找到時，判定三元組列表需更新，重復步驟g，直至新輸入的數據流剩余長度小于2KB，將剩余長度小于2KB的數據作為最后一個分塊，分塊完成。

本發明步驟f中，當三元組列表結束時仍未能對新輸入的數據流完成分塊時，將剩余的未分塊數據作為新輸入的數據流，重復步驟e、步驟f、步驟g。

2.根據權利要求1所述的車輛物聯網云存儲系統重復數據刪除方法，其特征在于所述的步驟e為：當有新的數據流輸入時，執行步驟a，在三元組列表中尋找具有與當前分塊的塊指紋相同塊指紋的三元組數據，找到時，且當前分塊僅有一個極大值，判定三元組列表為新輸入的數據流的對照分塊列表，步驟f；否則，執行步驟b，判定三元組列表需更新；

所述的步驟g為：當判定三元組列表需更新時，對未分塊的數據執行步驟a、步驟b，記錄上一分塊的三元組數據；當在三元組列表中尋找到與上一分塊的塊指紋相同的三元組數據時，使用上一分塊的塊長度數據Size_Chunk對三元組列表中與上一分塊的塊指紋相同的三元組數據的上一個三元組數據的Size_Chunk+1進行實時更新；當在三元組列表中未找到有與上一分塊的塊指紋相同的三元組數據時，使用該三元組數據對三元組列表進行實時更新：將該三元組數據排列在三元組列表尾端，使用上一分塊的長度Size_Chunk更新其前一個三元組數據中的字節長度Size_Chunk+1；在三元組列表中尋找具有與當前分塊的塊指紋相同塊指紋的三元組數據，找到時，且當前分塊僅有一個極大值，判定三元組列表為新輸入的數據流的對照分塊列表，執行步驟f；否則，判定三元組列表需更新，執行步驟b；重復步驟g，直至新輸入的數據流剩余長度小于2KB，將剩余長度小于2KB的數據作為最后一個分塊，分塊完成。