[發(fā)明專利]分布式對象存儲系統(tǒng)中追加數(shù)據(jù)的重復刪除的方法和設(shè)備

在審

• 申請?zhí)枺?/td>: 202011179344.5
• 申請日: 2020-10-29
• 公開（公告）號: CN112463026A
• 公開（公告）日: 2021-03-09
• 發(fā)明（設(shè)計）人: 李歡歡;胡永剛
• 申請（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京連和連知識產(chǎn)權(quán)代理有限公司 11278
• 代理人: 張濤;宋薇薇

1.一種分布式對象存儲系統(tǒng)中追加數(shù)據(jù)的重復刪除的方法，其特征在于，包括以下步驟：

響應(yīng)于接收到上傳追加數(shù)據(jù)的請求，判斷所述追加數(shù)據(jù)是否為首次追加數(shù)據(jù)；

響應(yīng)于所述追加數(shù)據(jù)不是首次追加數(shù)據(jù)，計算目標文件最后一個尾對象的數(shù)據(jù)大小；

響應(yīng)于所述目標文件最后一個尾對象的數(shù)據(jù)大小在閾值范圍內(nèi)，將所述最后一個尾對象數(shù)據(jù)讀到內(nèi)存中；

從所述追加數(shù)據(jù)中獲取數(shù)據(jù)并追加到所述最后一個尾對象中以形成閾值大小的數(shù)據(jù)塊并存儲至存儲系統(tǒng)中；

將所述目標文件的最后一個標識信息替換成所述閾值大小的數(shù)據(jù)塊的標識信息并將所述追加數(shù)據(jù)中的其他數(shù)據(jù)依次寫入到所述存儲系統(tǒng)中并在需要時做重刪。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，從所述追加數(shù)據(jù)中獲取數(shù)據(jù)并追加到所述最后一個尾對象中以形成閾值大小的數(shù)據(jù)塊并存儲至存儲系統(tǒng)中包括：

計算所述閾值大小的數(shù)據(jù)塊與所述最后一個尾對象的數(shù)據(jù)大小的差值；

在所述追加數(shù)據(jù)中獲取所述差值大小的數(shù)據(jù)并將獲取的所述數(shù)據(jù)拼接到所述最后一個尾對象后以形成新的數(shù)據(jù)塊；

將所述新的數(shù)據(jù)塊存儲到所述最后一個尾對象的原位置處。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，將所述目標文件的最后一個標識信息替換成所述閾值大小的數(shù)據(jù)塊的標識信息并將所述追加數(shù)據(jù)中的其他數(shù)據(jù)依次寫入到所述存儲系統(tǒng)中并在需要時做重刪包括：

獲取所述閾值大小的數(shù)據(jù)塊的指紋信息以作為所述閾值大小的數(shù)據(jù)塊的標志信息；

將所述目標文件的數(shù)據(jù)結(jié)構(gòu)中的最后一個標識信息刪除；

將所述指紋信息寫入到所述數(shù)據(jù)結(jié)構(gòu)中；

將所述追加數(shù)據(jù)中的其他數(shù)據(jù)以預設(shè)大小劃分成若干個數(shù)據(jù)塊，將所述若干個數(shù)據(jù)塊依次寫入到所述存儲系統(tǒng)中；

判斷所述追加數(shù)據(jù)是否需要進行重刪操作；

響應(yīng)于所述追加數(shù)據(jù)需要進行重刪操作，將所述追加數(shù)據(jù)進行重刪。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述閾值范圍為數(shù)據(jù)大小大于0且小于4兆。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述閾值大小的數(shù)據(jù)塊的標識信息為閾值大小的數(shù)據(jù)塊的指紋信息。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述閾值大小為4兆。

7.一種分布式對象存儲系統(tǒng)中追加數(shù)據(jù)的重復刪除的設(shè)備，其特征在于，所述設(shè)備包括：

判斷模塊，所述判斷模塊配置為響應(yīng)于接收到上傳追加數(shù)據(jù)的請求，判斷所述追加數(shù)據(jù)是否為首次追加數(shù)據(jù)；

計算模塊，所述計算模塊配置為響應(yīng)于所述追加數(shù)據(jù)不是首次追加數(shù)據(jù)，計算目標文件最后一個尾對象的數(shù)據(jù)大小；

讀取模塊，所述讀取模塊配置為響應(yīng)于所述目標文件最后一個尾對象的數(shù)據(jù)大小在閾值范圍內(nèi)，將所述最后一個尾對象數(shù)據(jù)讀到內(nèi)存中；

追加模塊，所述追加模塊配置為從所述追加數(shù)據(jù)中獲取數(shù)據(jù)并追加到所述最后一個尾對象中以形成閾值大小的數(shù)據(jù)塊并存儲至存儲系統(tǒng)中；

寫入模塊，所述寫入模塊配置為將所述目標文件的最后一個標識信息替換成所述閾值大小的數(shù)據(jù)塊的標識信息并將所述追加數(shù)據(jù)中的其他數(shù)據(jù)依次寫入到所述存儲系統(tǒng)中并在需要時做重刪。

8.根據(jù)權(quán)利要求7所述的設(shè)備，其特征在于，所述追加模塊還配置為：

計算所述閾值大小的數(shù)據(jù)塊與所述最后一個尾對象的數(shù)據(jù)大小的差值；

在所述追加數(shù)據(jù)中獲取所述差值大小的數(shù)據(jù)并將獲取的所述數(shù)據(jù)拼接到所述最后一個尾對象后以形成新的數(shù)據(jù)塊；

將所述新的數(shù)據(jù)塊存儲到所述最后一個尾對象的原位置處。