[發(fā)明專(zhuān)利]一種聚合對(duì)象數(shù)據(jù)處理方法、系統(tǒng)及相關(guān)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201911379784.2
• 申請(qǐng)日: 2019-12-27
• 公開(kāi)（公告）號(hào): CN111125034A
• 公開(kāi)（公告）日: 2020-05-08
• 發(fā)明（設(shè)計(jì)）人: 張?jiān)鋈?/a>;寧韜;陳巖
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深信服科技股份有限公司
• 主分類(lèi)號(hào): G06F16/174
• 分類(lèi)號(hào): G06F16/174
• 代理公司: 深圳市深佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 常忠良

1.一種聚合對(duì)象數(shù)據(jù)處理方法，其特征在于，運(yùn)用于服務(wù)端，所述方法包括：

在所述服務(wù)端的存儲(chǔ)池中的聚合對(duì)象中確定需要進(jìn)行壓縮的目標(biāo)聚合對(duì)象，所述服務(wù)端的存儲(chǔ)池中的小文件對(duì)象以聚合的方式存儲(chǔ)于聚合對(duì)象；

根據(jù)所述目標(biāo)聚合對(duì)象的元數(shù)據(jù)中的文件釋放信息確定未被釋放的有效小文件對(duì)象，所述文件釋放信息中記錄有被釋放的小文件對(duì)象的名稱(chēng)；

根據(jù)各個(gè)有效小文件對(duì)象的數(shù)據(jù)長(zhǎng)度，重新計(jì)算各個(gè)有效小文件對(duì)象的最新邏輯偏移量，使得各個(gè)有效小文件對(duì)象的邏輯地址連續(xù)分布；

讀取所述目標(biāo)聚合對(duì)象中的所有有效小文件對(duì)象至緩存中，并刪除所述目標(biāo)聚合對(duì)象所占用的目標(biāo)物理存儲(chǔ)空間；

根據(jù)各個(gè)有效小文件對(duì)象的最新邏輯偏移量將對(duì)應(yīng)的小文件對(duì)象重新寫(xiě)入所述目標(biāo)物理存儲(chǔ)空間。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

在所述目標(biāo)聚合對(duì)象的元數(shù)據(jù)中記錄各個(gè)有效小文件對(duì)象的原始邏輯偏移量與最新邏輯偏移量的映射關(guān)系。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，各個(gè)小文件對(duì)象的元數(shù)據(jù)中記錄其所屬的聚合對(duì)象ID、原始邏輯偏移量及數(shù)據(jù)長(zhǎng)度，所述方法還包括：

接收客戶(hù)端發(fā)送的數(shù)據(jù)提取請(qǐng)求，所述提取請(qǐng)求中包含提取的第一小文件對(duì)象的名稱(chēng)；

查詢(xún)所述第一小文件對(duì)象的目標(biāo)元數(shù)據(jù)；

根據(jù)所述目標(biāo)元數(shù)據(jù)中的原始邏輯偏移量查詢(xún)所述目標(biāo)小文件對(duì)象的最新邏輯偏移量；

根據(jù)所述目標(biāo)小文件對(duì)象的最新邏輯偏移量及數(shù)據(jù)長(zhǎng)度在所述目標(biāo)物理存儲(chǔ)空間中提取所述目標(biāo)小文件對(duì)象。

4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的方法，其特征在于，各個(gè)聚合對(duì)象的元數(shù)據(jù)中還記錄有已存儲(chǔ)的所有小文件對(duì)象的數(shù)據(jù)長(zhǎng)度之和，所述在所述服務(wù)端的存儲(chǔ)池中的聚合對(duì)象中確定需要進(jìn)行壓縮的目標(biāo)聚合對(duì)象，包括：

根據(jù)文件釋放信息及已存儲(chǔ)的所有小文件對(duì)象的數(shù)據(jù)長(zhǎng)度計(jì)算各個(gè)聚合對(duì)象的存儲(chǔ)空間使用率；

確定存儲(chǔ)空間使用率小于第一預(yù)設(shè)閾值，且預(yù)設(shè)時(shí)間內(nèi)未發(fā)生修改的聚合對(duì)象為目標(biāo)聚合對(duì)象。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，還包括：

確定存儲(chǔ)空間使用率小于第二預(yù)設(shè)閾值的聚合對(duì)象為強(qiáng)制釋放對(duì)象；

將所述強(qiáng)制釋放對(duì)象中的有效小文件對(duì)象轉(zhuǎn)存至其它聚合對(duì)象中，并刪除所述強(qiáng)制釋放對(duì)象。

6.根據(jù)權(quán)利要求2至3中任一項(xiàng)所述的方法，其特征在于，還包括：

接收到刪除指令，所述刪除指令中包含需要被刪除的第二小文件對(duì)象的名稱(chēng)；

查詢(xún)所述第二小文件對(duì)象的元數(shù)據(jù)中的聚合對(duì)象ID、原始邏輯偏移量及數(shù)據(jù)長(zhǎng)度；

將所述第二小文件對(duì)象的元數(shù)據(jù)中的聚合對(duì)象ID、原始邏輯偏移量及數(shù)據(jù)長(zhǎng)度寫(xiě)入所述第二小文件對(duì)象的元數(shù)據(jù)中記錄對(duì)象中，作為所述文件釋放信息中的一種。

7.一種聚合對(duì)象數(shù)據(jù)處理系統(tǒng)，其特征在于，運(yùn)用于服務(wù)端，所述系統(tǒng)包括：

第一確定單元，用于在所述服務(wù)端的存儲(chǔ)池中的聚合對(duì)象中確定需要進(jìn)行壓縮的目標(biāo)聚合對(duì)象，所述服務(wù)端的存儲(chǔ)池中的小文件對(duì)象以聚合的方式存儲(chǔ)于聚合對(duì)象；

第二確定單元，用于根據(jù)所述目標(biāo)聚合對(duì)象的元數(shù)據(jù)中的文件釋放信息確定未被釋放的有效小文件對(duì)象，所述文件釋放信息中記錄有被釋放的小文件對(duì)象的名稱(chēng)；

計(jì)算單元，用于根據(jù)各個(gè)有效小文件對(duì)象的數(shù)據(jù)長(zhǎng)度，重新計(jì)算各個(gè)有效小文件對(duì)象的最新邏輯偏移量，使得各個(gè)有效小文件對(duì)象的邏輯地址連續(xù)分布；

讀取單元，用于讀取所述目標(biāo)聚合對(duì)象中的所有有效小文件對(duì)象至緩存中，并刪除所述目標(biāo)聚合對(duì)象所占用的目標(biāo)物理存儲(chǔ)空間；

重寫(xiě)單元，用于根據(jù)各個(gè)有效小文件對(duì)象的最新邏輯偏移量將對(duì)應(yīng)的小文件對(duì)象重新寫(xiě)入所述目標(biāo)物理存儲(chǔ)空間。

8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，還包括：

記錄單元，用于在所述目標(biāo)聚合對(duì)象的元數(shù)據(jù)中記錄各個(gè)有效小文件對(duì)象的原始邏輯偏移量與最新邏輯偏移量的映射關(guān)系。