[發(fā)明專利]基于糾刪碼的文件處理方法、裝置及計(jì)算機(jī)設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202010911451.6
• 申請(qǐng)日: 2020-09-02
• 公開（公告）號(hào): CN111930555B
• 公開（公告）日: 2022-12-02
• 發(fā)明（設(shè)計(jì)）人: 趙芳明
• 申請(qǐng)（專利權(quán)）人: 平安國(guó)際智慧城市科技股份有限公司
• 主分類號(hào): G06F11/10
• 分類號(hào): G06F11/10;G06F16/13;G06F16/16;G06F16/182
• 代理公司: 深圳市精英專利事務(wù)所 44242
• 代理人: 涂年影

1.一種基于糾刪碼的文件處理方法，應(yīng)用于FastDFS系統(tǒng)中，其特征在于，包括以下步驟：

獲取存儲(chǔ)服務(wù)器的熱數(shù)據(jù)組中的冷文件；

根據(jù)預(yù)設(shè)的分塊規(guī)則對(duì)所述冷文件進(jìn)行分塊以得到與所述冷文件相對(duì)應(yīng)的文件塊；

根據(jù)糾刪碼技術(shù)對(duì)所述文件塊進(jìn)行編碼以得到與所述文件塊相對(duì)應(yīng)的校驗(yàn)塊；

將所述文件塊、所述校驗(yàn)塊存入所述存儲(chǔ)服務(wù)器的冷數(shù)據(jù)組中；

若接收到下載所述冷文件的下載請(qǐng)求，根據(jù)所述下載請(qǐng)求從所述冷數(shù)據(jù)組中獲取所述冷文件；

所述獲取存儲(chǔ)服務(wù)器的熱數(shù)據(jù)組中的冷文件之前，還包括：

若接收到用戶上傳所述冷文件，基于預(yù)設(shè)的虛擬組將所述冷文件存儲(chǔ)所述熱數(shù)據(jù)組中；判斷所述冷文件內(nèi)存是否超過(guò)預(yù)設(shè)的第二閾值；若所述冷文件內(nèi)存超過(guò)所述第二閾值，創(chuàng)建新的虛擬組并根據(jù)所述新的虛擬組將所述冷文件存儲(chǔ)至所述熱數(shù)據(jù)組中；

所述存儲(chǔ)服務(wù)器通過(guò)橫向擴(kuò)容和縱向擴(kuò)容兩種方式進(jìn)行擴(kuò)容，其中橫向擴(kuò)容是通過(guò)新增虛擬組來(lái)加大系統(tǒng)容量，縱向擴(kuò)容則是通過(guò)組內(nèi)加入新的存儲(chǔ)空間；

所述虛擬組管理所述熱數(shù)據(jù)組中的成員及所述冷數(shù)據(jù)組中的成員；所述虛擬組包括多個(gè)子虛擬組。

2.根據(jù)權(quán)利要求1所述的基于糾刪碼的文件處理方法，其特征在于，所述獲取存儲(chǔ)服務(wù)器的熱數(shù)據(jù)組中的冷文件，包括：

判斷所述冷文件的訪問(wèn)頻率是否小于預(yù)設(shè)的第一閾值；

若所述冷文件的訪問(wèn)頻率小于所述第一閾值，從所述熱數(shù)據(jù)組中獲取所述冷文件并刪除存儲(chǔ)于所述熱數(shù)據(jù)組中的所述冷文件。

3.根據(jù)權(quán)利要求1所述的基于糾刪碼的文件處理方法，其特征在于，所述若接收到用戶上傳所述冷文件，基于預(yù)設(shè)的虛擬組將所述冷文件存儲(chǔ)所述熱數(shù)據(jù)組中之前，包括：

根據(jù)預(yù)設(shè)的分組規(guī)則對(duì)所述存儲(chǔ)服務(wù)器進(jìn)行分組以得到熱數(shù)據(jù)組和冷數(shù)據(jù)組。

4.根據(jù)權(quán)利要求1所述的基于糾刪碼的文件處理方法，其特征在于，所述根據(jù)所述下載請(qǐng)求從所述冷數(shù)據(jù)組中獲取所述冷文件，包括：

根據(jù)所述下載請(qǐng)求獲取與所述下載請(qǐng)求相對(duì)應(yīng)的虛擬組以獲取所述冷文件；

若與所述冷文件相對(duì)應(yīng)的部分文件塊出現(xiàn)故障，根據(jù)與所述冷文件相對(duì)應(yīng)的校驗(yàn)塊以及未出現(xiàn)故障的文件塊獲取所述冷文件。

5.一種基于糾刪碼的文件處理裝置，其特征在于，包括：

獲取單元，用于獲取存儲(chǔ)服務(wù)器的熱數(shù)據(jù)組中的冷文件；

分塊單元，用于根據(jù)預(yù)設(shè)的分塊規(guī)則對(duì)所述冷文件進(jìn)行分塊以得到與所述冷文件相對(duì)應(yīng)的文件塊；

編碼單元，用于根據(jù)糾刪碼技術(shù)對(duì)所述文件塊進(jìn)行編碼以得到與所述文件塊相對(duì)應(yīng)的校驗(yàn)塊；

第一存儲(chǔ)單元，用于將所述文件塊、所述校驗(yàn)塊存入所述存儲(chǔ)服務(wù)器的冷數(shù)據(jù)組中；

第一獲取單元，用于若接收到下載所述冷文件的下載請(qǐng)求，根據(jù)所述下載請(qǐng)求從所述冷數(shù)據(jù)組中獲取所述冷文件；

第二存儲(chǔ)單元，用于若接收到用戶上傳所述冷文件，基于預(yù)設(shè)的虛擬組將所述冷文件存儲(chǔ)所述熱數(shù)據(jù)組中；所述虛擬組管理所述熱數(shù)據(jù)組中的成員及所述冷數(shù)據(jù)組中的成員；所述虛擬組包括多個(gè)子虛擬組；

判斷所述冷文件內(nèi)存是否超過(guò)預(yù)設(shè)的第二閾值；若所述冷文件內(nèi)存超過(guò)所述第二閾值，創(chuàng)建新的虛擬組并根據(jù)所述新的虛擬組將所述冷文件存儲(chǔ)至所述熱數(shù)據(jù)組中；

所述存儲(chǔ)服務(wù)器通過(guò)橫向擴(kuò)容和縱向擴(kuò)容兩種方式進(jìn)行擴(kuò)容，其中橫向擴(kuò)容是通過(guò)新增虛擬組來(lái)加大系統(tǒng)容量，縱向擴(kuò)容則是通過(guò)組內(nèi)加入新的存儲(chǔ)空間；

所述虛擬組管理所述熱數(shù)據(jù)組中的成員及所述冷數(shù)據(jù)組中的成員；所述虛擬組包括多個(gè)子虛擬組。

6.根據(jù)權(quán)利要求5所述的基于糾刪碼的文件處理裝置，其特征在于，所述獲取單元，包括：

第一判斷單元，用于判斷所述冷文件的訪問(wèn)頻率是否小于預(yù)設(shè)的第一閾值；

冷文件獲取單元，用于若所述冷文件的訪問(wèn)頻率小于所述第一閾值，從所述熱數(shù)據(jù)組中獲取所述冷文件并刪除存儲(chǔ)于所述熱數(shù)據(jù)組中的所述冷文件。