[發(fā)明專利]基于糾刪碼的文件處理方法、裝置及計算機設(shè)備

有效

• 申請?zhí)枺?/td>: 202010911451.6
• 申請日: 2020-09-02
• 公開（公告）號: CN111930555B
• 公開（公告）日: 2022-12-02
• 發(fā)明（設(shè)計）人: 趙芳明
• 申請（專利權(quán)）人: 平安國際智慧城市科技股份有限公司
• 主分類號: G06F11/10
• 分類號: G06F11/10;G06F16/13;G06F16/16;G06F16/182
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 涂年影

本發(fā)明公開了一種基于糾刪碼的文件處理方法、裝置及計算機設(shè)備，該方法應用于FastDFS系統(tǒng)中，包括：獲取儲存服務器的熱數(shù)據(jù)組中的冷文件；根據(jù)預設(shè)的分塊規(guī)則對所述冷文件進行分塊以得到與所述冷文件相對應的文件塊；根據(jù)糾刪碼技術(shù)對所述文件塊進行編碼以得到與所述文件塊相對應的校驗塊；將所述文件塊、所述校驗塊存入所述存儲服務器的冷數(shù)據(jù)組中；若接收到下載所述冷文件的下載請求，根據(jù)所述下載請求從所述冷數(shù)據(jù)組中獲取所述冷文件。本發(fā)明基于分級存儲技術(shù)，通過對FastDFS系統(tǒng)中存儲的文件進行優(yōu)化以提高磁盤的存儲的利用率，降低了存儲成本，提高了運維效率。

技術(shù)領(lǐng)域

本發(fā)明屬于分布式存儲技術(shù)領(lǐng)域，尤其涉及一種基于糾刪碼的文件處理方法、裝置及計算機設(shè)備。

背景技術(shù)

FastDFS是以C語言開發(fā)的一項開源輕量級分布式文件存儲系統(tǒng)，其由跟蹤服務器(Tracker Server)、存儲服務器(Storage Server)和客戶端(Client)構(gòu)成。其中，存儲服務器為實際存儲數(shù)據(jù)，分成若干個組(group)，通過組內(nèi)storage相互備份，來保證數(shù)據(jù)的高可用性。由于同組內(nèi)的N個storage數(shù)據(jù)相同，其能容忍N-1個storage故障，但其存儲利用率卻為1/N。而Hdfs、Ceph等分布式文件存儲系統(tǒng)通過糾刪碼技術(shù)將n個原始數(shù)據(jù)塊進行編碼生成m個校驗塊，并將這n+m個數(shù)據(jù)塊存儲到系統(tǒng)中，在能容忍m個數(shù)據(jù)塊出錯的同時，保證系統(tǒng)可用，其將存儲效率降到n/n+m。由于Hdfs、Ceph分別針對大文件和對象文件存儲而設(shè)計，而在小文件存儲系統(tǒng)FastDFS上主要采用多副本方式保證數(shù)據(jù)的高效可用，無法對磁盤的存儲進行充分利用。

發(fā)明內(nèi)容

本發(fā)明實施例提供了一種基于糾刪碼的文件處理方法、裝置及計算機設(shè)備，解決了現(xiàn)有技術(shù)中小文件存儲系統(tǒng)FastDFS上無法通過糾刪碼技術(shù)對FastDFS系統(tǒng)中的文件進行編碼處理以對磁盤的存儲進行充分利用的問題。

第一方面，本發(fā)明實施例提供了一種基于糾刪碼的文件處理方法，其包括：

獲取存儲服務器的熱數(shù)據(jù)組中的冷文件；

根據(jù)預設(shè)的分塊規(guī)則對所述冷文件進行分塊以得到與所述冷文件相對應的文件塊；

根據(jù)糾刪碼技術(shù)對所述文件塊進行編碼以得到與所述文件塊相對應的校驗塊；

將所述文件塊、所述校驗塊存入所述存儲服務器的冷數(shù)據(jù)組中；

若接收到下載所述冷文件的下載請求，根據(jù)所述下載請求從所述冷數(shù)據(jù)組中獲取所述冷文件。

第二方面，本發(fā)明實施例提供了一種基于糾刪碼的文件處理裝置，其包括：

獲取單元，用于獲取存儲服務器的熱數(shù)據(jù)組中的冷文件；

分塊單元，用于根據(jù)預設(shè)的分塊規(guī)則對所述冷文件進行分塊以得到與所述冷文件相對應的文件塊；

編碼單元，用于根據(jù)糾刪碼技術(shù)對所述文件塊進行編碼以得到與所述文件塊相對應的校驗塊；

第一存儲單元，用于將所述文件塊、所述校驗塊存入所述存儲服務器的冷數(shù)據(jù)組中；

第一獲取單元，用于若接收到下載所述冷文件的下載請求，根據(jù)所述下載請求從所述冷數(shù)據(jù)組中獲取所述冷文件。

第三方面，本發(fā)明實施例又提供了一種計算機設(shè)備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如上述第一方面所述的基于糾刪碼的文件處理方法。

第四方面，本發(fā)明實施例還提供了一種計算機可讀存儲介質(zhì)，其中所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序當被處理器執(zhí)行時使所述處理器執(zhí)行上述第一方面所述的基于糾刪碼的文件處理方法。