[發(fā)明專利]海量小文件存取優(yōu)化方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110484057.3
• 申請日: 2021-04-30
• 公開（公告）號: CN113176857A
• 公開（公告）日: 2021-07-27
• 發(fā)明（設(shè)計）人: 鄭平
• 申請（專利權(quán)）人: 康鍵信息技術(shù)（深圳）有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京市京大律師事務(wù)所 11321
• 代理人: 姚維

1.一種海量小文件存取優(yōu)化方法，其特征在于，所述海量小文件存取優(yōu)化方法包括：

根據(jù)預(yù)設(shè)的文件動態(tài)劃分規(guī)則,將待存儲的文件進(jìn)行劃分后存儲到對應(yīng)存儲池，所述存儲池包括本地磁盤存儲池和高速磁盤存儲池；

基于磁盤陣列技術(shù)為所述高速磁盤存儲池設(shè)定獨(dú)立冗余磁盤陣列結(jié)構(gòu)；

獲取文件的讀取請求，并根據(jù)所述讀取請求，在所述存儲池中執(zhí)行相應(yīng)的文件讀取操作，并生成文件的讀取操作記錄；

基于所述文件的讀取操作記錄，對所述本地磁盤存儲池中的文件進(jìn)行文件過濾，將過濾得到的文件傳輸至高速磁盤存儲池中，當(dāng)接收到所述過濾得到的文件的讀取請求時，重定向至所述過濾得到的文件進(jìn)行讀取。

2.根據(jù)權(quán)利要求1所述的海量小文件存取優(yōu)化方法，其特征在于，所述根據(jù)預(yù)設(shè)的文件動態(tài)劃分規(guī)則,將待存儲的文件進(jìn)行劃分后存儲到對應(yīng)的存儲池包括：

獲取所有待存儲文件預(yù)設(shè)期望訪問頻率參數(shù)，根據(jù)所述期望訪問頻率參數(shù)，將所述待存儲文件劃分為高頻訪問文件類和低頻訪問文件類；

將所述高頻訪問文件類中的文件順序?qū)懭胨龈咚俅疟P存儲池中的存儲基元，將所述低頻訪問文件類中的文件順序?qū)懭胨霰镜卮疟P存儲池中的存儲基元；

根據(jù)所述文件在所述存儲基元的起始地址和容量大小，確定所述文件所屬的文件組以及文件在該文件組內(nèi)的序號,所述文件組包含至少兩個順序存儲的文件；

以所述文件組的標(biāo)識號與文件的序號為索引,建立所述索引與文件的文件名之間的對應(yīng)關(guān)系。

3.根據(jù)權(quán)利要求1所述的海量小文件存取優(yōu)化方法，其特征在于，所述獲取文件的讀取請求，并根據(jù)所述讀取請求，在所述存儲池中執(zhí)行相應(yīng)的文件讀取操作，并生成文件的讀取操作記錄包括：

獲取文件讀取請求，其中,所述文件讀取請求中包括待讀取文件所處的目標(biāo)虛擬磁盤分區(qū)及所述待讀取文件的虛擬邏輯地址；

根據(jù)虛擬磁盤分區(qū)與物理磁盤分區(qū)的映射關(guān)系,確定所述目標(biāo)虛擬磁盤分區(qū)對應(yīng)的目標(biāo)物理磁盤分區(qū)；

根據(jù)所述待讀取文件的虛擬邏輯地址和所述文件讀取請求,在所述目標(biāo)物理磁盤分區(qū)執(zhí)行相應(yīng)的文件讀取操作。

4.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的海量小文件存取優(yōu)化方法，其特征在于，所述基于所述文件的讀取操作記錄對所述本地磁盤存儲池中的文件進(jìn)行文件過濾，將過濾得到的文件傳輸?shù)礁咚俅疟P存儲池中，當(dāng)接收到所述過濾得到的文件的讀取請求時，重定向至所述過濾得到的文件進(jìn)行讀取包括：

從所述文件的讀取操作記錄中，獲取所述本地磁盤存儲池中所有文件在預(yù)設(shè)時間段內(nèi)的讀取次數(shù)；

若所述讀取次數(shù)大于預(yù)設(shè)第一閾值，則將讀取次數(shù)大于所述第一閾值的文件傳輸至所述高速磁盤存儲池中，并在內(nèi)存中生成該讀取的文件在高速磁盤存儲池中的存儲位置記錄；

當(dāng)再次讀取所述讀取次數(shù)大于所述第一閾值的文件時，根據(jù)所述讀取次數(shù)大于所述第一閾值的文件在高速磁盤存儲池中的存儲位置記錄，直接重定向至對應(yīng)的文件進(jìn)行讀取。

5.根據(jù)權(quán)利要求3所述的海量小文件存取優(yōu)化方法，其特征在于，在所述根據(jù)所述待讀取文件的虛擬邏輯地址和所述文件讀取請求,在所述目標(biāo)物理磁盤分區(qū)執(zhí)行相應(yīng)的文件讀取操作之后，還包括：

獲取所述高速磁盤存儲池中的每個文件的訪問頻率；

判斷各文件的訪問頻率是否小于閾值；

若所述訪問頻率小于預(yù)置閾值，則刪除訪問頻率小于閾值對應(yīng)的文件。

6.根據(jù)權(quán)利要求4所述的海量小文件存取優(yōu)化方法，其特征在于，在當(dāng)再次讀取所述讀取次數(shù)大于所述第一閾值的文件時，根據(jù)所述讀取次數(shù)大于所述第一閾值的文件在高速磁盤存儲池中的存儲位置記錄，直接重定向至對應(yīng)的文件進(jìn)行讀取之后，還包括：

接收文件覆蓋寫請求；

根據(jù)所述覆蓋寫請求，確定待覆蓋的文件以及所述待覆蓋的文件在內(nèi)存中的存儲位置記錄；

刪除內(nèi)存中所述待覆蓋的文件的存儲位置記錄；

從高速磁盤存儲池中刪除所述待覆蓋的文件并寫入新的文件。