[發明專利]基于文件訪問特性的分布式自適應存儲方法及系統

在審

• 申請號: 202111478562.3
• 申請日: 2021-12-06
• 公開（公告）號: CN114253917A
• 公開（公告）日: 2022-03-29
• 發明（設計）人: 宋瑩;張強
• 申請（專利權）人: 北京信息科技大學
• 主分類號: G06F16/172
• 分類號: G06F16/172;G06F16/16;G06F16/182
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國;陳思遠

1.一種基于文件訪問特性的分布式自適應存儲方法，其特征在于，包括：

步驟1、獲取分布式存儲系統中各文件在預設周期內的平均訪問頻率，并根據該平均訪問頻率計算各文件的熱度；

步驟2、根據當前周期內各文件的熱度，將所有文件劃分為熱數據和冷數據，進一步根據每個熱數據所占數據塊數量，將所有該熱數據劃分為小熱數據和大熱數據，并根據每個冷數據所占數據塊數量，將所有該冷數據劃分為小冷數據和大冷數據；

步驟3、對該小熱數據采用副本復制策略進行存儲，對該大熱數據采用LRC(6，2，2)編碼方式進行存儲，對該小冷數據采用RS(3，2)編碼方式進行存儲，對該大冷數據采用RS(6，3)來進行存儲。

2.如權利要求1所述的基于文件訪問特性的分布式自適應存儲方法，其特征在于，包括：

步驟4、多次執行該步驟1，以周期性的統計各文件的熱度，使用最新一個周期中的熱數據，與上一周期的熱數據進行文件比較，得到該最新一個周期新產生的新熱文件，以及該上一周期中由熱轉冷的新冷文件；

步驟5、將新熱文件的存儲策略更改為LRC(6，2，2)編碼或副本復制方式存儲，將新冷文件的存儲策略更改為RS(6，3)編碼或RS(3，2)編碼方式存儲。

3.如權利要求1所述的基于文件訪問特性的分布式自適應存儲方法，其特征在于，該步驟4包括：判斷當前該分布式存儲系統的存儲開銷是否低于閾值，若是，則執行該步驟5，否則將當前最新一個周期中熱數據熱度排名末尾的文件轉換為冷數據后，執行該步驟5。

4.如權利要求1所述的基于文件訪問特性的分布式自適應存儲方法，其特征在于，該步驟1包括：

將預設周期分為多個時間段，設其中一個時間段為當次熱度統計時刻，在該當次熱度統計時刻之前的另一個時間段為上次熱度統計時刻，該預設周期中越靠近該當次熱度統計時刻的文件訪問權重數值越高，越靠近該上次熱度統計時刻的文件訪問權重數值越低；各文件的熱度H通過下式計算得到：

H＝(1-β)I+βf_avg(0＜β＜1)

f_avg為該平均訪問頻率，I為該權重數值，β為平衡因子。

5.一種基于文件訪問特性的分布式自適應存儲系統，其特征在于，包括：

熱度計算模塊，用于獲取分布式存儲系統中各文件在預設周期內的平均訪問頻率，并根據該平均訪問頻率計算各文件的熱度；

文件分類模塊，用于根據當前周期內各文件的熱度，將所有文件劃分為熱數據和冷數據，進一步根據每個熱數據所占數據塊數量，將所有該熱數據劃分為小熱數據和大熱數據，并根據每個冷數據所占數據塊數量，將所有該冷數據劃分為小冷數據和大冷數據；

文件存儲模塊，用于對該小熱數據采用副本復制策略進行存儲，對該大熱數據采用LRC(6，2，2)編碼方式進行存儲，對該小冷數據采用RS(3，2)編碼方式進行存儲，對該大冷數據采用RS(6，3)來進行存儲。

6.如權利要求5所述的基于文件訪問特性的分布式自適應存儲系統，其特征在于，包括：

比較模塊，用于多次調用該模塊1，以周期性的統計各文件的熱度，使用最新一個周期中的熱數據，與上一周期的熱數據進行文件比較，得到該最新一個周期新產生的新熱文件，以及該上一周期中由熱轉冷的新冷文件；

存儲策略更改模塊，用于將新熱文件的存儲策略更改為LRC(6，2，2)編碼或副本復制方式存儲，將新冷文件的存儲策略更改為RS(6，3)編碼或RS(3，2)編碼方式存儲。

7.如權利要求5所述的基于文件訪問特性的分布式自適應存儲方法，其特征在于，該比較模塊包括：判斷當前該分布式存儲系統的存儲開銷是否低于閾值，若是，則執行該存儲策略更改模塊，否則將當前最新一個周期中熱數據熱度排名末尾的文件轉換為冷數據后，執行該存儲策略更改模塊。