[發明專利]一種分布式文件系統熱度統計方法、裝置

在審

• 申請號: 202010580330.8
• 申請日: 2020-06-23
• 公開（公告）號: CN111858481A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 劉洪棟;肖國棟
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F16/14
• 分類號: G06F16/14;G06F16/13;G06F16/182
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 孫玉營

1.一種分布式文件系統熱度統計方法，其特征在于，包括如下步驟：

根據文件的熱度值，將文件分配至快速池和慢速池；

接收定時上報的文件的熱度值并更新熱度表中對應文件的熱度值；

快速池的文件通過對相應文件對應的熱度表進行定期掃描觸發更新熱度值；慢速池的文件根據時間按預設規則進行熱度衰減操作，通過訪問緩存文件觸發更新熱度值。

2.根據權利要求1所述的一種分布式文件系統熱度統計方法，其特征在于，快速池的文件通過對相應文件對應的熱度表進行定期掃描觸發更新熱度值的步驟包括：

定期對快速池中文件對應的熱度表進行掃描，并根據時間按預設規則進行熱度衰減操作；

熱度衰減后，當熱度值小于設定的冷閾值時，將該熱度值對應的文件放入待遷移慢速池隊列，進行文件遷移；

遷移完成后，更新熱度表及熱度表中文件對應熱度值。

3.根據權利要求1所述的一種分布式文件系統熱度統計方法，其特征在于，慢速池的文件根據時間按預設規則進行熱度衰減操作，通過訪問緩存文件觸發更新熱度值的步驟包括：

當接收到上報的文件熱度值時,根據時間按預設規則進行熱度衰減操作,熱度衰減后，判斷熱度值是否大于設定的熱閾值，若是，將該熱度值對應的文件放入待遷移快速池隊列，進行文件遷移，若否，將該文件存入慢速池緩存中；

當訪問慢速池緩存中文件時，根據時間按預設規則進行熱度衰減操作；熱度衰減后，當熱度值大于設定的熱閾值時，將該熱度值對應的文件放入待遷移快速池隊列，進行文件遷移；

遷移完成后，清理熱度表中該文件對應的熱度值。

4.根據權利要求1所述的一種分布式文件系統熱度統計方法，其特征在于，熱度表為兩級結構存儲，其中，一級結構存儲目錄的熱度信息，目錄的熱度信息為目錄下所有文件熱度最小值；

二級結構存儲對應目錄下每個文件的熱度信息。

5.根據權利要求2所述的一種分布式文件系統熱度統計方法，其特征在于，定期對快速池中文件對應的熱度表進行掃描，并根據時間按預設規則進行熱度衰減操作的步驟中，對快速池中文件對應的熱度表進行掃描的步驟包括：

掃描一級結構存儲的目錄下所有文件熱度最小值，若目錄下所有文件熱度最小值大于冷閾值，則不需要掃描二級結構，否則，掃描對應目錄下每個文件的熱度信息。

6.根據權利要求2或3所述的一種分布式文件系統熱度統計方法，其特征在于，對文件的熱度值按預設規則進行衰減操作的步驟包括：

通過熱度衰減公式進行熱度衰減，熱度衰減公式為：

其中R_new為新的熱度值，R_old為衰減前的熱度值，t為時間，half為半衰期參數。

7.一種分布式文件系統熱度統計裝置，其特征在于，包括分配模塊、熱度表更新模塊、快速池熱度處理模塊和慢速池熱度處理模塊；

分配模塊，用于根據文件的熱度值，將文件分配至快速池和慢速池；

熱度表處理模塊，用于接收定時上報的文件熱度值并更新熱度表中對應文件的熱度值；

快速池熱度處理模塊，用于將快速池的文件通過對文件對應的熱度表進行定期掃描觸發更新熱度值；

慢速池熱度處理模塊，用于將慢速池的文件根據時間按預設規則進行熱度衰減操作，通過訪問緩存文件觸發更新熱度值。

8.根據權利要求7所述的一種分布式文件系統熱度統計裝置，其特征在于，快速池熱度處理模塊包括：掃描模塊、第一處理模塊、第一判斷模塊、第一遷移模塊；

掃描模塊，定期對快速池中文件對應的熱度表進行掃描；

第一處理模塊，用于根據時間按預設規則進行熱度衰減操作；

第一判斷模塊，用于熱度衰減后，判斷熱度值是否小于設定的冷閾值，若是，將該熱度值對應的文件放入待遷移慢速池隊列；

第一遷移模塊，用于將待遷移慢速池隊列的文件遷移到慢速池；

熱度表更新模塊，還用于待遷移慢速池隊列的文件遷移到慢速池后，更新熱度表及熱度表中文件對應熱度值。