[發明專利]一種基于分布式文件系統HDFS的小文件存取優化方法

在審

• 申請號: 202011103769.8
• 申請日: 2020-10-15
• 公開（公告）號: CN112148681A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 李鵬;張迅;王汝傳;徐鶴;朱楓;程海濤;孫佳杰;魯意
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/16;G06F16/172;G06F16/182;G06F12/0862;G06F12/123;G06F12/126
• 代理公司: 南京正聯知識產權代理有限公司 32243
• 代理人: 張玉紅

1.一種基于分布式文件系統HDFS的小文件存取優化方法，其特征在于：所述小文件存取優化方法包括如下步驟：

步驟1：建立Hadoop完全分布式集群；

步驟2：封裝原有HDFS API，將數據經由文件處理層操作；

步驟3：文件處理層首先設有文件判斷模塊，以10M為標準，判斷用戶請求是讀操作還是寫操作、訪問的是大文件還是小文件，小于10M的為小文件；

步驟4：將小文件的元數據、緩存數據存儲至基于Redis的存儲模塊中；

步驟5：將小文件輸入至基于AGNES算法的合并器，利用AGNES算法對用戶上傳小文件進行分類后存入隊列，當隊列內文件占用達到隊列90%容量時，合并器對其進行合并操作；

步驟6：在文件處理層設置預取器，該預取器將緩存分為基于GBDT算法的預測緩存區域、基于LRU算法的普通緩存區域、未執行合并操作的小文件存儲的臨時文件區域，區域比例設置為1：1：5；預取器根據不同策略為每個預取執行不同的緩存替換策略，同時修改對應的小文件元數據，使其指向緩存；

步驟7：將文件處理層封裝，用戶執行API供用戶進行小文件的上傳下載操作。

2.根據權利要求1所述的一種基于分布式文件系統HDFS的小文件存取優化方法，其特征在于：步驟3中，當執行文件寫操作時，文件判斷模塊判斷用戶上傳的文件是否為小于10M的小文件，如果不是小文件，直接存入HDFS集群，如果是小文件，則將小文件元數據以K,V對形式存儲在Redis中，K為小文件元數據，V為小文件存儲位置信息，將小文件存儲在Redis模塊中的緩存臨時文件區域。

3.根據權利要求1所述的一種基于分布式文件系統HDFS的小文件存取優化方法，其特征在于：步驟3中，當執行文件讀操作時，文件判斷模塊判斷用戶請求文件是否為小于10M的小文件，如果不是小文件，則將請求發送到HDFS集群，如果是小文件，則查看緩存是否存在小文件，如果存在，則直接提取小文件返回給用戶，否則向HDFS集群請求數據，將數據返回給用戶，同時存入緩存。

4.根據權利要求1所述的一種基于分布式文件系統HDFS的小文件存取優化方法，其特征在于：步驟5中，具體的，在緩存中分出的臨時文件區域設置n個隊列，每個隊列長度設置為120M，存儲分類后的小文件；當隊列占用達到90%時，合并器將對應隊列中的小文件合并為MapFile格式文件存儲HDFS，同時更改小文件元數據，使其指向HDFS集群內合并文件。

5.根據權利要求1所述的一種基于分布式文件系統HDFS的小文件存取優化方法，其特征在于：預測緩存區域使用基于用戶行為的緩存替換策略，使用基于GBDT的算法從用戶歷史訪問記錄中挖掘用戶在不同時間訪問小文件之間的關聯性；通過用戶歷史訪問記錄預測正在運行的用戶將可能訪問的一批小文件，提前從HDFS集群中提取這批小文件。

6.根據權利要求1所述的一種基于分布式文件系統HDFS的小文件存取優化方法，其特征在于：普通緩存區域用于緩存用戶歷史訪問的小文件，該區域使用LRU替換策略，當該區域緩存文件的大小達到所設定的閾值時，將最近最少使用的文件替換出緩存。

7.根據權利要求1所述的一種基于分布式文件系統HDFS的小文件存取優化方法，其特征在于：臨時文件區域用于緩存用戶新上傳的文件，該區域文件被合并器分類合并成合并文件然后存入HDFS集群；合并操作后，臨時文件區域將會被清空，等待繼續存儲用戶新上傳的文件。