[發明專利]一種基于Ceph的海量小文件存取優化方法

有效

• 申請號: 201810343960.6
• 申請日: 2018-04-17
• 公開（公告）號: CN108710639B
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 王勇;陸小霞;葉苗;郇宜鳴
• 申請（專利權）人: 桂林電子科技大學
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/172;G06F16/13;G06F16/182
• 代理公司: 桂林市持衡專利商標事務所有限公司 45107
• 代理人: 陳躍琳

1.一種基于Ceph的海量小文件存取優化方法，包括步驟如下：

步驟1、獲取客戶端同一時段內待上傳的文件的文件的文件名和文件大小，并根據設定的文件閾值對這些文件進行分類：當待上傳的文件的大小大于文件閾值時，則判定為大文件，直接上傳到Ceph集群；當待上傳的文件的大小等于或小于文件閾值時，則判定為小文件；

步驟2、利用K-means聚類算法對小文件進行關聯分組，并對各個分組內的小文件按照文件大小從大到小進行排序，再將各分組內的小文件依次進行合并后上傳到Ceph集群，同時根據小文件在合并文件內的映射關系生成索引文件；

步驟3、當用戶發出訪問請求時，客戶端判斷請求文件是否在客戶端的緩存中：若在客戶端的緩存中，則直接從客戶端的緩存中直接訪問該請求文件；否則，客戶端將請求信息上傳Ceph集群；

步驟4、Ceph集群接收請求信息，并根據請求文件的文件名確定其文件類型，若請求文件為大文件時，則直接從Ceph集群中讀取該請求文件，并存儲到客戶端緩存中供用戶訪問，若請求文件為小文件時，則先根據索引文件確定請求文件在合并文件中的具體位置信息，再從Ceph集群中讀取該請求文件，并存儲到客戶端緩存中供用戶訪問；

其特征是，進一步包括文件預取過程，即：

在從Ceph集群中讀取請求文件，且請求文件為小文件時，需要計算請求文件所在合并文件內的各個小文件與請求文件的相關率Ψ，并將該合并文件中相關率Ψ大于相關閾值的小文件與請求文件一并讀取出來，存儲到客戶端緩存中；其中相關率Ψ為：

其中，n在統計時間段內請求文件被訪問的次數，d表示統計時間段內合并文件中小文件被訪問的次數，sum表示統計時間段內所有小文件被訪問的總次數。

2.根據權利要求1所述的一種基于Ceph的海量小文件存取優化方法，其特征是，步驟1中，文件閾值根據Ceph集群文件塊大小設定。

3.根據權利要求1所述的一種基于Ceph的海量小文件存取優化方法，其特征是，步驟2中，各個分組內的小文件在關聯合并過程中，需要判斷待合并的小文件與之前合并生成的合并文件的大小之和是否大于文件閾值；若小于等于文件閾值，直接將待合并的小文件合并到之前合并生成的合并文件中，否則，需要重新申請一個合并文件。

4.根據權利要求1所述的一種基于Ceph的海量小文件存取優化方法，其特征是，步驟2中，索引文件的結構為key,value，其中key保存小文件的文件名，value保存小文件在合并文件中的起始位置file_offset和小文件的大小file_length。

5.根據權利要求1所述的一種基于Ceph的海量小文件存取優化方法，其特征是，在文件預取過程中，當合并文件中相關率Ψ大于相關閾值的小文件個數大于給定的最大預取個數num時，則僅將相關率Ψ排在前num位的小文件與請求文件一并存儲到客戶端緩存中。

6.根據權利要求5所述的一種基于Ceph的海量小文件存取優化方法，其特征是，最大預取個數num為：

其中，math.floor(*)表示向下取整，T_w表示用戶的最大等待時間，T_Ceph表示Ceph集群接收到訪問請求到返回文件的時間，T_pre表示Ceph集群預取一個文件的時間。

7.根據權利要求1所述的一種基于Ceph的海量小文件存取優化方法，其特征是，還進一步包括對客戶端中的緩存的文件進行緩存優化的過程，即分別計算各個文件的權重R_w，并根據緩存文件的權重R_w對文件進行排序，其中權重高的文件存儲在客戶端的二級緩存中，而權重低的文件存儲在一級緩存中；當后續Ceph集群中新讀取的文件需要存儲到客戶端中的緩存，且緩存空間不足時，逐漸從一級緩存中刪除權重R_w最小的文件；其中文件的權重R_w為：

R_w＝e^-(Nt-Nr)×t

其中，N_t表示客戶端緩存的最大容量，N_r表示緩存文件被訪問的次數，t表示緩存更新時間。