[發明專利]一種集群文件系統基于客戶端的可傳播緩存方法

在審

• 申請號: 201611047448.4
• 申請日: 2016-11-23
• 公開（公告）號: CN106776798A
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 李發明;張勤
• 申請（專利權）人: 深圳市中博睿存科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及集群文件系統基于客戶端可傳播的緩存技術,具體的說是一種通過集群文件系統客戶端緩存并將緩存信息傳播到其它客戶端使用的方法。

背景技術

集群文件系統是指運行在多個計算機之上，之間通過某種方式相互連通從而使集群內所有計算機上的可用磁盤的空間整合并虛擬為統一的空間，并通過某種方式對外提供存儲空間的系統。

集群文件系統分為多類，按照對存儲空間的訪問方式，可分為共享存儲型集群文件系統和分布式集群文件系統，前者是多臺計算機識別到同樣的存儲空間，并相互協調共同管理其上的文件，又被稱為共享文件系統；后者則是每臺計算機各自提供自己的存儲空間，并各自協調管理所有；按照元數據的管理方式，可分為對稱式集群文件系統和非對稱式集群文件系統。

前者每個節點的角色均等，共同管理文件元數據，節點間通過高速網絡進行信息同步和互斥鎖等操作。而非對稱式集群文件系統中，有專門的一個或者多個節點負責管理元數據，其他節點需要頻繁與元數據節點通信以獲取最新的元數據比如目錄列表文件屬性等等。

按照文件訪問方式來分類，集群文件系統可分為串行訪問式和并行訪問式。串行訪問是指客戶端只能從集群中的某個節點來訪問集群內的文件資源，而并行訪問則是指客戶端可以直接從集群中任意一個或者多個節點同時收發數據，做到并行數據存取，加快速度。

集群文件系統是由多個集群節點對外提供統一的文件系統，客戶端節點可以通過任意一個集群節點讀取到文件系統中的保存的數據，通常情況下客戶端訪問某個集群節點時，集群節點會在集群內節點中讀取數據，并返回給客戶端，對于客戶端而言每次訪問都會有較長的訪問路徑，需要通過多個網絡才可以把數據得到，并且一般集群文件系統會同時有多個客戶端訪問，這樣的訪問方式增加了集群負載，降低了集群的性能。

發明內容

本發明針對目前技術發展的需求和不足之處，提供一種集群文件系統基于客戶端的可傳播緩存方法，提高了客戶端讀取數據的速度，降低了集群中所有節點及網絡的負載。

為實現上述目的，本發明提供的技術方案是：一種集群文件系統基于客戶端的可傳播緩存方法，通過在所有訪問集群文件系統的客戶端內存及硬盤劃分出一個區域用于緩存本客戶端訪問過的數據，同時通過消息的形式通知其它訪問集群的客戶端緩存內容，當其它客戶端也需要訪問相同數據時，可以不通過訪問集群而直接訪問相應的其它客戶端；

當某客戶端讀取數據時，先會嘗試從本地緩存中讀取，如果沒有會在位于本機的其它客戶端緩存列表查找，如果找到則直接從其它客戶端讀??；如果沒有找到再向集群發出讀取數據請求。

進一步，所述客戶端的緩存由二部分組成：內存、磁盤中劃分的一個分區；有數據需要緩存時，先存儲在內存，當內存使用到閥值時，將數據寫到分區，并回收內存。

進一步，所述集群文件系統讀取文件流程如下：

客戶端上層應用程序發起讀取文件請求；

客戶端檢查本地緩存中是否包括需要讀取的文件，

如果包括需要讀取的文件，則讀取緩存中的文件，返回上層應用程序；

如果不包括需要讀取的文件，則讀取位于本地的其他客戶端緩存列表，

檢查列表中是否存在需要讀取的文件；

如果存在需要讀取的文件，向其他客戶端發出讀取緩存文件的指令，向其他客戶端返回緩存文件，本客戶端緩存文件，返回上層應用程序；

如果不包括需要讀取的文件，則從集群讀取文件，

將文件緩存在本地，

通過消息通知其它客戶端新緩存的文件，

返回上層應用程序。

進一步，所述客戶端緩存內存大小由用戶配置。

進一步，所述客戶端緩存磁盤由用戶指定。

進一步，所述客戶端緩存內存默認為5GB。

進一步，在客戶端啟動時，將位于專用分區中的數據讀取到緩存內存，客戶端進行過程中有新的緩存內容時，如果有緩存內存空間則將內容緩存在緩存內存中；如果可用的緩存內存空間不足時，會清空已回寫到專用分區的內容，如果這時專用分區空間不足，會刪除最老的緩存數據。

進一步，在客戶端程序運行過程中，當已用緩存內存達到閥值1時，客戶端會將緩存內存中的緩存數據回寫到專用分區，閥值1用戶可配置，默認為0.5，即已用緩存內存占可用緩存內存的50％。