[發明專利]分布式緩存方法及系統

有效

• 申請號: 201410317772.8
• 申請日: 2014-07-04
• 公開（公告）號: CN104052824B
• 公開（公告）日: 2017-06-23
• 發明（設計）人: 何震宇;張高偉;李鑫;李義;陳明明;劉偉
• 申請（專利權）人: 哈爾濱工業大學深圳研究生院
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 深圳市科吉華烽知識產權事務所(普通合伙)44248
• 代理人: 于標

1.一種分布式緩存方法，其特征在于，該分布式緩存方法包括客戶端動態緩存庫和多個服務器端緩存服務單元，該分布式緩存方法構建在HDFS之上，在服務器端緩存服務單元中包括執行如下步驟：

HDFS數據獲取步驟：通過HDFS的API把HDFS上存儲的文件內容讀取出來加載到共享內存當中；

共享內存管理步驟：用于連接客戶端動態緩存庫和服務器端緩存服務單元；

在云服務應用端執行如下步驟：

交互控制步驟：用于完成同一個主機的交互工作，用于與ZooKeeper服務器完成遠程交互，用于計算想要獲得的文件并且定位到緩存；

該分布式緩存方法還包括運行在服務器端緩存服務單元上的序列號快照步驟，在所述序列號快照步驟中，用于周期性把元數據和所有的緩存文件寫入本地操作系統的文件系統，形成一系列的快照；

在所述共享內存管理步驟中，共享內存被分成了從個固定的頁，頁是最小的內存分配單位，在每頁的最后留下4位來存儲同一個文件的下一頁，所有的頁是以鏈表的形式組織；當客戶端獲取一個文件，緩存沒有命中的時候，服務器端緩存服務單元將會從其他的服務器端緩存服務單元或者HDFS的本地快照中查找文件；當服務器端緩存服務單元加載文件內容到共享內存的時候，如果共享內存已經沒有足夠的頁來分配，服務器端緩存服務單元會使用LRU算法去移除元數據信息圖中最近一段時間沒有使用的緩存內容；在處理LRU算法的時候，移除的文件放在本地磁盤中，如果本地磁盤沒有足夠的空間，LRU算法同樣應用于本地磁盤來移除本地磁盤上的最近一段時間沒有使用的文件；每個緩存文件有多個副本。

2.根據權利要求1所述的分布式緩存方法，其特征在于：在所述共享內存管理步驟中，通過HDFS數據獲取步驟中獲得的文件內容加載到分布式文件緩存當中，供客戶端讀取，提供一次寫入、多次讀取的模型。

3.根據權利要求2所述的分布式緩存方法，其特征在于：在云服務應用端還包括執行客戶端共享內存獲取步驟，在所述客戶端共享內存獲取步驟中，通過與共享內存管理步驟的交互來讀取所需文件內容。

4.一種分布式緩存系統，其特征在于，該分布式緩存系統包括客戶端動態緩存庫和多個服務器端緩存服務單元，該分布式緩存系統構建在HDFS之上，在服務器端緩存服務單元中包括：

HDFS數據獲取模塊：通過HDFS的API把HDFS上存儲的文件內容讀取出來加載到共享內存當中；

共享內存管理模塊：用于連接客戶端動態緩存庫和服務器端緩存服務單元；

客戶端動態緩存庫中包括：

客戶端交互控制模塊：用于完成同一個主機的交互工作，用于與ZooKeeper服務器完成遠程交互，用于計算想要獲得的文件并且定位到緩存；

該分布式緩存系統還包括運行在服務器端緩存服務單元上的序列號快照模塊，在所述序列號快照模塊中，用于周期性把元數據和所有的緩存文件寫入本地操作系統的文件系統，形成一系列的快照；

在所述共享內存管理模塊中，共享內存被分成了從個固定的頁，頁是最小的內存分配單位，在每頁的最后留下4位來存儲同一個文件的下一頁，所有的頁是以鏈表的形式組織；當客戶端獲取一個文件，緩存沒有命中的時候，服務器端緩存服務單元將會從其他的服務器端緩存服務單元或者HDFS的本地快照中查找文件；當服務器端緩存服務單元加載文件內容到共享內存的時候，如果共享內存已經沒有足夠的頁來分配，服務器端緩存服務單元會使用LRU算法去移除元數據信息圖中最近一段時間沒有使用的緩存內容；在處理LRU算法的時候，移除的文件放在本地磁盤中，如果本地磁盤沒有足夠的空間，LRU算法同樣應用于本地磁盤來移除本地磁盤上的最近一段時間沒有使用的文件；每個緩存文件有多個副本。

5.根據權利要求4所述的分布式緩存系統，其特征在于：在所述共享內存管理模塊中，通過HDFS數據獲取步驟中獲得的文件內容加載到分布式文件緩存當中，供客戶端讀取，提供一次寫入、多次讀取的模型。

6.根據權利要求5所述的分布式緩存系統，其特征在于：在客戶端動態緩存庫中還包括執行客戶端共享內存獲取模塊，在所述客戶端共享內存獲取模塊中，通過與共享內存管理模塊的交互來讀取所需文件內容。