[發明專利]一種基于對象分布式文件系統的存儲緩存方法

有效

• 申請號: 201110420272.3
• 申請日: 2011-12-15
• 公開（公告）號: CN102523285A
• 公開（公告）日: 2012-06-27
• 發明（設計）人: 萬健;周昶;張紀林;徐向華;殷昱煜;任永堅
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 杜軍

技術領域

本發明涉及分布式文件系統的存儲緩存實現方法，尤其涉及在異構存儲環境下基于對象的分布式文件系統的存儲緩存實現方法。

背景技術

現今信息社會中越來越多的分布式存儲文件系統的存儲容量已上升到PB級別，由于基于對象的存儲系統在進行海量存儲時表現出更好的性能而越來越受到存儲領域的關注。它實現了數據對象的元數據和數據內容的分離管理，其系統架構主要由客戶機、元數據服務器和基于對象的基于對象存儲設備組成。元數據服務器負責數據對象的元數據管理和其他存儲管理，基于對象的存儲設備負責底層數據實際塊的部署和存取，它維持著數據實際塊和數據對象的邏輯聯系，并向上層客戶機提供數據對象的操作接口。

在基于對象存儲系統中，存儲在基于對象存儲設備中的數據內容往往是存儲系統中信息量最大的部分。所以，對于數據內容的網絡傳輸速率快慢直接影響存儲系統的網絡開銷及其I/O性能.在用戶訪問模式中，會出現訪問頻率較高的熱點對象，此時，提高熱點對象數據內容的訪問速率，對提高文件系統的性能非常重要.而在真實生產環境中，大多存儲集群是異構存儲集群，其中每臺設備的性能是存在性能差異的，帶寬限制、主存大小、CPU主頻和磁盤讀寫速度的不同都是造成這個現象的原因，而最終這些差異都會導致傳輸延遲的不同.如果數據訪問中的熱點對象(特別是大文件)被部署到傳輸延遲較高的設備中，那么客戶機在對熱點對象進行操作時，就會連接傳輸延遲較高的設備，造成網絡傳輸開銷過高和整體系統I/O性能低下的結果。

另一方面，為了提高整體系統的I/O性能，網絡緩存技術是主要手段之一。現在主流的網絡緩存技術主要有客戶機緩存、近客戶機緩存和存儲緩存.客戶機緩存把緩存部署在客戶機本地磁盤中，這樣可以避免用戶二次訪問時的網絡傳輸開銷。客戶機緩存把緩存部署在離客戶機較近或者與客戶機傳輸速率很高的代理服務器上，這樣客戶機二次訪問時直接連接到高傳輸速率的代理服務器上，可以避免客戶機與服務器之間的網絡傳輸開銷.而存儲緩存是把熱點對象部署在存儲集群中一些傳輸速率較高的代理服務器上，提高集群中對熱點對象操作時的傳輸效率。存儲緩存能夠對全體用戶而非部分用戶的數據訪問特征進行分析，根據訪問頻率來緩存全體用戶訪問的熱點對象，從而提高這些熱點對象的網絡傳輸速率。

發明內容

針對在異構存儲環境中基于對象分布式文件系統所產生的高頻訪問熱點對象連接傳輸延遲較高設備的網絡傳輸開銷過高和整體I/O性能低下的問題，本發明結合對象存儲系統的數據訪問方式及其特點，提出一種存儲緩存的實現方法，它把熱點文件部署到傳輸延遲比較低的設備中進行緩存。

本發明以基于對象存儲系統的架構為基礎，由客戶端、元數據服務器集群和存儲集群構成。在存儲集群中，把一些傳輸速率較高的存儲設備部署為代理服務器，對數據對象進行緩存。存儲集群中的監視器通過維護設備信息表來維持整體存儲集群的部署調度。設備信息表記錄著每臺設備的存儲信息，包括存儲容量、所在分組、存儲的數據對象的i節點列表、目錄信息和該設備的傳輸延遲等等。設備的信息表更新通過時間戳機制來完成，監視器按照最新時間戳的設備信息表來調度存儲集群。

基于以上存儲緩存的系統架構，本發明還包含了存儲集群服務器中代理服務器和普通服務器中高頻訪問熱點對象的置換策略。其核心思想是把近段時間內用戶訪問頻率較高的數據對象放入緩存，并且還要考慮到代理服務器的存儲容量空間的有限性，即在代理服務器剩余空間不足的情況下替入的對象占用空間應該比替出的對象要小。考慮每個數據對象的兩個參數：對象的訪問頻率（以下簡稱f）和對象的大小（以下簡稱s），本發明針對以上原因的基于數據對象訪問頻率的置換策略，其步驟如下：

A在存儲集群監視器中將緩存中的數據對象按照訪問頻率f降序排列.進入步驟B.

B假設緩存中有n個數據對象，考慮數據對象m是否需要置換.若f_n>f_m則表示m訪問頻率較低，不能置換.若f_n<f_m，則進入步驟C.

C在緩存的數據對象序列中找到一個最大值a，以使對象a到n的占用空間的總和大于m的占用空間，若f_a>f_m，則表示m對象占用空間過大，緩存內同等容量的對象的訪問頻率比m高，所以不能置換.若f_a<f_m則表示m比緩存內同等容量的對象訪問頻率高，所以把對象a到n替出，替進m.