[發明專利]一種元數據服務器熱點均衡方法

有效

• 申請號: 201110444485.X
• 申請日: 2011-12-26
• 公開（公告）號: CN102571772A
• 公開（公告）日: 2012-07-11
• 發明（設計）人: 王芳;馮丹;陳碧硯;張泉;明亮;蘇楠
• 申請（專利權）人: 華中科技大學
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 李佑宏

技術領域

本發明屬于計算機存儲技術領域，具體涉及一種針對對象存儲文件系統中元數據服務器集群的元數據服務器熱點均衡方法。

背景技術

隨著計算機技術的迅猛發展以及信息全球化的高速進展，傳統的網絡存儲方式已經不能滿足當今的應用需求了。通常，在分布式存儲架構中，將文件的數據和元數據分開管理，提供專門的元數據服務器管理元數據信息。據統計，當前文件系統中，有50％-80％的訪問是針對元數據的操作。另一方面，雖然與文件的數據相比，元數據所占用的存儲空間是非常小的，但是對于海量存儲系統，這些元數據所要占用的存儲空間也是相當可觀的，諸如Facebook此類的網站，需要維護的目錄規模已經達到數十億文件。單一的元數據服務器已經遠遠不能滿足用戶的需求了，因此非常有必要將元數據交給元數據服務器集群共同管理。系統運行過程中，不同的元數據在不同的時段訪問熱度有著明顯的差異，在某個時段，可能有大量的請求需要訪問同一個元數據服務器，甚至超出其服務能力，該元數據服務器就成為了系統性能的瓶頸，而此時其他的元數據服務器可能正處于空閑或者低負載運行狀態。因此，需要提出一種方法，有效解決元數據服務器的熱點問題，避免由于單個元數據服務器成為訪問瓶頸而影響系統應用的性能。

傳統的熱點解決方法是通過檢測元數據服務器的機器狀態，如通過對內存使用情況，CPU使用情況，網絡占用情況等機器狀態信息求加權值判斷元數據服務器是否是集群中的熱點，如果發現有元數據服務器過熱，則將該元數據服務器上的熱點元數據拷貝到其他元數據服務器節點上，讓多個元數據服務器節點并發提供元數據服務。由于負載的定義是相當廣泛的，僅僅通過對元數據服務器的設備狀態求加權值判斷節點是否過熱通常是不合適的。針對該問題，也提出了一種改進措施，即通過文件元數據請求的響應時間來衡量服務器的負載狀況，如王娟等提出的“一種元數據服務器的負載均衡算法”(小型微型計算機系統，2009年第30卷第4期)，通過比較各個元數據服務器的請求響應時間與整個集群的響應時間來判斷是否有元數據服務器負載過重，如果有，則將負載過重的元數據服務器上的部分元數據遷移到負載較輕的元數據服務器上。

改進的熱點監測算法需要統計各個元數據服務器的請求響應時間，這在實際系統中是難以操作的，并且算法的開銷較大。實際上對熱點監測并不需要精確計算出各個元數據服務器的請求響應時間，只要能夠及時感知節點的負載狀況，盡快發現集群中過熱的節點即可。

發明內容

本發明提供了一種元數據服務器熱點均衡方法，目的是針對元數據服務器集群中有大量訪問集中到某個元數據服務器上時，系統服務質量嚴重下降的問題，提出了一種有效的解決方法，同時該方法對元數據服務器集群的可靠性也有一定的提高。

本發明的一種元數據服務器熱點均衡方法，包括如下步驟：

(1)元數據服務器集群分組步驟：該步驟的主要工作是將一個元數據服務器集群劃分為若干個組，每個組中包含若干個主元數據服務器和若各干備份元數據服務器。

主元數據服務器處理客戶端發送的所有請求，同時將元數據服務器上的所有數據和狀態信息同步到備份元數據服務器上；備份元數據服務器有該組內所有主元數據服務器的副本信息，當主元數據服務器失效后，備份元數據服務器能夠升級為主元數據服務器，接替失效的主元數據服務器對外提供元數據服務；

(2)熱點遷移表構建步驟：該步驟的主要工作是在客戶端上構建一張熱點遷移表。

當客戶端掛載到主元數據服務器上時，主元數據服務器將自身以及相應的備份元數據服務器的信息發送給客戶端，客戶端在本地構建一張熱點遷移表。熱點遷移表上記錄了主元數據服務器和相應的備份元數據服務器的信息，每個元數據服務器的信息中有一個熱點遷移參數，該參數標識客戶端將讀請求發給相應元數據服務器的概率；

構建熱點遷移表時，將主元數據服務器的熱點遷移參數初始化為1，將備份元數據服務器的熱點遷移參數初始化為0，表明所有的讀請求都發送給主元數據服務器，備份元數據服務器不對外提供服務；

(3)元數據服務器熱點監測步驟：該步驟的主要工作是監測每臺元數據服務器上的負載狀況，判斷是否有元數據服務器成為訪問的熱點。