[發(fā)明專利]分布式文件系統(tǒng)及均衡元數(shù)據(jù)存儲和訪問負載的實現(xiàn)方法

有效

• 申請?zhí)枺?/td>: 201410069893.5
• 申請日: 2014-02-28
• 公開（公告）號: CN103793534B
• 公開（公告）日: 2017-09-08
• 發(fā)明（設計）人: 郁岐鋒;花磊
• 申請（專利權(quán)）人: 蘇州博納訊動軟件有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種分布式文件系統(tǒng)，其特征在于，由客戶端，元數(shù)據(jù)服務器和存儲服務器三部分組成；

所述的客戶端包括客戶端元數(shù)據(jù)緩存模塊和客戶端元數(shù)據(jù)訪問模塊；

所述的元數(shù)據(jù)服務器分配有元數(shù)據(jù)目錄樹形式的元數(shù)據(jù)，元數(shù)據(jù)服務器維護一棵或多棵元數(shù)據(jù)目錄子樹，并記錄：

本地元數(shù)據(jù)存儲負載Mcount；

所有元數(shù)據(jù)服務器的總元數(shù)據(jù)存儲負載TMcount；

路徑和元數(shù)據(jù)服務器映射表PMT；

元數(shù)據(jù)服務器維護的每棵元數(shù)據(jù)目錄子樹對應元數(shù)據(jù)目錄樹中的一個目錄節(jié)點，即元數(shù)據(jù)目錄子樹根節(jié)點，有其對應的路徑；

定義分布式文件系統(tǒng)根目錄的子目錄為一級目錄，每個元數(shù)據(jù)服務器維護一棵或多棵分布式文件系統(tǒng)元數(shù)據(jù)目錄子樹，每棵子樹中的目錄節(jié)點維護一個本目錄下的元數(shù)據(jù)計數(shù)，記號為i的元數(shù)據(jù)服務器維護一個自身的元數(shù)據(jù)計數(shù)總值Mcount_i，元數(shù)據(jù)總計數(shù)TMcount表示所有元數(shù)據(jù)服務器上元數(shù)據(jù)計數(shù)的總和，N表示元數(shù)據(jù)服務器數(shù)量，實現(xiàn)元數(shù)據(jù)服務器之間元數(shù)據(jù)存儲負載均衡的運行方法包括以下四個步驟：存儲負載均衡初始化、初始閾值、目錄子樹遷移和目錄子樹合并；

所述的存儲負載均衡初始化具體為：在分布式文件系統(tǒng)初始創(chuàng)建啟用時，將新創(chuàng)建的一級目錄逐個存放到各個元數(shù)據(jù)服務器上；元數(shù)據(jù)目錄樹中，一級目錄下所有目錄和文件的元數(shù)據(jù)，與該一級目錄元數(shù)據(jù)存儲在同一個元數(shù)據(jù)服務器上，使元數(shù)據(jù)均勻分布到各個元數(shù)據(jù)服務器上；

所述的初始閾值具體為：設定初始閾值INP，當元數(shù)據(jù)服務器上存儲的元數(shù)據(jù)計數(shù)小于初始閾值INP時，元數(shù)據(jù)服務器不對外進行元數(shù)據(jù)遷移；

所述的目錄子樹遷移的總體原則是將元數(shù)據(jù)服務器存儲負載較大的節(jié)點遷移到負載較小的節(jié)點，具體為包括以下步驟：

步驟20：設置一個在0和1之間的負載系數(shù)α，設置具有δ＞δ’＞0關(guān)系的兩個負載增量值δ和δ’；

步驟21：對比記號為i的元數(shù)據(jù)服務器維護一個自身的元數(shù)據(jù)計數(shù)總值Mcount_i與初始閾值INP之間的大小關(guān)系，如果：

Mcount_i＞INP：進入步驟22；

Mcount_i＝INP：進入步驟26；

Mcount_i＜INP：進入步驟26；

步驟22：按照如下公式計算遷移觸發(fā)閾值MP：

MP＝min((1+α)×Tmcount/N，Tmcount/N+δ)

步驟23：對比記號為i的元數(shù)據(jù)服務器維護一個自身的元數(shù)據(jù)計數(shù)總值Mcount_i與遷移觸發(fā)閾值MP之間的大小關(guān)系，如果：

Mcount_i＞MP：進入步驟24；

Mcount_i＝MP：進入步驟26；

Mcount_i＜MP：進入步驟26；

步驟24：選擇(0，Mcount_i-Tmcount/N+δ’)區(qū)間內(nèi)元數(shù)據(jù)計數(shù)位最接近Mcount_i-Tmcount/N的目錄Dir；

步驟25：在元數(shù)據(jù)服務器中選擇存儲負載最小的元數(shù)據(jù)服務器，觸發(fā)遷移以Dir為根節(jié)點的子樹；

步驟26：結(jié)束目錄子樹遷移；

所述的目錄子樹合并具體包括以下步驟：

步驟30：遍歷元數(shù)據(jù)服務器上的所有子樹對；

步驟31：判斷每個子樹對是否可以合并，如果：

是：進行合并后，進入步驟32；

否：直接進入步驟32；

步驟32：判斷一次遍歷過程中是否存在可以合并的子樹對，如果：

是：進入步驟30；

否：進入步驟33；

步驟33：結(jié)束整個合并過程。

2.根據(jù)權(quán)利要求1所述的分布式文件系統(tǒng)，其特征在于，所述的元數(shù)據(jù)服務器為多個，共同組成元數(shù)據(jù)服務器集群。

3.根據(jù)權(quán)利要求1所述的分布式文件系統(tǒng)，其特征在于，所述的存儲服務器為多個，共同組成存儲服務器集群。