[發明專利]數據塊副本數量調整方法及分布式文件系統

無效

• 申請號: 200710304715.6
• 申請日: 2007-12-27
• 公開（公告）號: CN101470733A
• 公開（公告）日: 2009-07-01
• 發明（設計）人: 羅治國;周文輝;周彬;徐萌
• 申請（專利權）人: 中國移動通信集團公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同立鈞成知識產權代理有限公司
• 代理人: 劉 芳

技術領域

本發明涉及一種數據塊副本數量的調整技術，尤其涉及分布式文件系統中的數據塊副本數量的調整方法及應用該方法的分布式文件系統，屬于數據通信領域。

背景技術

分布式文件系統是一種基于廉價計算機節點進行本地存儲構建的分布式存儲系統。它通過將不同服務器上的共享文件夾組織在一起，構建成一個目錄樹，使用戶只需訪問一個共享的根目錄即可訪問分布在網絡上的文件或文件夾，而不必知道這些文件的實際物理位置。與傳統的磁盤陣列和存域網(Storage?Area?Network，簡稱：SAN)存儲系統相比，有存儲性價比高、可擴展性強等優點。

現有的分布式文件系統還可以被互聯網業務提供商，如Google、Yahoo等，作為數據處理平臺。如圖1所示，現有的分布式文件系統通常由元數據服務器節點和多個數據塊節點組成。其中，元數據服務器節點用于保存各個文件的數據分塊情況、各個數據塊所在的數據塊節點的名稱，以及每個數據塊節點上包含的數據塊的信息等；數據塊節點用于保存實際的數據塊，通常每個數據塊大小為64MB或128MB。當客戶端軟件需要對上述分布式文件系統進行數據存取訪問時，首先通過元數據服務器節點獲取或建立文件的數據塊的位置；然后直接與相應數據塊所在的數據塊節點進行通信，進行讀寫數據塊等操作。

現有的分布式文件系統一般采用普通的廉價計算機節點作為硬件平臺，由于普通的計算機節點可靠性不高，為了提高系統可靠性和數據可用性，分布式文件系統通常采用固定數量的多副本方式保存數據塊，例如對于同一個數據塊，可以在不同的數據塊節點保存3個副本。元數據服務器節點通過心跳監控各數據塊節點的狀態，保證系統中各數據塊總是具有固定的副本數，以便在某個計算機節點發生宕機時，仍然能夠有可用的數據副本，以保證系統的可靠性。

現有技術的缺陷在于：上述分布式文件系統的多副本方式只考慮了數據的可用性而沒有考慮到電信業務中不同數據訪問的性能參數的要求不同。對于不同的數據，其性能參數是隨著時間的遷移而變化的。當某些數據的訪問頻率升高或響應時間/傳輸速率下降時，各個數據塊所需的聚合帶寬增加。然而，由于現有分布式文件系統中對各個數據塊設定的副本數都是固定的，因此難以滿足高性能需要，增加了相應數據塊的響應時間，影響了系統應用性能的提高。

發明內容

本發明要解決的問題是：采用固定副本數量的分布式文件系統，無法根據數據塊的性能參數對副本數量進行調整，從而影響系統性能的提高。

為了解決上述問題，本發明的一個實施例是提供了一種數據塊副本數量調整方法，包括：

對數據塊節點中保存的數據塊副本的性能參數進行統計并得到統計結果；

元數據服務器節點將所述統計結果進行求和匯總，得到針對一個數據塊的數據塊副本的實際性能參數；

根據所述實際性能參數與預設的參考性能參數運算得到副本調整數；

根據所述副本調整數對所述數據塊副本的副本數量進行調整。

為了解決上述問題，本發明的另一個實施例是提供了一種分布式文件系統，包括元數據服務器節點和數據塊節點，其中包括，

統計模塊，位于所述元數據服務器節點或數據塊節點中，用于對存儲于所述數據塊節點中的數據塊副本的性能參數進行統計；

所述數據塊節點包括：

存儲模塊，用于保存數據塊副本；

調整模塊，用于根據來自于元數據服務器節點的副本調整指令，在存儲模塊中添加或刪除相應的數據塊副本；

所述元數據服務器節點包括：

匯總模塊，用于將所述統計結果進行求和匯總，得到針對一個數據塊的數據塊副本的實際性能參數；

運算模塊，用于將匯總模塊得到的實際性能參數與預設的參考性能參數進行運算得到副本調整數；

指令模塊，用于根據運算模塊得到的副本調整數向所述數據塊節點發送副本調整指令。

通過本發明，根據各個數據塊副本的性能參數對副本數量進行了相應地自適應調整，使得響應時間長或訪問頻率高或傳輸速率慢的數據塊具有更多的數據塊副本，以提高用戶訪問這些數據塊副本的聚合帶寬；并且也使得響應時間短，或訪問頻率低或傳輸速率快的數據塊具有較少的數據塊副本，以便將存儲空間和輸入輸出帶寬留給其他數據塊副本。從而在保證數據塊副本的可用性及可靠性的同時，提高了系統資源利用的合理性和利用效率。

下面通過附圖和實施例，對本發明的技術方案做進一步的詳細描述。

附圖說明

圖1為現有的分布式文件系統結構示意圖；

圖2為本發明方法實施例所述數據塊副本數量調整方法的流程圖；