[發明專利]一種元數據集群擴容的方法和系統

有效

• 申請號: 201710597970.8
• 申請日: 2017-07-20
• 公開（公告）號: CN107395721B
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 程瑤
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F3/06;G06F16/182;G06F16/185;G06F16/14
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

本申請提供了一種元數據集群擴容的方法，包括當檢測到元數據節點增加時，停止集群壓力；將增加前所有元數據節點上的分片文件遷移至增加后的一個設定元數據節點；根據增加后元數據節點的數量進行文件拆分，將拆分后的分片文件對應遷移至增加后的各個元數據節點中。在元數據集群擴容中，在元數據節點增加后，對原有分片文件集合到一個元數據節點再根據增加后的元數據節點數量再次進行拆分，實現集群的負載平衡，提升新增加的元數據節點上的初始負載水平，進而提升整個分布式文件系統的性能。本申請還提供了一種元數據集群擴容的系統，具有上述有益效果，此處不再贅述。

技術領域

本申請涉及分布式文件系統領域，特別涉及一種元數據集群擴容的方法和系統。

背景技術

現有分布式文件系統主要分為兩大部分：元數據管理、數據管理。其中，元數據的請求是文件系統所有請求的50％以上，所以提升元數據請求的處理性能，可以有效提升整個分布式文件系統的性能。

在多個元數據節點的系統里，每個元數據節點都有自己負責的目錄結構，新建的子目錄屬于父目錄所述的元數據節點負載。如果某個元數據下面的目錄內容訪問量加大，構成熱點數據，此元數據節點負載壓力將增加，形成熱點元數據節點。為了解決這個問題，現在有種辦法是細化最小拆分單位且自動分配最小拆分單位所屬元數據節點。

在實際應用中，客戶可能對元數據節點需要后期擴容。之前拆分的機制使得舊元數據集群的各節點負載相對均衡，但這會導致新加入的元數據節點上負載壓力太小，降低了整個分布式文件系統的性能。

發明內容

本申請的目的是提供一種元數據集群擴容的方法和系統，能夠使擴容后的元數據集群達成負載平衡，提成整個分布式文件系統的性能。

為解決上述技術問題，本申請提供一種元數據集群擴容的方法，包括：

當檢測到元數據節點增加時，停止集群壓力；

將增加前所有元數據節點上的分片文件遷移至增加后的一個設定元數據節點；

根據增加后元數據節點的數量進行文件拆分，將拆分后的分片文件對應遷移至增加后的各個元數據節點中。

其中，所述將增加前所有元數據節點上的分片文件遷移至增加后的一個設定元數據節點，包括：

將增加前所有元數據節點上的分片文件遷移至增加后的一個設定元數據節點，在所述設定元數據節點上將所有所述分片文件合并成單目錄文件。

其中，所述根據增加后元數據節點的數量進行文件拆分，將拆分后的分片文件遷移至增加后的各個元數據節點中包括：

根據增加后元數據節點的數量對所述單目錄文件進行文件拆分，記錄拆分后的所述分片文件與增加后的各個元數據節點的對應關系；

根據所述對應關系遷移所述拆分后的分片文件至增加后的各個元數據節點中。

其中，所述設定元數據節點為增加前的元數據節點。

其中，所述根據增加后元數據節點的數量進行文件拆分，將拆分后的分片文件遷移至增加后的各個元數據節點中包括：

根據所述增加后元數據節點的數量，按照相對平均原則進行文件拆分，將拆分后的分片文件遷移至所述增加后的各個元數據節點中。

本申請還提供一種元數據集群擴容的系統，包括：

擴容準備模塊，用于當檢測到元數據節點增加時，停止集群壓力；

文件遷移模塊，用于將增加前所有元數據節點上的分片文件遷移至增加后的一個設定元數據節點；

文件拆分模塊，用于根據增加后元數據節點的數量進行文件拆分，將拆分后的分片文件對應遷移至增加后的各個元數據節點中。