[發明專利]一種元數據管理方法及裝置

有效

• 申請號: 202110222334.3
• 申請日: 2021-02-28
• 公開（公告）號: CN113055448B
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 邵劍雄
• 申請（專利權）人: 新華三信息技術有限公司
• 主分類號: H04L67/1008
• 分類號: H04L67/1008;H04L67/10;H04L67/1097
• 代理公司: 暫無信息
• 代理人: 暫無信息

本說明書提供一種元數據管理方法及裝置，涉及通信技術領域。一種元數據管理方法，應用于MDS集群，包括：接收MDS集群中其他的MDS節點所發送的心跳報文，其中，心跳報文中攜帶有負載特征信息；若接收到創建請求報文，則根據負載特征信息從MDS集群中確定出第一MDS節點；在第一MDS節點創建第一目錄，并建立第一目錄與第一MDS的對應關系；若接收到針對第一目錄的寫入操作，則根據對應關系將第一目錄下的元數據寫入到第一MDS。通過上述方法能夠提升分布式文件系統的性能和文件訪問效率。

技術領域

本說明書涉及通信技術領域，尤其涉及一種元數據管理方法及裝置。

背景技術

分布式文件系統可以對外提供大容量、高性能以及高可靠性的文件存儲服務，滿足了云計算、物聯網和社交網絡等新興應用服務對于大規模數據存儲的需求。在分布式文件系統中，文件的元數據和數據分開進行存儲和管理，元數據用于對文件進行描述，通過元數據可以確定文件的存儲位置等，以實現對于文件的訪問。

因此，在分布式文件系統中，如何高效地訪問元數據將會影響到系統的性能和可靠性。在對元數據進行存儲和管理時，可以通過多級目錄的形式實現，這些目錄整體稱為一個目錄樹，一個目錄的下級目錄稱為該目錄的目錄子樹。在分布式文件系統中設置有多個MDS(元數據服務器，Meta Data Server)形成MDS集群，每個MDS可以負責緩存一部分目錄子樹并處理相應的元數據操作。

針對MDS集群而言，需要維持MDS之間的負載均衡，在當前的實現中，通過平均負載和一個MDS的負載差值確定是否進行遷移，這使得MDS對于負載非常敏感，遷移被頻繁的觸發。在遷移的過程中，這些被遷移的目錄子樹是無法被訪問的，與其相關的訪問請求被掛起直至遷移結束，這樣一來，將會導致用戶對于文件的訪問阻塞，降低了分布式文件系統的文件訪問效率。

發明內容

為克服相關技術中存在的問題，本說明書提供了一種元數據管理方法及裝置。

結合本說明書實施方式的第一方面，本申請提供了一種元數據管理方法，應用于MDS集群，包括：

接收MDS集群中其他的MDS節點所發送的心跳報文，其中，心跳報文中攜帶有負載特征信息；

若接收到創建請求報文，則根據負載特征信息從MDS集群中確定出第一MDS節點；

在第一MDS節點創建第一目錄，并建立第一目錄與第一MDS的對應關系；

若接收到針對第一目錄的寫入操作，則根據對應關系將第一目錄下的元數據寫入到第一MDS。

可選的，MDS集群所管理的目錄配置有第一擴展屬性，其中，第一擴展屬性用于表示管理以第一目錄為根目錄的目錄子樹的MDS節點；

在第一MDS節點創建第一目錄，并建立第一目錄與第一MDS的對應關系，包括：

在第一MDS節點創建第一目錄；

通過第一擴展屬性建立第一目錄和第一MDS的對應關系。

可選的，負載特征信息，包括MDS節點所管理的目錄子樹的最大值和MDS節點當前管理的目錄子樹的數量；

根據負載特征信息從MDS集群中確定出第一MDS節點，包括：

根據最大值和數量，確定出MDS集群中的各MDS節點的占用比例；

從MDS集群中確定出占用比例最低的MDS節點，并將該MDS節點確定為第一MDS節點。

進一步的，MDS集群所管理的目錄配置有第二擴展屬性，其中，第二擴展屬性用于表示從分布式文件系統的根目錄至第一目錄的深度；

MDS節點配置有目錄層級，目錄層級為分布式文件系統的根目錄至該MDS節點所管理的目錄的深度；