[發明專利]分布式文件系統的元數據動態管理方法及分布式文件系統

在審

• 申請號: 202011586836.6
• 申請日: 2020-12-29
• 公開（公告）號: CN112579543A
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 馬俊杰;蘇帥;蘇玉嬌;瞿秋薏;姜瀚;付慧慧;付長杰;劉曦冉;黃亞杰;晉晨;叢峰日
• 申請（專利權）人: 航天科工網絡信息發展有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/182;G06F16/174;H04L29/08
• 代理公司: 中國兵器工業集團公司專利中心 11011
• 代理人: 辛海明

1.一種分布式文件系統的元數據動態管理方法，其特征在于，該方法包括如下步驟：

S1.在元數據服務器集群中選擇多臺服務器作為前置服務器以構成前置元數據服務器集群，元數據服務器集群中的其余元數據服務器構成非前置元數據服務器集群；客戶端發起的所有的元數據讀寫請求，均由前置元數據服務器集群統一處理，且寫請求中的元數據僅保存在前置元數據服務器集群的內存中；

S2.啟動前置服務器；

S3.處理客戶端的元數據讀寫請求。

2.根據權利要求1所述的元數據動態管理方法，其特征在于，步驟S2包括：

S201.預處理：為前置服務器設定配置文件；

S202.前置服務器初始化：根據配置文件，每臺前置服務器與其他前置服務器互相通信自動組成前置元數據服務器集群；

其中，配置文件中包含兩類通信地址和端口，一類用于前置服務器之間的通信，另一類用于與用戶側的客戶端通信。

3.根據權利要求1或2所述的元數據動態管理方法，其特征在于，還包括步驟S203：前置服務器選舉出主前置服務器。

4.根據權利要求3所述的元數據動態管理方法，其特征在于，步驟S3處理客戶端的元數據讀寫請求包括：

S301.前置服務器處理元數據寫請求：客戶端與任意一個前置服務器的連接，發起元數據寫請求，前置元數據服務器集群接收到客戶端發起的元數據寫請求后，按照下述流程處理：

如果客戶端連接的是主前置服務器，則由主前置服務器進行寫操作；

如果客戶端連接的不是主前置服務器，則由該前置服務器自動轉發該元數據寫請求至主前置服務器進行寫操作。

5.根據權利要求4所述的元數據動態管理方法，其特征在于，主前置服務器接收到寫請求后，首先將寫請求中的元數據寫入所在服務器的內存中，然后將該元數據寫入到其他前置服務器的內存中，直到寫入成功的前置服務器數量大于總前置服務器數量的一半；主前置服務器向客戶端返回寫入成功的結果；前置元數據服務器集群在完成寫請求后，記錄一條日志，該條日志的內容包括元數據的目錄、文件路徑、修改內容、修改時間。

6.根據權利要求3所述的元數據動態管理方法，其特征在于，步驟S3處理客戶端的元數據讀寫請求包括：

S302.前置服務器處理元數據讀請求：客戶端與任意一個前置服務器連接并發出元數據讀請求，前置服務器在接收到客戶端的讀請求時，按照下述流程處理：接收到該讀請求的前置服務器通過前置元數據服務器集群通信確定客戶端要讀取的元數據是否全部存儲在前置元數據服務器集群中，如果客戶端要讀取的元數據全部存儲在前置元數據服務器集群中，那么該前置服務器直接從前置元數據服務器集群中讀取所述元數據并返回給客戶端；如果客戶端要讀取的元數據完全不存儲在前置元數據服務器集群中，接收到該讀請求的前置服務器發送讀請求至非前置元數據服務器集群，非前置元數據服務器集群從硬盤中調取客戶端所需的元數據，并將所述元數據返回給接收到該讀請求的前置服務器，并由該前置服務器返回給客戶端；如果客戶端要讀取的元數據部分存儲在前置元數據服務器集群中，前置服務器首先發送讀請求至前置元數據服務器集群和非前置元數據服務器集群，前置元數據服務器集群中的前置服務器將所需的部分元數據返回給接收到該讀請求的前置服務器，非前置元數據服務器集群從硬盤中調取客戶端所需的部分元數據，并將所述元數據返回給接收到該讀請求的前置服務器；收到該讀請求的前置服務器將收到的兩部分元數據進行聚合處理，處理后將元數據返回給客戶端。

7.根據權利要求3所述的元數據動態管理方法，其特征在于，該方法還包括：S4、前置元數據服務器集群向非前置元數據服務器集群同步最新數據：主前置服務器在每自然日的預定時刻解析此前置服務器記錄的日志，對于同一個目錄、文件，只保留最新的元數據日志，實現日志壓縮；

解析完畢后，主前置服務器啟動新的同步線程，按照壓縮后的日志依次向非前置元數據服務器集群中發起寫請求，將最新元數據同步至非前置元數據服務器集群的硬盤中；

主前置服務器完成一個元數據的同步后，即逐步刪除各前置元數據服務器中各服務器內存中存儲的該元數據，直至刪除掉全部的元數據。