[發明專利]一種基于內存元數據的分布式文件管理方法

有效

• 申請號: 202010143996.7
• 申請日: 2020-03-04
• 公開（公告）號: CN111367876B
• 公開（公告）日: 2023-09-19
• 發明（設計）人: 蔣海波;余俊男;唐聃;劉羅;王璐;桂承波
• 申請（專利權）人: 中國科學院成都生物研究所
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/11;G06F16/16;G06F16/2458
• 代理公司: 成都賽恩斯知識產權代理事務所(普通合伙) 51212
• 代理人: 張端陽

1.一種基于內存元數據的分布式文件管理方法，其特征在于，所述管理方法包括當客戶端發送查詢請求時，利用分布式系統中存儲節點的內存實現元數據分布式查詢的方法，所述查詢方法包括如下步驟：

選擇某一存儲節點為管理節點；

對管理節點以外的存儲節點進行查詢性能評測，包括如下步驟：各存儲節點從評測元數據文件中讀入多條評測元數據放入內存中；通過對讀入內存中評測元數據的多次依次順序查詢，得到元數據查詢位置與查詢時間的對應值；對每次獲取的查詢時間進行中值濾波處理，消除偏離因存儲節點原因帶來的時間測量誤差；依據多次查詢獲取的查詢位置和查詢時間值構成以元數據查詢位置為自變量，中值濾波處理后的查詢時間的均值為因變量的一次函數，以一次函數的斜率作為某一存儲節點的性能評測結果；

各存儲節點將性能評測結果發送給管理節點；

管理節點根據性能評測結果利用任務分配算法對各存儲節點進行查詢任務量分配，包括如下步驟：設各存儲節點查詢任務量為未知數，令各存儲節點的性能評測結果與該存儲節點對應的查詢任務量做乘積得到的值相等，同時令所有存儲節點查詢任務量的和與查詢元數據總數相等，查詢元數據總數為已知數，通過求解方程得到每個存儲節點對應的查詢任務量，達到查詢任務分配的目的；

各存儲節點根據分配查詢的任務量將對應數量的元數據信息讀入到內存中；

各存儲節點根據讀入的元數據信息獲得查詢文件塊信息，并將查詢文件塊信息發送至管理節點；

管理節點整合查詢文件塊信息為查詢結果，并將查詢結果返回給客戶端。

2.如權利要求1所述的基于內存元數據的分布式文件管理方法，其特征在于，所述管理方法還包括當客戶端發送讀取請求時，利用分布式系統中存儲節點的內存實現元數據分布式讀取的方法，所述讀取方法包括如下步驟：

選擇某一存儲節點為管理節點；

對管理節點以外的存儲節點進行查詢性能評測；

各存儲節點將性能評測結果提供給管理節點；

管理節點根據性能評測結果利用任務分配算法對各存儲節點進行查詢任務量分配；

管理節點根據查詢任務量分配結果分配各存儲節點查詢對應的文件名；

存儲節點得到查詢結果并向其他所有節點發送結果并停止查詢；

各存儲節點根據查詢到的元數據信息找到文件塊并發送給客戶端；

客戶端對接受文件塊解碼獲得原文件。

3.如權利要求1所述的基于內存元數據的分布式文件管理方法，其特征在于，所述管理方法還包括當客戶端發送存儲請求時，利用分布式系統中存儲節點的內存實現元數據分布式存儲的方法，所述存儲方法包括如下步驟：

選擇某一存儲節點為管理節點；

客戶端對文件進行編碼分塊并發送存儲請求；

管理節點向各存儲節點發送節點存儲順序列表與存儲序列號；

若存儲節點空閑，則接收請求存儲的文件塊，將文件塊存儲在相同的路徑下，該存儲節點更新內存中的元數據；

若存儲節點正在接收其他客戶端發送的數據時，則將存儲請求放入存儲等待列表，當待存儲節點接收完當前數據后，則遍歷存儲等待列表，向提出存儲請求的客戶端請求文件塊的傳輸，將文件塊存儲在相同的路徑下，該存儲節點更新內存中的元數據。

4.如權利要求1~3任一所述的基于內存元數據的分布式文件管理方法，其特征在于，所述內存元數據中保存著存儲文件的文件名、文件在存儲節點硬盤中的存儲路徑。

5.如權利要求1~3所述的基于內存元數據的分布式文件管理方法，其特征在于，若管理節點發生故障，則隨機選擇另一個存儲節點作為管理節點，并通知其余存儲節點更新管理節點信息，其余存儲節點將性能評測結果發送給新的管理節點，并由新的管理節點依據任務分配算法計算和分配各存儲節點的查詢任務量。

6.如權利要求5所述的基于內存元數據的分布式文件管理方法，其特征在于，管理節點監聽各在線存儲節點的工作狀態，若在線存儲節點掉線，則管理節點記錄其掉線期間未接收到的文件，并且令性能評測結果最好的存儲節點負責代收掉線節點的文件，在掉線節點重新上線之后，管理節點發送掉線期間變動的文件列表，重新上線的節點到對應的代收節點請求文件的更新。