[發明專利]一種基于內存元數據的分布式文件管理方法

有效

• 申請號: 202010143996.7
• 申請日: 2020-03-04
• 公開（公告）號: CN111367876B
• 公開（公告）日: 2023-09-19
• 發明（設計）人: 蔣海波;余俊男;唐聃;劉羅;王璐;桂承波
• 申請（專利權）人: 中國科學院成都生物研究所
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/11;G06F16/16;G06F16/2458
• 代理公司: 成都賽恩斯知識產權代理事務所(普通合伙) 51212
• 代理人: 張端陽

本發明提供一種基于內存元數據的分布式文件管理方法，包括：選擇某一存儲節點為管理節點；對管理節點以外的存儲節點進行查詢性能評測；各存儲節點將性能評測結果發送給管理節點；管理節點根據性能評測結果利用任務分配算法對各存儲節點進行查詢任務量分配；各存儲節點根據分配查詢的任務量將對應數量的元數據信息讀入到內存中；各存儲節點根據讀入的元數據信息獲得查詢文件塊信息，并將查詢文件塊信息發送至管理節點；管理節點整合查詢文件塊信息為查詢結果，并將查詢結果返回給客戶端。相對于現有技術，本方法使用內存的元數據管理，實現文件在分布式系統中的并行存儲、性能的評測與查詢任務量的分配，提高分布式存儲、查詢和讀取的效率。

技術領域

本發明涉及分布式文件管理技術領域，特別是涉及一種基于內存元數據的分布式文件管理方法。

背景技術

大數據時代的降臨，使得數據量日漸增長，越來越多的數據需要一個有效的系統來存儲以及維護，同時在大量數據中快速查找到需要的數據也是分布式系統的一大難點。

GFS中元數據的查詢由一個master節點實現，master節點在內存中保存著所有存儲文件的元數據。在GFS之后公布的HDFS與TFS等文件系統都是基于一個管理節點在內存中的元數據查詢得到結果返回客戶端，客戶端根據元數據信息到對應數據存儲節點磁盤中讀取數據。其查詢時間都是由一個管理節點來決定的，因此降低查詢時間，就需要增加管理節點的CPU以及內存，但現階段想要設計大CPU以及大內存的設備極其困難并且價格昂貴。以上問題使用分布式的查詢方法可以解決，利用分布于各個存儲節點中的內存和CPU實現任務的分解，使得整體查詢的方式變成一個多CPU大內存的節點進行查詢。當前人們使用的音樂播放器，視頻播放器以及云存儲等，對于服務端響應時間的要求是相當高的，這就要求存儲系統內部查詢時間就應該越低以及網絡數據傳輸的速度越高。而在分布式系統中，保證各個節點的性能完全一致是極其困難的，在一般情況下，節點的性能都是參差不齊的，因此普通的分布式文件系統，難以最大化利用各分布式節點的查詢性能，造成對客戶端請求響應速度變慢。

發明內容

針對現有技術存在的問題，本發明的主要目的在于提供一種提高分布式系統對于客戶端請求響應速度的基于內存元數據的分布式文件管理方法。

一種基于內存元數據的分布式文件管理方法，該管理方法包括當客戶端發送查詢請求時，利用分布式系統中存儲節點的內存實現元數據分布式查詢的方法，該查詢方法包括如下步驟：選擇某一存儲節點為管理節點；對管理節點以外的存儲節點進行查詢性能評測；各存儲節點將性能評測結果發送給管理節點；管理節點根據性能評測結果利用任務分配算法對各存儲節點進行查詢任務量分配；各存儲節點根據分配查詢的任務量將對應數量的元數據信息讀入到內存中；各存儲節點根據讀入的元數據信息獲得查詢文件塊信息，并將查詢文件塊信息發送至管理節點；管理節點整合查詢文件塊信息為查詢結果，并將查詢結果返回給客戶端。

進一步地，該基于內存元數據的分布式文件管理方法還包括當客戶端發送讀取請求時，利用分布式系統中存儲節點的內存實現元數據分布式讀取的方法，該讀取方法包括如下步驟：選擇某一存儲節點為管理節點；對管理節點以外的存儲節點進行查詢性能評測；各存儲節點將性能評測結果提供給管理節點；管理節點根據性能評測結果利用任務分配算法對各存儲節點進行查詢任務量分配；管理節點根據查詢任務量分配結果分配各存儲節點查詢對應的文件名；存儲節點得到查詢結果并向其他所有節點發送結果并停止查詢；各存儲節點根據查詢到的元數據信息找到文件塊并發送給客戶端；客戶端對接受文件塊解碼獲得原文件。