[發(fā)明專利]一種用于分布式文件系統(tǒng)的文件讀寫方法

有效

• 申請?zhí)枺?/td>: 201711113646.0
• 申請日: 2017-11-13
• 公開（公告）號: CN107832423B
• 公開（公告）日: 2020-05-15
• 發(fā)明（設(shè)計）人: 肖儂;陳地長;陳志廣;盧宇彤;杜云飛
• 申請（專利權(quán)）人: 中山大學
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/13;G06F16/172;H04L29/08
• 代理公司: 湖南兆弘專利事務(wù)所(普通合伙) 43008
• 代理人: 譚武藝

本發(fā)明公開了一種用于分布式文件系統(tǒng)的文件讀寫方法，文件讀采用客戶端?元數(shù)據(jù)服務(wù)器?數(shù)據(jù)服務(wù)器?客戶端的文件讀取IO路徑，文件寫時客戶端獲取需要進行文件寫的待寫文件數(shù)量，如果待寫文件數(shù)量超過預設(shè)閾值，則判定高性能計算場景，且針對高性能計算場景下大量的線程同時寫文件采用“先寫數(shù)據(jù)后創(chuàng)建元數(shù)據(jù)”的策略以降低元數(shù)據(jù)服務(wù)器上的突發(fā)負載；否則，針對每一個待寫的目標文件采用客戶端?數(shù)據(jù)服務(wù)器?元數(shù)據(jù)服務(wù)器?客戶端的文件寫入IO路徑。本發(fā)明具有文件讀寫速度快，效率高，減少了客戶端和元數(shù)據(jù)服務(wù)器交互的次數(shù)，降低了通信開銷的優(yōu)點。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式存儲系統(tǒng)領(lǐng)域，具體涉及一種用于分布式文件系統(tǒng)的文件讀寫方法。

背景技術(shù)

隨著大數(shù)據(jù)應(yīng)用的普及與深入，基礎(chǔ)計算框架對儲存系統(tǒng)在規(guī)模和性能要求等方面提出了更高的挑戰(zhàn)。高性能計算機對分布式文件系統(tǒng)性能要求越來越高，在海量小文件頻繁創(chuàng)建刪除和大規(guī)模并發(fā)I/O操作的應(yīng)用場景中，文件系統(tǒng)讀寫效率成為限制其性能的關(guān)鍵因素。例如，對健康大數(shù)據(jù)，交通大數(shù)據(jù)和金融大數(shù)據(jù)等這些應(yīng)用來說，數(shù)據(jù)量通常都在TB、PB甚至EB數(shù)量級，因此需要大量的儲存資源來儲存和管理這些數(shù)據(jù)。此外，大量的數(shù)據(jù)分析任務(wù)需要從不同存儲地址快速的訪問數(shù)據(jù)，這對于儲存系統(tǒng)的讀寫速度也具有很高的要求。因此，要支持海量大規(guī)模數(shù)據(jù)儲存和計算，除了系統(tǒng)的硬件特性之外，高效的數(shù)據(jù)組織和管理也是必不可少的關(guān)鍵技術(shù)之一。作為應(yīng)用系統(tǒng)基礎(chǔ)平臺的用于支持數(shù)據(jù)訪問的文件系統(tǒng)，其性能和可擴展性就變得越來越重要。為了提高文件系統(tǒng)性能，并在一定程度上提高文件系統(tǒng)的可擴展性，如GFS、Hadoop Distribute File System（HDFS）、Lustre等分布式文件系統(tǒng)應(yīng)運而生。這些分布式文件系統(tǒng)通過將元數(shù)據(jù)服務(wù)和數(shù)據(jù)服務(wù)分離，由元數(shù)據(jù)服務(wù)器來提供元數(shù)據(jù)服務(wù)，由多個數(shù)據(jù)服務(wù)器來并行提供數(shù)據(jù)服務(wù)。其中，元數(shù)據(jù)采用集中式管理方式，在數(shù)據(jù)規(guī)模小或特定的應(yīng)用環(huán)境下，集中式管理方式在減小元數(shù)據(jù)訪問的通信代價以及維護元數(shù)據(jù)的一致性開銷等方面顯示了優(yōu)勢，但這種管理方式可維護的元數(shù)據(jù)量，以及可提供的元數(shù)據(jù)服務(wù)性能都會受到限制，元數(shù)據(jù)服務(wù)器隨著數(shù)據(jù)量的增長，將會成為系統(tǒng)的性能瓶頸，不利于系統(tǒng)進一步擴展。

傳統(tǒng)的分布式文件系統(tǒng)讀寫文件的具體過程為：（1）客戶端接收用戶發(fā)送的文件創(chuàng)建請求；（2）客戶端向元數(shù)據(jù)服務(wù)器請求創(chuàng)建文件；（3）元數(shù)據(jù)服務(wù)器根據(jù)文件創(chuàng)建請求將該文件在數(shù)據(jù)服務(wù)器中創(chuàng)建后返回文件ID；（4）客戶端接收元數(shù)據(jù)服務(wù)器返回的文件ID，把文件ID編碼為字符串文件名發(fā)送給用戶；（5）客戶端接收用戶通過該字符串文件名發(fā)起的文件讀寫請求；（6）客戶端將字符串文件名反編碼為文件ID，并向元數(shù)據(jù)服務(wù)器請求該文件相關(guān)的數(shù)據(jù)服務(wù)器信息，該數(shù)據(jù)服務(wù)器信息用于指示將該文件被創(chuàng)建至在哪個數(shù)據(jù)服務(wù)器。

但是傳統(tǒng)的分布式文件系統(tǒng)讀寫文件在執(zhí)行步驟（4）后，客戶端無法根據(jù)用戶傳入的該文件的文件名直接讀寫數(shù)據(jù)服務(wù)器，必須通過執(zhí)行步驟（5）和步驟（6）之后，必須通過從元數(shù)服務(wù)器獲取該文件的數(shù)據(jù)服務(wù)器信息之后，才能讀寫數(shù)據(jù)服務(wù)器。這種讀寫文件的方式降低了客戶端訪問文件的效率，同時也增大了元數(shù)服務(wù)器的訪問壓力。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題：針對現(xiàn)有技術(shù)的上述問題，提供一種用于分布式文件系統(tǒng)的文件讀寫方法，具有文件讀寫速度快，效率高，減少了客戶端和元數(shù)據(jù)服務(wù)器交互的次數(shù)，降低了通信開銷的優(yōu)點。

為了解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：

一種用于分布式文件系統(tǒng)的文件讀寫方法，文件讀的實施步驟包括：

A1）客戶端向分布式文件系統(tǒng)的元數(shù)據(jù)服務(wù)器發(fā)送讀取文件的請求；

A2）元數(shù)據(jù)服務(wù)器在收到客戶端的請求后向客戶端返回查詢元數(shù)據(jù)信息、且向讀取文件的文件塊所在的數(shù)據(jù)服務(wù)器發(fā)送客戶端請求信息及通信地址，客戶端根據(jù)元數(shù)據(jù)服務(wù)器返回信息找到讀取文件的文件塊所在的數(shù)據(jù)服務(wù)器；