[發(fā)明專利]用于無中心分布式文件系統(tǒng)的元數(shù)據(jù)分層緩存方法及裝置

有效

• 申請?zhí)枺?/td>: 202110160110.4
• 申請日: 2021-02-05
• 公開（公告）號: CN113010486B
• 公開（公告）日: 2021-11-26
• 發(fā)明（設計）人: 張國華;張惲;李慶節(jié);彭琰
• 申請（專利權(quán)）人: 湖南國科億存信息科技有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/172;G06F16/185;G06F16/188;G06F16/14
• 代理公司: 湖南兆弘專利事務所(普通合伙) 43008
• 代理人: 胡君

本發(fā)明公開一種用于無中心分布式文件系統(tǒng)的元數(shù)據(jù)分層緩存方法及裝置，該方法步驟包括：步驟S1.為無中心分布式文件系統(tǒng)中各存儲節(jié)點分層設置目錄項緩存層、文件屬性緩存層；步驟S2.查詢虛擬文件系統(tǒng)中每個目錄項對應的目錄項元數(shù)據(jù)、目錄項關(guān)系、目錄項標識信息以及文件屬性元數(shù)據(jù)，將查詢得到的目錄項元數(shù)據(jù)以及目錄項關(guān)系存入目錄項緩存層，將查詢得到的目錄項標識信息以及文件屬性元數(shù)據(jù)按照對應關(guān)系存入文件屬性緩存層中。本發(fā)明能夠在不影響無中心分布式文件系統(tǒng)的前提條件下，提高存儲節(jié)點對元數(shù)據(jù)請求的處理速度，改善元數(shù)據(jù)操作性能。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式文件系統(tǒng)技術(shù)領(lǐng)域，尤其涉及一種用于無中心分布式文件系統(tǒng)的元數(shù)據(jù)分層緩存方法及系統(tǒng)。

背景技術(shù)

無中心分布式文件系統(tǒng)即為不存在主控節(jié)點、任何節(jié)點都是同級的文件系統(tǒng)，且文件系統(tǒng)中的數(shù)據(jù)塊由整個系統(tǒng)中所有存儲節(jié)點來共同維護，每個節(jié)點負責維護節(jié)點本地的數(shù)據(jù)，可以避免中心式文件系統(tǒng)中不可避免的單點故障和性能瓶頸問題，提高系統(tǒng)的可靠性、可用性與拓展性。

元數(shù)據(jù)即為描述數(shù)據(jù)屬性的信息，包括目錄屬性、文件屬性等。無中心分布式文件系統(tǒng)沒有元數(shù)據(jù)服務器，元數(shù)據(jù)分布在各個存儲節(jié)點上，客戶端對存儲節(jié)點會存在目錄操作(如create、mkdir、mknod、rmdir、unlink等)、文件屬性操作(lookup、stat、setattr等)和文件內(nèi)容讀寫操作(readv、writev等)等各類元數(shù)據(jù)操作。目前無中心分布式文件系統(tǒng)中元數(shù)據(jù)均是統(tǒng)一存儲在磁盤中，該類將元數(shù)據(jù)統(tǒng)一存儲在磁盤的方式，會使得單個存儲節(jié)點需要同時面臨大量客戶端發(fā)送的目錄操作、文件屬性操作和文件內(nèi)容讀寫操作，各種類型的操作相互之間會存在由于搶占磁盤IO而造成元數(shù)據(jù)請求擁塞的問題，這會極大的影響元數(shù)據(jù)請求的處理速度以及元數(shù)據(jù)的操作性能。

針對于數(shù)據(jù)緩存，為減少數(shù)據(jù)集中緩存量，一種典型的解決方案即是分類緩存，即將不同類型的數(shù)據(jù)分類別緩存在不同的緩存空間。但是該分類緩存方式僅僅是按照數(shù)據(jù)類型緩存至不同的緩存空間中，不同數(shù)據(jù)緩存之間通常是相互獨立的。而無中心分布式文件系統(tǒng)中各存儲節(jié)點上的元數(shù)據(jù)之間是具有層級、耦合關(guān)聯(lián)性的，如目錄項之間、文件之間存在耦合關(guān)系，目錄項與文件屬性之間存在層級關(guān)聯(lián)性，若對元數(shù)據(jù)直接采用獨立分類緩存的方式，由于缺少數(shù)據(jù)間的關(guān)聯(lián)性信息，要從不同的緩存中獨立獲取出所需元數(shù)據(jù)實際仍需要耗費較長時間，尤其是當面對大量數(shù)據(jù)請求時，因而當客戶端發(fā)送元數(shù)據(jù)請求時，就難以快速的從緩存中準確獲取出所需的目標數(shù)據(jù)，仍然會存在元數(shù)據(jù)請求的處理速度慢以及數(shù)據(jù)操作性能差的問題。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題就在于：針對現(xiàn)有技術(shù)存在的技術(shù)問題，本發(fā)明提供一種用于無中心分布式文件系統(tǒng)的元數(shù)據(jù)分層緩存方法及系統(tǒng)，能夠在不影響無中心分布式文件系統(tǒng)的前提條件下，提高存儲節(jié)點對元數(shù)據(jù)請求的處理速度，改善元數(shù)據(jù)操作性能。

為解決上述技術(shù)問題，本發(fā)明提出的技術(shù)方案為：

一種無中心分布式文件系統(tǒng)中元數(shù)據(jù)分層緩存方法，步驟包括：

步驟S1.分層緩存構(gòu)建：為無中心分布式文件系統(tǒng)中各存儲節(jié)點分層設置目錄項緩存層、文件屬性緩存層，所述目錄項緩存層用于緩存目錄項相關(guān)的元數(shù)據(jù)，所述文件屬性緩存層用于緩存文件屬性相關(guān)的元數(shù)據(jù)；

步驟S2.數(shù)據(jù)分層存儲：查詢虛擬文件系統(tǒng)中每個目錄項對應的目錄項元數(shù)據(jù)、目錄項關(guān)系、目錄項標識信息以及文件屬性元數(shù)據(jù)，將查詢得到的目錄項元數(shù)據(jù)以及目錄項關(guān)系存入所述目錄項緩存層，所述目錄項關(guān)系為目錄項元數(shù)據(jù)與目錄項之間的關(guān)系，將查詢得到的所述目錄項標識信息以及文件屬性元數(shù)據(jù)按照對應關(guān)系存入所述文件屬性緩存層中。

進一步的，所述步驟S1中，在內(nèi)存中設置所述目錄項緩存層，在快速存儲介質(zhì)中設置所述文件屬性緩存層。

進一步的，所述步驟S2的步驟包括：