[發(fā)明專利]一種基于多客戶端協(xié)同的分布式文件系統(tǒng)、方法和客戶端

有效

• 申請(qǐng)?zhí)枺?/td>: 202110375083.2
• 申請(qǐng)日: 2021-04-08
• 公開（公告）號(hào): CN113190523B
• 公開（公告）日: 2022-09-13
• 發(fā)明（設(shè)計(jì)）人: 程永紅;許錫順;莊世勇;林寶棟
• 申請(qǐng)（專利權(quán)）人: 金錢貓科技股份有限公司
• 主分類號(hào): G06F16/182
• 分類號(hào): G06F16/182;G06F16/172;G06F3/06;G06F16/28
• 代理公司: 福州市景弘專利代理事務(wù)所(普通合伙) 35219
• 代理人: 魏小霞;林祥翔

本發(fā)明涉及文件處理技術(shù)領(lǐng)域，特別涉及一種基于多客戶端協(xié)同的分布式文件系統(tǒng)、方法和客戶端。所述一種基于多客戶端協(xié)同的分布式文件系統(tǒng)，包括：服務(wù)器端、客戶端和內(nèi)存數(shù)據(jù)庫；所述服務(wù)器端包括：元數(shù)據(jù)服務(wù)器集群和數(shù)據(jù)服務(wù)器集群，所述元數(shù)據(jù)服務(wù)器集群和數(shù)據(jù)服務(wù)器集群分別單獨(dú)提供獨(dú)立的卷給客戶端掛載使用，從而實(shí)現(xiàn)文件與文件的目錄信息的完全分離，進(jìn)而加快元數(shù)據(jù)查詢?cè)L問。所述客戶端的文件為分塊寫入，實(shí)現(xiàn)了基于數(shù)據(jù)塊的去重上傳功能，節(jié)省帶寬。所述內(nèi)存數(shù)據(jù)庫用于：記錄文件的數(shù)據(jù)塊分塊信息和分布信息。所述多客戶端協(xié)同，解決多客戶端實(shí)時(shí)數(shù)據(jù)無法完整訪問問題。

技術(shù)領(lǐng)域

本發(fā)明涉及文件處理技術(shù)領(lǐng)域，特別涉及一種基于多客戶端協(xié)同的分布式文件系統(tǒng)、方法和客戶端。

背景技術(shù)

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)量呈指數(shù)爆炸式增長，對(duì)存儲(chǔ)系統(tǒng)提出了很大的挑戰(zhàn)。目前常見的元數(shù)據(jù)的組織管理方式主要有三種：(1)集中式元數(shù)據(jù)管理；(2)分布式元數(shù)據(jù)管理；(3)無元數(shù)據(jù)管理。為實(shí)現(xiàn)數(shù)據(jù)訪問的高吞吐率，許多系統(tǒng)采用專用的元數(shù)據(jù)服務(wù)器，當(dāng)用戶訪問系統(tǒng)時(shí)，先從元數(shù)據(jù)服務(wù)器中獲得訪問許可、文件元數(shù)據(jù)信息，如數(shù)據(jù)位置和文件屬性，然后直接訪問文件內(nèi)容。此外，一些系統(tǒng)為了摒棄單一元數(shù)據(jù)帶來的隱患，采用無元數(shù)據(jù)的架構(gòu)。由于存儲(chǔ)需求的快速增長，隨著文件數(shù)增長到一定規(guī)模后，系統(tǒng)面臨一系列問題，主要包括：1)元數(shù)據(jù)目錄遍歷性能瓶頸，比如ls某個(gè)目錄時(shí)需要等待的時(shí)間特別長。2)寫文件慢。主要是因?yàn)榭蛻舳藢懲晡募蠖际峭ㄟ^網(wǎng)絡(luò)直接上傳到服務(wù)器，已有的解決方案實(shí)現(xiàn)了基于文件級(jí)的去重，可以減小上傳所需的帶寬，但缺少數(shù)據(jù)塊級(jí)的去重。3)缺少多客戶端之間的數(shù)據(jù)實(shí)時(shí)訪問。當(dāng)某個(gè)文件正在寫入時(shí)，其他客戶端要訪問該文件需要等待文件同步到服務(wù)器端才可以訪問。

發(fā)明內(nèi)容

為此，需要提供一種基于多客戶端協(xié)同的分布式文件系統(tǒng)，用以解決現(xiàn)有分布式文件系統(tǒng)的元數(shù)據(jù)訪問慢、文件實(shí)時(shí)寫入慢、多客戶端實(shí)時(shí)數(shù)據(jù)無法完整訪問等問題。具體技術(shù)方案如下：

一種基于多客戶端協(xié)同的分布式文件系統(tǒng)，包括：服務(wù)器端、客戶端和內(nèi)存數(shù)據(jù)庫；

所述服務(wù)器端包括：元數(shù)據(jù)服務(wù)器集群和數(shù)據(jù)服務(wù)器集群，所述元數(shù)據(jù)服務(wù)器集群和數(shù)據(jù)服務(wù)器集群分別單獨(dú)提供獨(dú)立的卷給客戶端掛載使用；

所述客戶端包括：用戶接口模塊、緩存模塊和通信模塊，所述客戶端的文件為分塊寫入；

所述內(nèi)存數(shù)據(jù)庫用于：記錄上傳數(shù)據(jù)服務(wù)器的文件的數(shù)據(jù)塊分塊信息和分布信息。

進(jìn)一步的，所述元數(shù)據(jù)服務(wù)器為SSD磁盤；

所述數(shù)據(jù)服務(wù)器為SATA磁盤；

所述內(nèi)存數(shù)據(jù)庫采用key-value技術(shù)。

進(jìn)一步的，所述元數(shù)據(jù)服務(wù)器集群基于gluster分布式文件系統(tǒng)建立一個(gè)metadata卷；

所述數(shù)據(jù)服務(wù)器集群基于gluster分布式文件系統(tǒng)建立一個(gè)realdata卷；

所述客戶端的緩存模塊采用LRU算法。

為解決上述技術(shù)問題，還提供了一種基于多客戶端協(xié)同的分布式文件方法，具體技術(shù)方案如下：

一種基于多客戶端協(xié)同的分布式文件方法，包括步驟：

客戶端響應(yīng)數(shù)據(jù)寫入指令，按預(yù)設(shè)規(guī)則對(duì)數(shù)據(jù)進(jìn)行分塊；

將分塊后的數(shù)據(jù)寫入至緩存層；

當(dāng)客戶端本地緩存使用空間超過定義的閥值，客戶端后臺(tái)將自動(dòng)啟動(dòng)文件數(shù)據(jù)上傳數(shù)據(jù)服務(wù)器進(jìn)程，當(dāng)客戶端響應(yīng)分塊后的數(shù)據(jù)上傳至數(shù)據(jù)服務(wù)器的指令時(shí)，判斷內(nèi)存數(shù)據(jù)庫中是否存在該數(shù)據(jù)塊的指紋記錄，若不存在該數(shù)據(jù)塊的指紋記錄，則將該條數(shù)據(jù)塊信息插入至內(nèi)存數(shù)據(jù)庫中，并上傳該條數(shù)據(jù)塊至數(shù)據(jù)服務(wù)器；