[發明專利]一種基于多客戶端協同的分布式文件系統、方法和客戶端

有效

• 申請號: 202110375083.2
• 申請日: 2021-04-08
• 公開（公告）號: CN113190523B
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 程永紅;許錫順;莊世勇;林寶棟
• 申請（專利權）人: 金錢貓科技股份有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/172;G06F3/06;G06F16/28
• 代理公司: 福州市景弘專利代理事務所(普通合伙) 35219
• 代理人: 魏小霞;林祥翔

1.一種基于多客戶端協同的分布式文件系統，其特征在于，包括：服務器端、客戶端和內存數據庫；

所述服務器端包括：元數據服務器集群和數據服務器集群，所述元數據服務器集群和數據服務器集群分別單獨提供獨立的卷給客戶端掛載使用；

所述客戶端包括：用戶接口模塊、緩存模塊和通信模塊，所述客戶端的文件為分塊寫入；

所述內存數據庫用于：記錄上傳數據服務器的文件的數據塊分塊信息和分布信息；

所述元數據服務器集群基于gluster分布式文件系統建立一個metadata卷；

所述數據服務器集群基于gluster分布式文件系統建立一個realdata卷；

所述客戶端的緩存模塊采用LRU算法；

所述用戶接口模塊用于，發送寫入請求至所述元數據服務器集群；

所述元數據服務器集群用于，接收所述寫入請求，記錄對應文件的元數據信息，并返回確認信息至客戶端；

所述客戶端用于，接收所述確認信息后，開始將數據按分塊的方式寫入至本地緩存模塊，待寫入至預設大小時，進行數據塊上傳，在數據上傳過程中訪問所述內存數據庫中是否存在此數據塊的指紋信息記錄，若不存在對應數據塊，則將此條數據塊信息插入至內存數據中，并上傳所述數據塊至數據服務器中，若存在對應數據塊，則在內存數據庫中更新記錄，將數據庫引用計數增加1，且不再進行上傳數據；

所述客戶端包括：第一客戶端和第二客戶端；

當所述第二客戶端訪問的文件為第一客戶端上傳，且所述文件第一客戶端已經寫入本地緩存模塊，但未上傳到數據服務器時，所述第二客戶端先從全局的元數據服務器獲取對應文件上傳完成狀態，及創建此文件的第一客戶端信息，若所述文件上傳完成狀態為未完成上傳，則所述第二客戶端直接跟所述第一客戶端建立鏈接，直接訪問對應文件。

2.根據權利要求1所述的一種基于多客戶端協同的分布式文件系統，其特征在于，

所述元數據服務器為SSD磁盤；

所述數據服務器為SATA磁盤；

所述內存數據庫采用key-value技術。

3.一種基于多客戶端協同的分布式文件方法，其特征在于，包括步驟：

通過客戶端的用戶接口模塊將寫入請求發送給元數據服務器集群；

所述元數據服務器集群接收所述寫入請求，記錄對應文件的元數據信息，并返回確認信息至客戶端；

客戶端接收所述確認信息，并開始響應數據寫入指令；

客戶端響應數據寫入指令，按預設規則對數據進行分塊；

將分塊后的數據寫入至緩存層；

當客戶端本地緩存使用空間超過定義的閾 值，客戶端后臺將自動啟動文件數據上傳數據服務器進程，當客戶端響應分塊后的數據上傳至數據服務器的指令時，判斷內存數據庫中是否存在所述分塊后的數據的指紋記錄，若不存在所述分塊后的數據的指紋記錄，則將所述分塊后的數據信息插入至內存數據庫中，并上傳所述分塊后的數據至數據服務器；

若存在所述分塊后的數據的指紋記錄，則在內存數據庫中更新記錄，將所述分塊后的數據引用計數增1，并不上傳所述分塊后的數據至數據服務器；

客戶端響應文件讀取指令，通過元數據服務器獲取文件的元數據信息、文件上傳數據服務器完成狀態和創建該文件所在的客戶端信息；

若所述文件上傳數據服務器完成狀態為未完成，則根據所述創建該文件所在的客戶端信息與所述創建該文件所在的客戶端建立連接，獲取所述創建該文件所在的客戶端上的最新文件內容；

若所述文件上傳數據服務器完成狀態為完成，則根據所述文件的標識信息查詢內存數據庫，獲取文件當前的分塊信息及數據塊所在數據服務器信息；

客戶端與所述數據塊所在數據服務器建立連接，獲取所有數據塊；

所述客戶端包括：第一客戶端和第二客戶端；

當所述第二客戶端訪問的文件為第一客戶端上傳，且所述文件第一客戶端已經寫入本地緩存模塊，但未上傳到數據服務器時，所述第二客戶端先從全局的元數據服務器獲取對應文件上傳完成狀態，及創建此文件的第一客戶端信息，若所述文件上傳完成狀態為未完成上傳，則所述第二客戶端直接跟所述第一客戶端建立鏈接，直接訪問對應文件；

所述元數據服務器集群基于gluster分布式文件系統建立一個metadata卷；

所述數據服務器組成數據服務器集群，所述數據服務器集群基于gluster分布式文件系統建立一個realdata卷；

所述元數據服務器集群和數據服務器集群分別單獨提供獨立的卷給客戶端掛載使用；

所述客戶端的緩存層采用LRU算法。