[發明專利]一種分布式文件系統文件讀寫處理方法

有效

• 申請號: 201710113816.9
• 申請日: 2017-02-28
• 公開（公告）號: CN106897440B
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 于魯憲
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/172;G06F16/17;G06F16/13
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 張亮

1.一種分布式文件系統文件讀寫處理方法，其特征在于，方法包括：

多個客戶端對文件進行寫入前，每個客戶端分別向MDS申請對文件的寫權限，并且每個客戶端標示申請修改寫權限或追加寫權限；

MDS接收所有客戶端發送的讀寫權限申請，并對每個客戶端申請的修改寫權限或追加寫權限給予授權；

當客戶端獲得追加寫權限后，進行追加寫數據時，先將寫入數據緩存在第一緩存中；

第一緩存數據壓縮模塊根據預設的壓縮量將第一緩存中多個數據進行組合壓縮，形成壓縮數據塊；

第一緩存數據壓縮模塊針對壓縮數據塊中的每個數據對應生成一元數據，元數據記錄壓縮前后的每個數據處于第一緩存中的位置；

將壓縮數據塊以及與壓縮數據塊相對應的元數據下發給第二緩存；

第二緩存保存壓縮數據塊和元數據；

當客戶端的追加寫權限被收回，或者客戶端的追加寫操作完成時，第二緩存將保存的壓縮數據塊和元數據保存到客戶端的存儲設備；

MDS實時統計所有客戶端的讀寫權限。

2.根據權利要求1所述的分布式文件系統文件讀寫處理方法，其特征在于，

當某一文件被多個客戶端同時使用，且只有一個客戶端對所述文件進行追加寫時，MDS授權該客戶端寫緩存權限，同時授權其他的客戶端讀緩存權限。

3.根據權利要求1所述的分布式文件系統文件讀寫處理方法，其特征在于，

當客戶端向MDS申請由追加寫權限變更為修改寫權限時，MDS通知該客戶端釋放追加寫緩存權限，同時將緩存數據儲存到后端存儲設備。

4.根據權利要求1所述的分布式文件系統文件讀寫處理方法，其特征在于，

當客戶端向MDS申請由修改寫權限變更為追加寫權限時，MDS通知該客戶端釋放修改寫緩存權限，同時將緩存數據儲存到后端存儲設備。

5.根據權利要求1所述的分布式文件系統文件讀寫處理方法，其特征在于，

預設的壓縮量的獲取方式包括：第一緩存數據處理模塊在第一緩存隨機抽取N個數據，N為非零的自然數，對抽取的數據進行組合壓縮，組合壓縮后計算出N個數據的平均MD5值，將該值作為預設壓縮量。

6.根據權利要求1所述的分布式文件系統文件讀寫處理方法，其特征在于，

客戶端申請到修改寫權限或追加寫權限后，客戶端在客戶端配額數據結構中設置預留緩存空位；預留緩存空位獲取MDS分配的分配緩存空間；

MDS將總儲存配額拆分為以固定大小為基本單位的單位存儲空間，MDS統一分配和使用單位存儲空間；

當客戶端獲取到修改寫權限或追加寫權限，且向MDS申請單位存儲空間時，MDS根據客戶端的申請分配單位存儲空間；

客戶端得到單位存儲空間后，將MDS分配的單位存儲空間計入用戶配額數據結構中的預留緩存空位上。

7.根據權利要求6所述的分布式文件系統文件讀寫處理方法，其特征在于，

客戶端修改寫或追加寫操作時，將修改寫或追加寫的數據儲存至預留緩存空位的單位存儲空間內，當預授權空間內的單位存儲空間容量不足時，向MDS發出申請，申請分配單位存儲空間；

MDS根據所述客戶端的申請再分配一單位存儲空間；

客戶端得到單位存儲空間后，將MDS分配的單位存儲空間計入用戶配額數據結構中的預留緩存空位內，并與在先分配的單位存儲空間統一使用。