[發(fā)明專利]一種分布式文件系統(tǒng)文件讀寫處理方法

有效

• 申請?zhí)枺?/td>: 201710113816.9
• 申請日: 2017-02-28
• 公開（公告）號: CN106897440B
• 公開（公告）日: 2020-06-26
• 發(fā)明（設(shè)計）人: 于魯憲
• 申請（專利權(quán)）人: 鄭州云海信息技術(shù)有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/172;G06F16/17;G06F16/13
• 代理公司: 濟南舜源專利事務(wù)所有限公司 37205
• 代理人: 張亮

本發(fā)明提供一種分布式文件系統(tǒng)文件讀寫處理方法，多個客戶端對文件進行寫入前，每個客戶端分別向MDS申請對文件的寫權(quán)限，并且每個客戶端標(biāo)示申請修改寫權(quán)限或追加寫權(quán)限，MDS授權(quán)客戶端直讀和直寫權(quán)限；客戶端將追加寫或者修改寫方式異步發(fā)送給MDS；MDS統(tǒng)計客戶端讀寫方式，重新給客戶端授權(quán)寫緩存或者讀緩存。將文件寫權(quán)限拆分成粒度更小的追加寫和修改寫，針對只有追加寫的情況授權(quán)給客戶端寫緩存權(quán)限，提高數(shù)據(jù)處理效率。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式文件領(lǐng)域，尤其涉及一種分布式文件系統(tǒng)文件讀寫處理方法。

背景技術(shù)

隨著計算機技術(shù)的快速發(fā)展，各種形式的信息數(shù)據(jù)量越來越大，根據(jù)行業(yè)情況不同，對數(shù)據(jù)的讀寫方式差異很大，在現(xiàn)有的文件讀寫權(quán)限控制下，如果多個客戶端同時對一個文件進行讀寫，則只能采用直寫和直讀的方法，數(shù)據(jù)處理效率低下。

發(fā)明內(nèi)容

為了克服上述現(xiàn)有技術(shù)中的不足，本發(fā)明提供一種分布式文件系統(tǒng)文件讀寫處理方法，方法包括：

多個客戶端對文件進行寫入前，每個客戶端分別向MDS申請對文件的寫權(quán)限，并且每個客戶端標(biāo)示申請修改寫權(quán)限或追加寫權(quán)限；

MDS接收所有客戶端發(fā)送的讀寫權(quán)限申請，并對每個客戶端申請的修改寫權(quán)限或追加寫權(quán)限給予授權(quán)；

MDS實時統(tǒng)計所有客戶端的讀寫權(quán)限。

優(yōu)選地，當(dāng)某一文件被多個客戶端同時使用，且只有一個客戶端對所述文件進行追加寫時，MDS授權(quán)該客戶端寫緩存權(quán)限，同時授權(quán)其他的客戶端讀緩存權(quán)限。

優(yōu)選地，當(dāng)客戶端向MDS申請由追加寫權(quán)限變更為修改寫權(quán)限時，MDS通知該客戶端釋放追加寫緩存權(quán)限，同時將緩存數(shù)據(jù)儲存到后端存儲設(shè)備。

優(yōu)選地，當(dāng)客戶端向MDS申請由修改寫權(quán)限變更為追加寫權(quán)限時，MDS通知該客戶端釋放修改寫緩存權(quán)限，同時將緩存數(shù)據(jù)儲存到后端存儲設(shè)備。

優(yōu)選地，當(dāng)客戶端獲得追加寫權(quán)限后，進行追加寫數(shù)據(jù)時，先將寫入數(shù)據(jù)緩存在第一緩存中；

第一緩存數(shù)據(jù)壓縮模塊根據(jù)預(yù)設(shè)的壓縮量將第一緩存中多個數(shù)據(jù)進行組合壓縮，形成壓縮數(shù)據(jù)塊；

第一緩存數(shù)據(jù)壓縮模塊針對壓縮數(shù)據(jù)塊中的每個數(shù)據(jù)對應(yīng)生成一元數(shù)據(jù)，元數(shù)據(jù)記錄壓縮前后的每個數(shù)據(jù)處于第一緩存中的位置；

將壓縮數(shù)據(jù)塊以及與壓縮數(shù)據(jù)塊相對應(yīng)的元數(shù)據(jù)下發(fā)給第二緩存；

第二緩存保存壓縮數(shù)據(jù)塊和元數(shù)據(jù)；

當(dāng)客戶端的追加寫權(quán)限被收回，或者客戶端的追加寫操作完成時，第二緩存將保存的壓縮數(shù)據(jù)塊和元數(shù)據(jù)保存到客戶端的存儲設(shè)備。

優(yōu)選地，預(yù)設(shè)的壓縮量的獲取方式包括：第一緩存數(shù)據(jù)處理模塊在第一緩存隨機抽取N個數(shù)據(jù)，N為非零的自然數(shù)，對抽取的數(shù)據(jù)進行組合壓縮，組合壓縮后計算出N個數(shù)據(jù)的平均MD5值，將該值作為預(yù)設(shè)壓縮量。

優(yōu)選地，客戶端申請到修改寫權(quán)限或追加寫權(quán)限后，客戶端在客戶端配額數(shù)據(jù)結(jié)構(gòu)中設(shè)置預(yù)留緩存空位；預(yù)留緩存空位獲取MDS分配的分配緩存空間；

MDS將總儲存配額拆分為以固定大小為基本單位的單位存儲空間，MDS統(tǒng)一分配和使用單位存儲空間；

當(dāng)客戶端獲取到修改寫權(quán)限或追加寫權(quán)限，且向MDS申請單位存儲空間時，MDS根據(jù)客戶端的申請分配單位存儲空間；

客戶端得到單位存儲空間后，將MDS分配的單位存儲空間計入用戶配額數(shù)據(jù)結(jié)構(gòu)中的預(yù)留緩存空位上。

優(yōu)選地，客戶端修改寫或追加寫操作時，將修改寫或追加寫的數(shù)據(jù)儲存至預(yù)留緩存空位的單位存儲空間內(nèi)，當(dāng)預(yù)授權(quán)空間內(nèi)的單位存儲空間容量不足時，向MDS發(fā)出申請，申請分配單位存儲空間；