[發(fā)明專利]一種HDFS服務(wù)容量配額實現(xiàn)的方法、系統(tǒng)、設(shè)備及可讀介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111158109.4
• 申請日: 2021-09-30
• 公開（公告）號: CN114003372A
• 公開（公告）日: 2022-02-01
• 發(fā)明（設(shè)計）人: 王帥陽;李文鵬;李旭東
• 申請（專利權(quán)）人: 濟(jì)南浪潮數(shù)據(jù)技術(shù)有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/172;G06F16/182
• 代理公司: 北京連和連知識產(chǎn)權(quán)代理有限公司 11278
• 代理人: 陳黎明;宋薇薇

本發(fā)明提供了一種分布式文件系統(tǒng)HDFS服務(wù)容量配額實現(xiàn)的方法、系統(tǒng)、設(shè)備及可讀介質(zhì)，該方法包括：響應(yīng)于HDFS服務(wù)接收到addblock請求，申請block大小的配額并構(gòu)建hdfsquota緩存結(jié)構(gòu)和緩存記錄；響應(yīng)于HDFS服務(wù)接收到文件的寫請求，基于文件的屬性更新緩存記錄；響應(yīng)于文件寫完成，判斷緩存記錄中預(yù)設(shè)屬性大小是否大于文件大小；響應(yīng)于緩存記錄中預(yù)設(shè)屬性大小大于文件大小，將申請配額中未使用的容量歸還服務(wù)器。通過使用本發(fā)明的方案，能夠?qū)崿F(xiàn)HDFS協(xié)議過程的容量配額功能，能夠及時歸還未使用的配額，避免容量浪費，能夠通過定時自檢歸還配額，增加功能可用性。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)領(lǐng)域，并且更具體地涉及一種分布式文件系統(tǒng)HDFS服務(wù)容量配額實現(xiàn)的方法、系統(tǒng)、設(shè)備及可讀介質(zhì)。

背景技術(shù)

對于分布式文件系統(tǒng)(對象存儲)在使用HDFS協(xié)議容量配額寫入數(shù)據(jù)時，分布式文件常用配額是在實際寫入時進(jìn)行配額判斷，無法很好支持HDFS協(xié)議過程中的容量配額接口的對接，HDFS協(xié)議配額以block(128M)為大小進(jìn)行配額檢查判斷，但只有在block寫入完成時才能感知block真實寫入大小。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實施例的目的在于提出一種分布式文件系統(tǒng)HDFS服務(wù)容量配額實現(xiàn)的方法、系統(tǒng)、設(shè)備及可讀介質(zhì)，通過使用本發(fā)明的技術(shù)方案，能夠?qū)崿F(xiàn)HDFS協(xié)議過程的容量配額功能，能夠及時歸還未使用的配額，避免容量浪費，能夠通過定時自檢歸還配額，增加功能可用性。

基于上述目的，本發(fā)明的實施例的一個方面提供了一種分布式文件系統(tǒng)HDFS服務(wù)容量配額實現(xiàn)的方法，包括以下步驟：

響應(yīng)于HDFS服務(wù)接收到addblock(增加塊)請求，申請block大小的配額并構(gòu)建hdfsquota(配額)緩存結(jié)構(gòu)和緩存記錄；

響應(yīng)于HDFS服務(wù)接收到文件的寫請求，基于文件的屬性更新緩存記錄；

響應(yīng)于文件寫完成，判斷緩存記錄中預(yù)設(shè)屬性大小是否大于文件大小；

響應(yīng)于緩存記錄中預(yù)設(shè)屬性大小大于文件大小，將申請配額中未使用的容量歸還服務(wù)器。

根據(jù)本發(fā)明的一個實施例，響應(yīng)于HDFS服務(wù)接收到addblock請求，申請block大小的配額并構(gòu)建hdfsquota緩存結(jié)構(gòu)和緩存記錄包括：

響應(yīng)于HDFS服務(wù)接收到addblock請求，判斷HDFS服務(wù)是否開啟容量配額；

響應(yīng)于開啟容量配額，向元數(shù)據(jù)服務(wù)器發(fā)送配額申請請求以申請block大小的配額；

響應(yīng)于配額申請成功構(gòu)建hdfsquota緩存結(jié)構(gòu)，并設(shè)置緩存記錄；

以待寫文件的ino號為key將hdfsquota緩存結(jié)構(gòu)插入到HDFS_quota_map全局記錄中，將hdfsquota緩存結(jié)構(gòu)插入到quota_hit_list鏈表的尾部。

根據(jù)本發(fā)明的一個實施例，響應(yīng)于配額申請成功構(gòu)建hdfsquota緩存結(jié)構(gòu)，并設(shè)置緩存記錄包括：

在緩存記錄中記錄本次申請容量為alloc_size；

文件將要寫到的大小to_size＝文件當(dāng)前大小+alloc_size，已寫容量write_size＝0。

根據(jù)本發(fā)明的一個實施例，響應(yīng)于HDFS服務(wù)接收到文件的寫請求，基于文件的屬性更新緩存記錄包括：

響應(yīng)于HDFS服務(wù)接收到文件的寫請求，判斷文件是否存在hdfsquota緩存結(jié)構(gòu)；

響應(yīng)于文件存在hdfsquota緩存結(jié)構(gòu)，更新緩存記錄的wite_size記錄，其中，write_size增量為本地寫入的數(shù)據(jù)量；