[發(fā)明專利]基于預(yù)授權(quán)的分布式對象存儲桶配額管理方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110173043.X
• 申請日: 2021-02-08
• 公開（公告）號: CN112817765A
• 公開（公告）日: 2021-05-18
• 發(fā)明（設(shè)計）人: 秦偉;尹微;肖純
• 申請（專利權(quán)）人: 北京同有飛驥科技股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京方韜法業(yè)專利代理事務(wù)所(普通合伙) 11303
• 代理人: 黨小林

本發(fā)明提供了一種基于預(yù)授權(quán)的分布式對象存儲桶配額管理方法及系統(tǒng)。該方法包括：對象存儲網(wǎng)關(guān)根據(jù)上個周期消耗配額的數(shù)量以及當(dāng)前配額剩余量計算存儲桶的本次申請配額量；對象存儲網(wǎng)關(guān)定時向配額管理中心批量申請存儲桶的存儲配額；配額管理中心依據(jù)各個對象存儲網(wǎng)關(guān)的本次申請配額量，向各個對象存儲網(wǎng)關(guān)分配存儲桶的存儲配額。本發(fā)明提供的基于預(yù)授權(quán)的分布式對象存儲桶配額管理方法及系統(tǒng)能夠減少多個節(jié)點同時更新資源統(tǒng)計狀態(tài)發(fā)生沖突的概率。

技術(shù)領(lǐng)域

本發(fā)明涉及存儲配額管理技術(shù)領(lǐng)域，特別是涉及一種基于預(yù)授權(quán)的分 布式對象存儲桶配額管理方法及系統(tǒng)。

背景技術(shù)

隨著移動互聯(lián)網(wǎng)的普及和發(fā)展，圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)量迅速增 加。對象存儲的扁平化的設(shè)計結(jié)構(gòu)，使其具有靈活的擴展能力支持海量的 非結(jié)構(gòu)化數(shù)據(jù)存儲。桶作為對象存儲數(shù)據(jù)組織的基本單位，如何實現(xiàn)高效 可靠的配額管理功能是分布式對象存儲必須要解決重要問題。

對于單服務(wù)節(jié)點，因為所有數(shù)據(jù)更新都由一個節(jié)點完成，所以只要在 該節(jié)點進行資源統(tǒng)計和限制就可以實現(xiàn)配額控制。而對于多服務(wù)節(jié)點的分 布式存儲系統(tǒng)，每個節(jié)點都會處理用戶讀寫請求，并更新使用資源的統(tǒng)計 信息，就會導(dǎo)致數(shù)據(jù)不一致性的問題。例如當(dāng)服務(wù)節(jié)點A查詢統(tǒng)計信息時， 滿足當(dāng)前配額限制，而在服務(wù)節(jié)點A處理請求的過程中，服務(wù)節(jié)點B查詢 統(tǒng)計信息檢查配額限制，也滿足要求。但剩余配額實際可能只能滿足其中 一個節(jié)點的請求，這就會導(dǎo)致實際使用量超出配額限制?，F(xiàn)有一般的解決 方法是：服務(wù)節(jié)點將檢查配額和更新狀態(tài)作為一個事務(wù)操作一起提交，只 有滿足配額且狀態(tài)更新成功后，服務(wù)節(jié)點才繼續(xù)執(zhí)行請求處理。這樣就避 免了不同的服務(wù)節(jié)點不一致導(dǎo)致配額超分的情況。

但該方案有兩個問題，一個問題是請求處理失敗數(shù)據(jù)沒有真正提交， 而統(tǒng)計狀態(tài)已經(jīng)更新。在異常處理時增加狀態(tài)回滾操作雖然可以一定程度 解決這個問題，但仍無法避免數(shù)據(jù)處理過程中系統(tǒng)異常退出導(dǎo)致的統(tǒng)計信 息與實際數(shù)據(jù)不一致的問題。另外一個問題是每次請求處理都要查詢和更 新遠程存儲中的配額狀態(tài)，增加了系統(tǒng)處理請求的延時，多個服務(wù)節(jié)點頻 繁更新狀態(tài)，還會增加了寫沖突的概率，降低了分布式對象系統(tǒng)的IO處理性能。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是提供一種基于預(yù)授權(quán)的分布式對象存儲桶 配額管理方法及系統(tǒng)，能夠減少多個節(jié)點同時更新資源統(tǒng)計狀態(tài)發(fā)生沖突 的概率。

為解決上述技術(shù)問題，本發(fā)明提供了一種基于預(yù)授權(quán)的分布式對象存 儲桶配額管理方法，所述方法包括：對象存儲網(wǎng)關(guān)根據(jù)上個周期消耗配額 的數(shù)量以及當(dāng)前配額剩余量計算存儲桶的本次申請配額量；對象存儲網(wǎng)關(guān) 定時向配額管理中心批量申請存儲桶的存儲配額；配額管理中心依據(jù)各個 對象存儲網(wǎng)關(guān)的本次申請配額量，向各個對象存儲網(wǎng)關(guān)分配存儲桶的存儲 配額。

在一些實施方式中，還包括：當(dāng)沒有足夠配額時，對象存儲網(wǎng)關(guān)從配 額管理中心申請存儲桶的預(yù)授權(quán)配額。

在一些實施方式中，還包括：配額管理中心根據(jù)分布式存儲中保存的 配額配置參數(shù)，管理存儲桶的配額參數(shù)和配額使用狀態(tài)。

在一些實施方式中，配額管理中心根據(jù)分布式存儲中保存的配額配置 參數(shù)，管理存儲桶的配額參數(shù)和配額使用狀態(tài)，包括：分布式存儲存儲配 額配置參數(shù)；配額管理中心從分布式存儲中獲取配額參數(shù)和配額使用狀態(tài)。

在一些實施方式中，配額管理中心根據(jù)分布式存儲中保存的配額配置 參數(shù)，管理存儲桶的配額參數(shù)和配額使用狀態(tài)，還包括：若配額參數(shù)變更， 分布式存儲服務(wù)通知配額管理中心更新配額參數(shù)。

在一些實施方式中，還包括：服務(wù)存儲網(wǎng)關(guān)處理客戶端的I O請求，將 對象保存至分布式存儲服務(wù)并更新元數(shù)據(jù)信息。

在一些實施方式中，元數(shù)據(jù)信息包括：桶的統(tǒng)計狀態(tài)信息。