[發(fā)明專利]分布式對象存儲系統(tǒng)的用量統(tǒng)計(jì)信息下刷方法和裝置

在審

• 申請?zhí)枺?/td>: 202110602925.3
• 申請日: 2021-05-31
• 公開（公告）號: CN113485852A
• 公開（公告）日: 2021-10-08
• 發(fā)明（設(shè)計(jì)）人: 馮燦坤;胡永剛
• 申請（專利權(quán)）人: 濟(jì)南浪潮數(shù)據(jù)技術(shù)有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54
• 代理公司: 濟(jì)南誠智商標(biāo)專利事務(wù)所有限公司 37105
• 代理人: 黃曉燕

本發(fā)明公開分布式對象存儲系統(tǒng)的用量統(tǒng)計(jì)信息下刷方法和裝置，其中，分布式對象存儲系統(tǒng)的用量統(tǒng)計(jì)信息下刷方法包括：在啟動對象存儲網(wǎng)關(guān)時，創(chuàng)建全局?jǐn)?shù)據(jù)結(jié)構(gòu)；使用對象存儲網(wǎng)關(guān)的業(yè)務(wù)線程，將所有用量統(tǒng)計(jì)信息下發(fā)至全局?jǐn)?shù)據(jù)結(jié)構(gòu)；使用全局?jǐn)?shù)據(jù)結(jié)構(gòu)打包用量統(tǒng)計(jì)信息，按照預(yù)設(shè)定時下刷機(jī)制將打包后的多條用量統(tǒng)計(jì)信息統(tǒng)一下刷至對象存儲層。本發(fā)明的技術(shù)方案能解決現(xiàn)有技術(shù)中的用量統(tǒng)計(jì)方案存在寫放大并且對讀寫性能影響較大的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及對象存儲技術(shù)領(lǐng)域，尤其涉及一種分布式對象存儲系統(tǒng)的用量統(tǒng)計(jì)信息下刷方法和裝置。

背景技術(shù)

分布式對象存儲系統(tǒng)，是一種適用于圖片及視頻等非結(jié)構(gòu)化數(shù)據(jù)存儲的網(wǎng)絡(luò)存儲架構(gòu)。它具有塊存儲高速直接訪問磁盤以及文件存儲分布式共享的特點(diǎn)。

現(xiàn)有的分布式對象存儲系統(tǒng)，實(shí)現(xiàn)了對象存儲的用量統(tǒng)計(jì)功能。存儲系統(tǒng)部署時，建立一個名為usage的元數(shù)據(jù)池，元數(shù)據(jù)池中初始化多個Rados對象，用以存儲用量統(tǒng)計(jì)信息?？蛻舳送ㄟ^http請求訪問該分布式對象存儲系統(tǒng)，在客戶端請求處理完成時，對象存儲網(wǎng)關(guān)RGW將本次請求的請求類型、用戶、桶、訪問時間和數(shù)據(jù)量等信息統(tǒng)一構(gòu)建為一條用量統(tǒng)計(jì)信息，并將其下發(fā)至對象存儲Rados層。Rados層將該用量統(tǒng)計(jì)信息存儲在元數(shù)據(jù)池中的128個rados對象中某個對象的omap中(通過用戶名進(jìn)行哈希尋址)。

然而上述用量統(tǒng)計(jì)方案，當(dāng)用戶業(yè)務(wù)量過大時會出現(xiàn)以下問題：1.對客戶端每次請求處理都要多一次對Rados層的寫請求，存在寫放大的問題，影響性能。2.為解決分布式對象存儲系統(tǒng)中的數(shù)據(jù)一致性問題，系統(tǒng)對usage池對象寫omap時需要拿到該對象的讀寫鎖，同一時間只能有一個線程操作Rados對象，其他需要對該rados對象寫omap的線程需要等待鎖被釋放后去搶鎖，對讀寫性能影響較大。

發(fā)明內(nèi)容

本發(fā)明提供了一種分布式對象存儲系統(tǒng)的用量統(tǒng)計(jì)信息下刷方案，旨在解決現(xiàn)有技術(shù)中用量統(tǒng)計(jì)方案存在寫放大，并且對讀寫性能影響較大的問題。

根據(jù)本發(fā)明的第一方面，本發(fā)明提供了一種分布式對象存儲系統(tǒng)的用量統(tǒng)計(jì)信息下刷方法，包括：

在啟動對象存儲網(wǎng)關(guān)時，創(chuàng)建全局?jǐn)?shù)據(jù)結(jié)構(gòu)；

使用對象存儲網(wǎng)關(guān)的業(yè)務(wù)線程，將所有用量統(tǒng)計(jì)信息下發(fā)至全局?jǐn)?shù)據(jù)結(jié)構(gòu)；

使用全局?jǐn)?shù)據(jù)結(jié)構(gòu)打包用量統(tǒng)計(jì)信息，按照預(yù)設(shè)定時下刷機(jī)制將打包后的多條用量統(tǒng)計(jì)信息統(tǒng)一下刷至對象存儲層。

優(yōu)選地，上述將所有用量統(tǒng)計(jì)信息下發(fā)至全局?jǐn)?shù)據(jù)結(jié)構(gòu)的步驟，包括：

控制業(yè)務(wù)線程處理客戶端請求；

當(dāng)業(yè)務(wù)線程每次處理客戶端請求完成時，控制業(yè)務(wù)線程將與客戶端請求對應(yīng)的請求信息封裝為用量統(tǒng)計(jì)信息；

當(dāng)每次用量統(tǒng)計(jì)信息封裝完畢時，控制業(yè)務(wù)線程將用量統(tǒng)計(jì)信息插入至全局?jǐn)?shù)據(jù)結(jié)構(gòu)的預(yù)設(shè)成員變量中。

優(yōu)選地，上述按照預(yù)設(shè)定時下刷機(jī)制將打包后的多條用量統(tǒng)計(jì)信息統(tǒng)一下刷至對象存儲層的步驟，包括：

當(dāng)全局?jǐn)?shù)據(jù)結(jié)構(gòu)初始化時，啟動預(yù)設(shè)下刷線程按照預(yù)設(shè)下刷時間間隔，將下刷時間間隔內(nèi)的用量統(tǒng)計(jì)信息打包下刷至對象存儲層；

或者，

當(dāng)全局?jǐn)?shù)據(jù)結(jié)構(gòu)存儲的用量統(tǒng)計(jì)信息的條數(shù)大于或等于預(yù)設(shè)條目數(shù)量時，控制預(yù)設(shè)下刷線程將存儲的所有用量統(tǒng)計(jì)信息打包下刷至對象存儲層。

優(yōu)選地，本申請?zhí)峁┑挠昧拷y(tǒng)計(jì)信息下刷方法還包括：

使用預(yù)設(shè)命令行管理工具查詢指定用戶或指定桶在預(yù)設(shè)時間段的訪問用量，得到訪問用量的參數(shù)；

根據(jù)訪問用量的參數(shù)，訪問對象存儲層中的存儲池的Rados對象；