[發(fā)明專利]一種聚合大對象寫流程優(yōu)化方法、裝置、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202310348114.4
• 申請日: 2023-03-30
• 公開（公告）號: CN116360702A
• 公開（公告）日: 2023-06-30
• 發(fā)明（設(shè)計）人: 王曉兵;高矗
• 申請（專利權(quán)）人: 濟(jì)南浪潮數(shù)據(jù)技術(shù)有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 牛亭亭

本申請公開了一種聚合大對象寫流程優(yōu)化方法、裝置、設(shè)備及介質(zhì)，涉及分布式存儲技術(shù)領(lǐng)域。通過接收對目標(biāo)小對象進(jìn)行修改寫的指令；根據(jù)指令在機械硬盤數(shù)據(jù)池內(nèi)的聚合大對象中獲取目標(biāo)小對象，并對目標(biāo)小對象進(jìn)行修改寫；獲取目標(biāo)小對象修改寫前后的大小關(guān)系；根據(jù)大小關(guān)系將修改寫后的目標(biāo)小對象放入聚合大對象中目標(biāo)小對象的原有位置或聚合大對象條帶后。由此可知，上述方案依據(jù)聚合大對象中的目標(biāo)小對象修改寫前后的大小關(guān)系，選擇將修改后的目標(biāo)小對象放回原位，或追加至聚合大對象條帶后，從而減小了聚合大對象創(chuàng)建新空間的次數(shù)，并降低了存儲空間的無效利用率，提升了機械硬盤數(shù)據(jù)池的存儲效率。

技術(shù)領(lǐng)域

本申請涉及分布式存儲技術(shù)領(lǐng)域，特別是涉及一種聚合大對象寫流程優(yōu)化方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

在分布式存儲中，為了提升海量小對象數(shù)據(jù)(小于或等于512K的數(shù)據(jù))的重構(gòu)速度，對象存儲使用了“緩存+聚合”的方案來代替原來直接存儲的方式。具體地，將小對象優(yōu)先寫入到固態(tài)硬盤(Solid?State?Drive，SSD)高速緩存池中；當(dāng)SSD緩存池達(dá)到一定水位時，這些小對象會聚合成大對象并下刷到機械硬盤(Hard?Disk?Drive，HDD)數(shù)據(jù)池中。以此采用緩存聚合后，集群中可靠自修復(fù)分布式對象存儲(Reliable，Autonomic?DistributedObject?Store，RADOS)對象數(shù)大量減少，從而提升數(shù)據(jù)重構(gòu)速度。

目前，在對聚合對象中的小對象進(jìn)行修改寫時，現(xiàn)有的機制首先會將要修改的小對象從聚合對象中取出，然后將原來的小對象所處空間無效化，并在對象修改之后在存儲空間后創(chuàng)建一段新的空間，用來記錄修改之后的對象信息。然而，當(dāng)無效化空間不足以調(diào)動HDD數(shù)據(jù)池的聚合垃圾管理模塊進(jìn)行垃圾回收時，大量的無效化空間存在與HDD數(shù)據(jù)池中，會造成存儲空間的浪費。

鑒于上述問題，如何優(yōu)化聚合大對象的寫流程，避免聚合大對象中的無效化空間過多造成存儲空間的浪費，是該領(lǐng)域技術(shù)人員亟待解決的問題。

發(fā)明內(nèi)容

本申請的目的是提供一種聚合大對象寫流程優(yōu)化方法、裝置、設(shè)備及介質(zhì)，以優(yōu)化聚合大對象的寫流程，避免聚合大對象中的無效化空間過多造成存儲空間的浪費。

為解決上述技術(shù)問題，本申請?zhí)峁┮环N聚合大對象寫流程優(yōu)化方法，包括：

接收對目標(biāo)小對象進(jìn)行修改寫的指令；其中，所述目標(biāo)小對象的大小不大于512K；

根據(jù)所述指令在機械硬盤數(shù)據(jù)池內(nèi)的聚合大對象中獲取所述目標(biāo)小對象，并對所述目標(biāo)小對象進(jìn)行修改寫；其中，所述聚合大對象包含多個小對象；

獲取所述目標(biāo)小對象修改寫前后的大小關(guān)系；

根據(jù)所述大小關(guān)系將修改寫后的所述目標(biāo)小對象放入所述聚合大對象中所述目標(biāo)小對象的原有位置或所述聚合大對象條帶后。

優(yōu)選地，所述根據(jù)所述大小關(guān)系將修改寫后的所述目標(biāo)小對象放入所述聚合大對象中所述目標(biāo)小對象的原有位置或所述聚合大對象條帶后包括：

當(dāng)修改寫后的所述目標(biāo)小對象的大小小于修改寫前的所述目標(biāo)小對象的大小時，填充數(shù)據(jù)至修改寫后的所述目標(biāo)小對象，直至所述目標(biāo)小對象的大小等于修改寫前的所述目標(biāo)小對象的大小，將數(shù)據(jù)填充后的所述目標(biāo)小對象放入所述聚合大對象中所述目標(biāo)小對象的所述原有位置；

當(dāng)修改寫后的所述目標(biāo)小對象的大小等于修改寫前的所述目標(biāo)小對象的大小時，直接將修改寫后的所述目標(biāo)小對象放入所述聚合大對象中所述目標(biāo)小對象的所述原有位置；

當(dāng)修改寫后的所述目標(biāo)小對象的大小大于修改寫前的所述目標(biāo)小對象的大小時，將所述聚合大對象中所述目標(biāo)小對象的所述原有位置的空間無效化，并在所述聚合大對象原有條帶后創(chuàng)建空間以放入修改寫后的所述目標(biāo)小對象。

優(yōu)選地，在所述對所述目標(biāo)小對象進(jìn)行修改寫之前，還包括：