[發(fā)明專利]多對(duì)象存儲(chǔ)桶的選擇方法、裝置及處理器

有效

• 申請(qǐng)?zhí)枺?/td>: 202111523293.8
• 申請(qǐng)日: 2021-12-13
• 公開（公告）號(hào): CN114201113B
• 公開（公告）日: 2023-06-02
• 發(fā)明（設(shè)計(jì)）人: 陳積;崔嘯天
• 申請(qǐng)（專利權(quán)）人: 建信金融科技有限責(zé)任公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 北京潤(rùn)平知識(shí)產(chǎn)權(quán)代理有限公司 11283
• 代理人: 趙敏岑

本申請(qǐng)實(shí)施例提供一種多對(duì)象存儲(chǔ)桶的選擇方法、裝置、處理器及存儲(chǔ)介質(zhì)。方法包括：獲取在設(shè)置的周期內(nèi)，從用戶端上傳測(cè)試文件到各個(gè)對(duì)象存儲(chǔ)桶的寫入延遲時(shí)間；根據(jù)所述寫入延遲時(shí)間，計(jì)算各個(gè)對(duì)象存儲(chǔ)桶的上傳延遲權(quán)重；根據(jù)所述上傳延遲權(quán)重，利用權(quán)重隨機(jī)算法，選擇對(duì)應(yīng)的對(duì)象存儲(chǔ)桶，執(zhí)行寫入新文件操作。通過本申請(qǐng)的技術(shù)方案，通過比較各個(gè)對(duì)象存儲(chǔ)桶的最近一段時(shí)間上傳的平均延遲，調(diào)整每個(gè)對(duì)象存儲(chǔ)桶所占的權(quán)重，再根據(jù)權(quán)重來選擇本次寫入的對(duì)象存儲(chǔ)桶，盡可能的選中當(dāng)前壓力最小，延遲最低的對(duì)象存儲(chǔ)桶，來實(shí)現(xiàn)整體的延遲和吞吐的提升。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域，具體涉及一種多對(duì)象存儲(chǔ)桶的選擇方法、裝置、處理器及機(jī)器可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

當(dāng)前云原生文件系統(tǒng)已成為數(shù)據(jù)湖(Data?Lake)方案中的一個(gè)熱點(diǎn)，其基本形態(tài)就是該文件系統(tǒng)會(huì)有一個(gè)集中的元數(shù)據(jù)服務(wù)器用于存儲(chǔ)文件的元數(shù)據(jù)，其數(shù)據(jù)會(huì)存放在一個(gè)或者多個(gè)對(duì)象存儲(chǔ)的桶里，用來突破云服務(wù)廠商對(duì)于單個(gè)對(duì)象存儲(chǔ)桶的iops或者帶寬限制，來提升文件系統(tǒng)整體的性能。

現(xiàn)有的技術(shù)在寫新文件的時(shí)候，需要先選定一個(gè)對(duì)象存儲(chǔ)桶用于寫入，如果配置了多個(gè)對(duì)象存儲(chǔ)桶的話，一般都是采取輪詢的策略，實(shí)現(xiàn)比較簡(jiǎn)單，但是沒有考慮到不同的桶之間是有可能出現(xiàn)性能差異的，因?yàn)椴煌耐翱赡艽鎯?chǔ)在不同的云服務(wù)器機(jī)架，不同的機(jī)房，甚至不同的地域，會(huì)導(dǎo)致客戶端到對(duì)象存儲(chǔ)桶的寫入延遲本來就不一致，而且在寫入壓力比較大時(shí)，會(huì)遇到請(qǐng)求被限流的情景，所以寫入操作的延遲會(huì)出現(xiàn)比較大的抖動(dòng)，整體的遲延和吞吐沒有達(dá)到最優(yōu)，甚至有可能出現(xiàn)桶臨時(shí)故障，造成寫入失敗。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例的目的是提供一種多對(duì)象存儲(chǔ)桶的選擇方法、裝置、存儲(chǔ)介質(zhì)及處理器。

為了實(shí)現(xiàn)上述目的，本申請(qǐng)第一方面提供一種多對(duì)象存儲(chǔ)桶的選擇方法，包括：獲取在設(shè)置的周期內(nèi)，從用戶端上傳測(cè)試文件到各個(gè)對(duì)象存儲(chǔ)桶的寫入延遲時(shí)間；根據(jù)所述寫入延遲時(shí)間，計(jì)算各個(gè)對(duì)象存儲(chǔ)桶的上傳延遲權(quán)重；根據(jù)所述上傳延遲權(quán)重，利用權(quán)重隨機(jī)算法，選擇對(duì)應(yīng)的對(duì)象存儲(chǔ)桶，執(zhí)行寫入新文件操作。

在本申請(qǐng)實(shí)施例中，根據(jù)所述寫入延遲時(shí)間，計(jì)算各個(gè)對(duì)象存儲(chǔ)桶的上傳延遲權(quán)重包括：利用公式W＝C*(1/t)計(jì)算各個(gè)對(duì)象存儲(chǔ)桶的上傳延遲權(quán)重，其中C為可變縮放系數(shù)，W為對(duì)象存儲(chǔ)桶的上傳延遲權(quán)重，t為寫入延遲時(shí)間。

進(jìn)一步地，如果寫入延遲時(shí)間超過預(yù)設(shè)超時(shí)閾值時(shí)，設(shè)置所述對(duì)象存儲(chǔ)桶的上傳延遲權(quán)重為0。

進(jìn)一步地，當(dāng)設(shè)置所述對(duì)象存儲(chǔ)桶的上傳延遲權(quán)重為0時(shí)，判斷該對(duì)象存儲(chǔ)桶為故障對(duì)象存儲(chǔ)桶，剔除寫入列表。

進(jìn)一步地，利用權(quán)重隨機(jī)算法，選擇對(duì)應(yīng)的對(duì)象存儲(chǔ)桶包括：根據(jù)各個(gè)對(duì)象存儲(chǔ)桶的上傳延遲權(quán)重，計(jì)算全部對(duì)象存儲(chǔ)桶的上傳延遲權(quán)重總和；計(jì)算各個(gè)對(duì)象存儲(chǔ)桶的上傳延遲權(quán)重比例，其中各個(gè)對(duì)象存儲(chǔ)桶的上傳延遲權(quán)重比例＝各個(gè)對(duì)象存儲(chǔ)桶的上傳延遲權(quán)重/全部對(duì)象存儲(chǔ)桶的上傳延遲權(quán)重總和；根據(jù)所述各個(gè)對(duì)象存儲(chǔ)桶的上傳延遲權(quán)重比例，計(jì)算出各個(gè)對(duì)象存儲(chǔ)桶覆蓋區(qū)域；根據(jù)所述各個(gè)對(duì)象存儲(chǔ)桶覆蓋區(qū)域，劃分出各個(gè)對(duì)象存儲(chǔ)桶的范圍；利用隨機(jī)數(shù)生成器生成在零至全部對(duì)象存儲(chǔ)桶的上傳延遲權(quán)重總和之間的整數(shù)；選擇所述整數(shù)落在所述范圍的對(duì)象存儲(chǔ)桶作為所述對(duì)應(yīng)的對(duì)象存儲(chǔ)桶。

本申請(qǐng)第二方面提供一種多對(duì)象存儲(chǔ)桶的選擇裝置，包括：統(tǒng)計(jì)模塊，用于獲取在設(shè)置的周期內(nèi)，從用戶端上傳文件到各個(gè)對(duì)象存儲(chǔ)桶的寫入延遲時(shí)間；計(jì)算模塊，用于根據(jù)所述寫入延遲時(shí)間，計(jì)算各個(gè)對(duì)象存儲(chǔ)桶的上傳延遲權(quán)重；選擇模塊，根據(jù)所述上傳延遲權(quán)重，利用權(quán)重隨機(jī)算法，選擇對(duì)應(yīng)的對(duì)象存儲(chǔ)桶，執(zhí)行寫入新文件操作。

在本申請(qǐng)實(shí)施例中，所述計(jì)算模塊被配置為：利用公式W＝C*(1/t)計(jì)算各個(gè)對(duì)象存儲(chǔ)桶的上傳延遲權(quán)重，其中C為可變縮放系數(shù)，W為對(duì)象存儲(chǔ)桶的上傳延遲權(quán)重，t為寫入延遲時(shí)間；如果寫入延遲時(shí)間超過預(yù)設(shè)超時(shí)閾值時(shí)，設(shè)置所述對(duì)象存儲(chǔ)桶的上傳延遲權(quán)重為0，判斷該對(duì)象存儲(chǔ)桶為故障對(duì)象存儲(chǔ)桶，剔除寫入列表。