[發(fā)明專利]一種處理下載請(qǐng)求的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710574937.3
• 申請(qǐng)日: 2017-07-14
• 公開(kāi)（公告）號(hào): CN107395708B
• 公開(kāi)（公告）日: 2021-04-02
• 發(fā)明（設(shè)計(jì)）人: 蘇志遠(yuǎn)
• 申請(qǐng)（專利權(quán)）人: 鄭州云海信息技術(shù)有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08
• 代理公司: 北京安信方達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11262
• 代理人: 李紅爽;李丹

本發(fā)明公開(kāi)了一種處理下載請(qǐng)求的方法和裝置。所述方法包括：當(dāng)接收到用戶發(fā)送的下載swift對(duì)象的請(qǐng)求后，獲取保存有所述swift對(duì)象的副本的存儲(chǔ)節(jié)點(diǎn)；獲取所述存儲(chǔ)節(jié)點(diǎn)的CPU利用率信息和磁盤輸入/輸出利用率信息；利用每個(gè)存儲(chǔ)節(jié)點(diǎn)的CPU利用率信息和磁盤輸入/輸出利用率信息，計(jì)算每個(gè)存儲(chǔ)節(jié)點(diǎn)的負(fù)載信息；根據(jù)每個(gè)存儲(chǔ)節(jié)點(diǎn)的負(fù)載信息，選擇響應(yīng)所述用戶下載請(qǐng)求的響應(yīng)節(jié)點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及通信技術(shù)，尤指一種處理下載請(qǐng)求的方法和裝置。

背景技術(shù)

Swift對(duì)象存儲(chǔ)的作用是用對(duì)象來(lái)管理數(shù)據(jù)。其中對(duì)象包括了數(shù)據(jù)本身和元數(shù)據(jù)。數(shù)據(jù)可以是圖片、文本文檔、音樂(lè)、視頻或者是其他需要存儲(chǔ)的應(yīng)用；元數(shù)據(jù)用來(lái)描述數(shù)據(jù)，包括數(shù)據(jù)的名字、來(lái)源、創(chuàng)建時(shí)間、類型、大小等。對(duì)象存儲(chǔ)設(shè)備負(fù)責(zé)管理本地對(duì)象，包括數(shù)據(jù)的存儲(chǔ)、數(shù)據(jù)的分布和元數(shù)據(jù)的管理。外部設(shè)備可以通過(guò)超文本傳輸協(xié)議(HTTP，HyperText Transfer Protocol)協(xié)議來(lái)訪問(wèn)對(duì)象存儲(chǔ)。

負(fù)載均衡是根據(jù)服務(wù)器的各種資源，如CPU、內(nèi)存、網(wǎng)絡(luò)等，進(jìn)行分發(fā)工作負(fù)載，優(yōu)化資源利用、最大化吞吐量、最小化響應(yīng)時(shí)間的各項(xiàng)指標(biāo)，達(dá)到避免負(fù)載傾斜的目標(biāo)，達(dá)到提高系統(tǒng)的可靠性和可用性的目的。負(fù)載均衡調(diào)度算法決定了把負(fù)載分配到哪臺(tái)機(jī)器上，在負(fù)載均衡中起著重要的作用。

更大的吞吐量和更快的數(shù)據(jù)訪問(wèn)速度是對(duì)象存儲(chǔ)系統(tǒng)追求的一個(gè)重要目標(biāo)。云存儲(chǔ)系統(tǒng)是由大量設(shè)備組成的集群，面對(duì)的是高并發(fā)量的數(shù)據(jù)訪問(wèn)，為了不至于出現(xiàn)某些設(shè)備很忙，而另外一些設(shè)備空閑導(dǎo)致系統(tǒng)資源利用不均衡的狀況，實(shí)現(xiàn)合理的負(fù)載分配至關(guān)重要。

由于對(duì)象存儲(chǔ)系統(tǒng)的復(fù)雜性和不確定性，傳統(tǒng)的負(fù)載均衡調(diào)度算法，不適用于對(duì)象存儲(chǔ)系統(tǒng)，具體來(lái)說(shuō)：

輪詢算法：把用戶請(qǐng)求依次分配給集群中的服務(wù)器，該算法雖然實(shí)現(xiàn)簡(jiǎn)單，但是沒(méi)有考慮到后臺(tái)具體服務(wù)器的性能差異和實(shí)時(shí)負(fù)載情況。

最少連接算法：根據(jù)服務(wù)器的當(dāng)前連接數(shù)進(jìn)行負(fù)載分配，當(dāng)前連接數(shù)最小的服務(wù)器會(huì)被分到新的連接，該算法的優(yōu)點(diǎn)是考慮到了服務(wù)器的實(shí)時(shí)負(fù)載情況，但沒(méi)有考慮到服務(wù)器本身處理能力的差異。某臺(tái)服務(wù)器的連接可能很少，但是已經(jīng)達(dá)到其處理能力的上限，此時(shí)再給它分配連接請(qǐng)求并不合理，而且僅僅以一個(gè)連接數(shù)指標(biāo)來(lái)代表對(duì)應(yīng)服務(wù)器的負(fù)載情況，不足以完全反映服務(wù)器的實(shí)際負(fù)載情況。

隨機(jī)算法：在Swift中，用戶讀數(shù)據(jù)的請(qǐng)求到達(dá)代理節(jié)點(diǎn)，代理節(jié)點(diǎn)通過(guò)查詢環(huán)得到數(shù)據(jù)的所有副本的存儲(chǔ)節(jié)點(diǎn)，然后隨機(jī)選擇一個(gè)存儲(chǔ)節(jié)點(diǎn)進(jìn)行讀取，簡(jiǎn)單易于理解，但是在實(shí)際的操作過(guò)程中，發(fā)現(xiàn)隨機(jī)算法往往只選擇第一個(gè)節(jié)點(diǎn)進(jìn)行響應(yīng)，這就導(dǎo)致了該節(jié)點(diǎn)常常很忙但是其他節(jié)點(diǎn)負(fù)載很輕的情況。

通過(guò)上述分析可知，傳統(tǒng)負(fù)載均衡方案不能滿足云存儲(chǔ)系統(tǒng)復(fù)雜多變的特征分配負(fù)載。

發(fā)明內(nèi)容

為了解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種處理下載請(qǐng)求的方法和裝置，能夠滿足云存儲(chǔ)系統(tǒng)復(fù)雜多變的特征分配負(fù)載。

為了達(dá)到本發(fā)明目的，本發(fā)明提供一種處理下載請(qǐng)求的方法，包括：

當(dāng)接收到用戶發(fā)送的下載swift對(duì)象的請(qǐng)求后，獲取保存有所述swift對(duì)象的副本的存儲(chǔ)節(jié)點(diǎn)；獲取所述存儲(chǔ)節(jié)點(diǎn)的CPU利用率信息和磁盤輸入/輸出利用率信息；利用每個(gè)存儲(chǔ)節(jié)點(diǎn)的CPU利用率信息和磁盤輸入/輸出利用率信息，計(jì)算每個(gè)存儲(chǔ)節(jié)點(diǎn)的負(fù)載信息；根據(jù)每個(gè)存儲(chǔ)節(jié)點(diǎn)的負(fù)載信息，選擇響應(yīng)所述用戶下載請(qǐng)求的響應(yīng)節(jié)點(diǎn)。

其中，所述利用每個(gè)存儲(chǔ)節(jié)點(diǎn)的CPU利用率信息和磁盤輸入/輸出利用率信息，計(jì)算每個(gè)存儲(chǔ)節(jié)點(diǎn)的負(fù)載信息，包括：

對(duì)存儲(chǔ)節(jié)點(diǎn)的CPU利用率信息U(cpu)和磁盤輸入/輸出利用率信息U(disk)以加權(quán)和的形式計(jì)算，得到所述存儲(chǔ)節(jié)點(diǎn)的負(fù)載信息，其中：

L＝αU(cpu)+βU(disk)α+β＝1，0＜α＜1，0＜β＜1。