[發(fā)明專利]一種視頻云存儲(chǔ)的存儲(chǔ)資源分配方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201610094310.3
• 申請(qǐng)日: 2016-02-19
• 公開（公告）號(hào): CN107104992B
• 公開（公告）日: 2019-11-22
• 發(fā)明（設(shè)計(jì)）人: 丁光凱
• 申請(qǐng)（專利權(quán)）人: 杭州海康威視數(shù)字技術(shù)股份有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08;G06F9/50
• 代理公司: 11413 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)
• 代理人: 孫翠賢;項(xiàng)京<國(guó)際申請(qǐng)>=<國(guó)際公布>=

本發(fā)明實(shí)施例公開了一種視頻云存儲(chǔ)的存儲(chǔ)資源分配方法和裝置，應(yīng)用于云存儲(chǔ)集群中的管理節(jié)點(diǎn)，接收客戶端的視頻數(shù)據(jù)存儲(chǔ)請(qǐng)求，根據(jù)該請(qǐng)求攜帶的資源池標(biāo)識(shí)篩選得到所對(duì)應(yīng)的可分配存儲(chǔ)節(jié)點(diǎn)隊(duì)列，根據(jù)編碼器標(biāo)識(shí)判斷該請(qǐng)求是否為第一次請(qǐng)求，如是第一次請(qǐng)求，從該可分配存儲(chǔ)節(jié)點(diǎn)隊(duì)列中，根據(jù)壓力預(yù)估算法，篩選能夠被分配為寫入節(jié)點(diǎn)的目標(biāo)存儲(chǔ)節(jié)點(diǎn)，如不是，從該可分配存儲(chǔ)節(jié)點(diǎn)隊(duì)列中，結(jié)合預(yù)先記錄的節(jié)點(diǎn)同步信息中的存儲(chǔ)節(jié)點(diǎn)的當(dāng)前寫入路數(shù)和該壓力預(yù)估算法，篩選能夠被分配為寫入節(jié)點(diǎn)的目標(biāo)存儲(chǔ)節(jié)點(diǎn)，然后將目標(biāo)存儲(chǔ)節(jié)點(diǎn)的地址信息反饋給該客戶端，應(yīng)用本發(fā)明實(shí)施例可以實(shí)現(xiàn)對(duì)云存儲(chǔ)系統(tǒng)的存儲(chǔ)壓力負(fù)載的均衡分配。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)云存儲(chǔ)領(lǐng)域，特別涉及一種視頻云存儲(chǔ)的存儲(chǔ)資源分配方法和裝置。

背景技術(shù)

大多數(shù)的視頻云存儲(chǔ)系統(tǒng)中，管理服務(wù)器對(duì)各個(gè)存儲(chǔ)節(jié)點(diǎn)進(jìn)行數(shù)據(jù)寫入分配時(shí)，通常根據(jù)存儲(chǔ)節(jié)點(diǎn)當(dāng)前的讀寫路數(shù)、CPU、內(nèi)存、磁盤IO訪問率等負(fù)載情況進(jìn)行綜合比較，分配一個(gè)當(dāng)前壓力最小的存儲(chǔ)節(jié)點(diǎn)。現(xiàn)有的這種分配方法，對(duì)于并發(fā)存儲(chǔ)量小的資源分配請(qǐng)求，還可以應(yīng)付，但是對(duì)于管理服務(wù)器采用集群方式并且存儲(chǔ)量瞬時(shí)很大的情況，就無(wú)法滿足，存在如下問題：某個(gè)存儲(chǔ)節(jié)點(diǎn)瞬間被分配了過(guò)多的寫入路數(shù)，壓力瞬間增大，丟包情況不可避免。

同時(shí)，視頻云存儲(chǔ)系統(tǒng)中每個(gè)存儲(chǔ)節(jié)點(diǎn)的存儲(chǔ)能力可能不同，如果采用現(xiàn)有的單一的負(fù)載均衡策略，只考慮存儲(chǔ)節(jié)點(diǎn)的負(fù)載壓力，不利于視頻云存儲(chǔ)系統(tǒng)的整體統(tǒng)籌，會(huì)出現(xiàn)系統(tǒng)運(yùn)行一段時(shí)間后，有的存儲(chǔ)節(jié)點(diǎn)已經(jīng)沒有剩余空間，而有的存儲(chǔ)節(jié)點(diǎn)上還有較多的剩余容量，管理服務(wù)器根據(jù)現(xiàn)有的資源分配策略，存在剩余容量的存儲(chǔ)節(jié)點(diǎn)的寫入壓力會(huì)加大的問題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例公開了一種視頻云存儲(chǔ)的存儲(chǔ)資源分配方法和裝置，可以實(shí)現(xiàn)對(duì)存儲(chǔ)集群的存儲(chǔ)壓力負(fù)載的均衡分配。具體方案如下：

一方面，本發(fā)明實(shí)施例提供了一種視頻云存儲(chǔ)的存儲(chǔ)資源分配方法，應(yīng)用于存儲(chǔ)集群中的管理節(jié)點(diǎn)，所述存儲(chǔ)集群中包括至少一個(gè)管理節(jié)點(diǎn)和至少一個(gè)存儲(chǔ)節(jié)點(diǎn)，所述方法包括：

接收客戶端基于編碼器發(fā)送的視頻數(shù)據(jù)存儲(chǔ)請(qǐng)求，所述視頻數(shù)據(jù)存儲(chǔ)請(qǐng)求攜帶待寫入資源池的資源池標(biāo)識(shí)和所基于編碼器的編碼器標(biāo)識(shí)；

從所述資源池標(biāo)識(shí)所對(duì)應(yīng)的多個(gè)存儲(chǔ)節(jié)點(diǎn)中，篩選得到所述視頻數(shù)據(jù)存儲(chǔ)請(qǐng)求所對(duì)應(yīng)的可分配存儲(chǔ)節(jié)點(diǎn)隊(duì)列，其中，資源池標(biāo)識(shí)與存儲(chǔ)節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系被預(yù)先設(shè)置；

判斷所述編碼器標(biāo)識(shí)是否被記錄于編碼器分配軌跡表中，如果是，從所述可分配存儲(chǔ)節(jié)點(diǎn)隊(duì)列中，結(jié)合預(yù)先記錄的節(jié)點(diǎn)同步信息中的存儲(chǔ)節(jié)點(diǎn)的當(dāng)前寫入路數(shù)和壓力預(yù)估算法，篩選能夠被分配為寫入節(jié)點(diǎn)的目標(biāo)存儲(chǔ)節(jié)點(diǎn)；否則，從所述可分配存儲(chǔ)節(jié)點(diǎn)隊(duì)列中，根據(jù)所述壓力預(yù)估算法，篩選能夠被分配為寫入節(jié)點(diǎn)的目標(biāo)存儲(chǔ)節(jié)點(diǎn)；其中，所述編碼器分配軌跡表記錄有被分配過(guò)存儲(chǔ)節(jié)點(diǎn)的編碼器的編碼器標(biāo)識(shí)與所分配存儲(chǔ)節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系，所述壓力預(yù)估算法為：根據(jù)所述節(jié)點(diǎn)同步信息對(duì)存儲(chǔ)節(jié)點(diǎn)進(jìn)行壓力預(yù)估的算法；

如果從所述可分配存儲(chǔ)節(jié)點(diǎn)隊(duì)列中篩選得到能夠被分配為寫入節(jié)點(diǎn)的目標(biāo)存儲(chǔ)節(jié)點(diǎn)，將所述目標(biāo)存儲(chǔ)節(jié)點(diǎn)的地址信息基于所述編碼器反饋給所述客戶端，以使得所述客戶端在所述目標(biāo)存儲(chǔ)節(jié)點(diǎn)中寫入所述視頻數(shù)據(jù)存儲(chǔ)請(qǐng)求所對(duì)應(yīng)的視頻數(shù)據(jù)。

較佳的，所述預(yù)先記錄的節(jié)點(diǎn)同步信息還包括：存儲(chǔ)節(jié)點(diǎn)的CPU占用率、讀取視頻數(shù)據(jù)已占用的帶寬以及當(dāng)前讀取路數(shù)、寫入視頻數(shù)據(jù)已占用的帶寬、磁盤I/O占用率和內(nèi)存占用率；

所述壓力預(yù)估算法，包括：

根據(jù)存儲(chǔ)節(jié)點(diǎn)的所述寫入視頻數(shù)據(jù)已占用的帶寬以及當(dāng)前寫入路數(shù)，計(jì)算該存儲(chǔ)節(jié)點(diǎn)的寫壓力預(yù)估值；

根據(jù)該存儲(chǔ)節(jié)點(diǎn)的所述讀取視頻數(shù)據(jù)已占用的帶寬以及當(dāng)前讀取路數(shù)，計(jì)算該存儲(chǔ)節(jié)點(diǎn)的讀壓力；

根據(jù)該存儲(chǔ)節(jié)點(diǎn)的所述CPU占用率、所述內(nèi)存占用率、所述磁盤IO占用率、所述寫壓力預(yù)估值和所述讀壓力，計(jì)算該存儲(chǔ)節(jié)點(diǎn)的壓力預(yù)估值。