[發(fā)明專利]云平臺(tái)中負(fù)載平衡的優(yōu)化方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410777903.0
• 申請(qǐng)日: 2014-12-15
• 公開（公告）號(hào): CN104391737A
• 公開（公告）日: 2015-03-04
• 發(fā)明（設(shè)計(jì)）人: 田野;夏梅宸;劉志才;祝昌宇;盧力君
• 申請(qǐng)（專利權(quán)）人: 成都英力拓信息技術(shù)有限公司
• 主分類號(hào): G06F9/455
• 分類號(hào): G06F9/455;G06F17/30;G06F9/50
• 代理公司: 北京天奇智新知識(shí)產(chǎn)權(quán)代理有限公司 11340
• 代理人: 郭霞

1.一種云平臺(tái)中負(fù)載平衡的優(yōu)化方法，其特征在于，包括：

云平臺(tái)管理節(jié)點(diǎn)接收虛擬機(jī)的數(shù)據(jù)庫訪問請(qǐng)求，所述數(shù)據(jù)庫訪問請(qǐng)求包括附加信息，用于分布式存儲(chǔ)節(jié)點(diǎn)進(jìn)行提取并對(duì)虛擬機(jī)進(jìn)行訪問特性建模，并分配合適的局部目標(biāo)服務(wù)級(jí)別；

根據(jù)所述訪問特性，將全局目標(biāo)服務(wù)級(jí)別分解成各個(gè)存儲(chǔ)節(jié)點(diǎn)所需要的局部目標(biāo)服務(wù)級(jí)別，為各數(shù)據(jù)庫訪問請(qǐng)求加上時(shí)間戳，最后經(jīng)由調(diào)度器調(diào)度。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)庫以固定長度的頁面為最小單元進(jìn)行數(shù)據(jù)管理，頁面類型包括數(shù)據(jù)記錄頁、索引信息頁和版本信息頁；

其中數(shù)據(jù)記錄頁記錄了該存儲(chǔ)節(jié)點(diǎn)在某段時(shí)間的實(shí)時(shí)值、質(zhì)量碼與時(shí)間戳，當(dāng)該頁記錄過程發(fā)生異常時(shí)不會(huì)切換頁面，而是使用累加的版本號(hào)和異常發(fā)生時(shí)的頁面記錄偏移量進(jìn)行標(biāo)識(shí)；索引信息頁記錄數(shù)據(jù)記錄頁的簡要信息、數(shù)據(jù)記錄頁的版本變化標(biāo)識(shí)、頁面編號(hào)和時(shí)標(biāo)索引等；版本信息頁記錄各版本號(hào)對(duì)應(yīng)的起止時(shí)間、所關(guān)聯(lián)的數(shù)據(jù)記錄頁起始編號(hào)及其頁面記錄偏移量，各頁面間以鏈表方式進(jìn)行關(guān)聯(lián)，實(shí)現(xiàn)指定時(shí)間段存儲(chǔ)數(shù)據(jù)的快速定位；

并且由主備份所在存儲(chǔ)節(jié)點(diǎn)在數(shù)據(jù)頁寫入磁盤的同時(shí)將其發(fā)送至指定的單個(gè)或多個(gè)備份節(jié)點(diǎn)，從而實(shí)現(xiàn)多個(gè)備份的寫入操作，在頁面成功寫入磁盤后通過消息通知主備份所在存儲(chǔ)節(jié)點(diǎn)；同時(shí)，在各備份節(jié)點(diǎn)定期進(jìn)行自檢操作，通過檢測指定存儲(chǔ)節(jié)點(diǎn)所有版本編號(hào)的連續(xù)性，以及各版本中所有數(shù)據(jù)記錄頁編號(hào)的連續(xù)性，確認(rèn)是否存在數(shù)據(jù)缺失，如果數(shù)據(jù)是完整的，則在結(jié)果文件中記錄當(dāng)前的檢測位置，防止已檢測的數(shù)據(jù)內(nèi)容被重復(fù)檢測，否則將發(fā)起修復(fù)操作，所述修復(fù)操作包括：

(1)與主備份所在存儲(chǔ)節(jié)點(diǎn)進(jìn)行協(xié)商，確定缺失的數(shù)據(jù)記錄頁對(duì)應(yīng)的編號(hào)范圍；(2)向主備份所在存儲(chǔ)節(jié)點(diǎn)請(qǐng)求缺失的數(shù)據(jù)記錄頁，在獲取到所有頁面后追加寫入當(dāng)前歸檔文件，并修改索引信息頁中維護(hù)的時(shí)標(biāo)索引信息；(3)如果存在版本號(hào)變化，則對(duì)應(yīng)的版本信息頁也將進(jìn)行同步，以保證所有版本編號(hào)的連續(xù)性。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

當(dāng)來自查詢虛擬機(jī)的查詢請(qǐng)求經(jīng)訪問請(qǐng)求協(xié)調(diào)器路由后，首先提交給云平臺(tái)管理節(jié)點(diǎn)，由云平臺(tái)管理節(jié)點(diǎn)依據(jù)查詢時(shí)間長度決定是否將查詢請(qǐng)求進(jìn)行分解，如果查詢時(shí)間跨度大于預(yù)設(shè)值，則將原始查詢請(qǐng)求按時(shí)間范圍分解為多個(gè)子查詢請(qǐng)求，并指派給多個(gè)存儲(chǔ)存儲(chǔ)節(jié)點(diǎn)，查詢虛擬機(jī)獲取到應(yīng)答信息后，與每個(gè)存儲(chǔ)存儲(chǔ)節(jié)點(diǎn)建立直連，分別完成各自的本地?cái)?shù)據(jù)查詢流程，如果不需要進(jìn)行查詢請(qǐng)求分解，則在主從備份節(jié)點(diǎn)中選擇合適的單個(gè)存儲(chǔ)服務(wù)器進(jìn)行后繼查詢；

各數(shù)據(jù)存儲(chǔ)服務(wù)器在接收到本地查詢請(qǐng)求后，將依據(jù)版本信息頁中的內(nèi)容判斷查詢時(shí)間范圍內(nèi)是否存在版本更新，如果該時(shí)間段內(nèi)的過程數(shù)據(jù)屬于同一版本，則直接由索引信息頁定位到實(shí)際存儲(chǔ)位置進(jìn)行數(shù)據(jù)讀取，否則將按各版本更替時(shí)間點(diǎn)進(jìn)行查詢范圍分割，各分割區(qū)間內(nèi)使用最新版本的數(shù)據(jù)進(jìn)行擬合，從而完成本地?cái)?shù)據(jù)查詢流程；在各存儲(chǔ)存儲(chǔ)節(jié)點(diǎn)進(jìn)行查詢結(jié)果緩存，處理本地查詢請(qǐng)求時(shí)優(yōu)先在查詢結(jié)果緩存中查找是否有對(duì)應(yīng)記錄，一旦查找成功則直接返回緩存結(jié)果。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述將全局目標(biāo)服務(wù)級(jí)別分解成局部目標(biāo)服務(wù)級(jí)別，進(jìn)一步包括：

每個(gè)虛擬機(jī)預(yù)設(shè)一個(gè)全局的目標(biāo)服務(wù)級(jí)別，該虛擬機(jī)第1次訪問某個(gè)節(jié)點(diǎn)時(shí)會(huì)將全局目標(biāo)服務(wù)級(jí)別配置附加在數(shù)據(jù)庫訪問請(qǐng)求后，分布式存儲(chǔ)節(jié)點(diǎn)提取出虛擬機(jī)的全局目標(biāo)服務(wù)級(jí)別后便需要計(jì)算出合適的局部目標(biāo)服務(wù)級(jí)別，該局部目標(biāo)服務(wù)級(jí)別要反映當(dāng)前分布式存儲(chǔ)節(jié)點(diǎn)在這個(gè)虛擬機(jī)訪問的所有節(jié)點(diǎn)中所占的比重，并實(shí)時(shí)更新；

記(σ_i，ρ_i，δ_i)為虛擬機(jī)VM_i的全局目標(biāo)服務(wù)級(jí)別，(σ^j_i，ρ^j_i，δ^j_i)為VM_i在分布式存儲(chǔ)節(jié)點(diǎn)n_j的局部目標(biāo)服務(wù)級(jí)別，其中1≤i≤VN，VN為虛擬機(jī)的個(gè)數(shù)，1≤j≤NN_i，NN_i為第i個(gè)虛擬機(jī)中分布式存儲(chǔ)節(jié)點(diǎn)的個(gè)數(shù)，δ_i為虛擬機(jī)VM_i的最大響應(yīng)時(shí)間，σ_i為虛擬機(jī)VM_i的最大突發(fā)負(fù)載量，σ^j_i為虛擬機(jī)VM_i中節(jié)點(diǎn)的n_j的最大突發(fā)負(fù)載量，δ^j_i為虛擬機(jī)VM_i的節(jié)點(diǎn)的n_j的最大響應(yīng)時(shí)間；

將全局平均吞吐率ρ_i分配到各個(gè)節(jié)點(diǎn)，定義如下：

σ^j_i＝σ_i；

ρ^j_i＝μ^j_iρ_i；

δ^j_i＝δ_i；

其中μ^j_i表示局部目標(biāo)服務(wù)級(jí)別ρ^j_i在全局目標(biāo)服務(wù)級(jí)別ρ_i中所占的比例；

將μ^j_i進(jìn)一步分解為兩部分：歷史訪問比例和近期訪問比例，令H^j_i表示歷史訪問比例，R^j_i表示近期訪問比例，α_i表示歷史訪問比例的貢獻(xiàn)因子，將μ^j_i表示為H^j_i和R^j_i的線性組合：

μ^j_i＝α_i·H^j_i+(1-α_i)·R^j_i

令主機(jī)中的訪問請(qǐng)求協(xié)調(diào)器為虛擬機(jī)VM_i記錄2個(gè)數(shù)據(jù)：C^t_i和D^t_i，其中C^t_i表示到時(shí)刻t為止虛擬機(jī)VM_i已完成的數(shù)據(jù)庫訪問請(qǐng)求數(shù)；D^t_i表示截止到時(shí)刻t虛擬機(jī)VM_i總共發(fā)出的數(shù)據(jù)庫訪問請(qǐng)求數(shù)；

每當(dāng)訪問請(qǐng)求協(xié)調(diào)器分發(fā)一個(gè)數(shù)據(jù)庫訪問請(qǐng)求，便將相對(duì)應(yīng)的2個(gè)數(shù)據(jù)C^t_i和D^t_i添加到該請(qǐng)求的結(jié)尾；在分布式存儲(chǔ)節(jié)點(diǎn)n_j中，調(diào)度器維護(hù)虛擬機(jī)VM_i最近數(shù)據(jù)庫訪問訪問請(qǐng)求的C^t_i和D^t_i，并記錄本節(jié)點(diǎn)為虛擬機(jī)VM_i完成的請(qǐng)求總數(shù)S^j_i，通過以下過程獲得歷史訪問比例H^j_i和近期訪問比例R^j_i：

H^j_i＝S^j_i/C^t_i

R^j_i＝1/(D^t_i-D^t_-¹_i)

最終獲得將全局平均吞吐率ρ_i分配到各個(gè)節(jié)點(diǎn)的資源量：

ρ^j_i＝μ^j_iρ_i＝[α_i·H^j_i+(1-α_i)·R^j_i]·ρ_i＝[α_i·S^j_i/C^t_i+(1-α_i)·1/D^t_i-D^t-1_i]·ρ_i。