[發(fā)明專利]一種面向流式數(shù)據(jù)的自動(dòng)伸縮及遷移的方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201310455128.2
• 申請(qǐng)日: 2013-09-29
• 公開(kāi)（公告）號(hào): CN103530189A
• 公開(kāi)（公告）日: 2014-01-22
• 發(fā)明（設(shè)計(jì)）人: 王旻;韓冀中;李勇;張章;孟丹
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院信息工程研究所
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50
• 代理公司: 北京輕創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 11212
• 代理人: 楊立

技術(shù)領(lǐng)域

本發(fā)明涉及涉及計(jì)算機(jī)并行計(jì)算領(lǐng)域，特別涉及一種面向流式數(shù)據(jù)的自動(dòng)伸縮及遷移的方法及裝置。

背景技術(shù)

近年來(lái)，隨著實(shí)時(shí)搜索、廣告推薦、社交網(wǎng)絡(luò)、日志在線分析等應(yīng)用的不斷發(fā)展，一種新的數(shù)據(jù)形態(tài)——流式數(shù)據(jù)正在興起。流式數(shù)據(jù)是指一組大量、快速、不間斷的事件序列。在不同場(chǎng)景下，流式數(shù)據(jù)可以是實(shí)時(shí)查詢、用戶點(diǎn)擊、在線日志、流媒體等多種數(shù)據(jù)形式。流式應(yīng)用注重實(shí)時(shí)交互，過(guò)高延時(shí)的響應(yīng)會(huì)嚴(yán)重影響其功能或用戶體驗(yàn)。由于流式數(shù)據(jù)的重要性和獨(dú)特性，一批流式數(shù)據(jù)處理系統(tǒng)應(yīng)用而生，例如Yahoo！的S4系統(tǒng)。

事件是流式數(shù)據(jù)的基本組成單位，以鍵-值（key-value）形式出現(xiàn)。處理單元是處理事件的基本單位，有特定的事件類型和鍵，專門(mén)處理具有相應(yīng)類型和鍵的事件。處理單元接收流式數(shù)據(jù)，對(duì)其中的事件進(jìn)行處理，然后輸出事件或者直接發(fā)布結(jié)果。

流式數(shù)據(jù)具有實(shí)時(shí)性強(qiáng)、數(shù)據(jù)量大、動(dòng)態(tài)波動(dòng)等特點(diǎn)。流式數(shù)據(jù)出現(xiàn)較大幅度的動(dòng)態(tài)波動(dòng)，會(huì)對(duì)系統(tǒng)造成兩個(gè)層面的影響。其一，數(shù)據(jù)動(dòng)態(tài)波動(dòng)會(huì)直接改變處理單元的實(shí)際負(fù)載；其二，由于處理單元部署在物理節(jié)點(diǎn)上，使用其CPU、內(nèi)存、網(wǎng)絡(luò)帶寬等物理資源，數(shù)據(jù)動(dòng)態(tài)波動(dòng)將間接改變物理節(jié)點(diǎn)的負(fù)載。如何根據(jù)負(fù)載變化自動(dòng)調(diào)整處理單元的資源配額、實(shí)現(xiàn)動(dòng)態(tài)負(fù)載均衡是流式數(shù)據(jù)處理的重要挑戰(zhàn)。但是，現(xiàn)有流式數(shù)據(jù)處理系統(tǒng)沒(méi)能解決好這些問(wèn)題，主要表現(xiàn)在以下兩個(gè)方面：

1、處理單元的資源配額不能適應(yīng)不斷變化的實(shí)際負(fù)載。在流式數(shù)據(jù)處理系統(tǒng)中，部署在同一物理節(jié)點(diǎn)的多個(gè)處理單元會(huì)共同使用機(jī)器上的物理資源。為了避免處理單元間出現(xiàn)資源競(jìng)爭(zhēng)、影響性能的現(xiàn)象，現(xiàn)有系統(tǒng)對(duì)處理單元進(jìn)行資源隔離，分配固定的資源配額。但是，流式數(shù)據(jù)經(jīng)常隨時(shí)間推移發(fā)生較大幅度的波動(dòng)，導(dǎo)致處理單元實(shí)際負(fù)載的變化，最初分配給處理單元的資源配額不能適應(yīng)動(dòng)態(tài)變化的資源需求。

2、不支持處理單元遷移。在初次部署處理單元時(shí)，現(xiàn)有系統(tǒng)會(huì)根據(jù)相關(guān)策略將其調(diào)度到負(fù)載較低的物理節(jié)點(diǎn)上，實(shí)現(xiàn)靜態(tài)負(fù)載均衡。但是流式數(shù)據(jù)經(jīng)常動(dòng)態(tài)波動(dòng)，間接導(dǎo)致物理節(jié)點(diǎn)的負(fù)載發(fā)生變化。假如因?yàn)閿?shù)據(jù)波動(dòng)導(dǎo)致物理節(jié)點(diǎn)過(guò)載，影響相關(guān)處理單元的性能，則系統(tǒng)需要通過(guò)遷移處理單元來(lái)實(shí)現(xiàn)動(dòng)態(tài)負(fù)載均衡。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種能夠適應(yīng)不斷變化的實(shí)際負(fù)載、支持處理單元轉(zhuǎn)移的面向流失數(shù)據(jù)的自動(dòng)伸縮及遷移的方法及裝置。

本發(fā)明解決上述技術(shù)問(wèn)題的技術(shù)方案如下：一種面向流式數(shù)據(jù)的自動(dòng)伸縮及遷移方法，包括以下步驟：

步驟1：調(diào)度管理器包括收集模塊、調(diào)度模塊和監(jiān)控模塊，所述調(diào)度模塊定時(shí)從存儲(chǔ)待調(diào)度作業(yè)的調(diào)度隊(duì)列中實(shí)時(shí)獲取待調(diào)度作業(yè)，并根據(jù)待調(diào)度作業(yè)的信息生成包括多個(gè)處理單元的處理單元隊(duì)列；

步驟2：調(diào)度管理器中的調(diào)度模塊將所有處理單元分別分配給對(duì)應(yīng)的物理節(jié)點(diǎn)，執(zhí)行器在啟動(dòng)處理單元時(shí)，先在該處理單元所在的物理節(jié)點(diǎn)上創(chuàng)建一個(gè)linux容器，然后在linux容器內(nèi)部啟動(dòng)處理單元，所述調(diào)度管理器與每個(gè)執(zhí)行器分別設(shè)置于不同的物理節(jié)點(diǎn)上;

步驟3:收集模塊通過(guò)監(jiān)控linux容器的資源利用率得到處理單元的資源利用率，收集模塊將收集到的處理單元的資源利用率發(fā)送給監(jiān)控模塊；

步驟4：監(jiān)控模塊判斷所述資源利用率是否大于預(yù)定的擴(kuò)容閾值，或者小于預(yù)定的縮容閾值，根據(jù)判斷結(jié)果調(diào)整處理單元的資源配額；

步驟5：監(jiān)控模塊判斷所述資源利用率是否滿足處理單元的遷移條件，如果滿足，將處理單元遷移到其它的資源利用率低的物理節(jié)點(diǎn)上，休眠預(yù)定時(shí)間，轉(zhuǎn)入步驟3，當(dāng)所有處理節(jié)點(diǎn)處理完畢，結(jié)束。

本發(fā)明的有益效果是：本發(fā)明提出一種處理單元的資源配額自動(dòng)伸縮方法，根據(jù)處理單元的資源利用率，感知處理單元的實(shí)際負(fù)載變化，適時(shí)提高或減少資源配額。該方法根據(jù)實(shí)際負(fù)載動(dòng)態(tài)調(diào)整資源，避免資源浪費(fèi)，提高了資源利用率。并提出一種處理單元遷移方法，在物理節(jié)點(diǎn)負(fù)載明顯不均衡時(shí)，遷移特定的處理節(jié)點(diǎn)，實(shí)現(xiàn)了面向流式數(shù)據(jù)的動(dòng)態(tài)負(fù)載均衡。

在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進(jìn)。

進(jìn)一步，所述資源利用率包括CPU的資源利用率、內(nèi)存的資源利用率和網(wǎng)絡(luò)帶寬的資源利用率。

進(jìn)一步，所述步驟4進(jìn)一步包括：

步驟4.1：監(jiān)控模塊獲取處理單元的資源利用率；

步驟4.2：如果資源利用率大于預(yù)定的擴(kuò)容閾值，則增加該處理單元的資源配額；

步驟4.3：如果資源利用率小于預(yù)定的縮容閾值，則減少該處理單元的資源配額。

進(jìn)一步，所述步驟5中監(jiān)控模塊判斷所述資源利用率是否滿足處理單元的遷移條件進(jìn)一步包括：