[發(fā)明專利]一種面向流式數(shù)據(jù)的自動(dòng)伸縮及遷移的方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201310455128.2
• 申請(qǐng)日: 2013-09-29
• 公開（公告）號(hào): CN103530189A
• 公開（公告）日: 2014-01-22
• 發(fā)明（設(shè)計(jì)）人: 王旻;韓冀中;李勇;張章;孟丹
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院信息工程研究所
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50
• 代理公司: 北京輕創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 11212
• 代理人: 楊立

1.一種面向流式數(shù)據(jù)的自動(dòng)伸縮及遷移方法，其特征在于，包括以下步驟：?

步驟1：調(diào)度管理器包括收集模塊、調(diào)度模塊和監(jiān)控模塊，所述調(diào)度模塊定時(shí)從存儲(chǔ)待調(diào)度作業(yè)的調(diào)度隊(duì)列中實(shí)時(shí)獲取待調(diào)度作業(yè)，并根據(jù)待調(diào)度作業(yè)的信息生成包括多個(gè)處理單元的處理單元隊(duì)列；?

步驟2：調(diào)度管理器中的調(diào)度模塊將所有處理單元分別分配給對(duì)應(yīng)的物理節(jié)點(diǎn)，執(zhí)行器在啟動(dòng)處理單元時(shí)，先在該處理單元所在的物理節(jié)點(diǎn)上創(chuàng)建一個(gè)linux容器，然后在linux容器內(nèi)部啟動(dòng)處理單元，所述調(diào)度管理器與每個(gè)執(zhí)行器分別設(shè)置于不同的物理節(jié)點(diǎn)上;?

步驟3:收集模塊通過(guò)監(jiān)控linux容器的資源利用率得到處理單元的資源利用率，收集模塊將收集到的處理單元的資源利用率發(fā)送給監(jiān)控模塊；?

步驟4：監(jiān)控模塊判斷所述資源利用率是否大于預(yù)定的擴(kuò)容閾值，或者小于預(yù)定的縮容閾值，根據(jù)判斷結(jié)果調(diào)整處理單元的資源配額；?

步驟5：監(jiān)控模塊判斷所述資源利用率是否滿足處理單元的遷移條件，如果滿足，將處理單元遷移到其它的資源利用率低的物理節(jié)點(diǎn)上，休眠預(yù)定時(shí)間，轉(zhuǎn)入步驟3，當(dāng)所有處理節(jié)點(diǎn)處理完畢，結(jié)束。?

2.根據(jù)權(quán)利要求1所述的面向流式數(shù)據(jù)的自動(dòng)伸縮及遷移方法，其特征在于：所述資源利用率包括CPU的資源利用率、內(nèi)存的資源利用率和網(wǎng)絡(luò)帶寬的資源利用率。?

3.根據(jù)權(quán)利要求2所述的面向流式數(shù)據(jù)的自動(dòng)伸縮及遷移方法，其特征在于，所述步驟4進(jìn)一步包括：?

步驟4.1：監(jiān)控模塊獲取處理單元的資源利用率；?

步驟4.2：如果資源利用率大于預(yù)定的擴(kuò)容閾值，則增加該處理單元?的資源配額；?

步驟4.3：如果資源利用率小于預(yù)定的縮容閾值，則減少該處理單元的資源配額。?

4.根據(jù)權(quán)利要求2所述的面向流式數(shù)據(jù)的自動(dòng)伸縮及遷移方法，其特征在于，所述步驟5中監(jiān)控模塊判斷所述資源利用率是否滿足處理單元的遷移條件進(jìn)一步包括：?

步驟5.1-1：從CPU、內(nèi)存和網(wǎng)絡(luò)帶寬中依次選擇一種資源，作為判定資源；?

步驟5.1-2：根據(jù)所述判定資源的資源利用率，對(duì)物理節(jié)點(diǎn)從大到小排序，得到排序列表；?

步驟5.1-3：在排序列表中選出第一個(gè)物理節(jié)點(diǎn)和最后一個(gè)物理節(jié)點(diǎn)；?

步驟5.1-4：如果第一個(gè)物理節(jié)點(diǎn)的資源利用率大于80%且最后一個(gè)物理節(jié)點(diǎn)的資源利用率小于50%，則認(rèn)為滿足遷移條件，保存判定資源和兩個(gè)物理節(jié)點(diǎn)的信息，方法結(jié)束；?

步驟5.1-5：如果還有CPU、內(nèi)存和網(wǎng)絡(luò)帶寬作為備選資源待選，則轉(zhuǎn)至步驟5.1-1，否則認(rèn)為不滿足遷移條件。?

5.根據(jù)權(quán)利要求4所述的面向流式數(shù)據(jù)的自動(dòng)伸縮及遷移方法，其特征在于，所述步驟5中將處理單元遷移到其它的資源利用率低的物理節(jié)點(diǎn)上進(jìn)一步包括：?

步驟5.2-1，保存所述步驟5.1-4中的第一個(gè)物理節(jié)點(diǎn)和最后一個(gè)物理節(jié)點(diǎn)，分別記為源物理節(jié)點(diǎn)和目的物理節(jié)點(diǎn)；?

步驟5.2-2，根據(jù)所述的判定資源的資源利用率，對(duì)源物理節(jié)點(diǎn)上的處理單元從大到小排序；?

步驟5.2-3，在所述排序列表中選擇第一個(gè)處理單元，記為待遷移處理單元；?

步驟5.2-4，通知與待遷移處理單元通信的處理單元，停止向其發(fā)送事件，將事件在與待遷移處理單元通信的處理單元上緩存，并保存待遷移處理單元的中間結(jié)果；?

步驟5.2-5，在源物理節(jié)點(diǎn)上關(guān)閉待遷移處理單元，然后在目的物理節(jié)點(diǎn)上啟動(dòng)待遷移處理單元，恢復(fù)該處理單元的中間狀態(tài)；?

步驟5.2-6，將該處理單元新的通信地址告知之前與待遷移處理單元通信的處理單元，與待遷移處理單元通信的處理單元重新向該處理單元發(fā)送事件。?