[發(fā)明專利]一種基于Hadoop集群的網(wǎng)絡(luò)預(yù)測與調(diào)度方法

在審

• 申請?zhí)枺?/td>: 201510767233.9
• 申請日: 2015-11-11
• 公開（公告）號: CN105429893A
• 公開（公告）日: 2016-03-23
• 發(fā)明（設(shè)計(jì)）人: 申彥明;王志剛
• 申請（專利權(quán)）人: 大連理工大學(xué)
• 主分類號: H04L12/801
• 分類號: H04L12/801;H04L12/911;H04L29/08
• 代理公司: 大連理工大學(xué)專利中心 21200
• 代理人: 潘迅;梅洪玉

1.一種基于Hadoop集群的網(wǎng)絡(luò)預(yù)測與調(diào)度方法，其特征在于，包括以下步驟：

第一步，整體Hadoop集群的預(yù)測采用C/S模式，在集群的每個節(jié)點(diǎn)運(yùn)行監(jiān)控程序

1)Hadoop采用MapReduce編程模型，一個Hadoop作業(yè)分為map任務(wù)和reduce任務(wù)，Hadoop作業(yè)在map任務(wù)的執(zhí)行結(jié)果暫存在相應(yīng)節(jié)點(diǎn)的本地磁盤；利用Linux本身的inotify機(jī)制，從Hadoop運(yùn)行時產(chǎn)生的中間數(shù)據(jù)中提取Hadoop應(yīng)用對網(wǎng)絡(luò)的需求；

所述的中間數(shù)據(jù)的組織形式分為工作目錄和日志目錄，工作目錄和日志目錄隨Hadoop任務(wù)的運(yùn)行臨時創(chuàng)建和刪除；

2)設(shè)計(jì)動態(tài)監(jiān)測系統(tǒng)對工作目錄和日志目錄進(jìn)行實(shí)時監(jiān)測，分別監(jiān)測工作目錄和日志目錄的子目錄創(chuàng)建事件，在各自子目錄創(chuàng)建其子目錄的創(chuàng)建事件，以此類推，直至監(jiān)測到“attempt_xxxx_xxx”目錄和“container_xxxx_xxx”目錄；

對于工作目錄，監(jiān)測attempt_xxxx_xxx目錄下file.out.index的創(chuàng)建事件，按照file.out.index的存儲格式解析出該map向每個reduce傳輸?shù)臄?shù)據(jù)量；

對于日志目錄，提取出container_xxxx_xxx目錄下的作業(yè)ID；監(jiān)測container_xxxx_xxx目錄下syslog的修改事件，從syslog的修改事件中提取關(guān)于該map與reduce的發(fā)送日志信息，解析出目的地址，將提取的時間作為各對map/reduce網(wǎng)絡(luò)傳輸?shù)木W(wǎng)絡(luò)時間預(yù)測；

3)將“源地址，數(shù)據(jù)量，目的地址，作業(yè)ID，時間”的五元組信息發(fā)送給中央控制器，中央控制器以作業(yè)ID為單位存儲預(yù)測信息，按照先來先服務(wù)的原則，將最先監(jiān)測到的網(wǎng)絡(luò)流所屬的作業(yè)設(shè)置為最高優(yōu)先級，下一個監(jiān)測到的網(wǎng)絡(luò)流所屬的作業(yè)設(shè)置為次高優(yōu)先級，依次類推，將監(jiān)測到的作業(yè)設(shè)置相應(yīng)優(yōu)先級；

所述的源地址為本機(jī)IP地址；

第二步，根據(jù)網(wǎng)絡(luò)數(shù)據(jù)流之間的相互關(guān)系進(jìn)行調(diào)度

根據(jù)MapReduce編程模型的特點(diǎn)，采用先來先服務(wù)的原則，將同屬一個作業(yè)的網(wǎng)絡(luò)數(shù)據(jù)流當(dāng)做一個整體，以作業(yè)為單位對網(wǎng)絡(luò)數(shù)據(jù)流進(jìn)行調(diào)度；

將交換機(jī)的每個端口的緩沖隊(duì)列虛擬為多個隊(duì)列；當(dāng)交換機(jī)接收數(shù)據(jù)包時，根據(jù)數(shù)據(jù)包所屬作業(yè)的優(yōu)先級存入相應(yīng)緩沖隊(duì)列，每個優(yōu)先級的數(shù)據(jù)包進(jìn)入相應(yīng)虛擬緩沖隊(duì)列中；當(dāng)相應(yīng)的虛擬緩沖隊(duì)列所屬的端口發(fā)送數(shù)據(jù)包時，按照優(yōu)先級的順序在有緩存的最高優(yōu)先級的隊(duì)列中，選擇該隊(duì)列的隊(duì)頭數(shù)據(jù)包轉(zhuǎn)發(fā)出去，達(dá)到按照作業(yè)的優(yōu)先級轉(zhuǎn)發(fā)數(shù)據(jù)包的目的。