[發明專利]一種基于虛擬機動態遷移的高性能MapReduce實現方法

有效

• 申請號: 201410238408.2
• 申請日: 2014-05-30
• 公開（公告）號: CN104008012B
• 公開（公告）日: 2017-10-20
• 發明（設計）人: 唐卓;江林剛;曾優;楊黎;馬穩;祁玲
• 申請（專利權）人: 長沙麓云信息科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/455
• 代理公司: 長沙市融智專利事務所43114
• 代理人: 黃美成

1.一種基于虛擬機動態遷移的高性能MapReduce實現方法，其特征在于，包括以下步驟：

步驟1：在物理服務器上構建具有虛擬機的分布式運行Hadoop系統；

步驟2：用戶Client向步驟1所述Hadoop系統提交作業，Hadoop系統將作業分解為split數據分塊；

步驟3：從split數據分塊中依據規則抽取樣本元素，然后將所有抽取的樣本元素作為模擬樣本組；

步驟4：由Map任務對模擬樣本組進行處理，得到每個split數據分塊所對應生成的鍵值對<key，value>，并按照key值對數據進行分區，從而產生分區partition；

步驟5：每一個partition由一個Reduce任務進行處理，依次統計Reduce任務所在虛擬機上接收到的每一個key值對應的Map任務源，獲得生成key值最多的Map任務源；

步驟6：以步驟5獲得的Map任務源所在虛擬機的物理機器作為對應Reduce任務所在虛擬機的遷移目標；

步驟7：對其他Reduce任務重復步驟5和步驟6，獲得整個Hadoop系統內所有虛擬機的遷移路徑的集合對應虛擬機遷移網絡拓撲圖；

所述步驟1中虛擬機的構建采用CloudStack虛擬機云管理平臺安裝在物理服務器集群上創建多個獨立的虛擬機，所有虛擬機由CloudStack虛擬機云管理平臺管控和監測，每個虛擬機以單獨的操作系統運行Hadoop MapReduce任務。

2.根據權利要求1所述的基于虛擬機動態遷移的高性能MapReduce實現方法，其特征在于，所述步驟3中抽取樣本元素的規則為split數據分塊隊列中每隔十個split抽取一個split作為樣本元素。