[發明專利]基于最短邏輯距離的虛擬Hadoop集群節點選擇方法及裝置

有效

• 申請號: 201310418713.5
• 申請日: 2013-09-16
• 公開（公告）號: CN104468379B
• 公開（公告）日: 2017-09-26
• 發明（設計）人: 尹建偉;趙新奎;李瑩;鄧水光;吳健;吳朝暉
• 申請（專利權）人: 浙江大學
• 主分類號: H04L12/801
• 分類號: H04L12/801;H04L12/733
• 代理公司: 杭州知通專利代理事務所(普通合伙)33221
• 代理人: 應圣義

技術領域

本發明涉及一種虛擬Hadoop集群節點選擇方法及裝置，特別涉及一種基于最短邏輯距離的虛擬Hadoop集群節點選擇方法，以及基于最短邏輯距離的虛擬Hadoop集群節點選擇裝置。

背景技術

隨著云計算技術的飛速發展，傳統的物理集群上運行的程序也逐漸向云計算環境下的虛擬機集群轉移。大數據計算平臺Hadoop便是典型代表，Hadoop平臺部署到虛擬機集群具有很多優勢：一、高效的資源利用率，多虛擬機共用一臺物理機提升資源使用效率；二、快捷的動態部署，節點數可以在秒級時間內按需增減；三、動態資源調配，每個虛擬機節點的資源分配可以按需增減；四、高效的存儲性能，計算時數據存儲在本地磁盤，共用數據和不急需的數據存放在HDFS上，提升了數據存取速度。

然而，虛擬Hadoop集群的推廣同時面臨很多需要解決的性能問題，最具代表性的是網絡開銷問題，虛擬集群使得多臺虛擬機部署到一臺物理機上，每一臺虛擬機承受和原有物理機同樣的數據傳輸壓力，使得物理機的網絡傳輸壓力是以前的數倍。因此，急需就減少物理機的網絡傳輸壓力進行進一步的研究。

發明內容

本發明針對現有技術中，缺乏針對網絡傳輸壓力，特別是針對虛擬Hadoop集群的網絡優化方案的缺點，提供了一種基于最短邏輯距離的虛擬Hadoop集群節點選擇方法及應用上述方法的裝置。

為實現上述目的，本發明可采取下述技術方案：

基于最短邏輯距離的虛擬Hadoop集群節點選擇方法，包括以下具體步驟：

1)應用Vivaldi網絡坐標計算方法計算虛擬集群內每個虛擬機節點在Vivaldi網絡坐標內所對應的虛擬坐標；

2)根據虛擬坐標計算虛擬機節點QUOTE V_i、QUOTE V_j之間的邏輯通信距離QUOTE LCD_i,j，其中，虛擬機節點QUOTE V_i、QUOTE V_j為虛擬集群內的任意兩個虛擬機節點，QUOTE LCD_i,j＝||X_i-X_j||，QUOTE X_i為虛擬機節點QUOTE V_i在Vivaldi網絡坐標內所對應的坐標向量，QUOTE X_j為虛擬機節點QUOTE V_j在Vivaldi網絡坐標內所對應的坐標向量；

3)根據邏輯通信距離QUOTE LCD_i,j計算虛擬集群內任一虛擬機節點與虛擬集群內除該任一虛擬機節點以外的所有虛擬機節點的邏輯通信距離之和，記為總邏輯通信距離，選擇總邏輯通信距離最短的虛擬機節點作為Master節點；

4)計算虛擬集群內虛擬機節點QUOTE V_i至Mapper節點QUOTE V_j的邏輯傳輸距離QUOTE LTD_i,j，其中，QUOTE V_i為虛擬集群內的任一虛擬機節點，Mapper節點QUOTE V_j為任一Mapper節點，k為QUOTE LCD_i,j以及與虛擬機節點QUOTE V_i相連接的交換機i的影響力因子，QUOTE S_i為與虛擬機節點QUOTE V_i相連接的交換機i的剩余傳輸能力，QUOTE S_total為所有與交換機i相連接的交換機的剩余傳輸能力之和，Mapper節點由虛擬Hadoop系統根據虛擬集群的規模和網絡狀態自動選取，最小個數為2個；

5)根據虛擬集群內虛擬機節點QUOTE V_i至Mapper節點QUOTE V_j的邏輯傳輸距離QUOTE LTD_i,j，分別計算集群內任一虛擬機節點至集群內除該任一虛擬機節點以外的其他虛擬機節點的邏輯傳輸距離之和，記為總邏輯傳輸距離，選擇R個總邏輯傳輸距離最短的虛擬機節點作為Reducer節點，其中，根據用戶的集群范圍和運算量要求取不同的值，優選為1個或者不多于所有虛擬機節點數的1/2；

6)對虛擬集群進行監控，如果虛擬集群因為網絡傳輸速率無法達到預定速率從而出現網絡數據傳輸瓶頸，則重新開始步驟1)，選擇新的Master節點以及Reducer節點，并將數據遷移至新的Master節點以及Reducer節點。