[發明專利]基于最短邏輯距離的虛擬Hadoop集群節點選擇方法及裝置

有效

• 申請號: 201310418713.5
• 申請日: 2013-09-16
• 公開（公告）號: CN104468379B
• 公開（公告）日: 2017-09-26
• 發明（設計）人: 尹建偉;趙新奎;李瑩;鄧水光;吳健;吳朝暉
• 申請（專利權）人: 浙江大學
• 主分類號: H04L12/801
• 分類號: H04L12/801;H04L12/733
• 代理公司: 杭州知通專利代理事務所(普通合伙)33221
• 代理人: 應圣義

1.一種基于最短邏輯距離的虛擬Hadoop集群節點選擇方法，其特征在于，包括以下具體步驟：

1)應用Vivaldi網絡坐標計算方法計算虛擬集群內每個虛擬機節點在Vivaldi網絡坐標內所對應的虛擬坐標；

2)根據虛擬坐標計算虛擬機節點QUOTE V_i、QUOTE V_j之間的邏輯通信距離QUOTE LCD_i,j，其中，虛擬機節點QUOTE V_i、QUOTE V_j為虛擬集群內的任意兩個虛擬機節點，QUOTE LCD_i,j＝||X_i-X_j||，QUOTE X_i為虛擬機節點QUOTE V_i在Vivaldi網絡坐標內所對應的坐標向量，QUOTE X_j為虛擬機節點QUOTE V_j在Vivaldi網絡坐標內所對應的坐標向量；

3)根據邏輯通信距離QUOTE LCD_i,j計算虛擬集群內任一虛擬機節點與虛擬集群內除該任一虛擬機節點以外的所有虛擬機節點的邏輯通信距離之和，記為總邏輯通信距離，選擇總邏輯通信距離最短的虛擬機節點作為Master節點；

4)計算虛擬集群內虛擬機節點QUOTE V_i至Mapper節點QUOTE V_j的邏輯傳輸距離QUOTE LTD_i,j，其中，QUOTE V_i為虛擬集群內的任一虛擬機節點，Mapper節點QUOTE V_j為任一Mapper節點，QUOTEk為QUOTE LCD_i,j以及與虛擬機節點QUOTE V_i相連接的交換機i的影響力因子，QUOTE S_i為與虛擬機節點QUOTE V_i相連接的交換機i的剩余傳輸能力，QUOTE S_total為所有與交換機i相連接的交換機的剩余傳輸能力之和；

5)根據虛擬集群內虛擬機節點QUOTE V_i至Mapper節點QUOTE V_j的邏輯傳輸距離QUOTE LTD_i,j，分別計算集群內任一虛擬機節點至集群內除該任一虛擬機節點以外的其他虛擬機節點的邏輯傳輸距離之和，記為總邏輯傳輸距離，選擇R個總邏輯傳輸距離最短的虛擬機節點作為Reducer節點；

6)對虛擬集群進行監控，如果虛擬集群因為網絡傳輸速率無法達到預定速率從而出現網絡數據傳輸瓶頸，則重新開始步驟1)，選擇新的Master節點以及Reducer節點，并將數據遷移至新的Master節點以及Reducer節點。

2.根據權利要求1所述的基于最短邏輯距離的虛擬Hadoop集群節點選擇方法，其特征在于，步驟2)中，使用歐式距離計算任意兩個虛擬機節點之間的邏輯通信距離QUOTE LCD_i,j。

3.根據權利要求1所述的基于最短邏輯距離的虛擬Hadoop集群節點選擇方法，其特征在于，步驟5)中，還包括以下具體步驟：對虛擬機節點的總邏輯傳輸距離進行升序排序，選擇前R個虛擬機節點作為Reducer節點。

4.根據權利要求1所述的基于最短邏輯距離的虛擬Hadoop集群節點選擇方法，其特征在于，步驟6)中，如果虛擬集群因為網絡數據傳輸瓶頸而無法滿足SLA時，則重新開始步驟1)。

5.一種基于最短邏輯距離的虛擬Hadoop集群節點選擇裝置，其特征在于，包括：

邏輯通信距離計算器：邏輯通信距離計算器應用Vivaldi網絡坐標計算方法計算虛擬集群內每個虛擬機節點在Vivaldi網絡坐標內所對應的虛擬坐標；

Master節點選擇器：Master節點選擇器根據虛擬坐標計算虛擬機節點QUOTE V_i、QUOTE V_j之間的邏輯通信距離QUOTE LCD_i,j；

邏輯傳輸距離計算器：邏輯傳輸距離計算器根據邏輯通信距離QUOTE LCD_i,j計算任意虛擬機節點與其他所有虛擬機節點的邏輯通信距離之和，并選擇總邏輯通信距離最短的虛擬機節點作為Master節點；

Reducer節點選擇器：Reducer節點選擇器計算虛擬集群內虛擬機節點QUOTE V_i至Mapper節點QUOTE V_j的邏輯傳輸距離QUOTE LTD_i,j；

集群性能監控器：集群性能監控器對虛擬集群進行監控，如果虛擬集群因為網絡傳輸速率無法達到預定速率從而出現網絡數據傳輸瓶頸，則重新開始步驟1)，選擇新的Master節點以及Reducer節點，并將數據遷移至新的Master節點以及Reducer節點。