[發明專利]Hadoop異構集群中的數據分配策略

有效

• 申請號: 201310168386.2
• 申請日: 2013-05-09
• 公開（公告）號: CN103218233A
• 公開（公告）日: 2013-07-24
• 發明（設計）人: 郭文忠;陳國龍;林常航
• 申請（專利權）人: 福州大學
• 主分類號: G06F9/44
• 分類號: G06F9/44;G06F9/50
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 蔡學俊

1.一種Hadoop異構集群中的數據分配策略，其特征在于，包括以下步驟：

S01：測試并存儲各節點處理不同規模數據的執行時間，并轉換為靜態性能參考指標；

S02：監控并存儲各節點的存儲負載和各節點間的網絡傳輸速度，并轉換為動態性能參考指標；

S03：根據預先設置的各性能因素的權重，利用計算模塊計算出各節點應分配的數據塊數目，并通過數據分配服務器進行數據塊-節點的映射和實施分配傳輸。

2.根據權利要求1所述的Hadoop異構集群中的數據分配策略，其特征在于，所述步驟S01具體為：

S11：在每個節點上分別使用不同規模的數據塊進行作業測試，并取其執行時間的加權平均值作為各節點的參考執行時間；

S12：利用參考執行時間與執行速率成反比的關系，計算出各節點的執行速率；

S13：分別計算各節點的執行速率占整個集群所有節點的執行速率之和的比例，作為靜態性能參考指標。

3.根據權利要求2所述的Hadoop異構集群中的數據分配策略，其特征在于：所述靜態性能參考指標的計算公式為，Timei=Σk=1mTimeik*weightkm,i=1,2,···,node,]]>Ratei=1Timei,i=1,2,···,node,]]>其中，Time_i表示第i個節點的參考執行時間，m表示測試用的數據塊的規模種類的數量，Time_ik表示第i個節點對第k類測試用的數據塊的執行時間，weight_k表示第k類測試用的數據塊的權重，node表示集群中節點的個數，Rate_i表示第i個節點的執行速率，Capability_i表示第i個節點的執行能力比率，即第i個節點的靜態性能參考指標。

4.根據權利要求1所述的Hadoop異構集群中的數據分配策略，其特征在于：所述動態性能參考指標包括各節點間的網絡傳輸速率指標和各節點的負載處理能力指標，所述各節點間的網絡傳輸速率指標是當前數據上傳的節點與某節點的網絡傳輸速率占當前數據上傳的節點與集群中其他所有節點的網絡傳輸速率之和的比例；所述各節點的負載處理能力指標是當前數據上傳的節點的負載處理能力占整個集群中所有節點的負載處理能力之和的比例。