[發明專利]一種在線管理Hadoop集群資源的方法和裝置

有效

• 申請號: 201310646044.7
• 申請日: 2013-12-04
• 公開（公告）號: CN103713935B
• 公開（公告）日: 2017-05-03
• 發明（設計）人: 貝振東;喻之斌;曾經緯;張慧玲;須成忠
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06F9/455
• 分類號: G06F9/455;G06F9/50;H04L29/08
• 代理公司: 深圳中一專利商標事務所44237
• 代理人: 張全文

1.一種在線管理Hadoop集群資源的方法，其特征在于，所述方法包括：

作業管理器對生產環境集群中用戶所提交作業運行情況進行監控；

日志分析器獲取在所述生產環境集群中使用k臺運行代價TotalCost最小的虛擬機中的任意一臺作為虛擬資源運行所述用戶所提交作業中m個map任務和r個reduce任務時所述m個map任務的槽平均處理速度MapSlotSpeed和所述r個reduce任務的槽平均處理速度ReduceSlotSpeed；

代價預測器根據虛擬機信息數據庫保存的所述運行代價TotalCost最小的虛擬機的性能特征、所述MapSlotSpeed、ReduceSlotSpeed和用戶對所提交作業的期望完成時間ExpectTime，重新確定在所述生產環境集群中運行所述用戶所提交作業需要所述運行代價TotalCost最小的虛擬機的數量k_new；

虛擬資源管理器比較所述k_new和所述k，若所述k_new和所述k不等，則將所述生產環境集群中所述運行代價TotalCost最小的虛擬機的數量調整至k_new臺；

所述日志分析器獲取在所述生產環境集群中使用k臺運行代價TotalCost最小的虛擬機中的任意一臺作為虛擬資源運行所述用戶所提交作業中m個map任務和r個reduce任務時所述m個map任務的槽平均處理速度MapSlotSpeed和所述r個reduce任務的槽平均處理速度ReduceSlotSpeed，包括：

在所述作業管理器監控到所述用戶所提交作業中m個map任務和r個reduce任務在k臺運行代價TotalCost最小的虛擬機作為虛擬資源的生產環境集群中完成時，接收所述作業管理器提交的所述用戶所提交作業的日志；

按照公式公式和公式計算，得到所述MapSlotSpeed、ReduceSlotSpeed和RatioMapOutAve，所述dataPerMapTask_j為第j個map任務處理的數據量大小，所述mapTaskTime_j為第j個map任務的執行時間，所述dataPerReduceTask_j為第j個reduce任務處理的數據量大小，所述reduceTaskTime_j為第j個reduce任務的執行時間，所述outputDataMapTask_j為第j個map任務的輸入數據大小，所述inputDataMapTask_j為第j個reduce任務輸出數據大小，所述RatioMapOutAve為每個map任務輸入非壓縮數據和輸出的非壓縮數據比；

所述代價預測器根據虛擬機信息數據庫保存的所述運行代價TotalCost最小的虛擬機的性能特征、所述MapSlotSpeed、ReduceSlotSpeed和用戶對所提交作業的期望完成時間ExpectTime，重新確定在所述生產環境集群中運行所述用戶所提交作業需要所述運行代價TotalCost最小的虛擬機的數量k_new，包括：

從所述虛擬機信息數據庫中讀取所述運行代價TotalCost最小的虛擬機的map任務的槽數MapSlotNum和reduce任務的槽數ReduceSlotNum；

在約束條件TotalTime<ExpectTime下，計算在所述生產環境集群中運行所述用戶所提交作業所需所述運行代價TotalCost最小的虛擬機的數量k_new，所述TotalTime為所述代價預測器估計的完成所述用戶所提交作業的時間，所述TotalTime等于所述ShuffleDataSize等于TotalSize×RatioMapOutAve，所述TotalSize為運行所述用戶所提交作業的總數據大小，所述RatioMapOutAve為每個map任務輸入非壓縮數據和輸出的非壓縮數據比。

2.根據權利要求1所述的方法，其特征在于，所述作業管理器對生產環境集群中用戶所提交作業運行情況的監控之前，還包括：

通過日志分析器和代價預測器的分析，確定所述生產環境集群中使用的k臺運行代價TotalCost最小的虛擬機。