[發明專利]在集群中調度運行分布式計算框架的方法和系統

在審

• 申請號: 201210370666.7
• 申請日: 2012-09-28
• 公開（公告）號: CN103713942A
• 公開（公告）日: 2014-04-09
• 發明（設計）人: 董元元;羅韓梅;林恬;彭亮;陳卓;金涬
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F9/46
• 分類號: G06F9/46;G06F9/50
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 何平;曾旻輝

1.一種在集群中調度運行分布式計算框架的方法，包括以下步驟：

集群調度器獲取提交的封裝了框架控制器的第一作業；

所述集群調度器根據所述第一作業生成包含所述框架控制器的第一任務，將所述第一任務下發到集群執行器；

接收到所述第一任務的集群執行器啟動所述框架控制器運行；

所述集群調度器獲取提交的封裝了與所述框架控制器對應的框架工作器的第二作業；

所述集群調度器根據所述第二作業生成包含所述框架控制器標識以及所述框架工作器的第二任務，并將所述第二任務下發到集群執行器；

接收到所述第二任務的集群執行器根據所述框架控制器標識啟動所述框架工作器運行。

2.根據權利要求1所述的在集群中調度運行分布式計算框架的方法，其特征在于，所述第一作業中包含運行所述框架控制器所需第一資源信息，所述第二作業中包含運行所述框架工作器所需第二資源信息；

所述集群調度器將所述第一任務下發到與所述第一資源信息匹配的集群執行器；

所述集群調度器將所述第二任務下發到與所述第二資源信息匹配的集群執行器。

3.根據權利要求2所述的在集群中調度運行分布式計算框架的方法，其特征在于，所述第二作業中還包含需增加的所述框架控制器的數量；

所述集群調度器生成的第二任務的數量等于所述需增加的所述框架控制器數量。

4.根據權利要求3所述的在集群中調度運行分布式計算框架的方法，其特征在于，在所述集群調度器獲取提交的封裝了與所述框架控制器對應的框架工作器的第二作業的步驟之前，所述方法還包括步驟：

資源管理器獲取所述框架控制器等待處理的任務數量；

所述資源管理器根據所述等待處理的任務數量、等待處理的任務所需的運行資源以及運行與所述框架控制器對應的框架工作器所需資源計算需增加的所述框架控制器的數量；

資源管理器向所述集群調度器提交封裝了所述框架工作器以及計算得到的需增加的所述框架控制器的數量的第二作業。

5.根據權利要求3所述的在集群中調度運行分布式計算框架的方法，其特征在于，所述方法還包括步驟：

所述資源管理器獲取框架工作器的工作狀態；

若框架工作器處于空閑狀態超過預設時長，則所述資源管理器向框架工作器發送退出指令，以獲取框架工作器退出后釋放的資源。

6.根據權利要求5所述的在集群中調度運行分布式計算框架的方法，其特征在于，所述方法還包括步驟：

所述集群調度器向所述資源管理器發送資源搶占命令；

所述資源管理器查找占用資源與所述資源搶占命令要求搶占的資源匹配的框架工作器；

所述資源管理器獲取查找到的框架工作器執行的任務的完成狀態信息；

根據所述框架工作器上任務的完成狀態信息向所述框架工作器發送退出指令。

7.一種在集群中調度運行分布式計算框架的系統，其特征在于，包括集群調度器和多個集群執行器，其中：

所述集群調度器用于獲取提交的封裝了框架控制器的第一作業；

所述集群調度器還用于根據所述第一作業生成包含所述框架控制器的第一任務，將所述第一任務下發到某一所述集群執行器；

所述集群執行器用于接收到所述第一任務后，啟動所述框架控制器運行；

所述集群調度器還用于獲取提交的封裝了與所述框架控制器對應的框架工作器的第二作業；

所述集群調度器還用于根據所述第二作業生成包含所述框架控制器標識以及所述框架工作器的第二任務，并將所述第二任務下發到某一所述集群執行器；

所述集群執行器還用于接收到所述第二任務后，根據所述框架控制器標識啟動所述框架工作器運行。

8.根據權利要求7所述的在集群中調度運行分布式計算框架的系統，其特征在于，所述第一作業中包含運行所述框架控制器所需第一資源信息，所述第二作業中包含運行所述框架工作器所需第二資源信息；

所述集群調度器用于將所述第一任務下發到與所述第一資源信息匹配的集群執行器；

所述集群調度器用于將所述第二任務下發到與所述第二資源信息匹配的集群執行器。