[發明專利]用于在分布式計算系統中管理多個作業的方法和裝置

有效

• 申請號: 201310267938.5
• 申請日: 2013-06-28
• 公開（公告）號: CN104252391B
• 公開（公告）日: 2017-09-12
• 發明（設計）人: 賀軍;李廣磊;柴華;郭傳偉;李榮
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;H04L29/08
• 代理公司: 北京市金杜律師事務所11256
• 代理人: 酆迅,李崢宇

1.一種用于在分布式計算系統中管理多個作業的方法，包括：

響應于接收到所述多個作業，將所述多個作業中的每個作業所包括的多個任務劃分為配置任務和計算任務，其中所述多個作業中的每個作業是可執行程序；

將與所述多個作業相關聯的配置任務組合為一超級配置任務；

基于所述超級配置任務和所述計算任務來將所述多個作業整合為一超級作業；以及

利用所述分布式計算環境中的多個計算節點，執行包括在所述超級作業中的所述超級配置任務和所述計算任務。

2.根據權利要求1所述的方法，其中所述超級配置任務僅被執行一次。

3.根據權利要求1或2所述的方法，其中所述可執行程序是基于分布式計算基礎函數庫來編寫的。

4.根據權利要求3所述的方法，其中響應于接收到所述多個作業，將所述多個作業中的每個作業中所包括的多個任務劃分為配置任務和計算任務包括：針對所述多個作業中的當前作業，

根據所述分布式計算基礎函數庫的定義，從所述當前作業中的多個任務中提取以下至少一項來作為配置任務：調度任務、網絡資源管理任務，所述調度任務用于啟動所述當前作業，所述網絡資源管理任務用于管理執行所述當前作業所需的網絡資源；以及

將所述當前作業的多個任務中、所述配置任務以外的任務作為所述作業的所述計算任務。

5.根據權利要求4所述的方法，其中所述網絡資源管理任務至少包括網絡初始化任務以及網絡釋放任務。

6.根據權利要求5所述的方法，其中利用所述分布式計算環境中的多個計算節點，執行包括在所述超級作業中的所述超級配置任務和所述計算任務包括：

與所述計算任務串行地執行所述超級配置任務；以及

至少部分并行地執行所述計算任務。

7.根據權利要求6所述的方法，其中與所述計算任務串行地執行所述超級配置任務包括：

串行地執行所述調度任務、所述網絡初始化任務、所述計算任務、以及所述網絡釋放任務。

8.根據權利要求6所述的方法，其中所述網絡初始化任務至少包括：采集各個計算任務的網絡地址以形成用于在各個計算任務之間進行通信的網絡地址表。

9.根據權利要求8所述的方法，其中所述網絡釋放任務至少包括：釋放所述網絡地址表。

10.根據權利要求9所述的方法，其中至少部分并行地執行所述計算任務包括：

利用所述網絡地址表在所述計算任務之間進行通信，以執行所述計算任務。

11.一種用于在分布式計算系統中管理多個作業的裝置，包括：

劃分模塊，配置用于響應于接收到所述多個作業，將所述多個作業中的每個作業所包括的多個任務劃分為配置任務和計算任務，其中所述多個作業中的每個作業是可執行程序；

組合模塊，配置用于將與所述多個作業相關聯的配置任務組合為一超級配置任務；

整合模塊，配置用于基于所述超級配置任務和所述計算任務來將所述多個作業整合為一超級作業；以及

執行模塊，配置用于利用所述分布式計算環境中的多個計算節點，執行包括在所述超級作業中的所述超級配置任務和所述計算任務。

12.根據權利要求11所述的裝置，其中所述超級配置任務僅被執行一次。

13.根據權利要求11或12所述的裝置，其中所述可執行程序是基于分布式計算基礎函數庫來編寫的。

14.根據權利要求13所述的裝置，其中所述劃分模塊包括：

提取模塊，配置用于針對所述多個作業中的當前作業，根據所述分布式計算基礎函數庫的定義，從所述當前作業中的多個任務中提取以下至少一項來作為配置任務：調度任務、網絡資源管理任務，所述調度任務用于啟動所述當前作業，所述網絡資源管理任務用于管理執行所述當前作業所需的網絡資源；以及

指定模塊，配置用于將所述當前作業的多個任務中、所述配置任務以外的任務作為所述作業的所述計算任務。

15.根據權利要求14所述的裝置，其中所述網絡資源管理任務至少包括網絡初始化任務以及網絡釋放任務。