[發明專利]異構環境中并行計算調度方法

有效

• 申請號: 201310477055.7
• 申請日: 2013-10-12
• 公開（公告）號: CN103500123A
• 公開（公告）日: 2014-01-08
• 發明（設計）人: 吳朝暉;何延彰;姜曉紅;黃鵬;毛宇
• 申請（專利權）人: 浙江大學
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 杭州裕陽專利事務所(普通合伙) 33221
• 代理人: 應圣義

1.一種異構環境中并行計算調度方法，其特征在于，包括以下具體步驟：

1）在異構集群上構建多個JVM任務槽，所述多個JVM任務槽分別由不同或者相同大小的內存空間組成，所述異構集群包括主節點以及從節點，JVM任務槽位于從節點上；

2）主節點對所有從節點的I/O利用率和CPU利用率進行監控，并構建空閑任務槽數組Q₁以及Q₂，所述空閑任務槽數組Q₁以及Q₂分別由一個或者多個JVM任務槽組成；

3）搭建于異構集群上的分布式文件系統接收用戶上載的待處理的輸入數據，并將輸入數據以數據塊的形式存儲在異構集群的節點上；分布式文件系統接收用戶提交的并行計算作業；

4）對并行計算作業進行預測試，在預測試過程中計算并行計算作業中每個任務在運行時所需要的內存空間大小；

5）根據預測試在運行時輸出的數據大小和運行時間，將并行計算作業中的任務分為I/O密集型和CPU密集型；

6）建立調度隊列，將并行計算作業的任務加入調度隊列，依次運行調度隊列中的任務，如果任務為I/O密集型，則執行步驟7）；如果任務為CPU密集型，則執行步驟8）；

7）在空閑任務槽數組Q₁中選擇一個JVM任務槽，在該選定的JVM任務槽內運行任務，如果任務運行成功，則執行步驟9）；否則重復執行步驟7）；

8）在空閑任務槽數組Q₂中選擇一個JVM任務槽，在該選定的JVM任務槽內運行任務，如果任務運行成功，則執行步驟9）；否則重復執行步驟8）；

9）等待調度隊列中的任務均運行結束，導出運行結果。

2.根據權利要求1所述的異構環境中并行計算調度方法，其特征在于，步驟1）中，JVM任務槽至多可以分配的內存空間大小其中，從節點的處理器數目為n，從節點總內存為M_stave，從節點上所構建的任務槽的個數為N_slot。

3.根據權利要求2所述的異構環境中并行計算調度方法，其特征在于，

N_slot＝2n，實際分配得到的JVM任務槽的內存空間大小為128MB的整數倍。

4.根據權利要求1所述的異構環境中并行計算調度方法，其特征在于，步驟2）還包括以下具體步驟：將空閑任務槽數組Q₁以任務槽的內存空間大小為關鍵字由小到大進行第一次排序，以任務槽所在從節點的I/O利用率為關鍵字由小到大進行第二次排序；將空閑任務槽數組Q₂以任務槽的內存空間大小為關鍵字由小到大進行第一次排序，以任務槽所在從節點的CPU利用率為關鍵字由小到大進行第二次排序。

5.根據權利要求1所述的異構環境中并行計算調度方法，其特征在于，步驟3）中，不同的數據塊作為不同的任務運行，數據塊冗余地存儲在異構集群的節點上。

6.根據權利要求1所述的異構環境中并行計算調度方法，其特征在于，步驟4）的預測試步驟具體包括：依據任務對內存的需求是否與輸入數據的大小相關聯，將任務區分為與輸入數據的大小無關的任務以及與輸入數據的大小成比例關系的任務，與輸入數據的大小成比例關系的任務所需要的最小內存空間大小其中，M_test為預測試時測試程序運行所需內存需求，S_block為輸入數據的數據塊大小，S_test為預測試時測試程序輸入的數據大小。

7.根據權利要求2所述的異構環境中并行計算調度方法，其特征在于，步驟5）還包括以下具體步驟：將滿足條件的任務劃分為I/O密集型；否則為CPU密集型；其中，TID表示步驟4）預測試時測試程序輸入的數據大小，TOD表示測試程序輸出數據的大小，TCT表示測試程序的運行時間，DIOR表示硬盤讀寫最大速率。

8.根據權利要求1所述的異構環境中并行計算調度方法，其特征在于，步驟6）中，使用FIFO方式運行調度隊列中的任務。

9.根據權利要求2所述的異構環境中并行計算調度方法，其特征在于，步驟7）還包括：在任務所在從節點中選擇JVM任務槽，如果選擇失敗，則使用內存最佳適應分配算法和I/O利用率最小值分配算法在空閑任務槽數組Q₁內選擇JVM任務槽；當任務的運行次數超過3次，則不再運行該任務；步驟8）還包括：在任務所在從節點中選擇JVM任務槽，如果選擇失敗，則使用內存最佳適應分配算法和CPU利用率最小值分配算法在空閑任務槽數組Q₂內選擇JVM任務槽；當任務的運行次數超過3次，則不再運行該任務。