[發明專利]異構環境中并行計算調度方法

有效

• 申請號: 201310477055.7
• 申請日: 2013-10-12
• 公開（公告）號: CN103500123A
• 公開（公告）日: 2014-01-08
• 發明（設計）人: 吳朝暉;何延彰;姜曉紅;黃鵬;毛宇
• 申請（專利權）人: 浙江大學
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 杭州裕陽專利事務所(普通合伙) 33221
• 代理人: 應圣義

技術領域

本發明涉及并行計算領域，特別涉及一種異構環境中并行計算調度方法。

背景技術

隨著以社交網站SNS、基于位置的服務LBS為代表的新型信息發布方式的不斷出現，以及云計算、物聯網和移動計算等技術的興起，數據正在以前所未有的速度不斷地增長和累積，我們已經步入大數據時代。據統計，百度公司每天要處理的數據達到10～100PB，紐約證券交易所每天產生約1TB的交易數據。在大數據時代，單機無法滿足數據處理的性能和時間要求，比如數據挖掘、構建倒排索引等算法，因此產生了多機并行處理技術。大數據分析技術是對大數據的產生、存儲、挖掘和展現的全生命周期進行綜合分析處理的過程。一般的，大數據需滿足4個特點：1）規模性（Volume），2）多樣性（Variety），3）高速性（Velocity），4）價值（Value）。

傳統并行計算編程框架包括兩類：數據并行模型和消息傳遞模型。數據并行模型級別較高，編程相對簡單，是當前流行的趨勢。大數據的應用類型有很多，主要的處理模式可以分為流處理（Stream?Processing）和批處理（Batch?Processing）兩種。在本發明中，我們針對批處理的數據并行模型進行了優化。

發明內容

本發明針對現有批處理的數據并行模型的資源利用率低的缺點，提供了一種新型的異構環境中并行計算調度方法。

為實現上述目的，本發明可采取下述技術方案：

異構環境中并行計算調度方法，包括以下具體步驟：

1）在異構集群上構建多個JVM任務槽，所述多個JVM任務槽分別由不同或者相同大小的內存空間組成，所述異構集群包括主節點以及從節點，JVM任務槽位于從節點上；

2）主節點對所有從節點的I/O利用率和CPU利用率進行監控，并構建空閑任務槽數組Q₁以及Q₂，所述空閑任務槽數組Q₁以及Q₂分別由一個或者多個JVM任務槽組成；

3）搭建于異構集群上的分布式文件系統接收用戶上載的待處理的輸入數據，并將輸入數據以數據塊的形式存儲在異構集群的節點上；分布式文件系統接收用戶提交的并行計算作業；

4）對并行計算作業進行預測試，在預測試過程中計算并行計算作業中每個任務在運行時所需要的內存空間大小；

5）根據預測試在運行時輸出的數據大小和運行時間，將并行計算作業中的任務分為I/O密集型和CPU密集型；

6）建立調度隊列，將并行計算作業的任務加入調度隊列，依次運行調度隊列中的任務，如果任務為I/O密集型，則執行步驟7）；如果任務為CPU密集型，則執行步驟8）；

7）在空閑任務槽數組Q₁中選擇一個JVM任務槽，在該選定的JVM任務槽內運行任務，如果任務運行成功，則執行步驟9）；否則重復執行步驟7）；

8）在空閑任務槽數組Q₂中選擇一個JVM任務槽，在該選定的JVM任務槽內運行任務，如果任務運行成功，則執行步驟9）；否則重復執行步驟8）；

9）等待調度隊列中的任務均運行結束，導出運行結果。

作為優選，步驟1）中，JVM任務槽至多可以分配的內存空間大小其中，從節點的處理器數目為n，從節點總內存為M_slave，從節點上所構建的任務槽的個數為N_slot。

作為優選，N_slot＝2n，實際分配得到的JVM任務槽的內存空間大小為128MB的整數倍。

作為優選，步驟2）還包括以下具體步驟：將空閑任務槽數組Q₁以任務槽的內存空間大小為關鍵字由小到大進行第一次排序，以任務槽所在從節點的I/O利用率為關鍵字由小到大進行第二次排序；將空閑任務槽數組Q₂以任務槽的內存空間大小為關鍵字由小到大進行第一次排序，以任務槽所在從節點的CPU利用率為關鍵字由小到大進行第二次排序。

作為優選，步驟3）中，不同的數據塊作為不同的任務運行，數據塊冗余地存儲在異構集群的節點上。