[發明專利]最大化磁盤緩存效果的工作流作業調度裝置及方法

無效

• 申請號: 201210516691.1
• 申請日: 2012-09-28
• 公開（公告）號: CN103294535A
• 公開（公告）日: 2013-09-11
• 發明（設計）人: 安信榮;車圭一;金暎鎬;林恩智;金辰美;裵承朝
• 申請（專利權）人: 韓國電子通信研究院
• 主分類號: G06F9/46
• 分類號: G06F9/46
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 李芳華

1.一種工作流作業調度裝置，包括：

資源概況管理單元，用于存儲包括關于計算節點實際使用的資源數量的使用信息的、工作流的資源使用概況；

計算資源監控單元，用于當計算資源當前正執行預定作業時，測量關于計算資源的作業實際使用的計算資源的使用信息，并且向資源概況管理單元報告測量結果，以便更新資源使用概況；以及

作業劃分單元，用于裝載資源概況管理單元的資源使用概況，從計算節點中選擇任意一個，確定能夠由所選計算節點同時執行的作業的數目以及能夠無需在所選計算節點中進行磁盤緩存釋放操作就能使用的可用磁盤緩存的大小，確定輸入文件的數目和大小，使得同時進行的作業要在磁盤緩存中緩存的文件大小之和小于可用磁盤緩存的大小，并且通過基于輸入文件的確定數目和確定大小而分組或劃分作業，來確定作業要在其上執行的計算節點。

2.如權利要求1所述的工作流作業調度裝置，其中該計算資源監控單元周期性地或者在作業已結束后向該資源概況管理單元報告測量結果。

3.如權利要求1所述的工作流作業調度裝置，其中該資源概況管理單元存儲工作流的資源使用概況，所述資源使用概況包括對于構成工作流的單個作業管理的信息、關于當同時執行多個作業時使用的每個計算資源的數量的信息、以及關于當組合并且執行各個作業時所使用的每個計算資源的數量的信息中的一個或多個。

4.一種由調度裝置執行的工作流作業調度方法，包括：

由資源概況管理單元裝載資源使用概況；

從計算節點中選擇任意一個；

確定能夠由所選計算節點同時執行的作業數目、以及能夠無需在所選計算節點中進行磁盤緩存釋放操作就能使用的可用磁盤緩存的大小；

確定輸入文件的數目和大小，使得同時進行的作業要在磁盤緩存中緩存的文件大小之和小于可用磁盤緩存的大小；以及

通過基于輸入文件的確定數目和確定大小而分組或劃分作業，來確定作業要在其上執行的計算節點。

5.如權利要求4所述的工作流作業調度方法，其中所述確定可用磁盤緩存的大小的步驟被配置為使用下列公式(1)確定可用磁盤緩存的大小(uDCS_i)：

uDCS_i＝PhyMem_i×DCFSU_i-sysMem_i-MAX(jobsMem)(1)

其中PhyMem_i表示所選計算節點的物理內存的大小，DCFSU_i表示所選計算節點的磁盤緩存釋放操作開始時所用內存的百分比，sysMem_i表示緊靠在所選計算節點已啟動后由系統使用的內存數量，以及jobsMem表示由任意作業使用的物理內存的大小。

6.如權利要求4所述的工作流作業調度方法，其中所述確定輸入文件的數目和大小的步驟被配置為使用下列的公式(2)來計算同時進行的作業將要在磁盤緩存中緩存的文件的大小之和：

將要在磁盤緩存中緩存的文件的大小之和＝輸入文件的大小之和×輸入文件與所有文件的大小的比率+所有作業共同參考的文件的大小(2)。

7.如權利要求6所述的工作流作業調度方法，其中所述確定輸入文件的數目和大小的步驟被這樣配置，使得當在資源使用概況中不存在關于輸入文件與所有文件的大小的比率的信息時，由用戶鍵入所述輸入文件與所有文件的大小的比率。

8.如權利要求4所述的工作流作業調度方法，其中所述選擇任意一個計算節點的步驟被配置為以循環方式從計算節點中選擇任意一個。

9.如權利要求4所述的工作流作業調度方法，其中所述確定能夠同時執行的作業的數目的步驟包括：

基于關于所選計算節點的中央處理單元(CPU)的數目和CPU的利用率的信息，來計算同時進行的作業的最大數目；

基于關于所選計算節點的磁盤的利用率的信息，來計算同時進行的作業的最大數目；

基于關于所選計算節點所用內存的信息，來計算同時進行的作業的最大數目；

基于關于所選計算節點的網絡帶寬的利用率的信息，來計算同時進行的作業的最大數目；

將所計算的同時進行的作業的最大數目中的最小值確定為能夠由所選計算節點同時執行的作業的數目。