[發明專利]最大化磁盤緩存效果的工作流作業調度裝置及方法

無效

• 申請號: 201210516691.1
• 申請日: 2012-09-28
• 公開（公告）號: CN103294535A
• 公開（公告）日: 2013-09-11
• 發明（設計）人: 安信榮;車圭一;金暎鎬;林恩智;金辰美;裵承朝
• 申請（專利權）人: 韓國電子通信研究院
• 主分類號: G06F9/46
• 分類號: G06F9/46
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 李芳華

相關申請的交叉引用

本申請要求2012年2月29日提交的韓國專利申請第10-2012-0020792號的權益，由此通過引用將其全部合并在本申請中。

技術領域

本發明涉及資源管理和作業調度方法，其在通過高性能局域網連接的高性能計算系統(或超級計算機)上自動執行以流水線方式實現的大規模數據并行/分布作業，并且隨后獲得執行結果。

背景技術

在例如現有的超級計算機和高性能集群(clusters)的各種類型的計算資源的環境中，工作流管理系統、資源管理系統、作業調度器等已經被利用，以便采用批處理的方式來執行與代替人處理大規模數據的科學計算相關的作業、或者在其中在作業的幾個步驟之間存在依賴性的多個復雜作業。

通常，工作流管理系統是用于創建工作流的軟件系統，其中一系列作業經由用戶友好界面彼此關聯，與例如高性能計算機、網格、和網絡服務這樣的各種類型的計算資源相結合來執行所創建的工作流，并且報告執行結果。傳統的工作流管理系統包括Tavema、Galaxy、Kepler等。

資源管理系統是用于處理高性能計算機或集群的計算資源的管理以及作業的成批執行的軟件系統，并且包括基于便攜批處理系統(PBS)的OpenPBS、TORQUE和PBS?pro，并附加包括用于資源管理的簡單Linux工具(SLURM)、Oracle網格引擎等。典型地，這樣的資源管理系統使用先來先服務(FCFS)作業調度。

作業調度器主要與資源管理系統結合使用，并且是用于當通過將在作業隊列中的作業的優先級和請求的資源量與可用資源的類型和量進行比較來動態地改變作業的執行順序時、執行作業的軟件系統。傳統的作業調度器包括Maui、應用程序級安置調度器(ALPS)、負載共享儀器(LSF)、Moab等。

進一步地，關于涉及工作流的傳統技術，已經存在(在公開號為2010-0133418的韓國未審查專利申請中公開的)使用用于獲得資源的當前信息并分配作業的技術、從所有資源的立場來考慮作業分配的方法。然而，還未設計出有效利用存在于設備中的磁盤高速緩存的方法，并因此存在其中設備的性能沒有被充分利用的問題。

例如，在包括基因組序列分析在內的大多數科學應用領域的技術中，存在很多情況，其中想要的結果是通過組合先前開發的應用程序來獲得的。因此，工作流(或流水線)被配置為具有基于時間序列的依賴性和數據依賴性的應用程序(作業)的序列流，并且隨后基于這樣的依賴性執行作業。這樣的工作流可能具有各種大小，從包含一個或兩個應用的簡單形式的大小到其中組合有幾十到幾百個應用的組合形式的大小。

因此，為了將這樣的工作流映射到合適的計算資源并有效地得到結果，需要關于構成工作流的作業所需的計算資源的精確的信息。然而，對于除了對應應用的開發者之外的人來說，找出關于實際執行作業的應用程序使用資源的信息(例如，指示每個應用程序所需的CPU的數目、內存的數量、盤的數量、以及網絡帶寬的數量的信息)是非常困難的。進一步地，用于從源代碼獲得資源使用概況(profile)的分析工具的開發已經相對停滯(inactive)。

因此，當想要使用傳統工作流管理系統、資源管理系統、以及作業調度器時，向計算資源有效分配工作流的作業是非常困難的。因此，由于基因組分析應用的常規用戶不具有關于用于分析基因組序列的作業所需的計算資源的數量的確切知識，所以出現的問題在于，他們請求比所需要的數量更大數量的資源并執行工作流，由此導致浪費了高性能計算資源。

發明內容

因此，緊記在現有技術中發生的上述問題，已經做出了本發明，并且本發明的目的是提供工作流作業調度方法和裝置，其通過關聯由工作流管理系統、資源管理系統、作業調度器等提供的功能，在想要執行由經由文件的輸入/輸出互相連接的作業的幾個步驟組成的工作流時，能夠最大化磁盤緩存效果，因此改善了物理計算資源的使用率。

本發明的另一個目的是提供工作流作業調度方法和裝置，其通過主動監控在執行作業時計算資源的使用并且將監控使用信息更新為資源使用概況，并且隨后在執行后繼工作流時參考資源使用概況，來改善工作流執行的性能，所述方法和裝置是考慮到以下事實而配置的：計算資源的有效使用以及資源的使用率必須被提高，以便減少由必須在高性能計算機(或集群)環境中處理大規模數據的多步驟作業組成的工作流的執行時間和成本。