[發明專利]一種基于Linux的HPC作業調度實現高可用的方法

在審

• 申請號: 201510819166.0
• 申請日: 2015-11-20
• 公開（公告）號: CN105468446A
• 公開（公告）日: 2016-04-06
• 發明（設計）人: 唐珂
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 張靖

技術領域

本發明涉及高性能集群的作業調度系統技術領域，具體涉及一種基于Linux的HPC 作業調度實現高可用的方法，通過綜合高性能作業調度器、Linux網絡文件系統機制、資源 同步、資源監控等主流方法，實現在高性能集群中非常重要的作業調度系統的高可用功能， 使高性能核心作業提交業務不中斷。

背景技術

高性能集群的作業調度系統作為高性能計算的核心功能，一直以來被企業和用戶 高度重視。目前主流的高性能作業調度器（或稱之為集群資源管理器）包括IBM的LSF，開源 的Torque等。在集群的正常運行過程中，考慮到集群業務不能中斷的需求，通常需要兩個服 務器互備。在高性能集群使用中，需要考慮到更多服務需求，特別是作業調度器的互備功 能。

隨著云計算，互聯網，大數據的飛速發展，人們對機器的性能要求越來越高，特別 是對集群高可用性的關注。高可用性通常里描述一個系統經過專門設計，盡可能減少停工 時間，從而保證集群業務的連續性。通常高可用有三種工作方式：主從方式、雙機雙工方式、 集群工作方式。

（1）主從方式：主機工作，備機監控。當主機失效時，服務切換到備機；當主機恢復 后，服務回切到主機。

（2）雙機雙工方式：兩臺主機同時運行各自的服務工作相互監控，并且能保證一臺 失效后，另一臺能接手。

（3）集群工作方式：集群內部多臺主機一起工作，各自運行一個或多個服務，任意 主機失效后其業務都可以被其他主機接管。

Torque作業調度器做為集群作業調度系統，作業管理又稱為工作負載管理，負載 共享或負載管理。它有效地管理系統中的各種資源，以及用戶提交的作業。目的是為了充分 利用集群的軟硬件資源及寶貴的CPU時間，有效地管理集群，合理地調度作業，使系統具有 高的吞吐率和利用率。

DRBD是一個塊設備，用來配置高可用集群。其主要思想是通過網絡實現整個塊設 備鏡像的方式，可以認為一個基于網絡的raid1。

HEARTBEAT作為常用的資源管理監控軟件，通過配置節點之間的心跳鏈路（監控鏈 路），實現高可用方案中的關鍵功能，即服務的監控與啟動，資源的掛載，失效切換。

發明內容

本發明要解決的技術問題是：為了解決上述問題，提供一種基于Linux的HPC作業 調度實現高可用的方法。

本發明所采用的技術方案為：

一種基于Linux的HPC作業調度實現高可用的方法，所述方法在開源的Torque調度器互 備功能的基礎上，通過DRBD+HEARTBEAT方式，將Torque的相關配置文件和路徑共享，最終通 過浮動IP以及NFS實現雙機互備的完整功能。

所述方法包括：1）集群高可用性；2）Torque資源管理器；3）DRBD+HEARTBEAT方 案；其中：

1）集群高可用性：集群是由一系列獨立的計算機，通過高速互聯網路連接在一起，通過 統一的管理對外提供服務的計算機組；集群高可用性通常里描述一個系統經過專門設計， 盡可能減少停工時間，從而保證集群業務的連續性；

2）Torque資源管理器：對集群中的cpu，內存計算資源、網絡、存儲資源統一管理和調 度，同時具有對當前集群資源的負載情況、工作狀態監控的功能；

3）DRBD+HEARTBEAT方案：DRBD是實現資源同步的主流軟件，HEARTBEAT是實現互備資源 監控的主流軟件，兩者構成一個比較成熟的雙機互備方案。

所述方法采用的高可用方案為雙機主備方案，部署步驟如下：

根據Torque+Maui的部署方式，所述Torque調度器環境分為：

server端，部署高可用的調度器服務節點；

client端，部署調度器提交作業服務節點；

mom端，部署調度器運行節點；

其中：

1）浮動IP，提供調度器的server端的訪問路徑和端口；

2）NFS服務，提供調度器所需的配置文件存放路徑；

3）NTP服務，提供調度器以及整個集群的時間同步功能。

所述方法具體操作過程如下：

1）配置hosts文件，將所有客戶端節點的信息都寫入到hosts文件，并保證節點間可相 互實現無密碼訪問；