[發明專利]一種跨域集群計算資源聚合和分配的方法

有效

• 申請號: 201410770923.5
• 申請日: 2014-12-12
• 公開（公告）號: CN104461740B
• 公開（公告）日: 2018-03-20
• 發明（設計）人: 周智強;陳勇;劉娜娜;何春江;郭中華
• 申請（專利權）人: 國家電網公司;中國電力科學研究院;江蘇省電力公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京安博達知識產權代理有限公司11271
• 代理人: 徐國文

技術領域：

本發明涉及一種計算資源聚合和分配的方法，更具體涉及一種跨域集群計算資源聚合和分配的方法。

背景技術：

分布式計算一直是計算機領域的研究熱點。隨著網絡技術及應用的不斷發展,能否為用戶提供高質量的服務技術已經成為衡量一個分布式應用是否成功的關鍵因素。虛擬計算環境是以互聯網為基礎,實現資源按需聚合與自主協同的服務平臺?；ヂ摼W上存在著極為豐富的資源,但由于資源節點所固有的高度的動態性與自治性,導致系統服務質量較難得到保證。

分布式系統是由多個分散的計算機經互連網絡構成的統一計算機系統。其中各個物理的和邏輯的資源既相互配合又高度自治，能在全系統范圍內實現資源管理和數據共享，動態的實現任務分配和功能分配，且能并行的運行分布式程序，它強調資源、任務、功能、數據和控制的全面分布，它們分布于各個物理上分散的計算機節點中，各個節點經過互連網絡相互通信，構成統一的處理系統。

分布式系統具有高度的內聚性和透明性，內聚性是指分布式中的每一個節點都高度自治，有本地的數據庫管理系統和應用軟件，透明性是指每一個分布式節點對用戶或者整個系統來講都是透明的，涉及具體的數據處理、分布式計算時，看不出來是在本地還是遠程，用戶也不必關心自己的需求究竟是在哪個節點被執行的。

分布式集群由前述包括網關、調度、數據、計算節點，用戶提交任務時向集群調度節點發起，調度節點收到該計算請求后向資源池申請資源，資源申請成功后，向目的集群發起計算命令消息。

在實際運行中，一個分布式集群往往計算節點數量有限，當任務量較大時需要排隊計算，因此會出現本地集群繁忙而別的集群空閑的情形，如果能將多個分布式集群聯合起來，實現資源共享，讓忙碌的集群可以把任務調節到閑置的集群上，可以大大提高批量任務的處理速度。

發明內容：

本發明的目的是提供一種跨域集群計算資源聚合和分配的方法，所述方法通過多級調度大規模分層分布式并行計算平臺實現了數據和程序的預分配，減少了網絡通信量，大大的提高了通信效率。

為實現上述目的，本發明采用以下技術方案：一種跨域集群計算資源聚合和分配的方法，包括以下步驟：

(1)建立并行計算管理平臺；

(2)搭建跨域分布式多級集群資源池環境；

(3)集群資源登記和更新；

(4)集群任務資源分配；

(5)集群任務提交和結果回收。

本發明提供的一種跨域集群計算資源聚合和分配的方法，所述步驟(1)中的平臺包括若干個計算節點、調度節點、數據節點和網關服務器；所述計算節點負責數據并行計算；所述調度節點負責用戶任務調度、控制以及結果回收；所述數據節點用于存放歷史數據以及結果入庫功能；所述網關服務器負責平臺的統一對外接口，包括與其他系統的對接以及數據同步功能。

本發明提供的一種跨域集群計算資源聚合和分配的方法，所述步驟(2)中的搭建過程為：每個分級分布式集群通過網關將自己集群中的資源信息交給虛擬的集群資源池統一管理和分配，資源池自動將不同級別的集群按文件系統的方式將各個集群按樹狀結構進行存儲和管理，級別和樹狀層次結構相對應，區域名是全網唯一：下級單位只能分配使用直屬上級調度機構資源。

本發明提供的另一優選的一種跨域集群計算資源聚合和分配的方法，多級調度分層分布式所述并行計算平臺通過采集資源信息流程和采用單節點管理，周期定時上報與任務調度主動下發資源信息采集控制指令相結合的方式，定時刷新和實時刷新實體機和機群資源信息；所述分布式集群的本地機群資源匯總信息通過調度服務器實時更新至跨域分布式并行計算平臺統一計算資源池；通過節點管理按照機群任務調度下發的指令，在單節點內分配計算資源。

本發明提供的再一優選的一種跨域集群計算資源聚合和分配的方法，所述資源信息包括本集群計算節點個數、集群總核數、集群可用核數、集群級別、集群區域名、本集群上級區域名、調度節點IP信息和資源共享標識信息；所述信息均不借助第三方軟件采集。

本發明提供的又一優選的一種跨域集群計算資源聚合和分配的方法，所述步驟(3)中的登記和更新過程為：每個分布式集群上線時在資源池中建立自己的資源信息樹節點，建立成功后再次上報資源更改自己在資源池中的資源信息；所述網關服務器應用收到本地集群資源上報消息后，調用資源池服務中心接口，查找樹路徑中對應的節點；如果找到了樹路徑中對應的節點，就更新數據；否則根據上級區域名查找上級區域在樹中的路徑，如果找到相應路徑則新建節點和更新數據。