[發(fā)明專利]一種跨域集群計(jì)算資源聚合和分配的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410770923.5
• 申請(qǐng)日: 2014-12-12
• 公開(kāi)（公告）號(hào): CN104461740B
• 公開(kāi)（公告）日: 2018-03-20
• 發(fā)明（設(shè)計(jì)）人: 周智強(qiáng);陳勇;劉娜娜;何春江;郭中華
• 申請(qǐng)（專利權(quán)）人: 國(guó)家電網(wǎng)公司;中國(guó)電力科學(xué)研究院;江蘇省電力公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50
• 代理公司: 北京安博達(dá)知識(shí)產(chǎn)權(quán)代理有限公司11271
• 代理人: 徐國(guó)文

1.一種跨域集群計(jì)算資源聚合和分配的方法，其特征在于：包括以下步驟：

(1)建立并行計(jì)算管理平臺(tái)；

(2)搭建跨域分布式多級(jí)集群資源池環(huán)境；

(3)集群資源登記和更新；

(4)集群任務(wù)資源分配；

(5)集群任務(wù)提交和結(jié)果回收；

所述步驟(1)中的平臺(tái)包括若干個(gè)計(jì)算節(jié)點(diǎn)、調(diào)度節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)和網(wǎng)關(guān)服務(wù)器；所述計(jì)算節(jié)點(diǎn)負(fù)責(zé)數(shù)據(jù)并行計(jì)算；所述調(diào)度節(jié)點(diǎn)負(fù)責(zé)用戶任務(wù)調(diào)度、控制以及結(jié)果回收；所述數(shù)據(jù)節(jié)點(diǎn)用于存放歷史數(shù)據(jù)以及結(jié)果入庫(kù)功能；所述網(wǎng)關(guān)服務(wù)器負(fù)責(zé)平臺(tái)的統(tǒng)一對(duì)外接口，包括與其他系統(tǒng)的對(duì)接以及數(shù)據(jù)同步功能；

所述步驟(2)中的搭建過(guò)程為：每個(gè)分級(jí)分布式集群通過(guò)網(wǎng)關(guān)將自己集群中的資源信息交給虛擬的集群資源池統(tǒng)一管理和分配，資源池自動(dòng)將不同級(jí)別的集群按文件系統(tǒng)的方式將各個(gè)集群按樹(shù)狀結(jié)構(gòu)進(jìn)行存儲(chǔ)和管理，級(jí)別和樹(shù)狀層次結(jié)構(gòu)相對(duì)應(yīng)，區(qū)域名是全網(wǎng)唯一：下級(jí)單位只能分配使用直屬上級(jí)調(diào)度機(jī)構(gòu)資源。

2.如權(quán)利要求1所述的一種跨域集群計(jì)算資源聚合和分配的方法，其特征在于：多級(jí)調(diào)度分層分布式所述并行計(jì)算平臺(tái)通過(guò)采集資源信息流程和采用單節(jié)點(diǎn)管理，周期定時(shí)上報(bào)與任務(wù)調(diào)度主動(dòng)下發(fā)資源信息采集控制指令相結(jié)合的方式，定時(shí)刷新和實(shí)時(shí)刷新實(shí)體機(jī)和機(jī)群資源信息；所述分布式集群的本地機(jī)群資源匯總信息通過(guò)調(diào)度服務(wù)器實(shí)時(shí)更新至跨域分布式并行計(jì)算平臺(tái)統(tǒng)一計(jì)算資源池；通過(guò)節(jié)點(diǎn)管理按照機(jī)群任務(wù)調(diào)度下發(fā)的指令，在單節(jié)點(diǎn)內(nèi)分配計(jì)算資源。

3.如權(quán)利要求2所述的一種跨域集群計(jì)算資源聚合和分配的方法，其特征在于：所述資源信息包括本集群計(jì)算節(jié)點(diǎn)個(gè)數(shù)、集群總核數(shù)、集群可用核數(shù)、集群級(jí)別、集群區(qū)域名、本集群上級(jí)區(qū)域名、調(diào)度節(jié)點(diǎn)IP信息和資源共享標(biāo)識(shí)信息；所述信息均不借助第三方軟件采集。

4.如權(quán)利要求3所述的一種跨域集群計(jì)算資源聚合和分配的方法，其特征在于：所述步驟(3)中的登記和更新過(guò)程為：每個(gè)分布式集群上線時(shí)在資源池中建立自己的資源信息樹(shù)節(jié)點(diǎn)，建立成功后再次上報(bào)資源更改自己在資源池中的資源信息；所述網(wǎng)關(guān)服務(wù)器應(yīng)用收到本地集群資源上報(bào)消息后，調(diào)用資源池服務(wù)中心接口，查找樹(shù)路徑中對(duì)應(yīng)的節(jié)點(diǎn)；如果找到了樹(shù)路徑中對(duì)應(yīng)的節(jié)點(diǎn)，就更新數(shù)據(jù)；否則根據(jù)上級(jí)區(qū)域名查找上級(jí)區(qū)域在樹(shù)中的路徑，如果找到相應(yīng)路徑則新建節(jié)點(diǎn)和更新數(shù)據(jù)。

5.如權(quán)利要求3所述的一種跨域集群計(jì)算資源聚合和分配的方法，其特征在于：所述步驟(4)中的任務(wù)資源分配過(guò)程包括：

本地集群的調(diào)度服務(wù)器應(yīng)用收到本地計(jì)算請(qǐng)求后，分析任務(wù)配置文件得到任務(wù)模板所需的總核數(shù)；

調(diào)用資源池信息查詢結(jié)構(gòu)找到本地集群資源信息，判斷本地資源是否夠用，如果夠用就直接向本地集群調(diào)度節(jié)點(diǎn)下達(dá)計(jì)算命令消息；

如果本地資源不夠用，重新查找資源池本地集群的上級(jí)集群是否有可用的集群資源，如果找到可用的資源，則根據(jù)對(duì)方網(wǎng)關(guān)IP地址信息將本地計(jì)算數(shù)據(jù)同步過(guò)去，再通過(guò)消息發(fā)送共享請(qǐng)求計(jì)算消息；

如果資源池中找不到可用集群，則將該任務(wù)按優(yōu)先級(jí)順序加入任務(wù)等待隊(duì)列。

6.如權(quán)利要求5所述的一種跨域集群計(jì)算資源聚合和分配的方法，其特征在于：所述調(diào)度服務(wù)器應(yīng)用包括用于監(jiān)視資源池可用資源信息變化事件的監(jiān)視事件線程；如果所述線程被觸發(fā)，則檢查任務(wù)隊(duì)列是否有任務(wù)，如果有任務(wù)，再按所述步驟(4)為隊(duì)列里的任務(wù)分配資源。

7.如權(quán)利要求3所述的一種跨域集群計(jì)算資源聚合和分配的方法，其特征在于：所述步驟(5)中的任務(wù)提交和結(jié)果回收過(guò)程包括：

用戶向本地集群調(diào)度節(jié)點(diǎn)提交計(jì)算任務(wù)；

本地集群的調(diào)度服務(wù)器應(yīng)用收到計(jì)算請(qǐng)求后，進(jìn)行任務(wù)分析，根據(jù)申請(qǐng)資源情況確定是否任務(wù)需要拆分；如果不拆分，則只向申請(qǐng)到的本地或者異地的集群發(fā)送計(jì)算指令消息；如果需要拆分，則重新生成計(jì)算任務(wù)配置文件，然后向兩個(gè)或多個(gè)集群發(fā)送計(jì)算指令消息；如果需要向異地集群發(fā)送計(jì)算請(qǐng)求，則進(jìn)行計(jì)算指令發(fā)送之前還要有計(jì)算數(shù)據(jù)同步到異地調(diào)度服務(wù)器；

本地集群或者是異地集群收到本方調(diào)度服務(wù)器計(jì)算指令后，由集群內(nèi)部計(jì)算機(jī)制調(diào)用相應(yīng)計(jì)算程序參與計(jì)算，當(dāng)計(jì)算完成后，根據(jù)需要將結(jié)果返回到本方調(diào)度應(yīng)用服務(wù)器；

調(diào)度服務(wù)器接收到異地共享集群調(diào)度節(jié)點(diǎn)返回的計(jì)算結(jié)果后，據(jù)任務(wù)屬性判斷結(jié)果屬于本集群計(jì)算還是遠(yuǎn)程異地集群計(jì)算，然后再調(diào)用入庫(kù)程序進(jìn)行入庫(kù)操作。

8.如權(quán)利要求7所述的一種跨域集群計(jì)算資源聚合和分配的方法，其特征在于：當(dāng)用戶向本地集群調(diào)度節(jié)點(diǎn)提交計(jì)算任務(wù)時(shí)，調(diào)度節(jié)點(diǎn)向本集群網(wǎng)關(guān)節(jié)點(diǎn)和所有計(jì)算節(jié)點(diǎn)組播計(jì)算數(shù)據(jù)。