[發(fā)明專利]一種Gaia中支持多作業(yè)并行執(zhí)行的代理方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911070906.X
• 申請(qǐng)日: 2019-11-05
• 公開(kāi)（公告）號(hào): CN110891083B
• 公開(kāi)（公告）日: 2020-12-04
• 發(fā)明（設(shè)計(jì)）人: 王子萌;王國(guó)仁;趙宇海;鄭軍;李榮華
• 申請(qǐng)（專利權(quán)）人: 北京理工大學(xué);東北大學(xué)
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08
• 代理公司: 北京理工大學(xué)專利中心 11120
• 代理人: 高會(huì)允

1.一種Gaia中支持多作業(yè)并行執(zhí)行的代理方法，其特征在于，該方法運(yùn)行在Gaia系統(tǒng)中，其中構(gòu)建一個(gè)集群，所述集群包括至少一個(gè)主節(jié)點(diǎn)和至少一個(gè)從節(jié)點(diǎn)；每個(gè)節(jié)點(diǎn)中均運(yùn)行Gaia系統(tǒng)；

在集群的每個(gè)節(jié)點(diǎn)中Gaia系統(tǒng)內(nèi)均構(gòu)建Netty客戶端；在主節(jié)點(diǎn)上Gaia系統(tǒng)內(nèi)基于Netty的代理框架構(gòu)建一個(gè)代理端；每個(gè)客戶端與代理端進(jìn)行獨(dú)立通信；

該方法包括如下步驟：

所述集群中的所有節(jié)點(diǎn)均向主節(jié)點(diǎn)提交作業(yè)，送入代理端；所述作業(yè)中帶有Gaia作業(yè)文件；

所述客戶端取所述作業(yè)中的文件路徑初始化選項(xiàng)信息和用戶程序信息Program，發(fā)送給代理端；

所述客戶端獲取所述作業(yè)中的作業(yè)執(zhí)行計(jì)劃，對(duì)作業(yè)執(zhí)行計(jì)劃進(jìn)行屬性拆解，依據(jù)拆解得到的屬性對(duì)作業(yè)執(zhí)行計(jì)劃進(jìn)行傳輸，傳輸至代理端；所述作業(yè)執(zhí)行計(jì)劃中包括如下屬性：集合形式的數(shù)據(jù)終端、鍵值對(duì)形式的緩存文件、執(zhí)行配置信息以及作業(yè)名稱；

所述代理端根據(jù)所述文件路徑初始化選項(xiàng)信息構(gòu)建作業(yè)提交對(duì)象client，并依據(jù)所述用戶程序信息Program，對(duì)所述作業(yè)提交對(duì)象client進(jìn)行初始化配置；

所述作業(yè)提交對(duì)象client用于完成作業(yè)的提交執(zhí)行；

所述代理端接收到所述屬性之后，整合為一個(gè)作業(yè)執(zhí)行計(jì)劃；

所述主節(jié)點(diǎn)上運(yùn)行作業(yè)管理器，用于對(duì)作業(yè)進(jìn)行Slot資源分配并執(zhí)行；所述作業(yè)管理器上具備設(shè)定數(shù)量的物力資源槽Slot，用于執(zhí)行所述作業(yè)；

所述代理端統(tǒng)計(jì)接收到的作業(yè)的數(shù)量，當(dāng)作業(yè)的數(shù)量超過(guò)經(jīng)驗(yàn)閾值時(shí)，計(jì)算所有接收到的作業(yè)的總并行度，若所述所有接收到的作業(yè)的總并行度未超過(guò)所述作業(yè)管理器上空閑Slot的總數(shù)，則將所有接收到的作業(yè)轉(zhuǎn)入合并模塊進(jìn)行合并；

若所述所有接收到的作業(yè)的總并行度超過(guò)所述作業(yè)管理器上空閑Slot的總數(shù)，則按照并行度由低到高為所有接收到的作業(yè)進(jìn)行排序，按照排序順序選取作業(yè)，所選取作業(yè)的并行度之和不超過(guò)所述作業(yè)管理器上空閑Slot的總數(shù)，將所選取作業(yè)轉(zhuǎn)入合并模塊進(jìn)行合并；

所述合并模塊對(duì)轉(zhuǎn)入其中的作業(yè)，將并行度相同的作業(yè)合并，得到合并后的作業(yè)；合并模塊輸出合并后的作業(yè)通過(guò)作業(yè)提交對(duì)象client送入所述作業(yè)管理器進(jìn)行Slot資源分配并執(zhí)行。

2.如權(quán)利要求1所述的方法，其特征在于，若所述所有接收到的作業(yè)的總并行度超過(guò)所述作業(yè)管理器上空閑Slot的總數(shù)，則按照并行度由低到高為所有接收到的作業(yè)進(jìn)行排序，按照排序順序選取作業(yè)，所選取作業(yè)的并行度之和不超過(guò)所述作業(yè)管理器上空閑Slot的總數(shù)，將所選取作業(yè)轉(zhuǎn)入合并模塊進(jìn)行合并；

還包括：

所有接收到的作業(yè)中，沒(méi)有被選取的作業(yè)放入一個(gè)阻塞隊(duì)列中，等待所述作業(yè)管理器將所有合并后的作業(yè)執(zhí)行完成并返回執(zhí)行結(jié)果后，將所述阻塞隊(duì)列的作業(yè)取出轉(zhuǎn)入合并模塊進(jìn)行合并。

3.如權(quán)利要求1或2所述的方法，其特征在于，所述合并模塊對(duì)轉(zhuǎn)入其中的作業(yè)中，將并行度相同的作業(yè)合并，具體為：

對(duì)于合并度相同的作業(yè)，取其作業(yè)執(zhí)行計(jì)劃中的類加載器和數(shù)據(jù)終端集合，將所有的數(shù)據(jù)終端放入一個(gè)新的數(shù)據(jù)終端集合中，再重新創(chuàng)建ClassLoader類加載器的集合類，將合并度相同的作業(yè)的作業(yè)執(zhí)行計(jì)劃中的類加載器的依賴文件全部放入ClassLoader的集合類的對(duì)象中，獲得合并后的作業(yè)執(zhí)行計(jì)劃，即為合并后的作業(yè)，由合并模塊輸出。