[發(fā)明專利]一種任務(wù)調(diào)度方法與裝置

有效

• 申請?zhí)枺?/td>: 202011322687.2
• 申請日: 2020-11-23
• 公開（公告）號: CN112306719B
• 公開（公告）日: 2022-05-31
• 發(fā)明（設(shè)計(jì)）人: 吳璨;王小寧;肖海力;遲學(xué)斌;和榮;盧莎莎
• 申請（專利權(quán)）人: 中國科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F9/48
• 代理公司: 北京億騰知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11309
• 代理人: 陳霽

1.一種任務(wù)調(diào)度裝置，其特征在于，應(yīng)用于跨集群計(jì)算服務(wù)環(huán)境，包括：作業(yè)請求收集與分發(fā)模塊，至少一個(gè)調(diào)度服務(wù)模塊，以及至少一個(gè)作業(yè)執(zhí)行服務(wù)模塊；其中：

所述作業(yè)請求收集與分發(fā)模塊，用于接收待執(zhí)行作業(yè)的作業(yè)執(zhí)行請求，所述作業(yè)執(zhí)行請求包括待執(zhí)行作業(yè)的第一描述信息，所述第一描述信息包括作業(yè)調(diào)度算法名稱以及待執(zhí)行作業(yè)的全局標(biāo)識；

所述至少一個(gè)調(diào)度服務(wù)模塊中與所述作業(yè)調(diào)度算法名稱相匹配的當(dāng)前調(diào)度服務(wù)模塊，用于根據(jù)所述第一描述信息以及至少一個(gè)可用計(jì)算集群的計(jì)算資源信息，確定作業(yè)調(diào)度結(jié)果；其中，所述作業(yè)調(diào)度結(jié)果包括作業(yè)全局標(biāo)識、用于執(zhí)行待執(zhí)行作業(yè)的高性能計(jì)算機(jī)的設(shè)備標(biāo)識以及作業(yè)執(zhí)行服務(wù)名稱；

所述當(dāng)前調(diào)度服務(wù)模塊，還用于利用所述第一描述信息和所述作業(yè)調(diào)度結(jié)果生成第二描述信息，并向所述作業(yè)請求收集與分發(fā)模塊提供所述第二描述信息；

所述作業(yè)請求收集與分發(fā)模塊，還用于根據(jù)所述第二描述信息包含的所述作業(yè)調(diào)度結(jié)果中攜帶的作業(yè)執(zhí)行服務(wù)名稱，向當(dāng)前作業(yè)執(zhí)行服務(wù)模塊分發(fā)所述第二描述信息；

所述至少一個(gè)作業(yè)執(zhí)行服務(wù)模塊中與所述作業(yè)執(zhí)行服務(wù)名稱相匹配的當(dāng)前作業(yè)執(zhí)行服務(wù)模塊，用于接收所述當(dāng)前調(diào)度服務(wù)模塊確定的調(diào)度結(jié)果，并且根據(jù)所述調(diào)度結(jié)果中包含的設(shè)備標(biāo)識和待執(zhí)行作業(yè)的全局標(biāo)識，將待執(zhí)行作業(yè)提交至用于執(zhí)行待執(zhí)行作業(yè)的高性能計(jì)算機(jī)。

2.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述第一描述信息還包括作業(yè)所需應(yīng)用名稱、作業(yè)所需隊(duì)列名稱以及作業(yè)所需高性能計(jì)算機(jī)的核數(shù)；

所述至少一個(gè)調(diào)度服務(wù)模塊中與所述作業(yè)調(diào)度算法名稱相匹配的當(dāng)前調(diào)度服務(wù)模塊，還用于獲取計(jì)算資源信息；所述計(jì)算資源信息包括：應(yīng)用列表以及應(yīng)用資源；其中，所述應(yīng)用列表用于指示所述至少一個(gè)可用計(jì)算集群的至少一個(gè)高性能計(jì)算機(jī)中各自部署的至少一個(gè)應(yīng)用程序，所述應(yīng)用資源用于指示所述至少一個(gè)計(jì)算集群中的每一個(gè)高性能計(jì)算機(jī)各自包含的至少一個(gè)計(jì)算隊(duì)列，每個(gè)計(jì)算隊(duì)列中包括其對應(yīng)的高性能計(jì)算機(jī)的核數(shù)；

用于執(zhí)行待執(zhí)行作業(yè)的高性能計(jì)算機(jī)包含的至少一個(gè)計(jì)算隊(duì)列中，包括所述作業(yè)所需隊(duì)列名稱；

用于執(zhí)行待執(zhí)行作業(yè)的高性能計(jì)算機(jī)對應(yīng)的，并且名稱為作業(yè)所需隊(duì)列名稱的當(dāng)前隊(duì)列中，包括的高性能計(jì)算機(jī)的可用核數(shù)不小于作業(yè)所需高性能計(jì)算機(jī)的核數(shù)；

用于執(zhí)行所述待執(zhí)行作業(yè)的高性能計(jì)算機(jī)部署的至少一個(gè)應(yīng)用程序中，包括應(yīng)用名稱為所述作業(yè)所需應(yīng)用名稱的應(yīng)用程序。

3.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述作業(yè)第一描述信息還包括作業(yè)名、作業(yè)所需應(yīng)用程序的版本、作業(yè)預(yù)計(jì)運(yùn)行時(shí)長。

4.一種任務(wù)調(diào)度方法，其特征在于，應(yīng)用于跨集群計(jì)算服務(wù)環(huán)境，所述方法包括：

通過作業(yè)請求收集與分發(fā)模塊接收待執(zhí)行作業(yè)的作業(yè)執(zhí)行請求，所述作業(yè)執(zhí)行請求包括待執(zhí)行作業(yè)的第一描述信息，所述第一描述信息包括作業(yè)調(diào)度算法名稱以及待執(zhí)行作業(yè)的全局標(biāo)識；

通過至少一個(gè)調(diào)度服務(wù)模塊中與所述作業(yè)調(diào)度算法名稱相匹配的當(dāng)前調(diào)度服務(wù)模塊，根據(jù)所述第一描述信息以及至少一個(gè)可用計(jì)算集群的計(jì)算資源描述信息，確定作業(yè)調(diào)度結(jié)果；其中，所述作業(yè)調(diào)度結(jié)果包括作業(yè)全局標(biāo)識、用于執(zhí)行所述待執(zhí)行作業(yè)的高性能計(jì)算機(jī)的設(shè)備標(biāo)識以及作業(yè)執(zhí)行服務(wù)名稱；

通過所述當(dāng)前調(diào)度服務(wù)模塊，利用所述第一描述信息和所述作業(yè)調(diào)度結(jié)果生成第二描述信息，向所述作業(yè)請求收集與分發(fā)模塊提供所述第二描述信息；

通過所述作業(yè)請求收集與分發(fā)模塊，根據(jù)所述第二描述信息包含的所述作業(yè)調(diào)度結(jié)果中攜帶的作業(yè)執(zhí)行服務(wù)名稱，向當(dāng)前作業(yè)執(zhí)行服務(wù)模塊分發(fā)所述第二描述信息；

通過至少一個(gè)作業(yè)執(zhí)行服務(wù)模塊中與所述作業(yè)執(zhí)行服務(wù)名稱相匹配的當(dāng)前作業(yè)執(zhí)行服務(wù)模塊，接收所述當(dāng)前調(diào)度服務(wù)模塊確定的調(diào)度結(jié)果，并且根據(jù)所述調(diào)度結(jié)果中包含的設(shè)備標(biāo)識和所述待執(zhí)行作業(yè)的全局標(biāo)識，將所述待執(zhí)行作業(yè)提交至用于執(zhí)行所述待執(zhí)行作業(yè)高性能計(jì)算機(jī)。