[發(fā)明專利]一種作業(yè)協(xié)同處理方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010404798.1
• 申請(qǐng)日: 2020-05-14
• 公開（公告）號(hào): CN111309491B
• 公開（公告）日: 2020-11-06
• 發(fā)明（設(shè)計(jì)）人: 譚天;胡敏杰;陳健
• 申請(qǐng)（專利權(quán)）人: 北京并行科技股份有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50
• 代理公司: 北京思睿峰知識(shí)產(chǎn)權(quán)代理有限公司 11396
• 代理人: 謝建云;高攀

本發(fā)明公開了一種作業(yè)協(xié)同處理方法，適于在第一超級(jí)計(jì)算中心中執(zhí)行，該超級(jí)計(jì)算中心包括多個(gè)資源節(jié)點(diǎn)，該方法包括步驟：獲取提交到第一超級(jí)計(jì)算中心的作業(yè)信息；根據(jù)作業(yè)信息確定不同于第一超級(jí)計(jì)算中心的至少一個(gè)超級(jí)計(jì)算中心為第二超級(jí)計(jì)算中心，并獲取第二超級(jí)計(jì)算中心的可用資源信息，其中，第二超級(jí)計(jì)算中心包括多個(gè)資源節(jié)點(diǎn)；根據(jù)可用資源信息將作業(yè)劃分為多個(gè)子作業(yè)；根據(jù)子作業(yè)信息生成配置信息，使第二超級(jí)計(jì)算中心根據(jù)配置信息分配可用資源，以處理子作業(yè)；獲取第二超級(jí)計(jì)算中心對(duì)子作業(yè)的處理結(jié)果，與第一超級(jí)計(jì)算中心的處理結(jié)果進(jìn)行合并。本發(fā)明還公開了相應(yīng)的作業(yè)協(xié)同處理系統(tǒng)。

技術(shù)領(lǐng)域

本發(fā)明涉及信息處理技術(shù)領(lǐng)域，特別涉及一種作業(yè)協(xié)同處理方法及系統(tǒng)。

背景技術(shù)

高性能計(jì)算是使用大量高性能硬件資源進(jìn)行并行計(jì)算的過程，執(zhí)行高性能計(jì)算的資源通常稱為超算集群，超算中心是提供公共高性能計(jì)算服務(wù)的機(jī)構(gòu)，通常擁有一套或者多套集群。現(xiàn)有的高性能計(jì)算任務(wù)通常體現(xiàn)為一個(gè)或者若干個(gè)作業(yè)。現(xiàn)有的超級(jí)計(jì)算資源的調(diào)度方法，作業(yè)提交后，通過一個(gè)超算中心的調(diào)度服務(wù)器，在作業(yè)提交時(shí)在本超算中心的資源中，匹配一組合適的資源，并分配能夠正好運(yùn)行該作業(yè)的計(jì)算節(jié)點(diǎn)，運(yùn)行客戶端提交的作業(yè)，從而保證作業(yè)的正常執(zhí)行。然而，隨著高性能計(jì)算在各領(lǐng)域的普及，計(jì)算任務(wù)無論從規(guī)模還是從數(shù)量來看都呈現(xiàn)爆發(fā)性增長(zhǎng)的趨勢(shì)，單一超算中心提供的資源難以滿足用戶需要，多超算中心下的協(xié)同有強(qiáng)烈的實(shí)際需求。

目前高性能計(jì)算中對(duì)于任務(wù)之間的協(xié)同缺乏有效的范式和基礎(chǔ)設(shè)施，在實(shí)際實(shí)現(xiàn)中通常使用簡(jiǎn)單方法實(shí)現(xiàn)，例如在共享存儲(chǔ)上使用文件交換信息，這種方法的效率，可靠性都無法得到保障，而且無法支持跨地域通信與協(xié)同。而解決大量的基礎(chǔ)設(shè)施層和實(shí)現(xiàn)跨地域協(xié)同的技術(shù)問題，往往需要對(duì)已有的程序進(jìn)行修改或者編寫額外代碼實(shí)現(xiàn)作業(yè)的跨地域協(xié)同。

發(fā)明內(nèi)容

為此，本發(fā)明提供了一種作業(yè)協(xié)同處理方法及系統(tǒng)，以力圖解決或者至少緩解上面存在的至少一個(gè)問題。

根據(jù)本發(fā)明的一個(gè)方面，提供了一種作業(yè)協(xié)同處理方法，適于在第一超級(jí)計(jì)算中心中執(zhí)行，該超級(jí)計(jì)算中心包括多個(gè)資源節(jié)點(diǎn)，該方法包括步驟：獲取提交到第一超級(jí)計(jì)算中心的作業(yè)信息；根據(jù)作業(yè)信息確定不同于所述第一超級(jí)計(jì)算中心的至少一個(gè)超級(jí)計(jì)算中心為第二超級(jí)計(jì)算中心，并獲取第二超級(jí)計(jì)算中心的可用資源信息，其中，第二超級(jí)計(jì)算中心包括多個(gè)資源節(jié)點(diǎn)；根據(jù)可用資源信息將作業(yè)劃分為多個(gè)子作業(yè)，根據(jù)子作業(yè)信息生成配置信息，使第二超級(jí)計(jì)算中心根據(jù)所述配置信息分配可用資源，以處理子作業(yè)；獲取第二超級(jí)計(jì)算中心對(duì)子作業(yè)的處理結(jié)果，與第一超級(jí)計(jì)算中心的處理結(jié)果進(jìn)行合并。

可選地，在根據(jù)本發(fā)明的作業(yè)協(xié)同處理方法中，作業(yè)信息包括執(zhí)行文件和屬性信息，其中，執(zhí)行文件用于在資源節(jié)點(diǎn)上執(zhí)行以處理作業(yè)；屬性信息包括作業(yè)內(nèi)存需求、作業(yè)性能需求和作業(yè)所需節(jié)點(diǎn)數(shù)，用于判斷資源節(jié)點(diǎn)是否可用

可選地，在根據(jù)本發(fā)明的作業(yè)協(xié)同處理方法中，根據(jù)作業(yè)信息確定至少一個(gè)超級(jí)計(jì)算中心為第二超算中心，包括步驟：根據(jù)作業(yè)的屬性信息生成資源請(qǐng)求，發(fā)送資源請(qǐng)求給其他超級(jí)計(jì)算中心；接收其他超級(jí)計(jì)算中心的請(qǐng)求結(jié)果，請(qǐng)求結(jié)果包括至少一個(gè)第二超級(jí)計(jì)算中心的可用資源節(jié)點(diǎn)信息。

可選地，在根據(jù)本發(fā)明的作業(yè)協(xié)同處理方法中，請(qǐng)求結(jié)果還包括請(qǐng)求結(jié)果有效期，當(dāng)請(qǐng)求結(jié)果超出有效期時(shí)，重新發(fā)送資源請(qǐng)求。

可選地，在根據(jù)本發(fā)明的作業(yè)協(xié)同處理方法中，根據(jù)可用資源信息將作業(yè)劃分為多個(gè)子作業(yè)，包括步驟：獲取預(yù)設(shè)的作業(yè)處理模式；當(dāng)作業(yè)處理模式是最大本地化模式時(shí)，優(yōu)先使用第一超級(jí)計(jì)算中心的資源。

可選地，在根據(jù)本發(fā)明的作業(yè)協(xié)同處理方法中，可用資源信息包括可用資源節(jié)點(diǎn)的性能參數(shù)，所述根據(jù)所述可用資源信息將作業(yè)劃分為多個(gè)子作業(yè)，還包括步驟；當(dāng)作業(yè)處理模式是最大性能化模式時(shí)，比較第一超級(jí)計(jì)算中心和第二超級(jí)計(jì)算中心的性能參數(shù)，優(yōu)先使用性能更高的超級(jí)計(jì)算中心的資源。