[發(fā)明專利]資源調(diào)度方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201911395401.0
• 申請(qǐng)日: 2019-12-30
• 公開（公告）號(hào): CN113127179A
• 公開（公告）日: 2021-07-16
• 發(fā)明（設(shè)計(jì)）人: 金士英
• 申請(qǐng)（專利權(quán)）人: 中興通訊股份有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50;G06F9/48
• 代理公司: 北京天昊聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 11112
• 代理人: 馮建基;姜春咸

本公開提供了一種資源調(diào)度方法，其包括：響應(yīng)新的任務(wù)請(qǐng)求判斷執(zhí)行器是否均處于工作狀態(tài)，若是，則將新任務(wù)加入一級(jí)緩存隊(duì)列等待；若否，則將所述新任務(wù)加入二級(jí)緩存隊(duì)列等待或被所述執(zhí)行器執(zhí)行。該方法既降低了延時(shí)性，提高了用戶的體驗(yàn)；又兼顧了服務(wù)器的吞吐量，提高了服務(wù)器的使用效率。本公開還提供了一種資源調(diào)度裝置、電子設(shè)備及計(jì)算機(jī)可讀介質(zhì)。

技術(shù)領(lǐng)域

本公開實(shí)施例涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，特別涉及一種資源調(diào)度方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀介質(zhì)。

背景技術(shù)

深度學(xué)習(xí)的模型在訓(xùn)練完成后，常被部署在基于云計(jì)算資源的服務(wù)器上，以供客戶端根據(jù)自己的推離任務(wù)使用該模型。在實(shí)際應(yīng)用中，服務(wù)器通常同時(shí)服務(wù)不同客戶端的推理任務(wù)請(qǐng)求，而且這些客戶端的推理任務(wù)請(qǐng)求常使用不同模型或使用不同版本的模型。服務(wù)器不僅要滿足客戶端對(duì)延時(shí)性的要求，還要考慮自身性能(如吞吐量)和資源使用效率的問(wèn)題。

由于服務(wù)器的運(yùn)算能力較強(qiáng)，完成一個(gè)推理任務(wù)請(qǐng)求和多個(gè)推理任務(wù)請(qǐng)求花費(fèi)的時(shí)間相差不大。為了提高性能和資源使用效率，服務(wù)器通常將多個(gè)小的推理任務(wù)請(qǐng)求(資源占用較小)合并成一個(gè)大的任務(wù)集，如當(dāng)一個(gè)推理任務(wù)請(qǐng)求含有的數(shù)據(jù)量較少時(shí)，先將該推理任務(wù)請(qǐng)求放置在等待隊(duì)列，等待后續(xù)的推理任務(wù)請(qǐng)求合并成一個(gè)數(shù)據(jù)量較大的任務(wù)集，再進(jìn)行計(jì)算。這種調(diào)度方式無(wú)疑加大了客戶端的時(shí)延。而且，當(dāng)服務(wù)器有可用的計(jì)算資源(比如空閑的線程、CPU、GPU等)時(shí)，由于需要形成足夠數(shù)據(jù)量的任務(wù)集后才開始計(jì)算，服務(wù)器“被迫”處于閑置狀態(tài)，導(dǎo)致服務(wù)器資源的浪費(fèi)。另外，服務(wù)器開始計(jì)算時(shí)，將任務(wù)集從緩存拷貝到計(jì)算資源上也需要一定的時(shí)間開銷。

發(fā)明內(nèi)容

本公開實(shí)施例提供一種資源調(diào)度方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀介質(zhì)，以解決現(xiàn)有技術(shù)中由于服務(wù)器的調(diào)度方式的缺陷而導(dǎo)致時(shí)延較長(zhǎng)和資源使用效率不佳的問(wèn)題。

第一方面，本公開實(shí)施例提供一種資源調(diào)度方法，其包括：

響應(yīng)新的任務(wù)請(qǐng)求判斷執(zhí)行器是否均處于工作狀態(tài)，若是，則將新任務(wù)加入一級(jí)緩存隊(duì)列等待；若否，則將所述新任務(wù)加入二級(jí)緩存隊(duì)列等待或被所述執(zhí)行器執(zhí)行。

第二方面，本公開實(shí)施例提供一種資源調(diào)度的裝置，其包括：緩存模塊和執(zhí)行模塊，所述緩存模塊用于存儲(chǔ)一級(jí)緩存隊(duì)列的新任務(wù)；所述執(zhí)行模塊用于存儲(chǔ)二級(jí)緩存隊(duì)列的新任務(wù)和執(zhí)行所述新任務(wù)；其中，

所述緩存模塊包括至少一個(gè)一級(jí)任務(wù)集，所述一級(jí)任務(wù)集用于在執(zhí)行器均處于工作狀態(tài)時(shí)，存儲(chǔ)一級(jí)緩存隊(duì)列的新任務(wù)；

所述執(zhí)行模塊包括至少一個(gè)執(zhí)行器，所述執(zhí)行器包括一對(duì)二級(jí)任務(wù)集和執(zhí)行模型，所述二級(jí)任務(wù)集用于所述執(zhí)行器處于空閑狀態(tài)或等待狀態(tài)時(shí)，存放二級(jí)緩存隊(duì)列的新任務(wù)；所述執(zhí)行模型用于執(zhí)行所述新任務(wù)。

第三方面，本公開實(shí)施例提供一種電子設(shè)備，其包括：

一個(gè)或多個(gè)處理器；

存儲(chǔ)裝置，其上存儲(chǔ)有一個(gè)或多個(gè)程序，當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)本公開實(shí)施例提供的資源調(diào)度方法。

第四方面，本公開實(shí)施例提供一種計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本公開實(shí)施例提供的資源調(diào)度方法。

本公開實(shí)施例提供的資源調(diào)度方法，當(dāng)收到新的任務(wù)請(qǐng)求后，判斷執(zhí)行裝置中的執(zhí)行器是否均處于工作狀態(tài)，若否，則將新任務(wù)加入一級(jí)緩存隊(duì)列等待；若是，則將所述新任務(wù)加入二級(jí)緩存隊(duì)列等待或被所述執(zhí)行器執(zhí)行，即，如果有可用資源，則新任務(wù)會(huì)進(jìn)入二級(jí)緩存隊(duì)列，并在條件滿足時(shí)立即開始計(jì)算，無(wú)需額外的等待和拷貝時(shí)間，如果無(wú)可用資源，則新任務(wù)會(huì)進(jìn)入一級(jí)緩存隊(duì)列，待執(zhí)行器有空閑時(shí)，新任務(wù)第一時(shí)間被調(diào)度，既降低了延時(shí)性，提高了用戶的體驗(yàn)；又兼顧了服務(wù)器的吞吐量，提高了服務(wù)器的使用效率。

附圖說(shuō)明