[發(fā)明專利]應(yīng)用于云聯(lián)邦的人工智能池化算法調(diào)度與管理方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110015006.6
• 申請(qǐng)日: 2021-01-06
• 公開(kāi)（公告）號(hào): CN112783645A
• 公開(kāi)（公告）日: 2021-05-11
• 發(fā)明（設(shè)計(jì)）人: 程家明;孔繁東;周志祥;彭偉
• 申請(qǐng)（專利權(quán)）人: 武漢興圖新科電子股份有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50
• 代理公司: 武漢知產(chǎn)時(shí)代知識(shí)產(chǎn)權(quán)代理有限公司 42238
• 代理人: 張毅

本發(fā)明涉及人工智能服務(wù)應(yīng)用領(lǐng)域，提出一種應(yīng)用于云聯(lián)邦的人工智能池化算法調(diào)度與管理方法，其特征在于，包括步驟：獲取算法池，向所述算法池中調(diào)入算法實(shí)例；根據(jù)算法調(diào)度請(qǐng)求，在所述算法池的算法實(shí)例中，調(diào)出與所述算法調(diào)度請(qǐng)求對(duì)應(yīng)的目標(biāo)算法實(shí)例。本發(fā)明解決靜態(tài)資源分配導(dǎo)致的部署靈活性差、資源利用率低的問(wèn)題；解決了傳統(tǒng)GPU虛擬化技術(shù)的復(fù)雜性和規(guī)模問(wèn)題；在滿足同等資源條件以及保證服務(wù)可用的前提下，盡可能發(fā)揮資源的最大能效。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能服務(wù)應(yīng)用領(lǐng)域，尤其涉及一種應(yīng)用于云聯(lián)邦的人工智能池化算法調(diào)度與管理方法及裝置。

背景技術(shù)

現(xiàn)有技術(shù)中，90％以上的人工智能應(yīng)用都運(yùn)行在GPU上，而且GPU價(jià)格昂貴。當(dāng)模型訓(xùn)練完成，在實(shí)際場(chǎng)景進(jìn)行部署的時(shí)候，GPU通常采用靜態(tài)分配。每個(gè)算法都需要固定大小的顯存，一個(gè)業(yè)務(wù)場(chǎng)景需要多個(gè)算法和檢測(cè)規(guī)則，算法模型在啟動(dòng)實(shí)例化的時(shí)候也比較的耗時(shí)，所以，一般在算法部署的時(shí)候，就根據(jù)GPU顯存大小、算法類型和算法個(gè)數(shù)提前分配好GPU資源。實(shí)際應(yīng)用場(chǎng)景中，由于每個(gè)算法工作的時(shí)長(zhǎng)，以及每個(gè)算法的檢測(cè)速度都不一樣，現(xiàn)有技術(shù)的資源預(yù)分配，存在算法模型部署靈活性差，資源利用率低，極大的造成了資源浪費(fèi)的技術(shù)問(wèn)題。

上述內(nèi)容僅用于輔助理解本發(fā)明的技術(shù)方案，并不代表承認(rèn)上述內(nèi)容是現(xiàn)有技術(shù)。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于，解決現(xiàn)有技術(shù)的資源預(yù)分配，存在算法模型部署靈活性差，資源利用率低，極大的造成了資源浪費(fèi)的技術(shù)問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供應(yīng)用于云聯(lián)邦的人工智能池化算法調(diào)度與管理方法，包括以下步驟：

S1：獲取算法池，向所述算法池中調(diào)入算法實(shí)例；

S2：根據(jù)算法調(diào)度請(qǐng)求，在所述算法池的算法實(shí)例中，調(diào)出與所述算法調(diào)度請(qǐng)求對(duì)應(yīng)的目標(biāo)算法實(shí)例。

優(yōu)選地，步驟S1具體為：

S11：獲取算法池，配置所述算法池的算法實(shí)例最小數(shù)量；

S12：檢測(cè)所述算法池是否為空，若是，則根據(jù)所述算法實(shí)例最小數(shù)量，向所述算法池中調(diào)入對(duì)應(yīng)數(shù)量的算法對(duì)象，進(jìn)入步驟S13；否則進(jìn)入步驟S2；

S13：將各所述算法對(duì)象進(jìn)行實(shí)例化處理，獲得對(duì)應(yīng)的算法實(shí)例。

優(yōu)選地，步驟S2具體為：

S21：接收到算法調(diào)度請(qǐng)求后，檢測(cè)所述算法池中是否存在與所述算法調(diào)度請(qǐng)求對(duì)應(yīng)的目標(biāo)算法實(shí)例；

S22：若存在，則將所述目標(biāo)算法實(shí)例調(diào)出所述算法池，進(jìn)入步驟S23；否則進(jìn)入步驟S24；

S23：檢測(cè)所述算法調(diào)度請(qǐng)求的每秒請(qǐng)求數(shù)；若所述每秒請(qǐng)求數(shù)大于或等于閾值，且所述算法池中算法實(shí)例的當(dāng)前數(shù)量沒(méi)有達(dá)到最大值，則向所述算法池中添加新的算法實(shí)例，返回步驟S21；否則不進(jìn)行任何操作，返回步驟S21；

S24：進(jìn)入等待隊(duì)列，等待時(shí)間t開(kāi)始計(jì)時(shí)；若所述等待時(shí)間t小于或等于預(yù)設(shè)值，且收到算法實(shí)例釋放信號(hào)，則返回步驟S21；若所述等待時(shí)間t大于預(yù)設(shè)值，或收到結(jié)束命令，則請(qǐng)求進(jìn)行超時(shí)處理，并返回步驟S21。

優(yōu)選地，每隔預(yù)設(shè)時(shí)間T進(jìn)行一次步驟S3；

S3：檢測(cè)所述算法池中各所述算法實(shí)例的存活時(shí)間，根據(jù)所述存活時(shí)間釋放空閑的算法實(shí)例。

優(yōu)選地，步驟S3具體為：

S31：檢測(cè)各所述算法實(shí)例的存活時(shí)間；若存在所述存活時(shí)間大于或等于空閑時(shí)間的算法實(shí)例，則將所述存活時(shí)間大于或等于空閑時(shí)間的算法實(shí)例標(biāo)記為空閑的算法實(shí)例，進(jìn)入步驟S32；否則結(jié)束步驟S3；