[發(fā)明專利]一種基于搜索的深度學(xué)習(xí)模型部署方法及裝置

有效

• 申請?zhí)枺?/td>: 202310557259.5
• 申請日: 2023-05-17
• 公開（公告）號: CN116306856B
• 公開（公告）日: 2023-09-05
• 發(fā)明（設(shè)計）人: 王鵬程;李勇;陳自強;呂波;程穩(wěn);曾令仿;陳光;胡陳樞
• 申請（專利權(quán)）人: 之江實驗室
• 主分類號: G06N3/065
• 分類號: G06N3/065;G06F8/41
• 代理公司: 北京博思佳知識產(chǎn)權(quán)代理有限公司 11415
• 代理人: 鄧超

本說明書公開了一種基于搜索的深度學(xué)習(xí)模型部署方法及裝置，可以獲取深度學(xué)習(xí)模型所對應(yīng)的計算圖，確定計算圖中包括的算子，并確定每個算子匹配的硬件資源，而后，根據(jù)各算子匹配的硬件資源，構(gòu)建搜索空間，從搜索空間中選取出目標(biāo)樣本，并確定目標(biāo)樣本對應(yīng)的運行時長，以及確定目標(biāo)樣本對應(yīng)的鄰域樣本，并確定鄰域樣本對應(yīng)的運行時長，若鄰域樣本對應(yīng)的運行時長短于目標(biāo)樣本的運行時長，將鄰域樣本作為重新確定出的目標(biāo)樣本，并繼續(xù)確定目標(biāo)樣本對應(yīng)的鄰域樣本以及對應(yīng)的運行時長，直到滿足預(yù)設(shè)迭代終止條件為止，按照目標(biāo)樣本所對應(yīng)的分配方案，對深度學(xué)習(xí)模型的算子進行硬件資源的分配，以進行部署，本方法可以提高深度學(xué)習(xí)模型的計算效率。

技術(shù)領(lǐng)域

本說明書涉及深度學(xué)習(xí)、編譯技術(shù)、高性能計算交叉技術(shù)領(lǐng)域，尤其涉及一種基于搜索的深度學(xué)習(xí)模型部署方法及裝置。

背景技術(shù)

近年來，深度學(xué)習(xí)技術(shù)已經(jīng)廣泛應(yīng)用于機器視覺、自然語言處理、自動駕駛等多個領(lǐng)域并取得了顯著效果。隨著深度學(xué)習(xí)模型結(jié)構(gòu)越來越復(fù)雜，參數(shù)量越來越大，如何保證模型的性能成了一個關(guān)鍵問題。

在實際應(yīng)用中，可以采用更高性能的硬件來運行深度學(xué)習(xí)模型，目前，市場上存在神經(jīng)網(wǎng)絡(luò)專用的加速芯片。當(dāng)然，還可以采用深度學(xué)習(xí)編譯器，來對深度學(xué)習(xí)模型進行構(gòu)建以及優(yōu)化，采用深度學(xué)習(xí)編譯器的方式，可由中央處理器（graphics?processing?unit，cpu）、顯卡（graphics?processing?unit，gpu）等來運行深度學(xué)習(xí)模型。

在實際的部署場景中可以將深度學(xué)習(xí)模型部署在多個硬件上，如，同時部署在cpu、gpu和多種神經(jīng)網(wǎng)絡(luò)加速芯片上，但是，當(dāng)前將深度學(xué)習(xí)模型部署在多個硬件上的方式，可以是依據(jù)人為經(jīng)驗，將深度學(xué)習(xí)模型指定的部分分配給指定的某些硬件進行運行，從而不一定能夠發(fā)揮最高的性能來有效率的運行深度學(xué)習(xí)模型。

從而，如何提高深度學(xué)習(xí)模型的運行效率，則是亟待解決的問題。

發(fā)明內(nèi)容

本說明書提供一種基于搜索的深度學(xué)習(xí)模型部署方法及裝置，以部分的解決現(xiàn)有技術(shù)存在的上述問題。

本說明書采用下述技術(shù)方案：

本說明書提供了一種基于搜索的深度學(xué)習(xí)模型部署方法，包括：

獲取深度學(xué)習(xí)模型所對應(yīng)的計算圖；

確定所述計算圖中包括的算子，并確定每個算子匹配的硬件資源；

根據(jù)各算子匹配的硬件資源，構(gòu)建搜索空間，針對所述搜索空間中包括的每個樣本，該樣本用于表示一種將算子分配給各硬件資源的分配方案：

從所述搜索空間中選取出目標(biāo)樣本，并確定所述目標(biāo)樣本對應(yīng)的運行時長，以及確定所述目標(biāo)樣本對應(yīng)的鄰域樣本，并確定所述鄰域樣本對應(yīng)的運行時長，若所述鄰域樣本對應(yīng)的運行時長短于所述目標(biāo)樣本的運行時長，將所述鄰域樣本作為重新確定出的目標(biāo)樣本，并繼續(xù)確定目標(biāo)樣本對應(yīng)的鄰域樣本以及鄰域樣本對應(yīng)的運行時長，直到滿足預(yù)設(shè)迭代終止條件為止；

按照目標(biāo)樣本所對應(yīng)的分配方案，將深度學(xué)習(xí)模型的算子進行硬件資源的分配，以對所述深度學(xué)習(xí)模型進行部署。

可選地，確定每個算子匹配的硬件資源，具體包括：

針對每個算子，確定該算子是否被預(yù)設(shè)的硬件計算庫支持；

若是，根據(jù)與該算子相匹配的硬件計算庫，確定該算子匹配的硬件資源，若否，確定將該算子分配給深度學(xué)習(xí)編譯器進行編譯，以及該算子相匹配的硬件資源為：所述深度學(xué)習(xí)編譯器所對應(yīng)的默認硬件資源。

可選地，獲取深度學(xué)習(xí)模型所對應(yīng)的計算圖，具體包括：

通過深度學(xué)習(xí)編譯器確定出的所述深度學(xué)習(xí)模型對應(yīng)的高級IR，并將所述高級IR進行圖優(yōu)化，得到優(yōu)化后的計算圖；