[發(fā)明專利]一種基于搜索的深度學(xué)習(xí)模型部署方法及裝置

有效

• 申請?zhí)枺?/td>: 202310557259.5
• 申請日: 2023-05-17
• 公開（公告）號: CN116306856B
• 公開（公告）日: 2023-09-05
• 發(fā)明（設(shè)計）人: 王鵬程;李勇;陳自強;呂波;程穩(wěn);曾令仿;陳光;胡陳樞
• 申請（專利權(quán)）人: 之江實驗室
• 主分類號: G06N3/065
• 分類號: G06N3/065;G06F8/41
• 代理公司: 北京博思佳知識產(chǎn)權(quán)代理有限公司 11415
• 代理人: 鄧超

1.一種基于搜索的深度學(xué)習(xí)模型部署方法，其特征在于，包括：

通過深度學(xué)習(xí)編譯器確定出的所述深度學(xué)習(xí)模型對應(yīng)的高級IR，并將所述高級IR進(jìn)行圖優(yōu)化，得到優(yōu)化后的計算圖；將所述優(yōu)化后的計算圖，作為獲取到的所述深度學(xué)習(xí)模型所對應(yīng)的計算圖；

確定所述計算圖中包括的算子，并確定每個算子匹配的硬件資源；其中，針對每個算子，當(dāng)該算子被預(yù)設(shè)的硬件計算庫支持時，則確定該算子匹配的硬件資源為可支持該算子運行的硬件對應(yīng)的資源；當(dāng)該算子不被預(yù)設(shè)的硬件計算庫支持時，將該算子分配給深度學(xué)習(xí)編譯器進(jìn)行編譯，并確定該算子匹配的硬件資源為所述深度學(xué)習(xí)編譯器對應(yīng)的默認(rèn)硬件資源；

根據(jù)各算子匹配的硬件資源，構(gòu)建搜索空間，針對所述搜索空間中包括的每個樣本，該樣本用于表示一種將算子分配給各硬件資源的分配方案：

從所述搜索空間中選取出目標(biāo)樣本，并確定所述目標(biāo)樣本對應(yīng)的運行時長，以及確定所述目標(biāo)樣本對應(yīng)的鄰域樣本，并確定所述鄰域樣本對應(yīng)的運行時長，若所述鄰域樣本對應(yīng)的運行時長短于所述目標(biāo)樣本的運行時長，將所述鄰域樣本作為重新確定出的目標(biāo)樣本，并繼續(xù)確定目標(biāo)樣本對應(yīng)的鄰域樣本以及鄰域樣本對應(yīng)的運行時長，直到滿足預(yù)設(shè)迭代終止條件為止；

按照目標(biāo)樣本所對應(yīng)的分配方案，將深度學(xué)習(xí)模型的算子進(jìn)行硬件資源的分配，以對所述深度學(xué)習(xí)模型進(jìn)行部署。

2.如權(quán)利要求1所述的方法，其特征在于，從所述搜索空間中選取出目標(biāo)樣本，具體包括：

從所述搜索空間中隨機選取出初始樣本，作為目標(biāo)樣本。

3.如權(quán)利要求1所述的方法，其特征在于，針對每個樣本，該樣本所對應(yīng)的鄰域樣本為在該樣本對應(yīng)的分配方案中隨機選擇一個算子并隨機更換為其分配的硬件資源，得到該樣本所對應(yīng)的鄰域樣本。

4.如權(quán)利要求1所述的方法，其特征在于，確定樣本對應(yīng)的運行時長，具體包括：

根據(jù)樣本對應(yīng)的分配方案，將分配給同一硬件并且在所述計算圖中符合預(yù)設(shè)邏輯關(guān)系的至少兩個相鄰的算子進(jìn)行合并，得到各編譯單元，每個編譯單元中包含至少一個算子；

針對每個編譯單元，確定該編譯單元對應(yīng)的代碼，并基于該編譯單元對應(yīng)的代碼進(jìn)行編譯，得到該編譯單元對應(yīng)的可執(zhí)行文件；

將各編譯單元對應(yīng)的可執(zhí)行文件進(jìn)行鏈接，得到鏈接后的可執(zhí)行文件；

基于所述鏈接后的可執(zhí)行文件，按照所述樣本對應(yīng)的分配方案，在分配的硬件資源上對所述深度學(xué)習(xí)模型進(jìn)行執(zhí)行，得到所述樣本對應(yīng)的運行時間。

5.如權(quán)利要求1所述的方法，其特征在于，所述預(yù)設(shè)迭代終止條件包括：到達(dá)預(yù)設(shè)的迭代次數(shù)。

6.如權(quán)利要求1所述的方法，其特征在于，滿足預(yù)設(shè)迭代終止條件，具體包括：

若在至少N次的迭代中目標(biāo)樣本對應(yīng)的運行時長趨于一致，則確定滿足所述預(yù)設(shè)迭代終止條件，其中，N為正整數(shù)。