[發(fā)明專利]一種復(fù)雜模型的優(yōu)化方法、裝置、設(shè)備及可讀介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010989609.1
• 申請(qǐng)日: 2020-09-18
• 公開（公告）號(hào): CN112230926B
• 公開（公告）日: 2022-07-26
• 發(fā)明（設(shè)計(jì)）人: 王鵬飛
• 申請(qǐng)（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號(hào): G06F8/40
• 分類號(hào): G06F8/40;G06F8/76;G06N5/04
• 代理公司: 北京連和連知識(shí)產(chǎn)權(quán)代理有限公司 11278
• 代理人: 張騰;張?jiān)?/td>

1.一種復(fù)雜模型的優(yōu)化方法，其特征在于，包括以下步驟：

對(duì)復(fù)雜模型進(jìn)行預(yù)轉(zhuǎn)換并通過結(jié)構(gòu)圖顯示，篩選并標(biāo)定不支持算子；

根據(jù)標(biāo)定的所述不支持算子對(duì)所述復(fù)雜模型進(jìn)行截?cái)啵玫交谒霾恢С炙阕拥慕財(cái)嗄Ｐ秃突谥С炙阕拥脑Ｐ停灰约?/p>

將所述截?cái)嗄Ｐ秃退鲈Ｐ驮诓煌沫h(huán)境下分別運(yùn)行，并將結(jié)果進(jìn)行聯(lián)合推理，

所述根據(jù)標(biāo)定的所述不支持算子對(duì)所述復(fù)雜模型進(jìn)行截?cái)喟ǎ?/p>

不斷增加所述不支持算子之間的OP數(shù)目，測(cè)試并記錄模型計(jì)算性能；

根據(jù)性能最優(yōu)原則選擇合適的連續(xù)OP數(shù)目，記錄兩個(gè)部分中間的切分節(jié)點(diǎn)作為模型的截?cái)喙?jié)點(diǎn)，并基于所述截?cái)喙?jié)點(diǎn)進(jìn)行截?cái)唷?/p>

2.根據(jù)權(quán)利要求1所述的復(fù)雜模型的優(yōu)化方法，其特征在于，對(duì)復(fù)雜模型進(jìn)行預(yù)轉(zhuǎn)換包括：

使用轉(zhuǎn)換工具將復(fù)雜模型轉(zhuǎn)換為運(yùn)行于預(yù)設(shè)類型模型的預(yù)設(shè)格式；

在轉(zhuǎn)換過程中，將不支持的算子進(jìn)行篩選和記錄。

3.根據(jù)權(quán)利要求2所述的復(fù)雜模型的優(yōu)化方法，其特征在于，使用轉(zhuǎn)換工具將復(fù)雜模型轉(zhuǎn)換為運(yùn)行于預(yù)設(shè)類型模型的預(yù)設(shè)格式包括：

使用trtexec/TFTRT工具將復(fù)雜模型轉(zhuǎn)換為運(yùn)行于TensorRT模型的TensorRT-plan格式。

4.根據(jù)權(quán)利要求1所述的復(fù)雜模型的優(yōu)化方法，其特征在于，將所述截?cái)嗄Ｐ秃退鲈Ｐ驮诓煌沫h(huán)境下分別運(yùn)行包括：

將基于所述不支持算子的截?cái)嗄Ｐ头庞赥ensorFlow框架中執(zhí)行。

5.根據(jù)權(quán)利要求1所述的復(fù)雜模型的優(yōu)化方法，其特征在于，將所述截?cái)嗄Ｐ秃退鲈Ｐ驮诓煌沫h(huán)境下分別運(yùn)行包括：

將基于支持算子的原生模型轉(zhuǎn)換為TensorRT-plan格式，并放于TensorRT中執(zhí)行。

6.根據(jù)權(quán)利要求1所述的復(fù)雜模型的優(yōu)化方法，其特征在于，將結(jié)果進(jìn)行聯(lián)合推理包括：

將截?cái)嗟墓?jié)點(diǎn)轉(zhuǎn)換為常量，并通過節(jié)點(diǎn)打印的形式求取所述常量。

7.一種復(fù)雜模型的優(yōu)化裝置，其特征在于，包括：

篩選模塊，配置用于對(duì)復(fù)雜模型進(jìn)行預(yù)轉(zhuǎn)換并通過結(jié)構(gòu)圖顯示，篩選并標(biāo)定不支持算子；

截?cái)嗄K，配置用于根據(jù)標(biāo)定的所述不支持算子對(duì)所述復(fù)雜模型進(jìn)行截?cái)啵玫交谒霾恢С炙阕拥慕財(cái)嗄Ｐ秃突谥С炙阕拥脑Ｐ停灰约?/p>

耦合模塊，配置用于將所述截?cái)嗄Ｐ秃退鲈Ｐ驮诓煌沫h(huán)境下分別運(yùn)行，并將結(jié)果進(jìn)行聯(lián)合推理，

所述截?cái)嗄K還配置用于：不斷增加所述不支持算子之間的OP數(shù)目，測(cè)試并記錄模型計(jì)算性能；根據(jù)性能最優(yōu)原則選擇合適的連續(xù)OP數(shù)目，記錄兩個(gè)部分中間的切分節(jié)點(diǎn)作為模型的截?cái)喙?jié)點(diǎn)，并基于所述截?cái)喙?jié)點(diǎn)進(jìn)行截?cái)唷?/p>

8.一種計(jì)算機(jī)設(shè)備，其特征在于，包括：

至少一個(gè)處理器；以及

存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)有可在所述處理器上運(yùn)行的計(jì)算機(jī)指令，所述指令由所述處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-6任意一項(xiàng)所述方法的步驟。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-6任意一項(xiàng)所述方法的步驟。