[發(fā)明專利]一種復雜模型的優(yōu)化方法、裝置、設(shè)備及可讀介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010989609.1
• 申請日: 2020-09-18
• 公開（公告）號: CN112230926B
• 公開（公告）日: 2022-07-26
• 發(fā)明（設(shè)計）人: 王鵬飛
• 申請（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F8/40
• 分類號: G06F8/40;G06F8/76;G06N5/04
• 代理公司: 北京連和連知識產(chǎn)權(quán)代理有限公司 11278
• 代理人: 張騰;張元

本發(fā)明公開了一種復雜模型的優(yōu)化方法，包括以下步驟：對復雜模型進行預轉(zhuǎn)換并通過結(jié)構(gòu)圖顯示，篩選并標定不支持算子；根據(jù)標定的不支持算子對復雜模型進行截斷，得到基于不支持算子的截斷模型和基于支持算子的原生模型；以及將截斷模型和原生模型在不同的環(huán)境下分別運行，并將結(jié)果進行聯(lián)合推理。本發(fā)明還公開了一種復雜模型的優(yōu)化裝置、計算機設(shè)備和可讀存儲介質(zhì)。本發(fā)明通過截斷模型的模型優(yōu)化方法，基于不同類型的算子將模型拆分為兩種框架支持，快速實現(xiàn)模型優(yōu)化，無需手寫不支持算子的插件，避免了由此帶來的內(nèi)存泄漏或效率較低等問題，既可以優(yōu)化性能，又可以保證可移植性、易用性，同時提高推理效率。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種復雜模型的優(yōu)化方法、裝置、設(shè)備及可讀介質(zhì)。

背景技術(shù)

隨著深度學習算法的不斷發(fā)展，以及算力和數(shù)據(jù)的不斷提高及豐富，人工智能AI應(yīng)用正在各行各業(yè)完成實踐、落地。當前大多數(shù)AI應(yīng)用都是基于深度學習技術(shù)，在數(shù)據(jù)驅(qū)動下建立模型、訓練驗證、工程部署和推理實現(xiàn)。其中，推理實現(xiàn)過程直接與業(yè)務(wù)場景連接，成為能否落地使用的關(guān)鍵點。影響推理性能的因素較多，包括硬件配置、工程部署方式、算法和模型復雜度以及推理框架等。算法和模型是影響模型部署及使用的內(nèi)驅(qū)因素，針對算法和模型本身的優(yōu)化可以稱之為模型優(yōu)化，其余優(yōu)化均為系統(tǒng)優(yōu)化。模型優(yōu)化包括量化壓縮、裁剪、蒸餾，業(yè)界有較多工具及開源實現(xiàn)可以幫助完成，但是因算法及模型不斷創(chuàng)新，模型復雜程度不斷增加，模型優(yōu)化工具往往無法將模型所有算子都支持轉(zhuǎn)換優(yōu)化，比如TensorRT、TVM等工具支持算子都要遠少于TesnorFLow或Pytorch這樣的深度學習框架。

針對模型中算子無法完全轉(zhuǎn)化到推理引擎的模型，即復雜模型，目前的優(yōu)化方法有：基于原生框架直接進行推理；基于TensroRT編寫插件將不支持的算子實現(xiàn)；基于其它優(yōu)化推理引擎的模型優(yōu)化。

基于原生框架直接進行推理，該種方案是指利用某種深度學習框架訓練的深度學習模型，訓練完成后直接在該模型框架上進行推理使用。該方案實現(xiàn)較簡單，但是無法對模型進行優(yōu)化，且僅僅支持自身框架訓練的模型。模型復雜情況下，無法進行有效的優(yōu)化加速。

基于TensroRT編寫插件將不支持的算子實現(xiàn)，該種方案是指利用TensorRT的API和CUDA的并行加速能力定制化實現(xiàn)不支持的算子。該方案可以在少量算子不支持的情況下完成整個模型的轉(zhuǎn)換、優(yōu)化。

基于其它優(yōu)化推理引擎的模型優(yōu)化，業(yè)界使用較多的推理優(yōu)化引擎包括TVM、OpenVINO等。該種方案對于復雜模型依然會有不支持的算子，采用的方案也是定制插件，利用其自身的API完成整個轉(zhuǎn)換過程，并未直接針對GPU架構(gòu)，效率較低。

現(xiàn)有技術(shù)中，基于TensroRT編寫插件將不支持的算子實現(xiàn)和基于其它優(yōu)化推理引擎的模型優(yōu)化這兩種方案僅有少量算子不支持的情況下可以較為高效的進行模型轉(zhuǎn)換優(yōu)化，但是復雜模型轉(zhuǎn)化時會出現(xiàn)如下問題：穩(wěn)定性，運行和精度穩(wěn)定性都無法保障；效率，要基于CUDA-X實現(xiàn)后端其效率無法保障；可移植性，不同型號之間可能帶來插件算子的不匹配問題；復雜性，實現(xiàn)一個手寫插件需要大量的代碼調(diào)試和編寫，如果模型本身較復雜不支持的算子較多，其帶來的工作量相當可觀。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實施例的目的在于提出一種復雜模型的優(yōu)化方法、裝置、設(shè)備及可讀介質(zhì)，通過截斷模型的模型優(yōu)化方法，基于不同類型的算子將模型拆分為兩種框架支持，快速實現(xiàn)模型優(yōu)化，無需手寫不支持算子的插件，避免了由此帶來的內(nèi)存泄漏或效率較低等問題，既可以優(yōu)化性能，又可以保證可移植性、易用性，同時提高推理效率。

基于上述目的，本發(fā)明實施例的一方面提供了一種復雜模型的優(yōu)化方法，包括以下步驟：對復雜模型進行預轉(zhuǎn)換并通過結(jié)構(gòu)圖顯示，篩選并標定不支持算子；根據(jù)標定的不支持算子對復雜模型進行截斷，得到基于不支持算子的截斷模型和基于支持算子的原生模型；以及將截斷模型和原生模型在不同的環(huán)境下分別運行，并將結(jié)果進行聯(lián)合推理。