[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法及裝置、設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201811013132.2
• 申請日: 2018-08-31
• 公開（公告）號: CN110874634A
• 公開（公告）日: 2020-03-10
• 發(fā)明（設(shè)計）人: 王夢娣;張慶;楊軍;崔曉源;林偉
• 申請（專利權(quán)）人: 阿里巴巴集團控股有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京東方億思知識產(chǎn)權(quán)代理有限責(zé)任公司 11258
• 代理人: 吳崇

本發(fā)明公開了一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法及裝置、設(shè)備和存儲介質(zhì)，所述神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法，包括：獲取待優(yōu)化的神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)；基于所述拓撲結(jié)構(gòu)，對所述神經(jīng)網(wǎng)絡(luò)進行剪枝處理，以優(yōu)化所述神經(jīng)網(wǎng)絡(luò)。根據(jù)本發(fā)明的神經(jīng)網(wǎng)絡(luò)的優(yōu)化方案，基于拓撲結(jié)構(gòu)對神經(jīng)網(wǎng)絡(luò)進行剪枝處理，能夠減小神經(jīng)網(wǎng)絡(luò)的大小和計算量，從而提升神經(jīng)網(wǎng)絡(luò)的計算推理速度。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機領(lǐng)域，尤其是涉及一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法及裝置、設(shè)備和計算機可讀存儲介質(zhì)。

背景技術(shù)

當(dāng)前，神經(jīng)網(wǎng)絡(luò)已廣泛應(yīng)用于多種機器學(xué)習(xí)場景，神經(jīng)網(wǎng)絡(luò)的推理(Inference)指的是基于訓(xùn)練好的網(wǎng)絡(luò)模型對測試數(shù)據(jù)進行計算和預(yù)測的計算推理過程。通常，可以對神經(jīng)網(wǎng)絡(luò)的推理進行加速，以縮短其運算所消耗的時常。目前對神經(jīng)網(wǎng)絡(luò)推理加速的框架主要有以下幾種：

①由英偉達公司推出的TensorRT：TensorRT是一種高性能神經(jīng)網(wǎng)絡(luò)推理引擎，用于在生產(chǎn)環(huán)境中部署深度學(xué)習(xí)應(yīng)用程序，應(yīng)用有圖像分類、分割和目標檢測等，可提供最大的推理吞吐量和效率。該框架只能用于推理，不能用于訓(xùn)練，其主要通過1)消除未使用的輸出層以避免不必要的計算；2)在可能的情況下，將卷積層、批標準化層以及激活函數(shù)層融合以形成單個層，包括垂直層融合和水平層融合，來實現(xiàn)推理加速。

②由蘋果公司推出的Core ML：Core ML主要針對設(shè)備的性能進行了優(yōu)化，最大限度地減少內(nèi)存占用和功耗，該框架主要通過系統(tǒng)層的優(yōu)化以加速推理過程。

③由騰訊公司推出的NCNN：NCNN是手機端極致優(yōu)化的高性能神經(jīng)網(wǎng)絡(luò)前向計算框架。

④由高通公司推出的驍龍神經(jīng)處理引擎(Snapdragon Neural ProcessingEngine，SNPE)：該框架是一個神經(jīng)網(wǎng)絡(luò)處理引擎，可運行于搭載了高通Zeroth機器智能平臺的820芯片處理器，開發(fā)者可以在SNPE上搭建自己的深度學(xué)習(xí)網(wǎng)絡(luò)模型。

⑤由微軟推出的嵌入式學(xué)習(xí)庫(Embedded Learning Library，ELL)：該框架旨在把部分云端的機器學(xué)習(xí)計算轉(zhuǎn)移到嵌入式設(shè)備上進行。

⑥開源框架WebDNN：WebDNN(Web Deep Neural Network，Web深度神經(jīng)網(wǎng)絡(luò))是一個專注于終端用戶設(shè)備上推理階段的執(zhí)行優(yōu)化的開源框架，它包含兩種模型：圖形轉(zhuǎn)譯器，用于將訓(xùn)練過的模型轉(zhuǎn)譯并優(yōu)化成能夠在瀏覽器上執(zhí)行的格式；以及描述符運行器，用于在瀏覽器上執(zhí)行轉(zhuǎn)換過的模型。

以上平臺多為基于一種硬件或一個特定場景(如瀏覽器下)下推理計算的系統(tǒng)層優(yōu)化。但是，近年來由于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在向更深、更寬的層面深度發(fā)展，因此一個神經(jīng)網(wǎng)絡(luò)應(yīng)用于一種硬件或一個特定場景的模式往往需要消耗較長的計算推理時間，才能得到推理結(jié)果，這不利于神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展和推廣，尤其是對那些響應(yīng)延遲敏感的業(yè)務(wù)例如線上服務(wù)而言是不可容忍的。

發(fā)明內(nèi)容

本發(fā)明實施例提供一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法及裝置、設(shè)備和計算機可讀存儲介質(zhì)，用以解決神經(jīng)網(wǎng)絡(luò)計算推理慢的問題。

一方面，本發(fā)明實施例提供一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法，包括：

獲取待優(yōu)化的神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)；

基于所述拓撲結(jié)構(gòu)，對所述神經(jīng)網(wǎng)絡(luò)進行剪枝處理，以優(yōu)化所述神經(jīng)網(wǎng)絡(luò)。

另一方面，本發(fā)明實施例提供了一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化裝置，所述裝置包括：

拓撲結(jié)構(gòu)獲取模塊，用于獲取待優(yōu)化的神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)；

剪枝處理模塊，用于基于所述拓撲結(jié)構(gòu)，對所述神經(jīng)網(wǎng)絡(luò)進行剪枝處理，以優(yōu)化所述神經(jīng)網(wǎng)絡(luò)。

再一方面，本發(fā)明實施例提供了一種設(shè)備，設(shè)備包括：

存儲器，用于存儲程序；