[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法及裝置、設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201811013132.2
• 申請(qǐng)日: 2018-08-31
• 公開（公告）號(hào): CN110874634A
• 公開（公告）日: 2020-03-10
• 發(fā)明（設(shè)計(jì)）人: 王夢娣;張慶;楊軍;崔曉源;林偉
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08
• 代理公司: 北京東方億思知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11258
• 代理人: 吳崇

1.一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法，包括：

獲取待優(yōu)化的神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)；

基于所述拓?fù)浣Y(jié)構(gòu)，對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行剪枝處理，以優(yōu)化所述神經(jīng)網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述拓?fù)浣Y(jié)構(gòu)包括所述神經(jīng)網(wǎng)絡(luò)的計(jì)算圖，所述計(jì)算圖包括至少一個(gè)頂點(diǎn)，所述頂點(diǎn)表示所述神經(jīng)網(wǎng)絡(luò)中的計(jì)算操作，所述基于所述拓?fù)浣Y(jié)構(gòu)，對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行剪枝處理，包括：

將所述神經(jīng)網(wǎng)絡(luò)的計(jì)算圖中的一個(gè)或多個(gè)頂點(diǎn)移除。

3.根據(jù)權(quán)利要求1或2所述的方法，其中，所述拓?fù)浣Y(jié)構(gòu)包括所述神經(jīng)網(wǎng)絡(luò)的計(jì)算圖，所述計(jì)算圖包括至少一條邊，所述邊表示所述神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù)流向，所述基于所述拓?fù)浣Y(jié)構(gòu)，對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行剪枝處理，包括：

將所述神經(jīng)網(wǎng)絡(luò)的計(jì)算圖中的一條或多條邊移除。

4.根據(jù)權(quán)利要求2所述的方法，其中，所述頂點(diǎn)的類型包括批標(biāo)準(zhǔn)化類和卷積類，所述將所述神經(jīng)網(wǎng)絡(luò)的計(jì)算圖中的一個(gè)或多個(gè)頂點(diǎn)移除，包括：

對(duì)所述神經(jīng)網(wǎng)絡(luò)的計(jì)算圖中、類型為批標(biāo)準(zhǔn)化類的各頂點(diǎn)，確定該類頂點(diǎn)中為非關(guān)節(jié)點(diǎn)的頂點(diǎn)為待約束頂點(diǎn)；

對(duì)各待約束頂點(diǎn)進(jìn)行稀疏約束，并將稀疏約束后頂點(diǎn)權(quán)值小于預(yù)設(shè)頂點(diǎn)閾值的待約束頂點(diǎn)作為目標(biāo)頂點(diǎn)；

將各目標(biāo)頂點(diǎn)及與各目標(biāo)頂點(diǎn)相連的、類型為卷積類的頂點(diǎn)，分別從所述計(jì)算圖中移除。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述對(duì)各待約束頂點(diǎn)進(jìn)行稀疏約束，包括：

對(duì)各待約束頂點(diǎn)，若所述待約束頂點(diǎn)為所述第一頂點(diǎn)，且所述待約束頂點(diǎn)為合并頂點(diǎn)，則對(duì)所述待約束頂點(diǎn)進(jìn)行稀疏約束；

其中，所述第一頂點(diǎn)為被多個(gè)待約束頂點(diǎn)指向的待約束頂點(diǎn)。

6.根據(jù)權(quán)利要求4所述的方法，其中，所述對(duì)各待約束頂點(diǎn)進(jìn)行稀疏約束，包括：

對(duì)各待約束頂點(diǎn)，若所述待約束頂點(diǎn)為第一頂點(diǎn)，且所述待約束頂點(diǎn)不是合并頂點(diǎn)，則將所述待約束頂點(diǎn)和指向所述待約束頂點(diǎn)的其他待約束頂點(diǎn)形成第一頂點(diǎn)集合，對(duì)所述第一頂點(diǎn)集合進(jìn)行組稀疏約束；

其中，所述第一頂點(diǎn)為被多個(gè)待約束頂點(diǎn)指向的待約束頂點(diǎn)。

7.根據(jù)權(quán)利要求4所述的方法，其中，所述對(duì)各待約束頂點(diǎn)進(jìn)行稀疏約束，包括：

對(duì)各待約束頂點(diǎn)，若所述待約束頂點(diǎn)為第二頂點(diǎn)，則將所述待約束頂點(diǎn)和所述待約束頂點(diǎn)指向的其他待約束頂點(diǎn)形成第二頂點(diǎn)集合，對(duì)所述第二頂點(diǎn)集合進(jìn)行組稀疏約束；

其中，所述第二頂點(diǎn)是指向多個(gè)待約束頂點(diǎn)的待約束頂點(diǎn)。

8.根據(jù)權(quán)利要求4所述的方法，其中，所述對(duì)所述神經(jīng)網(wǎng)絡(luò)的計(jì)算圖中的多個(gè)頂點(diǎn)進(jìn)行稀疏約束，包括：

對(duì)各待約束頂點(diǎn)，若所述待約束頂點(diǎn)為第三頂點(diǎn)，則對(duì)所述待約束頂點(diǎn)進(jìn)行稀疏約束；

其中，所述第三頂點(diǎn)是僅與一個(gè)待約束頂點(diǎn)相連的待約束頂點(diǎn)。

9.根據(jù)權(quán)利要求3所述的方法，其中，將所述神經(jīng)網(wǎng)絡(luò)的計(jì)算圖中的一條或多條邊移除，包括：

確定所述神經(jīng)網(wǎng)絡(luò)的計(jì)算圖中的待約束邊；

對(duì)各待約束邊進(jìn)行稀疏約束，并將稀疏約束后邊權(quán)值小于預(yù)設(shè)邊閾值的待約束邊作為目標(biāo)邊；

將各目標(biāo)邊從所述計(jì)算圖中移除。

10.根據(jù)權(quán)利要求9所述的方法，其中，待約束邊為所述神經(jīng)網(wǎng)絡(luò)的計(jì)算圖中的非割邊，所述非割邊連接所述計(jì)算圖中的兩個(gè)頂點(diǎn)且是所述兩個(gè)頂點(diǎn)之間的唯一路徑。

11.根據(jù)權(quán)利要求1所述的方法，其中，所述對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行剪枝處理之后，所述的方法還包括：

對(duì)剪枝處理后的神經(jīng)網(wǎng)絡(luò)進(jìn)行微調(diào)訓(xùn)練。

12.根據(jù)權(quán)利要求1所述的方法，其中，所述對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行剪枝處理之后，所述的方法還包括：

對(duì)剪枝處理后的神經(jīng)網(wǎng)絡(luò)進(jìn)行知識(shí)蒸餾訓(xùn)練。