[發(fā)明專(zhuān)利]神經(jīng)網(wǎng)絡(luò)模型壓縮方法、裝置和計(jì)算機(jī)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201811037330.2
• 申請(qǐng)日: 2018-09-05
• 公開(kāi)（公告）號(hào): CN109165720A
• 公開(kāi)（公告）日: 2019-01-08
• 發(fā)明（設(shè)計(jì)）人: 金玲玲;饒東升;何文瑋
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳靈圖慧視科技有限公司
• 主分類(lèi)號(hào): G06N3/00
• 分類(lèi)號(hào): G06N3/00;G06N3/08
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.神經(jīng)網(wǎng)絡(luò)模型壓縮方法，包括：

獲取經(jīng)訓(xùn)練后的第一神經(jīng)網(wǎng)絡(luò)模型；

從第一神經(jīng)網(wǎng)絡(luò)模型的各層中選取至少一層作為待壓縮層；

按照預(yù)設(shè)規(guī)則對(duì)待壓縮層進(jìn)行排序；

根據(jù)排序的先后順序，利用遺傳算法對(duì)待壓縮層的部分或全部執(zhí)行壓縮處理以獲得第二神經(jīng)網(wǎng)絡(luò)模型，其中，第二神經(jīng)網(wǎng)絡(luò)模型基于預(yù)置的訓(xùn)練樣本的精度不低于預(yù)設(shè)精度。

2.根據(jù)權(quán)利要求1所述的方法，其中，按照預(yù)設(shè)規(guī)則對(duì)待壓縮層進(jìn)行排序，包括：

按照待壓縮層在第一神經(jīng)網(wǎng)絡(luò)模型中所處的層級(jí)的層級(jí)數(shù)由大到小對(duì)待壓縮層進(jìn)行先后排序。

3.根據(jù)權(quán)利要求1所述的方法，其中，按照預(yù)設(shè)規(guī)則對(duì)待壓縮層進(jìn)行排序，包括：

按照待壓縮層對(duì)第一神經(jīng)網(wǎng)絡(luò)模型損失的貢獻(xiàn)度由小到大對(duì)待壓縮層進(jìn)行先后排序。

4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其中，根據(jù)排序的先后順序，利用遺傳算法對(duì)待壓縮層的部分或全部執(zhí)行壓縮處理以獲得第二神經(jīng)網(wǎng)絡(luò)模型，包括：

在每一次利用遺傳算法對(duì)其中一待壓縮層執(zhí)行壓縮處理后，利用預(yù)置的訓(xùn)練樣本對(duì)當(dāng)前的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；

若當(dāng)前的神經(jīng)網(wǎng)絡(luò)模型的精度不低于預(yù)設(shè)精度，則在還剩有未執(zhí)行壓縮處理的待壓縮層時(shí)，根據(jù)排序的先后順序繼續(xù)對(duì)后一待壓縮層執(zhí)行壓縮處理，在已對(duì)全部待壓縮層執(zhí)行壓縮處理時(shí)，將當(dāng)前的神經(jīng)網(wǎng)絡(luò)模型確定為經(jīng)壓縮處理后的第二神經(jīng)網(wǎng)絡(luò)模型；若當(dāng)前的神經(jīng)網(wǎng)絡(luò)模型的精度低于預(yù)設(shè)精度，則將前一待壓縮層執(zhí)行壓縮處理后的神經(jīng)網(wǎng)絡(luò)模型確定為經(jīng)壓縮處理后的第二神經(jīng)網(wǎng)絡(luò)模型。

5.根據(jù)權(quán)利要求1所述的方法，其中，利用遺傳算法對(duì)待壓縮層的部分或全部執(zhí)行壓縮處理，包括：

獲取待壓縮層的網(wǎng)絡(luò)結(jié)構(gòu)信息；

根據(jù)待壓縮層的網(wǎng)絡(luò)結(jié)構(gòu)信息，對(duì)待壓縮層進(jìn)行編碼，以獲得一染色體；

根據(jù)獲得的一染色體，進(jìn)行群體初始化生成初始群體；

計(jì)算群體中染色體個(gè)體的適應(yīng)度值；

判斷是否達(dá)到終止條件；

若未達(dá)到終止條件，則以適應(yīng)度值為標(biāo)準(zhǔn)，選擇部分適應(yīng)度值滿足要求的染色體個(gè)體，執(zhí)行復(fù)制、交叉或變異操作，從而產(chǎn)生新一代群體，然后返回計(jì)算群體中染色體個(gè)體的適應(yīng)度值步驟；

若達(dá)到終止條件，則輸出適應(yīng)度值最優(yōu)的染色體個(gè)體，以此獲得經(jīng)壓縮處理后的待壓縮層。

6.根據(jù)權(quán)利要求5所述的方法，其中，計(jì)算群體中染色體個(gè)體的適應(yīng)度值，包括：

分別計(jì)算群體中染色體個(gè)體基于精度和基于壓縮的適應(yīng)度值；

相應(yīng)的，以適應(yīng)度值為標(biāo)準(zhǔn)，選擇部分適應(yīng)度值滿足要求的染色體個(gè)體，執(zhí)行復(fù)制、交叉或變異操作，從而產(chǎn)生新一代群體，包括：

根據(jù)基于精度的適應(yīng)度值，獲取群體中染色體個(gè)體的第一選擇概率，根據(jù)第一選擇概率選擇第一染色體個(gè)體，以及，根據(jù)基于壓縮的適應(yīng)度值，獲取群體中染色體個(gè)體的第二選擇概率，根據(jù)第二選擇概率從第一染色體個(gè)體中選擇第二染色體個(gè)體；對(duì)第二染色體個(gè)體執(zhí)行復(fù)制、交叉或變異操作，從而產(chǎn)生第一代群體。

7.神經(jīng)網(wǎng)絡(luò)模型壓縮裝置，包括：

獲取模塊，用于獲取經(jīng)訓(xùn)練后的第一神經(jīng)網(wǎng)絡(luò)模型；

選取模塊，用于從第一神經(jīng)網(wǎng)絡(luò)模型的各層中選取至少一層作為待壓縮層；

排序模塊，用于按照預(yù)設(shè)規(guī)則對(duì)待壓縮層進(jìn)行排序；

壓縮模塊，用于根據(jù)排序的先后順序，利用遺傳算法對(duì)待壓縮層的部分或全部執(zhí)行壓縮處理以獲得第二神經(jīng)網(wǎng)絡(luò)模型，其中，第二神經(jīng)網(wǎng)絡(luò)模型基于預(yù)置的訓(xùn)練樣本的精度不低于預(yù)設(shè)精度。

8.根據(jù)權(quán)利要求7所述的裝置，其中，排序模塊具體用于：

按照待壓縮層在第一神經(jīng)網(wǎng)絡(luò)模型中所處的層級(jí)的層級(jí)數(shù)由大到小對(duì)待壓縮層進(jìn)行先后排序。

9.根據(jù)權(quán)利要求7所述的裝置，其中，排序模塊具體用于：

按照待壓縮層對(duì)第一神經(jīng)網(wǎng)絡(luò)模型損失的貢獻(xiàn)度由小到大對(duì)待壓縮層進(jìn)行先后排序。