[發(fā)明專利]用于壓縮神經(jīng)網(wǎng)絡(luò)的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201711478743.X
• 申請(qǐng)日: 2017-12-29
• 公開（公告）號(hào): CN109993298B
• 公開（公告）日: 2023-08-08
• 發(fā)明（設(shè)計(jì)）人: 張剛
• 申請(qǐng)（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司
• 主分類號(hào): G06N3/0495
• 分類號(hào): G06N3/0495;G06N3/082
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

1.一種用于壓縮神經(jīng)網(wǎng)絡(luò)的方法，包括：

獲取待壓縮的經(jīng)訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)，其中，所述神經(jīng)網(wǎng)絡(luò)的占用空間超出占用空間閾值；

從所述神經(jīng)網(wǎng)絡(luò)的各層中選取至少一層作為待壓縮層；

按照待壓縮層在所述神經(jīng)網(wǎng)絡(luò)中所處的層級(jí)的層級(jí)數(shù)由大到小的順序，依次對(duì)每個(gè)待壓縮層執(zhí)行以下處理步驟：基于指定數(shù)目，對(duì)該待壓縮層中的參數(shù)進(jìn)行量化，并利用機(jī)器學(xué)習(xí)方法，基于預(yù)置的訓(xùn)練樣本對(duì)經(jīng)量化后的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

將對(duì)選取出的各個(gè)待壓縮層進(jìn)行所述處理步驟后所得的神經(jīng)網(wǎng)絡(luò)確定為經(jīng)壓縮后的神經(jīng)網(wǎng)絡(luò)，并存儲(chǔ)所述經(jīng)壓縮后的神經(jīng)網(wǎng)絡(luò)；

其中，所述基于指定數(shù)目，對(duì)該待壓縮層中的參數(shù)進(jìn)行量化，包括：

基于該待壓縮層中的參數(shù)的參數(shù)值，確定包含所述指定數(shù)目個(gè)映射值的映射值集合；對(duì)該待壓縮層中的參數(shù)進(jìn)行量化以將該參數(shù)置為所述映射值集合中的映射值。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述從所述神經(jīng)網(wǎng)絡(luò)的各層中選取至少一層作為待壓縮層，包括：

若所述神經(jīng)網(wǎng)絡(luò)包括卷積層和全連接層，則選取至少一個(gè)卷積層和/或至少一個(gè)全連接層作為待壓縮層。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述利用機(jī)器學(xué)習(xí)方法，基于預(yù)置的訓(xùn)練樣本對(duì)經(jīng)量化后的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，包括：

執(zhí)行以下量化訓(xùn)練操作：利用機(jī)器學(xué)習(xí)方法，基于所述訓(xùn)練樣本對(duì)經(jīng)量化后的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；如果當(dāng)前經(jīng)訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)的精度不低于預(yù)設(shè)精度，則停止執(zhí)行所述量化訓(xùn)練操作；

如果當(dāng)前經(jīng)訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)的精度低于所述預(yù)設(shè)精度，則擴(kuò)大所述指定數(shù)目，并重新執(zhí)行所述量化訓(xùn)練操作。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述基于該待壓縮層中的參數(shù)的參數(shù)值，確定包含所述指定數(shù)目個(gè)映射值的映射值集合，包括：

按照參數(shù)值大小對(duì)該待壓縮層中的參數(shù)進(jìn)行排序，將經(jīng)排序后的參數(shù)劃分成所述指定數(shù)目個(gè)參數(shù)序列；

對(duì)于每個(gè)參數(shù)序列，基于該參數(shù)序列中的參數(shù)的參數(shù)值，確定與該參數(shù)序列對(duì)應(yīng)的映射值；

將所確定的與所述指定數(shù)目個(gè)參數(shù)序列分別對(duì)應(yīng)的映射值生成映射值集合。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述基于該參數(shù)序列中的參數(shù)的參數(shù)值，確定與該參數(shù)序列對(duì)應(yīng)的映射值，包括：

若該參數(shù)序列中的參數(shù)的數(shù)量為奇數(shù)，則將該參數(shù)序列中的處于中間位置的參數(shù)的參數(shù)值確定為與該參數(shù)序列對(duì)應(yīng)的映射值。

6.根據(jù)權(quán)利要求4所述的方法，其中，所述基于該參數(shù)序列中的參數(shù)的參數(shù)值，確定與該參數(shù)序列對(duì)應(yīng)的映射值，還包括：

確定該參數(shù)序列中的參數(shù)的參數(shù)值的平均值，將所述平均值確定為與該參數(shù)序列對(duì)應(yīng)的映射值。

7.根據(jù)權(quán)利要求4所述的方法，其中，所述對(duì)該待壓縮層中的參數(shù)進(jìn)行量化以將該參數(shù)的參數(shù)值置為所述映射值集合中的映射值，包括：

對(duì)于該待壓縮層中的每個(gè)參數(shù)，在所述指定數(shù)目個(gè)參數(shù)序列中確定該參數(shù)所在的目標(biāo)參數(shù)序列，將該參數(shù)置為所述映射值集合中的與所述目標(biāo)參數(shù)對(duì)應(yīng)的映射值。

8.根據(jù)權(quán)利要求3所述的方法，其中，所述擴(kuò)大所述指定數(shù)目，包括：

將所述指定數(shù)目增加預(yù)設(shè)值。