[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)壓縮方法、圖像處理方法及裝置

在審

• 申請?zhí)枺?/td>: 201910891998.1
• 申請日: 2019-09-20
• 公開（公告）號: CN110717578A
• 公開（公告）日: 2020-01-21
• 發(fā)明（設(shè)計）人: 董弋鋒;李亮亮
• 申請（專利權(quán)）人: 北京邁格威科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 11722 北京鉦霖知識產(chǎn)權(quán)代理有限公司
• 代理人: 田飛飛;熊玉蘭

1.一種神經(jīng)網(wǎng)絡(luò)壓縮方法，其中，所述方法包括：

特征提取步驟，輸入訓(xùn)練樣本，基于所述神經(jīng)網(wǎng)絡(luò)的每個特征提取層的輸出以及所述特征提取層對應(yīng)的偏好參數(shù)，得到調(diào)整輸出，并正向傳播得到網(wǎng)絡(luò)輸出結(jié)果，其中，所述偏好參數(shù)與所述神經(jīng)網(wǎng)絡(luò)的多個所述特征提取層一一對應(yīng)；

損失獲取步驟，根據(jù)所述訓(xùn)練樣本對應(yīng)的標識以及所述網(wǎng)絡(luò)輸出結(jié)果，通過損失函數(shù)得到損失值；

參數(shù)調(diào)整步驟，基于所述損失值，調(diào)整所述神經(jīng)網(wǎng)絡(luò)的權(quán)重以及所述偏好參數(shù)；

壓縮步驟，刪除小于或等于第一閾值的所述偏好參數(shù)及其對應(yīng)的所述特征提取層，得到壓縮后的神經(jīng)網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的方法，其中，全部所述偏好參數(shù)形成一個偏好向量，所述損失函數(shù)包括：所述偏好向量的L1范數(shù)。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述損失函數(shù)還包括：正則化系數(shù)，所述正則化系數(shù)對所述L1范數(shù)正則化。

4.根據(jù)權(quán)利要求1所述的方法，其中，在所述壓縮步驟之前，所述方法還包括：第一判斷步驟，若所述損失值大于第二閾值，則返回所述特征提取步驟，若所述損失值小于或等于所述第二閾值，則執(zhí)行所述壓縮步驟。

5.根據(jù)權(quán)利要求1-4任一項所述的方法，其中，在所述壓縮步驟之后，所述方法還包括：第二判斷步驟，若所述神經(jīng)網(wǎng)絡(luò)未達到壓縮目標，則返回所述特征提取步驟。

6.根據(jù)權(quán)利要求5所述的方法，其中，所述神經(jīng)網(wǎng)絡(luò)未達到壓縮目標，包括：所述神經(jīng)網(wǎng)絡(luò)運算速度小于速度閾值。

7.根據(jù)權(quán)利要求5所述的方法，其中，所述神經(jīng)網(wǎng)絡(luò)未達到壓縮目標，包括：所述神經(jīng)網(wǎng)絡(luò)剩余的所述特征提取層的數(shù)量大于層數(shù)閾值。

8.根據(jù)權(quán)利要求5所述的方法，其中，所述第二判斷步驟還包括：若所述神經(jīng)網(wǎng)絡(luò)達到所述壓縮目標，則執(zhí)行微調(diào)步驟；其中所述微調(diào)步驟包括：基于所述訓(xùn)練樣本以及所述標識，調(diào)整所述神經(jīng)網(wǎng)絡(luò)的所述權(quán)重，使所述神經(jīng)網(wǎng)絡(luò)的損失值小于或等于第三閾值。

9.一種圖像處理方法，其中，所述方法包括：

輸入步驟，輸入待測圖像；

處理步驟，通過神經(jīng)網(wǎng)絡(luò)對所述待測圖像進行特征提取，其中，所述神經(jīng)網(wǎng)絡(luò)通過如權(quán)利要求1-8任一項所述的神經(jīng)網(wǎng)絡(luò)壓縮方法壓縮得到；

輸出步驟，輸出所述待測圖像的檢測結(jié)果。

10.一種神經(jīng)網(wǎng)絡(luò)壓縮裝置，其中，所述裝置包括：

特征提取模塊，用于輸入訓(xùn)練樣本，基于所述神經(jīng)網(wǎng)絡(luò)的每個特征提取層的輸出以及所述特征提取層對應(yīng)的偏好參數(shù)，得到調(diào)整輸出，并正向傳播得到網(wǎng)絡(luò)輸出結(jié)果，其中，所述偏好參數(shù)與所述神經(jīng)網(wǎng)絡(luò)的多個所述特征提取層一一對應(yīng)；

損失獲取模塊，用于根據(jù)所述訓(xùn)練樣本對應(yīng)的標識以及所述網(wǎng)絡(luò)輸出結(jié)果，通過損失函數(shù)得到損失值；

參數(shù)調(diào)整模塊，用于基于所述損失值，調(diào)整所述神經(jīng)網(wǎng)絡(luò)的權(quán)重以及所述偏好參數(shù)；

壓縮模塊，用于刪除小于或等于第一閾值的所述偏好參數(shù)及其對應(yīng)的所述特征提取層，得到壓縮后的神經(jīng)網(wǎng)絡(luò)。

11.一種圖像處理裝置，其中，所述裝置包括：

輸入模塊，用于輸入待測圖像；

處理模塊，用于通過神經(jīng)網(wǎng)絡(luò)對所述待測圖像進行特征提取，其中，所述神經(jīng)網(wǎng)絡(luò)通過如權(quán)利要求1-8任一項所述的神經(jīng)網(wǎng)絡(luò)壓縮方法壓縮得到；

輸出模塊，用于輸出所述待測圖像的檢測結(jié)果。

12.一種電子設(shè)備，其中，所述電子設(shè)備包括：

存儲器，用于存儲指令；以及

處理器，用于調(diào)用所述存儲器存儲的指令執(zhí)行如權(quán)利要求1-8中任一項所述的神經(jīng)網(wǎng)絡(luò)壓縮方法或如權(quán)利要求9所述的圖像處理方法。

13.一種計算機可讀存儲介質(zhì)，其中存儲有指令，所述指令被處理器執(zhí)行時，執(zhí)行如權(quán)利要求1-8中任一項所述的神經(jīng)網(wǎng)絡(luò)壓縮方法或如權(quán)利要求9所述的圖像處理方法。