[發明專利]一種卷積神經網絡的輕量化方法及裝置

在審

• 申請號: 201711123049.6
• 申請日: 2017-11-14
• 公開（公告）號: CN107832835A
• 公開（公告）日: 2018-03-23
• 發明（設計）人: 傅鴻;閭凡兵;尹紀軍;鈕玉曉;王棟梁;丁繼強
• 申請（專利權）人: 貴陽海信網絡科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06K9/00
• 代理公司: 北京同達信恒知識產權代理有限公司11291
• 代理人: 朱佳

1.一種卷積神經網絡的輕量化方法，其特征在于，所述方法包括：

獲取卷積神經網絡模型中每層卷積層中的每個卷積核的權重系數矩陣；

針對任意一個權重系數矩陣，將該權重系數矩陣中絕對值小于預設閾值的權重系數值置為零，獲得第一矩陣以及第二矩陣；所述第一矩陣中包括該權重系數矩陣中所有非零的權重系數，所述第二矩陣中包括該權重系數矩陣中所有非零的權重系數在該權重系數矩陣中的下標值；將所述第一矩陣以及所述第二矩陣作為壓縮后的該權重系數矩陣；

根據所述卷積神經網絡模型中每層卷積層中的每個卷積核壓縮后的權重系數矩陣對輸入的圖像進行交通擁堵識別。

2.根據權利要求1所述的方法，其特征在于，所述獲得第一矩陣以及第二矩陣之后，所述方法還包括：

采用霍夫曼編碼壓縮所述第一矩陣和所述第二矩陣。

3.根據權利要求1所述的方法，其特征在于，所述第二矩陣的第一項為所述權重系數矩陣中所有非零的權重系數的第一項的下標值；所述第二矩陣的第K項的下標值為所述權重系數矩陣中所有非零的權重系數中第K項權重系數的下標值與第K-1項的下標值的差值，K大于或等于2。

4.如權利要求1所述的方法，其特征在于，所述根據所述卷積神經網絡模型中每層卷積層中的每個卷積核壓縮后的權重系數矩陣對輸入的圖像進行交通擁堵識別，包括：

根據所述卷積神經網絡模型確定所述圖像中的車輛數目和排隊長度，并根據所述圖像中的車輛數目和排隊長度確定所述圖像的交通擁堵類別。

5.根據權利要求1所述的方法，其特征在于，所述卷積神經網絡包括M個卷積層，M大于2；

針對所述M個卷積層中第2層至第M-1層中的第n個卷積層，該卷積層包括第一子卷積層和第二子卷積層；所述第一子卷積層的輸出通道與所述第二子卷積層的輸入通道連接；

該卷積層中的第一子卷積層包括P個1×1的卷積核；所述P為第n-1層卷積層的輸出通道數；該卷積層中的第二子卷積層包括J個1×1的卷積核以及L個3×3的卷積核，P＝J+L×3；所述M，P，J，L為大于或等于1的正整數，所述n為大于1且小于M的正整數。

6.一種卷積神經網絡的輕量化裝置，其特征在于，所述裝置包括：

接收單元，用于獲取卷積神經網絡模型中每層卷積層中的每個卷積核的權重系數矩陣；

處理單元，用于針對任意一個權重系數矩陣，將該權重系數矩陣中絕對值小于預設閾值的權重系數值置為零，獲得第一矩陣以及第二矩陣；所述第一矩陣中包括該權重系數矩陣中所有非零的權重系數，所述第二矩陣中包括該權重系數矩陣中所有非零的權重系數在該權重系數矩陣中的下標值；將所述第一矩陣以及所述第二矩陣作為壓縮后的該權重系數矩陣；根據所述卷積神經網絡模型中每層卷積層中的每個卷積核壓縮后的權重系數矩陣對輸入的圖像進行交通擁堵識別。

7.根據權利要求1所述的裝置，其特征在于，所述處理單元采用霍夫曼編碼壓縮所述第一矩陣和所述第二矩陣。

8.根據權利要求1所述的裝置，其特征在于，所述第二矩陣的第一項為所述權重系數矩陣中所有非零的權重系數的第一項的下標值；所述第二矩陣的第K項的下標值為所述權重系數矩陣中所有非零的權重系數中第K項權重系數的下標值與第K-1項的下標值的差值，K大于或等于2。

9.如權利要求1所述的裝置，其特征在于，所述處理單元用于：

根據所述卷積神經網絡模型確定所述圖像中的車輛數目和排隊長度，并根據所述圖像中的車輛數目和排隊長度確定所述圖像的交通擁堵類別。

10.根據權利要求1所述的裝置，其特征在于，所述卷積神經網絡包括M個卷積層，M大于2；

針對所述M個卷積層中第2層至第M-1層中的第n個卷積層，該卷積層包括第一子卷積層和第二子卷積層；所述第一子卷積層的輸出通道與所述第二子卷積層的輸入通道連接；

該卷積層中的第一子卷積層包括P個1×1的卷積核；所述P為第n-1層卷積層的輸出通道數；該卷積層中的第二子卷積層包括J個1×1的卷積核以及L個3×3的卷積核，P＝J+L×3；所述M，P，J，L為大于或等于1的正整數，所述n為大于1且小于M的正整數。