[發明專利]訓練用于圖像識別的神經網絡的方法和神經網絡設備

在審

• 申請號: 202010175255.7
• 申請日: 2020-03-13
• 公開（公告）號: CN112508186A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 趙民炅;李沅祚;李承遠
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06K9/62
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 劉燦強;張川緒

1.一種訓練用于圖像識別的神經網絡的方法，包括：

獲取第一圖像集；

基于第一圖像集對神經網絡進行預訓練；

獲得預訓練后的神經網絡的多個層的權重；

基于確定的權重分布，設置用于將神經網絡修剪到目標修剪率的權重閾值；

基于權重閾值來修剪神經網絡的所述多個層；

基于輸入的作為第二圖像集的修剪數據集來預測神經網絡的修剪的多個層的推斷準確度的變化；

基于預測的推斷準確度的變化，確定神經網絡的所述多個層中的將被修剪的當前目標層；和

通過修剪確定的當前目標層來生成修剪的神經網絡。

2.根據權利要求1所述的方法，其中，修剪數據集是從包括在給定圖像集中的每個類隨機提取的預定數量的圖像。

3.根據權利要求1所述的方法，還包括：確定神經網絡的所述多個層的權重分布。

4.根據權利要求1所述的方法，其中，當前目標層被確定為在除了先前修剪的層之外的層中的被預測為對預測的推斷準確度的變化具有最低靈敏度的層。

5.根據權利要求4所述的方法，其中，預測推斷準確度的變化的步驟包括：基于在對所述多個層中的每層執行修剪之前的推斷準確度與在對所述多個層中的每層執行修剪之后的推斷準確度之間的差，計算所述多個層中的每層的靈敏度。

6.根據權利要求4所述的方法，其中，被預測為具有最低靈敏度的層對應于被預測為對神經網絡的推斷準確度的降低具有最小影響的層。

7.根據權利要求1所述的方法，其中，設置權重閾值的步驟包括：當確定的權重分布對應于標準正態分布時，將與目標修剪率對應的權重值設置為權重閾值。

8.根據權利要求1所述的方法，其中，修剪當前目標層的步驟包括：通過更新權重閾值來調整當前目標層的權重的修剪率，直到基于修剪數據集的神經網絡的推斷準確度降低到閾值準確度為止，來修剪當前目標層。

9.根據權利要求8所述的方法，其中，更新權重閾值的步驟包括：當包括被修剪到當前權重閾值的權重的神經網絡的推斷準確度沒有被降低到閾值準確度時，增加當前權重閾值。

10.根據權利要求1所述的方法，其中，重復執行當前目標層的確定和確定的當前目標層的修剪，直到達到目標修剪率，或者對神經網絡的所有層或者所有層中的預定數量的層的修剪完成。

11.根據權利要求1所述的方法，還包括：提供修剪數據集，

其中，修剪數據集包括以下中的一個：通過針對包括在給定圖像集中的每個類隨機提取預定數量的圖像而生成的圖像集、和通過從修剪數據集選擇有效類并且針對每個選擇的有效類隨機提取預定數量的圖像而生成的圖像集。

12.根據權利要求11所述的方法，其中，提供修剪數據集的步驟包括：

從包括在給定圖像集中的每個類隨機提取預定數量的圖像的樣本；

通過用神經網絡對隨機提取的樣本執行推斷，來確定與隨機提取的樣本中的每個樣本對應的標簽；

將包括在給定圖像集中的類中的其中最頻繁標簽的比例等于或大于預定準確度的類確定為有效類；和

從確定的有效類中的每個有效類隨機提取預定數量的圖像，

其中，基于從確定的有效類隨機提取的預定數量的圖像來提供修剪數據集。

13.根據權利要求1所述的方法，其中，在不使用修剪數據集再訓練修剪的神經網絡的情況下執行生成修剪的神經網絡的步驟。

14.根據權利要求1所述的方法，還包括：獲取待識別的圖像；和

使用生成的修剪的神經網絡對獲取的圖像執行推斷。