[發明專利]訓練用于圖像識別的神經網絡的方法和神經網絡設備

在審

• 申請號: 202010175255.7
• 申請日: 2020-03-13
• 公開（公告）號: CN112508186A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 趙民炅;李沅祚;李承遠
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06K9/62
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 劉燦強;張川緒

提供了一種訓練用于圖像識別的神經網絡的方法和神經網絡設備。所述方法基于包括在神經網絡中的多個層的權重分布來設置權重閾值，預測通過基于權重閾值對每層的修剪的神經網絡的推斷準確度的變化，確定包括在神經網絡中的多個層中的將使用權重閾值修剪的當前目標層，和修剪確定的當前目標層。

本申請要求于2019年9月16日在韓國知識產權局提交的第10-2019-0113527號韓國專利申請的權益，所述韓國專利申請的全部公開出于所有目的通過引用包含于此。

技術領域

下面的描述涉及圖像識別，更具體地，涉及用于圖像識別的神經網絡方法和設備。

背景技術

神經網絡是通過參照計算的架構來實現的處理器實現的計算系統。

用于圖像識別的神經網絡設備可對輸入的圖像數據執行大量復雜的運算，以進行圖像識別。隨著神經網絡的輸入圖像和訓練操作的增加，形成神經網絡的架構的連接性(connectivity)會變得復雜，過去訓練圖像的準確度會增加，并且會產生過擬合問題：相對于先前的訓練圖像，對新圖像的預測值的可靠性降低，而不是準確度增加。此外，神經網絡的復雜度的增加會引起存儲器分配量的過度增加，并且導致相關裝置的小型化和商品化的低效性能。

發明內容

提供本發明內容以便以簡化的形式介紹在以下具體實施方式中進一步描述的構思的選擇。本發明內容不意在確定要求保護的主題的關鍵特征或必要特征，也不意在用于幫助確定要求保護的主題的范圍。

在一個總體方面，一種訓練用于圖像識別的神經網絡的方法包括：獲取第一圖像集；基于第一圖像集對神經網絡進行預訓練；獲得預訓練后的神經網絡的多個層的權重；基于確定的權重分布，設置用于將神經網絡修剪到目標修剪率的權重閾值；基于權重閾值來修剪神經網絡的所述多個層；基于輸入的作為第二圖像集的修剪數據集來預測神經網絡的修剪的多個層的推斷準確度的變化；基于預測的推斷準確度的變化，確定神經網絡的所述多個層中的將被修剪的當前目標層；和通過修剪確定的當前目標層來生成修剪的神經網絡。

修剪數據集可以是從包括在給定圖像集中的每個類隨機提取的預定數量的圖像。

所述方法還可包括：確定神經網絡的所述多個層的權重分布。

當前目標層可被確定為在除了先前修剪的層之外的層中的被預測為對預測的推斷準確度的變化具有最低靈敏度的層。

預測推斷準確度的變化的步驟可包括：基于在對所述多個層中的每層執行修剪之前的推斷準確度與在對所述多個層中的每層執行修剪之后的推斷準確度之間的差，計算所述多個層中的每層的靈敏度。

被預測為具有最低靈敏度的層可對應于被預測為對神經網絡的推斷準確度的降低具有最小影響的層。

設置權重閾值的步驟可包括：當確定的權重分布對應于標準正態分布時，將與目標修剪率對應的權重值設置為權重閾值。

修剪當前目標層的步驟可包括：通過更新權重閾值來調整當前目標層的權重的修剪率，直到基于修剪數據集的神經網絡的推斷準確度降低到閾值準確度為止，來修剪當前目標層。

更新權重閾值的步驟可包括：當包括被修剪到當前權重閾值的權重的神經網絡的推斷準確度沒有被降低到閾值準確度時，增加當前權重閾值。

可重復執行當前目標層的確定和確定的當前目標層的修剪，直到達到目標修剪率，或者對神經網絡的所有層或者所有層中的預定數量的層的修剪完成。

所述方法還可包括提供修剪數據集，其中修剪數據集可包括以下中的一個：通過針對包括在給定圖像集中的每個類隨機提取預定數量的圖像而生成的圖像集、和通過從修剪數據集選擇有效類并且針對每個選擇的有效類隨機提取預定數量的圖像而生成的圖像集。