[發明專利]基于知識蒸餾的神經網絡訓練方案和圖像處理方案

在審

• 申請號: 201910735490.2
• 申請日: 2019-08-09
• 公開（公告）號: CN110472681A
• 公開（公告）日: 2019-11-19
• 發明（設計）人: 彭寶云
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00
• 代理公司: 11270 北京派特恩知識產權代理有限公司
• 代理人: 崔曉嵐;張穎玲<國際申請>=<國際公布>

本申請實施例提供一種基于知識蒸餾的神經網絡訓練方案和圖像處理方案，其中，訓練方法包括：從通過第一神經網絡對樣本圖像處理得到的第一分類結果集合中，選取至少一個第一目標結果，其中，所述第一分類結果集合包括多個類別中每個類別對應的分類結果；從通過第二神經網絡對所述樣本圖像處理得到的第二分類結果集合中，選取與所述至少一個第一目標結果對應的至少一個第二目標結果；根據所述至少一個第一目標結果和所述至少一個第二目標結果，調整所述第二神經網絡的網絡參數。

技術領域

本申請實施例涉及機器學習領域，涉及但不限于基于知識蒸餾的神經網絡訓練方案和圖像處理方案。

背景技術

隨著在移動端等具有有限數值處理能力的設備上部署深度學習模型的需求的不斷增多，知識蒸餾等小模型訓練方法成為本領域的研究熱點。知識蒸餾是通過將教師網絡的知識遷移到學生網絡中，提升學生網絡的性能，縮小大小網絡之間的性能差距。在相關技術中基于知識蒸餾的神經網絡訓練方法都聚焦于盡可能多地遷移教師網絡的知識給學生網絡，最終得到的學生網絡的性能還有待進一步提高。

發明內容

本申請實施例提供一種基于知識蒸餾的神經網絡訓練方案和圖像處理方案。

第一方面，本申請實施例提供一種基于知識蒸餾的神經網絡訓練方法，所述方法包括：從通過第一神經網絡對樣本圖像處理得到的第一分類結果集合中，選取至少一個第一目標結果，其中，所述第一分類結果集合包括多個類別中每個類別對應的分類結果；從通過第二神經網絡對所述樣本圖像處理得到的第二分類結果集合中，選取與所述至少一個第一目標結果對應的至少一個第二目標結果；根據所述至少一個第一目標結果和所述至少一個第二目標結果，調整所述第二神經網絡的網絡參數。

在一種可能的實現方式中，所述從通過第一神經網絡對樣本圖像處理得到的第一分類結果集合中，選取至少一個第一目標結果，包括：基于第一分類結果集合中包含的多個第一分類結果的對應數值，從所述第一分類結果集合中選擇至少一個第一目標結果。

在一種可能的實現方式中，所述從通過第一神經網絡對樣本圖像處理得到的第一分類結果集合中，選取至少一個第一目標結果，包括：從所述第一分類結果集合中，選擇對應數值最高的至少一個第一分類結果作為所述至少一個第一目標結果。

在一種可能的實現方式中，所述從通過第一神經網絡對樣本圖像處理得到的第一分類結果集合中，選取至少一個第一目標結果，包括：將所述第一分類結果集合中對應數值大于或等于預設閾值的至少一個第一分類結果確定為所述至少一個第一目標結果。

在一種可能的實現方式中，所述從通過第一神經網絡對樣本圖像處理得到的第一分類結果集合中，選取至少一個第一目標結果，包括：將所述第一分類結果集合中對應數值最高的前N個第一分類結果，作為所述至少一個第一目標結果，其中，N為預設數值。

在一種可能的實現方式中，所述從通過第一神經網絡對樣本圖像處理得到的第一分類結果集合中，選取至少一個第一目標結果，包括：基于數值累計閾值，從第一分類結果集合中，選擇數值最高的至少一個第一分類結果作為所述至少一個第一目標結果。

在一種可能的實現方式中，所述從通過第一神經網絡對樣本圖像處理得到的第一分類結果集合中，選取至少一個第一目標結果，包括：按照對應數值從大到小的順序，對所述第一分類結果集合中包括的多個分類結果進行排序；將排序后的前N個第一分類結果作為所述至少一個第一目標結果，其中，所述前N個第一分類結果的對應數值之和低于或等于數值累計閾值，且前N+1個第一分類結果的對應數值之和高于所述數值累計閾值。

在一種可能的實現方式中，所述從通過第二神經網絡對所述樣本圖像處理得到的第二分類結果集合中，選取與所述至少一個第一目標結果對應的至少一個第二目標結果，包括：確定至少一個第一目標結果對應的至少一個目標類別；從所述第二分類結果集合中選取所述至少一個目標類別對應的第二目標結果。