[發明專利]基于知識蒸餾的神經網絡訓練方案和圖像處理方案

在審

• 申請號: 201910735490.2
• 申請日: 2019-08-09
• 公開（公告）號: CN110472681A
• 公開（公告）日: 2019-11-19
• 發明（設計）人: 彭寶云
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00
• 代理公司: 11270 北京派特恩知識產權代理有限公司
• 代理人: 崔曉嵐;張穎玲<國際申請>=<國際公布>

1.一種基于知識蒸餾的神經網絡訓練方法，其特征在于，所述方法包括：

從通過第一神經網絡對樣本圖像處理得到的第一分類結果集合中，選取至少一個第一目標結果，其中，所述第一分類結果集合包括多個類別中每個類別對應的分類結果；

從通過第二神經網絡對所述樣本圖像處理得到的第二分類結果集合中，選取與所述至少一個第一目標結果對應的至少一個第二目標結果；

根據所述至少一個第一目標結果和所述至少一個第二目標結果，調整所述第二神經網絡的網絡參數。

2.根據權利要求1所述的方法，其特征在于，所述從通過第一神經網絡對樣本圖像處理得到的第一分類結果集合中，選取至少一個第一目標結果，包括：

基于第一分類結果集合中包含的多個第一分類結果的對應數值，從所述第一分類結果集合中選擇至少一個第一目標結果。

3.根據權利要求1或2所述的方法，其特征在于，所述從通過第一神經網絡對樣本圖像處理得到的第一分類結果集合中，選取至少一個第一目標結果，包括：

從所述第一分類結果集合中，選擇對應數值最高的至少一個第一分類結果作為所述至少一個第一目標結果。

4.根據權利要求1至3中任一項所述的方法，其特征在于，所述從通過第一神經網絡對樣本圖像處理得到的第一分類結果集合中，選取至少一個第一目標結果，包括：

將所述第一分類結果集合中對應數值大于或等于預設閾值的至少一個第一分類結果確定為所述至少一個第一目標結果。

5.根據權利要求1至3中任一項所述的方法，其特征在于，所述從通過第一神經網絡對樣本圖像處理得到的第一分類結果集合中，選取至少一個第一目標結果，包括：

將所述第一分類結果集合中對應數值最高的前N個第一分類結果，作為所述至少一個第一目標結果，其中，N為預設數值。

6.一種圖像處理方法，其特征在于，包括：

獲取待處理圖像；

通過第二神經網絡對所述待處理圖像進行分類處理，得到圖像分類結果，其中，所述第二神經網絡是基于通過對第一神經網絡得到的第一分類結果集合進行過濾獲得的目標分類結果進行知識蒸餾得到的。

7.一種基于知識蒸餾的神經網絡訓練裝置，其特征在于，所述裝置包括：

第一選取模塊，用于從通過第一神經網絡對樣本圖像處理得到的第一分類結果集合中，選取至少一個第一目標結果，其中，所述第一分類結果集合包括多個類別中每個類別對應的分類結果；

第二選取模塊，用于從通過第二神經網絡對所述樣本圖像處理得到的第二分類結果集合中，選取與所述至少一個第一目標結果對應的至少一個第二目標結果；

第一調整模塊，用于根據所述至少一個第一目標結果和所述至少一個第二目標結果，調整所述第二神經網絡的網絡參數。

8.一種圖像處理裝置，其特征在于，包括：

第一獲取模塊，用于獲取待處理圖像；

第一分類模塊，用于通過第二神經網絡對所述待處理圖像進行分類處理，得到圖像分類結果，其中，所述第二神經網絡是基于通過對第一神經網絡得到的第一分類結果集合進行過濾獲得的目標分類結果進行知識蒸餾得到的。

9.一種計算機存儲介質，其特征在于，所述計算機存儲介質上存儲有計算機可執行指令，該計算機可執行指令被執行后，能夠實現權利要求1至5任一項所述的方法步驟，或，該計算機可執行指令被執行后，能夠實現權利要求6所述的方法步驟。

10.一種計算機設備，其特征在于，所述計算機設備包括存儲器和處理器，所述存儲器上存儲有計算機可執行指令，所述處理器運行所述存儲器上的計算機可執行指令時可實現權利要求1至5任一項所述的方法步驟，或者，所述處理器運行所述存儲器上的計算機可執行指令時可實現權利要求6所述的方法步驟。