[發明專利]訓練神經網絡的方法、裝置和系統及存儲指令的存儲介質

在審

• 申請號: 201911086516.1
• 申請日: 2019-11-08
• 公開（公告）號: CN112784978A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 汪德宇;陳則瑋;溫東超;劉俊杰;陶瑋
• 申請（專利權）人: 佳能株式會社
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京怡豐知識產權代理有限公司 11293
• 代理人: 遲軍;李艷麗

1.一種訓練神經網絡的方法，所述神經網絡包括第一神經網絡和第二神經網絡，其特征在于，所述第一神經網絡的訓練還未完成且所述第二神經網絡的訓練還未開始，其中，對于當前的第一神經網絡和當前的第二神經網絡，所述方法包括：

輸出步驟，將樣本圖像經由所述當前的第一神經網絡得到第一輸出，將所述樣本圖像經由所述當前的第二神經網絡得到第二輸出；以及

更新步驟，根據第一損失函數值更新所述當前的第一神經網絡，根據第二損失函數值更新所述當前的第二神經網絡，其中，所述第一損失函數值根據所述第一輸出獲得，所述第二損失函數值根據所述第一輸出和所述第二輸出獲得。

2.根據權利要求1所述的方法，其中，

所述當前的第一神經網絡相對于其先前的狀態，至多已被更新1次；以及

所述當前的第二神經網絡相對于其先前的狀態，至多已被更新1次。

3.根據權利要求1所述的方法，其中，

所述第一輸出包括所述樣本圖像經由所述當前的第一神經網絡而得到第一處理結果；

所述第二輸出包括所述樣本圖像經由所述當前的第二神經網絡而得到第二處理結果。

4.根據權利要求3所述的方法，其中，在所述更新步驟中，所述第二損失函數值根據所述樣本圖像的標簽中的真實結果、所述第一處理結果和所述第二處理結果計算得到。

5.根據權利要求1或3所述的方法，其中，

所述第一輸出包括所述樣本圖像經由所述當前的第一神經網絡而得到第一樣本特征；

所述第二輸出包括所述樣本圖像經由所述當前的第二神經網絡而得到第二樣本特征。

6.根據權利要求5所述的方法，其中，在所述更新步驟中，所述第二損失函數值根據所述第一樣本特征和所述第二樣本特征計算得到。

7.根據權利要求5所述的方法，其中，在所述更新步驟中，所述第二損失函數值根據所述第一樣本特征中的特定區域內的特征和所述第二樣本特征中的所述特定區域內的特征計算得到；

其中，所述特定區域根據所述樣本圖像的標簽中的物體區域確定。

8.根據權利要求7所述的方法，其中，所述特定區域為所述物體區域、所述物體區域的平滑響應區域、所述物體區域的角點的平滑響應區域中的一種。

9.根據權利要求7所述的方法，其中，所述特定區域根據所述第二樣本特征的特征值被調整。

10.根據權利要求9所述的方法，其中，所述被調整的特定區域為由所述第二樣本特征中特征值大于或等于預定閾值的特征所對應的區域與所述特定區域所構成的合并區域。

11.根據權利要求9所述的方法，其中，所述第二損失函數值表示所述第一樣本特征和所述第二樣本特征在所述被調整的特定區域內的特征的差異。

12.根據權利要求11所述的方法，其中，所述第二損失函數值通過如下公式計算得到：

其中，I_E表示所述特定區域，表示所述第二樣本特征中的第c個通道的非特定區域內高響應特征所對應的區域，N_E表示I_E中的像素點個數，N_S表示中的像素點個數，t_ijc表示所述第一樣本特征中的像素點值，s_ijc表示所述第二樣本特征中的像素點值，W表示所述第一樣本特征和所述第二樣本特征的寬，H表示所述第一樣本特征和所述第二樣本特征的高，C表示所述第一樣本特征和所述第二樣本特征的通道數。

13.根據權利要求1所述的方法，其中，所述第一神經網絡為教師神經網絡，所述第二神經網絡為學生神經網絡。