[發明專利]神經網絡訓練方法、目標檢測方法、裝置、設備和介質

在審

• 申請號: 202210102813.6
• 申請日: 2022-01-27
• 公開（公告）號: CN114494815A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 蔣旻悅
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京市漢坤律師事務所 11602
• 代理人: 姜浩然;吳麗麗

1.一種神經網絡訓練方法，包括：

將第一圖像樣本輸入第一子網絡，以得到第一特征圖和第一檢測結果，并且，將所述第一圖像樣本輸入第二子網絡，以得到第二特征圖，其中，所述第一子網絡和所述第二子網絡中的一個為老師網絡，所述第一子網絡和所述第二子網絡中的另一個為學生網絡，所述第一特征圖和所述第二特征圖的維數相同，所述第一檢測結果包括一個或多個第一檢測框結果；

對所述第一檢測結果中的每個第一檢測框結果進行編碼操作，以生成第一編碼結果中對應于該第一檢測框結果的第一框編碼結果，其中，每個第一框編碼結果的維數與所述第一特征圖和所述第二特征圖的通道數相同；

對所述第一編碼結果和所述第一特征圖進行自注意計算，以得到第一注意力結果，并且，對所述第一編碼結果和所述第二特征圖進行所述自注意計算，以得到第二注意力結果；

基于所述第一注意力結果和所述第二注意力結果，計算第一損失值；以及

至少部分地基于所述第一損失值，訓練所述學生網絡。

2.根據權利要求1所述的方法，其中，所述對所述第一編碼結果和所述第一特征圖進行自注意計算，以得到第一注意力結果包括：

對于所述第一檢測結果中的每個第一檢測框結果，對該第一檢測框結果所對應的第一框編碼結果和所述第一特征圖進行所述自注意計算，以得到所述第一注意力結果中對應于該第一檢測框結果的第一框注意結果，其中，對應于該第一檢測框結果的第一框注意結果為該第一檢測框結果所對應的第一框編碼結果和所述第一特征圖的所述自注意計算的輸出中對應于所述第一框編碼結果的分量，并且，

所述對所述第一編碼結果和所述第二特征圖進行所述自注意計算，以得到第二注意力結果包括：

對于所述第一檢測結果中的每個第一檢測框結果，對該第一檢測框結果所對應的第一框編碼結果和所述第二特征圖進行所述自注意計算，以得到所述第二注意力結果中對應于所述第一檢測框結果的第二框注意結果，其中，對應于該第一檢測框結果的第二框注意結果為該第一檢測框結果所對應的第一框編碼結果和所述第二特征圖的所述自注意計算的輸出中對應于所述第一框編碼結果的分量。

3.根據權利要求2所述的方法，其中，所述基于所述第一注意力結果和所述第二注意力結果，計算第一損失值包括：

對于所述第一檢測結果中的每個第一檢測框結果，計算對應于該第一檢測框結果的第一框注意結果和第二框注意結果之間的損失值，作為該第一檢測框結果的損失值；以及

計算所述第一檢測結果中的第一檢測框結果的損失值之和，作為所述第一損失值。

4.根據權利要求1-3中任一項所述的方法，其中，所述將所述第一圖像樣本輸入第二子網絡，以得到第二特征圖包括：將所述第一圖像樣本輸入所述第二子網絡，以得到所述第二特征圖和第二檢測結果，其中，所述第二檢測結果包括一個或多個第二檢測框結果；

所述方法還包括：

對所述第二檢測結果中的每個第二檢測框結果進行編碼操作，以生成第二編碼結果中對應于該第二檢測框結果的第二框編碼結果，其中，每個第二框編碼結果的維數與所述第一特征圖和所述第二特征圖的通道數相同；

對所述第二編碼結果和所述第一特征圖進行所述自注意計算，以得到第三注意力結果，并且，對所述第二編碼結果和所述第三特征圖進行所述自注意計算，以得到第四注意力結果；

基于所述第三注意力結果和所述第四注意力結果，計算第二損失值；并且

所述至少部分地基于所述第一損失值，訓練所述學生網絡包括：

基于所述第一損失值和所述第二損失值，訓練所述學生網絡。