[發明專利]訓練神經網絡的方法、圖像識別方法及圖像識別裝置

在審

• 申請號: 202011496692.5
• 申請日: 2020-12-17
• 公開（公告）號: CN112598045A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 李軒屹;侯海波;王濤;張夢鹿
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/40;G06N3/04
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 李春偉

1.一種用于訓練神經網絡的方法，所述神經網絡包括：

多尺度特征提取網絡，用于提取訓練圖像的多層圖像特征；

多尺度特征融合網絡，用于基于所述多層圖像特征各自的層級權重對多層圖像特征進行加權融合，得到融合圖像特征，并且基于所述融合圖像特征確定圖像識別特征，所述多層圖像特征各自的層級權重與所述多層圖像特征各自對識別結果的影響程度正相關，所述融合圖像特征的維度大于所述多層圖像特征各自維度之和；以及

分類器，用于基于所述圖像識別特征確定所述訓練圖像的識別結果；

其中，所述方法包括：

將所述訓練圖像輸入所述神經網絡；

通過調整所述神經網絡的參數使得針對輸入的所述訓練圖像的識別結果趨近于所述訓練圖像的標注結果。

2.根據權利要求1所述的方法，其中，所述多尺度特征融合網絡包括：

多個上采樣網絡，用于對最后層級的圖像特征或除所述最后層級和首個層級之外的各中間層級的子融合圖像特征分別進行上采樣，得到至少一個中間層級和最后層級各自的上采樣圖像特征，其中，當前中間層級的上采樣圖像特征的維度與上一中間層級的圖像特征的維度相同；

子融合圖像特征獲取網絡，用于基于所述多層圖像特征各自的層級權重將所述最后層級的上采樣圖像特征與上一層級的圖像特征進行加權融合，或者，基于所述多層圖像特征各自的層級權重將所述至少一個中間層級各自的上采樣圖像特征分別與各自的上一層級的圖像特征進行加權融合，得到當前層級的上一層級的子融合圖像特征；

拼接模塊，用于將針對所述訓練圖像的最后層級的圖像特征、除所述最后層級的圖像特征之外的各層級的子融合圖像特征進行拼接，得到所述融合圖像特征；以及

全連接網絡，用于對所述融合圖像特征進行特征學習，以確定所述圖像識別特征。

3.根據權利要求2所述的方法，其中，所述多尺度特征融合網絡還包括：

多個卷積網絡，用于對當前層級的上一層級的子融合圖像特征執行卷積操作，得到消除混淆的子融合圖像特征，以便所述多個上采樣網絡分別對多個除混淆的子融合圖像特征進行上采樣；

池化網絡，用于對所述融合圖像特征進行特征選擇，得到池化后融合圖像特征；以及

所述全連接網絡具體用于對所述池化后融合圖像特征進行特征學習，以確定所述圖像識別特征。

4.根據權利要求1所述的方法，其中，所述多尺度特征提取網絡包括多個層級的特征提取網絡，各層級的特征提取網絡用于提取不同深度的圖像特征。

5.根據權利要求4所述的方法，其中，所述多個層級的特征提取網絡中每一個包括：

至少兩個分支網絡，各分支網絡用于基于不同尺寸的卷積核得到至少兩組特征圖，其中，所述不同尺寸的卷積核中大尺寸的卷積核的第一尺寸是基于小尺寸的卷積核的第二尺寸和預設膨脹率來確定的；

自注意力機制網絡，用于確定所述至少兩組特征圖各自的特征圖權重；

特征融合網絡，用于基于所述至少兩組特征圖各自的特征圖權重對所述至少兩組特征圖進行加權融合，得到融合后的圖像特征。

6.根據權利要求5所述的方法，其中，所述自注意力機制網絡包括：

全局平局池化層，用于得到各組特征圖的全局信息；

第一全連接層，用于基于所述全局信息和激活函數確定至少兩組特征圖各自的特征圖權重；

歸一化層，用于對所述至少兩組特征圖各自的特征圖權重進行歸一化；

第二全連接層，用于基于損失函數確定所述至少兩組特征圖各自的歸一化特征圖權重；以及

所述特征融合網絡具體用于基于所述至少兩組特征圖各自的歸一化特征圖權重對所述至少兩組特征圖進行加權融合，得到融合后的圖像特征。

7.根據權利要求1所述的方法，還包括：對所述訓練圖像進行預處理，以降低所述訓練圖像中噪聲信息，其中，所述噪聲信息包括由于曝光不足和焦點模糊中至少一種造成的噪聲信息。