[發明專利]神經網絡訓練及分類方法、裝置、電子設備及存儲介質

在審

• 申請號: 202111405212.4
• 申請日: 2021-11-24
• 公開（公告）號: CN113902960A
• 公開（公告）日: 2022-01-07
• 發明（設計）人: 馬宗揚;高夢雅;王宇杰
• 申請（專利權）人: 上海商湯智能科技有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/764;G06V10/82;G06V10/74;G06V40/16;G06F40/186
• 代理公司: 北京中知恒瑞知識產權代理事務所(普通合伙) 11889
• 代理人: 吳迪

1.一種神經網絡訓練方法，其特征在于，包括：

獲取多張樣本圖像；

針對所述多張樣本圖像中的每張樣本圖像，基于所述樣本圖像對應的第一視覺特征，確定所述樣本圖像的結構化描述信息；

將所述多張樣本圖像輸入待訓練的目標神經網絡，經過所述待訓練的目標神經網絡對所述多張樣本圖像進行處理，分別得到每張樣本圖像對應的預測視覺特征；

基于所述預測視覺特征和所述結構化描述信息，生成第一訓練損失，并利用所述第一訓練損失對所述待訓練的目標神經網絡進行訓練，直到滿足預設訓練條件，得到訓練好的目標神經網絡。

2.根據權利要求1所述的方法，其特征在于，所述基于所述樣本圖像對應的第一視覺特征，確定所述樣本圖像的結構化描述信息，包括：

確定所述樣本圖像的第一視覺特征；

基于所述樣本圖像對應的第一視覺特征，確定所述樣本圖像的屬性信息；

基于所述樣本圖像的屬性信息，確定所述樣本圖像的結構化描述信息。

3.根據權利要求2所述的方法，其特征在于，所述基于所述樣本圖像對應的第一視覺特征，確定所述樣本圖像的屬性信息，包括：

獲取至少一個預設屬性類別，以及每個預設屬性類別對應的至少一個有效屬性值；

針對每個預設屬性類別，分別確定所述預設屬性類別對應的每個有效屬性值與所述樣本圖像對應的第一視覺特征的相似度信息，并基于確定的所述相似度信息，確定所述樣本圖像對應于所述預設屬性類別的目標屬性值；

基于每個預設屬性類別對應的目標屬性值，確定所述樣本圖像的屬性信息。

4.根據權利要求3所述的方法，其特征在于，所述分別確定所述預設屬性類別對應的每個有效屬性值與所述樣本圖像對應的第一視覺特征的相似度信息，包括：

獲取所述預設屬性類別對應的預設文本；

基于所述預設文本和每個有效屬性值，分別生成每個有效屬性值對應的目標文本；

針對每個有效屬性值，確定所述有效屬性值對應的目標文本與所述樣本圖像對應的第一視覺特征的相似度信息，并將得到的相似度信息作為所述有效屬性值與所述樣本圖像對應的第一視覺特征的相似度信息。

5.根據權利要求4所述的方法，其特征在于，所述屬性信息包括所述樣本圖像分別對應于每個預設屬性類別的屬性子信息；

所述基于每個預設屬性類別對應的目標屬性值，確定所述樣本圖像的屬性信息，包括：

針對每個預設屬性類別，將所述預設屬性類別對應的目標屬性值的目標文本，作為所述樣本圖像對應于所述預設屬性類別的屬性子信息。

6.根據權利要求2至5任一項所述的方法，其特征在于，所述屬性信息包括所述樣本圖像分別對應于每個預設屬性類別的屬性子信息；

所述基于每張樣本圖像的屬性信息，分別確定每張樣本圖像的結構化描述信息，包括：

針對每張樣本圖像，將所述樣本圖像對分別應于每個預設屬性類別的屬性子信息進行拼接，得到所述樣本圖像的結構化描述信息。

7.根據權利要求3至5任一項所述的方法，其特征在于，在所述獲取至少一個預設屬性類別，以及每個預設屬性類別對應的至少一個有效屬性值之前，還包括：

獲取多個預設屬性類別，以及每個預設屬性類別對應的多個初始屬性值；

針對每個預設屬性類別，獲取所述預設屬性類別對應的每個初始屬性值的出現次數，并基于所述出現次數，從所述預設屬性類別對應的多個初始屬性值中篩選所述預設屬性類別對應的有效屬性值。

8.根據權利要求1至7任一項所述的方法，其特征在于，在所述將所述多張樣本圖像輸入待訓練的目標神經網絡之前，還包括：

獲取所述目標神經網絡對應的多個預測結果信息；

分別確定每個所述預測結果信息的第一文本特征；

基于確定的所述第一文本特征，初始化所述待訓練的目標神經網絡的全連接層中對應于各個預測結果信息的權重參數。