[發明專利]模型訓練方法、識別方法、裝置、處理設備及存儲介質

在審

• 申請號: 202211615092.5
• 申請日: 2022-12-15
• 公開（公告）號: CN115859112A
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 王紀中;龐鋒;滕飛;周鑫
• 申請（專利權）人: 微夢創科網絡科技（中國）有限公司
• 主分類號: G06F18/214
• 分類號: G06F18/214;G06F18/211;G06F18/25;G06N3/04;G06N3/08
• 代理公司: 北京善任知識產權代理有限公司 11650
• 代理人: 李強;孟桂超

本公開實施例公開了一種基于多模態的圖像識別的模型訓練方法、基于多模態的圖像識別方法、裝置、處理設備和存儲介質。該方法包括：將訓練樣本中的不同種類的數據幀分別輸入初始內容識別模型包含的對應子網絡中，利用預定損失函數對初始內容識別模型進行訓練直至預定損失函數收斂，獲得訓練后的內容識別模型；其中，每種數據幀對應輸入一個子網絡，每個子網絡設置有一個分類損失函數且所有子網絡共同設置有一個融合損失函數；預定損失函數基于不同子網絡的分類損失函數以及融合損失函數共同確定。如此，可以綜合對象的更多內容信息進行內容識別模型的訓練，且內容識別模型可以適應更多的模態數據，訓練獲得的內容識別模型的識別結果會更加準確。

技術領域

本發明涉及且不限于計算機視覺領域，尤其涉及一種基于多模態的圖像識別的模型訓練方法、基于多模態的圖像識別方法、裝置、處理設備及存儲介質。

背景技術

隨著信息技術的高速發展，具有社交功能的各種社交媒體平臺層出不窮。這些社交媒體平臺需要承擔正確引導用戶價值觀的社會責任。識別軟色情等低俗內容，凈化內容生態是這些社交媒體平臺的一項重要的工作。

相關技術中，深度學習的技術引入了內容識別，成為凈化內容生態環境的有力工具。但是，基于深度學習的技術實現的識別仍然存在數據處理能力和適應能力差等導致的識別不準確等問題。

發明內容

有鑒于此，本公開實施例公開了一種基于多模態的圖像識別的模型訓練方法、基于多模態的圖像識別方法、裝置、處理設備及存儲介質，以至少實現適應更多的模態數據和獲得更加準確的識別結果。

根據本公開實施例的第一方面，提供一種基于多模態的圖像識別的模型訓練方法，所述方法包括：

獲取對象的多模態數據的訓練樣本，所述訓練樣本包括以下數據幀中至少兩種：圖像幀、文本幀、語音幀；

將所述訓練樣本中的不同種類的所述數據幀分別輸入初始內容識別模型包含的對應子網絡中，利用預定損失函數對所述初始內容識別模型進行訓練直至所述預定損失函數收斂，獲得訓練后的內容識別模型；

其中，每種所述數據幀對應輸入一個所述子網絡，每個所述子網絡設置有一個分類損失函數且所有所述子網絡共同設置有一個融合損失函數；所述預定損失函數基于不同所述子網絡的分類損失函數以及所述融合損失函數共同確定。

在一個實施例中，所述訓練樣本包括圖像幀、文本幀和語音幀；所述初始內容識別模型包括圖像識別子網絡、文字識別子網絡和語音識別子網絡；所述圖像識別子網絡的分類損失函數為第一分類損失函數；所述文字識別子網絡的分類損失函數為第二分類損失函數；所述語音識別子網絡的分類損失函數為第三分類損失函數；所述預定損失函數基于所述第一分類損失函數、第二分類損失函數、第三分類損失函數和所述融合損失函數共同確定；

所述將所述訓練樣本中的不同種類的所述數據幀分別輸入初始內容識別模型包含的對應子網絡中，利用預定損失函數對所述初始內容識別模型進行訓練直至所述預定損失函數收斂，獲得訓練后的內容識別模型，獲得訓練后的所述內容識別模型，包括：

將所述圖像幀輸入所述圖像識別子網絡進行圖像特征提取；

將所述文本幀輸入所述文字識別子網絡進行文本特征提取；

將所述語音幀輸入所述語音識別子網絡進行音頻特征提取；

利用所述預定損失函數對所述圖像識別子網絡、所述文字識別子網絡和所述語音識別子網絡進行聯合訓練直至所述預定損失函數收斂。

在一個實施例中，所述文本識別子網絡包括標記嵌入層、第一轉換編碼層和第一全連接層；所述將所述圖像幀輸入所述圖像識別子網絡進行圖像特征提取，包括：

通過所述標記嵌入層，獲得所述文本幀的序列編碼；

通過所述第一轉換編碼層，獲得經過序列編碼后的所述文本幀的文本特征；