[發明專利]一種內容分類模型的訓練方法、內容分類的方法及裝置

在審

• 申請號: 202210126390.1
• 申請日: 2022-02-10
• 公開（公告）號: CN114462539A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 徐培;黃珊
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06N7/00
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 閔晶晶

1.一種內容分類模型的訓練方法，其特征在于，包括：

獲取內容訓練樣本，其中，所述內容訓練樣本對應于已標注的M個單模態類別標簽和內容類別標簽，所述M為大于1的整數；

基于所述內容訓練樣本，通過內容分類模型所包括的特征提取網絡獲取M個模態特征向量；

基于所述M個模態特征向量，通過所述內容分類模型所包括的多模態融合網絡獲取內容概率分布；

基于所述M個模態特征向量，通過M個模態分類網絡獲取M個模態概率分布，其中，每個模態分類網絡輸入的模態特征向量與輸出的模態概率分布具有對應關系；

根據所述M個模態概率分布、所述M個單模態類別標簽、所述內容概率分布和所述內容類別標簽，對所述內容分類模型的模型參數進行更新。

2.根據權利要求1所述的訓練方法，其特征在于，所述獲取內容訓練樣本之后，所述方法還包括：

基于所述內容訓練樣本，通過所述內容分類模型所包括的文本識別網絡獲取文本識別結果；

所述基于所述內容訓練樣本，通過內容分類模型所包括的特征提取網絡獲取M個模態特征向量，包括：

基于所述文本識別結果，通過所述內容分類模型所包括的文本特征提取網絡獲取文本特征向量，其中，所述文本特征向量包含于所述M個模態特征向量；

基于所述內容訓練樣本，通過所述內容分類模型所包括的圖像特征提取網絡獲取圖像特征向量，其中，所述圖像特征向量包含于所述M個模態特征向量。

3.根據權利要求2所述的訓練方法，其特征在于，所述M個單模態類別標簽包括文本類別標簽和圖像類別標簽；

所述基于所述M個模態特征向量，通過M個模態分類網絡獲取M個模態概率分布，包括：

基于所述文本特征向量，通過文本分類網絡獲取文本概率分布；

基于所述圖像特征向量，通過圖像分類網絡獲取圖像概率分布；

所述基于所述M個模態特征向量，通過所述內容分類模型所包括的多模態融合網絡獲取內容概率分布，包括：

基于所述文本特征向量和所述圖像特征向量，通過所述內容分類模型所包括的多模態融合網絡獲取所述內容概率分布；

所述根據所述M個模態概率分布、所述M個單模態類別標簽、所述內容概率分布和所述內容類別標簽，對所述內容分類模型的模型參數進行更新，包括：

根據所述文本概率分布、所述文本類別標簽、所述圖像概率分布、所述圖像類別標簽、所述內容概率分布和所述內容類別標簽，對所述內容分類模型的模型參數進行更新。

4.根據權利要求2所述的訓練方法，其特征在于，所述基于所述內容訓練樣本，通過所述內容分類模型所包括的文本識別網絡獲取文本識別結果，包括：

基于所述內容訓練樣本，通過所述文本識別網絡所包括的文本檢測網絡獲取文本檢測結果，其中，所述文本識別網絡包含于所述內容分類模型；

基于所述文本檢測結果，通過所述文本識別網絡所包括的字符識別網絡獲取所述文本識別結果。

5.根據權利要求2所述的訓練方法，其特征在于，所述基于所述內容訓練樣本，通過所述內容分類模型所包括的文本識別網絡獲取文本識別結果，包括：

基于所述內容訓練樣本，通過所述內容分類模型所包括的文本識別網絡獲取各個字符的概率分布；

根據所述各個字符的概率分布獲取所述文本識別結果。

6.根據權利要求2所述的訓練方法，其特征在于，所述基于所述文本識別結果，通過所述內容分類模型所包括的文本特征提取網絡獲取文本特征向量，包括：

基于所述文本識別結果，通過所述內容分類模型所包括的文本特征提取網絡獲取S個符號編碼序列，其中，所述S為大于或等于1的整數；

將起始符編碼序列和終止符編碼序列加入至所述S個符號編碼序列，得到所述文本特征向量。