[發(fā)明專利]一種內(nèi)容分類模型的訓(xùn)練方法、內(nèi)容分類的方法及裝置

在審

• 申請?zhí)枺?/td>: 202210126390.1
• 申請日: 2022-02-10
• 公開（公告）號: CN114462539A
• 公開（公告）日: 2022-05-10
• 發(fā)明（設(shè)計）人: 徐培;黃珊
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06N7/00
• 代理公司: 深圳市深佳知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 閔晶晶

本申請公開了一種內(nèi)容分類模型的訓(xùn)練方法，涉及基于人工智能的計算機視覺技術(shù)和圖像語義理解技術(shù)。本申請包括基于內(nèi)容訓(xùn)練樣本，通過內(nèi)容分類模型所包括的特征提取網(wǎng)絡(luò)獲取M個模態(tài)特征向量；基于M個模態(tài)特征向量，通過內(nèi)容分類模型所包括的多模態(tài)融合網(wǎng)絡(luò)獲取內(nèi)容概率分布；基于M個模態(tài)特征向量，通過M個模態(tài)分類網(wǎng)絡(luò)獲取M個模態(tài)概率分布；根據(jù)M個模態(tài)概率分布、M個單模態(tài)類別標簽、內(nèi)容概率分布和內(nèi)容類別標簽，對內(nèi)容分類模型的模型參數(shù)進行更新。本申請還提供了一種內(nèi)容分類方法及裝置。本申請實現(xiàn)同時優(yōu)化多模態(tài)融合網(wǎng)絡(luò)和特征提取網(wǎng)絡(luò)的目的，達到內(nèi)容分類模型中各個網(wǎng)絡(luò)的平衡的效果，有利于提升多模態(tài)分類結(jié)果的精度和效果。

技術(shù)領(lǐng)域

本申請涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種內(nèi)容分類模型的訓(xùn)練方法、內(nèi)容分類的方法及裝置。

背景技術(shù)

隨著信息技術(shù)日新月異的發(fā)展，各種領(lǐng)域的內(nèi)容應(yīng)運而生，內(nèi)容的生產(chǎn)、積累、共享以及傳播越來越多樣且靈活。其中，內(nèi)容的傳播在現(xiàn)代人類生活占據(jù)了重要地位。為了提高用戶消費內(nèi)容的體驗，通常需要對內(nèi)容進行識別和分類。

目前，主流的內(nèi)容分類工作可采用人工智能模型來實現(xiàn)。在模型訓(xùn)練的過程中，通常對各個單模態(tài)特征提取模型進行微調(diào)后，分別提取內(nèi)容中各個單模態(tài)的特征向量，然后以各個模態(tài)特征向量作為多模態(tài)融合網(wǎng)絡(luò)的輸入，以實現(xiàn)分類任務(wù)的訓(xùn)練。

發(fā)明人發(fā)現(xiàn)現(xiàn)有方案中至少存在如下問題，各個單模態(tài)特征提取模型的效果未必平衡，也就是說，對單模態(tài)特征提取模型的優(yōu)化屬于局部優(yōu)化，而多模態(tài)融合網(wǎng)絡(luò)對各個單模態(tài)的依賴程度不同，因此，局部優(yōu)化可能無法達到全局最優(yōu)，從而導(dǎo)致多模態(tài)分類結(jié)果的精度和效果不佳。

發(fā)明內(nèi)容

本申請實施例提供了一種內(nèi)容分類模型的訓(xùn)練方法、內(nèi)容分類的方法及裝置。本申請實現(xiàn)同時優(yōu)化多模態(tài)融合網(wǎng)絡(luò)和特征提取網(wǎng)絡(luò)的目的，達到內(nèi)容分類模型中各個網(wǎng)絡(luò)的平衡的效果，從而有利于提升多模態(tài)分類結(jié)果的精度和效果。

有鑒于此，本申請一方面提供一種內(nèi)容分類模型的訓(xùn)練方法，包括：

獲取內(nèi)容訓(xùn)練樣本，其中，內(nèi)容訓(xùn)練樣本對應(yīng)于已標注的M個單模態(tài)類別標簽和內(nèi)容類別標簽，M為大于1的整數(shù)；

基于內(nèi)容訓(xùn)練樣本，通過內(nèi)容分類模型所包括的特征提取網(wǎng)絡(luò)獲取M個模態(tài)特征向量；

基于M個模態(tài)特征向量，通過內(nèi)容分類模型所包括的多模態(tài)融合網(wǎng)絡(luò)獲取內(nèi)容概率分布；

基于M個模態(tài)特征向量，通過M個模態(tài)分類網(wǎng)絡(luò)獲取M個模態(tài)概率分布，其中，每個模態(tài)分類網(wǎng)絡(luò)輸入的模態(tài)特征向量與輸出的模態(tài)概率分布具有對應(yīng)關(guān)系；

根據(jù)M個模態(tài)概率分布、M個單模態(tài)類別標簽、內(nèi)容概率分布和內(nèi)容類別標簽，對內(nèi)容分類模型的模型參數(shù)進行更新。

本申請另一方面提供一種內(nèi)容分類的方法，包括：

獲取目標內(nèi)容；

基于目標內(nèi)容，通過內(nèi)容分類模型獲取目標內(nèi)容所對應(yīng)的內(nèi)容概率分布，其中，內(nèi)容分類模型為采用上述各方面的方法訓(xùn)練得到的；

根據(jù)目標內(nèi)容所對應(yīng)的內(nèi)容概率分布，確定目標內(nèi)容的分類結(jié)果。

本申請另一方面提供一種模型訓(xùn)練裝置，包括：

獲取模塊，用于獲取內(nèi)容訓(xùn)練樣本，其中，內(nèi)容訓(xùn)練樣本對應(yīng)于已標注的M個單模態(tài)類別標簽和內(nèi)容類別標簽，M為大于1的整數(shù)；

獲取模塊，還用于基于內(nèi)容訓(xùn)練樣本，通過內(nèi)容分類模型所包括的特征提取網(wǎng)絡(luò)獲取M個模態(tài)特征向量；

獲取模塊，還用于基于M個模態(tài)特征向量，通過內(nèi)容分類模型所包括的多模態(tài)融合網(wǎng)絡(luò)獲取內(nèi)容概率分布；