[發明專利]模型訓練方法以及相關產品

有效

• 申請號: 202210478030.8
• 申請日: 2022-05-05
• 公開（公告）號: CN114579869B
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 劉子璐
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F40/30;G06K9/62
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 彭程

1.一種模型訓練方法，其特征在于，所述方法包括：

獲取對象的對象信息和多媒體數據的屬性信息；

采用雙塔特征提取模型對所述對象的對象信息進行特征提取處理，得到所述對象的底層語義特征和高層語義特征；并采用雙塔特征提取模型對所述多媒體數據的屬性信息進行特征提取處理，得到多媒體數據的底層語義特征和高層語義特征；

采用交互增強模型對目標底層語義特征進行增強處理，得到目標增強特征；所述目標底層語義特征包括所述對象的底層語義特征和所述多媒體數據的底層語義特征中的一種或多種；

基于對象的高層語義特征與多媒體數據的高層語義特征之間的相似差異性，以及目標高層語義特征和所述目標增強特征之間的相似差異性，對所述交互增強模型及所述雙塔特征提取模型進行同步訓練，訓練好的雙塔特征提取模型用于多媒體數據推薦，所述目標高層語義特征包括所述對象的高層語義特征和所述多媒體數據的高層語義特征中的一種或多種，且所述目標高層語義特征和所述目標增強特征之間具備可交互關系。

2.根據權利要求1所述的方法，其特征在于，所述雙塔特征提取模型包括對象特征提取模型和多媒體特征提取模型；

所述采用雙塔特征提取模型對所述對象的對象信息進行特征提取處理，得到所述對象的底層語義特征和高層語義特征，包括：采用所述對象特征提取模型對所述對象的對象信息進行特征提取處理，得到所述對象的底層語義特征和高層語義特征；

所述采用雙塔特征提取模型對所述多媒體數據的屬性信息進行特征提取處理，得到多媒體數據的底層語義特征和高層語義特征，包括：采用所述多媒體特征提取模型對所述多媒體數據的屬性信息進行特征提取處理，得到所述多媒體數據的底層語義特征和高層語義特征。

3.根據權利要求1所述的方法，其特征在于，當所述目標底層語義特征包括所述多媒體數據的底層語義特征時，所述目標增強特征包括所述多媒體數據的增強特征，所述交互增強模型包括多媒體增強模型，所述采用交互增強模型對目標底層語義特征進行增強處理，得到目標增強特征，包括：采用所述多媒體增強模型對所述多媒體數據的底層語義特征進行增強處理，得到所述多媒體數據的增強特征。

4.根據權利要求3所述的方法，其特征在于，所述方法還包括：從所述多媒體數據的底層語義特征中篩選出強個性化多媒體特征和弱個性化多媒體特征，將所述強個性化多媒體特征和所述弱個性化多媒體特征拼接為個性化多媒體特征；

所述采用所述多媒體增強模型對所述多媒體數據的底層語義特征進行增強處理，得到所述多媒體數據的增強特征，包括：

采用所述多媒體增強模型對所述個性化多媒體特征進行增強處理，得到所述多媒體數據的增強特征。

5.根據權利要求3所述的方法，其特征在于，所述目標高層語義特征包括所述對象的高層語義特征，所述基于對象的高層語義特征與多媒體數據的高層語義特征之間的相似差異性，以及目標高層語義特征和所述目標增強特征之間的相似差異性，對所述交互增強模型及所述雙塔特征提取模型進行同步訓練，包括：

基于對象的高層語義特征與多媒體數據的高層語義特征之間的相似差異性，確定相似損失；

基于對象的高層語義特征與多媒體數據的增強特征之間的差異性，確定多媒體交互增強損失；

將所述相似損失和所述多媒體交互增強損失疊加為目標損失，根據所述目標損失同步訓練所述雙塔特征提取模型和所述交互增強模型。

6.根據權利要求5所述的方法，其特征在于，所述雙塔特征提取模型包括對象特征提取模型，所述對象的高層語義特征是所述對象特征提取模型中的對象語義層對所述對象的底層語義特征進行特征提取處理后的特征，在基于目標損失同步訓練所述雙塔特征提取模型和所述交互增強模型過程中，所述多媒體交互增強損失不參與對所述對象特征提取模型中的對象語義層的訓練。