[發明專利]神經網絡模型訓練方法、音頻配樂方法及相關設備

在審

• 申請號: 202211699711.3
• 申請日: 2022-12-28
• 公開（公告）號: CN116013358A
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 王武城
• 申請（專利權）人: 騰訊音樂娛樂科技（深圳）有限公司
• 主分類號: G10L25/30
• 分類號: G10L25/30;G10L25/51
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 張金香

1.一種神經網絡模型訓練方法，其特征在于，所述方法應用于計算機設備，所述方法包括：

獲取多組訓練樣本，每組所述訓練樣本包括音頻樣本的多個維度特征對應的融合特征向量和背景音樂樣本的多個維度特征對應的融合特征向量，以及用于表示所述音頻樣本和所述背景音樂樣本之間的適配程度的真實標簽；

將每組所述訓練樣本輸入至初始神經網絡模型，以使得所述初始神經網絡模型執行以下操作：

對所述音頻樣本的融合特征向量進行特征提取得到所述音頻樣本的深度特征，以及對所述背景音樂樣本的融合特征向量進行特征提取得到所述背景音樂樣本的深度特征；

將所述音頻樣本的深度特征與所述背景音樂樣本的深度特征進行拼接得到深度融合特征，對所述深度融合特征計算得到預測標簽；

根據所述真實標簽和所述預測標簽構建損失函數，根據所述損失函數的損失值調整所述初始神經網絡模型的模型參數，直至所述損失函數滿足收斂條件時停止訓練，得到目標神經網絡模型。

2.根據權利要求1所述的方法，其特征在于，所述獲取所述音頻樣本的多個維度特征對應的融合特征向量，包括：

獲取預先訓練完成的多個目標音頻特征提取模型，其中所述多個目標音頻特征提取模型針對音頻樣本的不同維度特征進行特征向量提取；

提取所述音頻樣本的頻譜特征，將所述音頻樣本的頻譜特征輸入至所述多個目標音頻特征提取模型，每個所述目標音頻特征提取模型輸出所述音頻樣本的一個維度特征的特征向量，獲得所述音頻樣本的多個維度特征的特征向量；

融合所述音頻樣本的多個維度特征的特征向量，得到所述音頻樣本的多個維度特征對應的融合特征向量。

3.根據權利要求2所述的方法，其特征在于，每個所述目標音頻特征提取模型的訓練步驟包括：

獲取多組音頻訓練樣本，每組所述音頻訓練樣本包括音頻樣本以及用于表示所述音頻樣本一個維度特征的真實特征標簽；

獲取初始音頻特征提取模型，所述初始音頻特征提取模型包括卷積結構以及與所述卷積結構連接的Softmax層；

提取所述音頻樣本的頻譜特征，將所述音頻樣本的頻譜特征輸入至所述初始音頻特征提取模型，以使得所述初始音頻特征提取模型使用卷積結構對所述音頻樣本的頻譜特征進行特征提取得到特征向量、使用Softmax層對所述特征向量計算得到預測特征標簽；

當所述預測特征標簽與所述真實特征標簽之間的關系滿足收斂條件時停止訓練，得到所述目標音頻特征提取模型。

4.根據權利要求1所述的方法，其特征在于，所述獲取所述背景音樂樣本的多個維度特征對應的融合特征向量，包括：

獲取預先訓練完成的多個目標背景音樂特征提取模型，其中所述多個目標背景音樂特征提取模型針對背景音樂的不同維度特征進行特征向量提取；

提取所述背景音樂樣本的頻譜特征，將所述背景音樂樣本的頻譜特征輸入至所述多個目標背景音樂特征提取模型，每個所述目標背景音樂特征提取模型輸出所述背景音樂樣本的一個維度特征的特征向量，獲得所述背景音樂樣本的多個維度特征的特征向量；

融合所述背景音樂樣本的多個維度特征的特征向量，得到所述背景音樂樣本的多個維度特征對應的融合特征向量。

5.根據權利要求4所述的方法，其特征在于，每個所述目標背景音樂特征提取模型的訓練步驟包括：

獲取多組背景音樂訓練樣本，每組所述背景音樂訓練樣本包括背景音樂樣本以及用于表示所述背景音樂樣本一個維度特征的真實特征標簽；

獲取初始背景音樂特征提取模型，所述初始背景音樂特征提取模型包括卷積結構以及與所述卷積結構連接的Softmax層；

提取所述背景音樂樣本的頻譜特征，將所述背景音樂樣本的頻譜特征輸入至所述初始背景音樂特征提取模型，以使得所述初始背景音樂特征提取模型使用卷積結構對所述背景音樂樣本的頻譜特征進行特征提取得到特征向量、使用Softmax層對所述特征向量計算得到預測特征標簽；

當所述預測特征標簽與所述真實特征標簽之間的關系滿足收斂條件時停止訓練，得到所述目標背景音樂特征提取模型。