[發(fā)明專(zhuān)利]音頻數(shù)據(jù)的處理方法、服務(wù)器及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202310589026.3
• 申請(qǐng)日: 2023-05-23
• 公開(kāi)（公告）號(hào): CN116631425A
• 公開(kāi)（公告）日: 2023-08-22
• 發(fā)明（設(shè)計(jì)）人: 張超鵬;鄧源強(qiáng);陳凱;宗旋
• 申請(qǐng)（專(zhuān)利權(quán)）人: 騰訊音樂(lè)娛樂(lè)科技（深圳）有限公司
• 主分類(lèi)號(hào): G10L21/0208
• 分類(lèi)號(hào): G10L21/0208;G10L21/0216;G10L25/30
• 代理公司: 華進(jìn)聯(lián)合專(zhuān)利商標(biāo)代理有限公司 44224
• 代理人: 馮世博

1.一種音頻數(shù)據(jù)的處理方法，其特征在于，所述方法包括：

獲取用戶(hù)演唱目標(biāo)歌曲時(shí)的錄制音頻數(shù)據(jù)，所述錄制音頻數(shù)據(jù)包括錄制到的目標(biāo)歌曲的伴聲音頻數(shù)據(jù)在經(jīng)過(guò)回采系統(tǒng)后得到的回采數(shù)據(jù)和所述用戶(hù)的干聲數(shù)據(jù)，所述伴聲音頻數(shù)據(jù)為所述目標(biāo)歌曲的原唱音頻數(shù)據(jù)或者背景音頻數(shù)據(jù)；

提取所述伴聲音頻數(shù)據(jù)的音頻特征，并將所述音頻特征輸入回采預(yù)測(cè)模型，由所述回采預(yù)測(cè)模型預(yù)測(cè)所述伴聲音頻數(shù)據(jù)在經(jīng)過(guò)回采系統(tǒng)后得到的預(yù)測(cè)音頻特征；

基于所述預(yù)測(cè)音頻特征，確定針對(duì)所述伴聲音頻數(shù)據(jù)的預(yù)測(cè)回采數(shù)據(jù)；

基于所述預(yù)測(cè)回采數(shù)據(jù)對(duì)所述錄制音頻數(shù)據(jù)進(jìn)行回踩消除處理，得到所述錄制音頻數(shù)據(jù)中關(guān)于所述用戶(hù)的預(yù)測(cè)干聲數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

獲取所述回采系統(tǒng)的樣本激勵(lì)數(shù)據(jù)和樣本錄音數(shù)據(jù)；所述樣本錄音數(shù)據(jù)為所述激勵(lì)數(shù)據(jù)在經(jīng)過(guò)所述回采系統(tǒng)后得到的回采數(shù)據(jù)；

基于所述樣本激勵(lì)數(shù)據(jù)和所述樣本錄音數(shù)據(jù)，確定針對(duì)所述回采系統(tǒng)的模擬回采數(shù)據(jù)；

提取所述模擬回采數(shù)據(jù)的音頻特征，并將所述模擬回采數(shù)據(jù)的音頻特征輸入待訓(xùn)練的回采預(yù)測(cè)模型進(jìn)行模型訓(xùn)練，由所述待訓(xùn)練的回采預(yù)測(cè)模型預(yù)測(cè)所述模擬回采數(shù)據(jù)在經(jīng)過(guò)所述回采系統(tǒng)后得到的訓(xùn)練音頻特征；

基于所述模擬回采數(shù)據(jù)的音頻特征與所述訓(xùn)練音頻特征之間的差異，確定所述待訓(xùn)練的回采預(yù)測(cè)模型的模型損失，并根據(jù)所述模型損失調(diào)整所述待訓(xùn)練的回采預(yù)測(cè)模型，直到得到訓(xùn)練完成的回采預(yù)測(cè)模型。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于所述樣本激勵(lì)數(shù)據(jù)和所述樣本錄音數(shù)據(jù)，確定針對(duì)所述回采系統(tǒng)的模擬回采數(shù)據(jù)，包括：

對(duì)所述樣本激勵(lì)數(shù)據(jù)進(jìn)行頻譜調(diào)整處理，得到調(diào)整后的激勵(lì)數(shù)據(jù)；所述頻譜調(diào)整處理用于模擬所述樣本激勵(lì)數(shù)據(jù)在經(jīng)過(guò)所述回采系統(tǒng)后的頻譜損失，并基于所述頻譜損失調(diào)整所述樣本激勵(lì)數(shù)據(jù)；以及

基于所述樣本激勵(lì)數(shù)據(jù)和所述樣本錄音數(shù)據(jù)，確定所述回采系統(tǒng)的脈沖響應(yīng)；

對(duì)所述調(diào)整后的激勵(lì)數(shù)據(jù)和所述脈沖響應(yīng)進(jìn)行卷積處理，得到所述回采系統(tǒng)的初始回采數(shù)據(jù)；

對(duì)所述初始回采數(shù)據(jù)進(jìn)行數(shù)據(jù)增益處理，得到所述回采系統(tǒng)的模擬回采數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述樣本激勵(lì)數(shù)據(jù)基于第一信號(hào)值序列表征，所述樣本錄音數(shù)據(jù)基于第二信號(hào)值序列表征；所述基于所述樣本激勵(lì)數(shù)據(jù)和所述樣本錄音數(shù)據(jù)，確定所述回采系統(tǒng)的脈沖響應(yīng)，包括：

基于互相關(guān)函數(shù)確定所述第一信號(hào)值序列和所述第二信號(hào)值序列之間的互相關(guān)值，并將所述互相關(guān)值作為所述回采系統(tǒng)的脈沖響應(yīng)。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述獲取所述回采系統(tǒng)的樣本激勵(lì)數(shù)據(jù)，包括：

獲取樣本音頻數(shù)據(jù)，并基于所述樣本音頻數(shù)據(jù)得到針對(duì)所述回采系統(tǒng)的最大長(zhǎng)度序列、格雷碼和掃頻信號(hào)中的任意一種作為所述樣本激勵(lì)數(shù)據(jù)。

6.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述模擬回采數(shù)據(jù)的音頻特征包括第一幅頻特征和第一相頻特征；在所述將所述模擬回采數(shù)據(jù)的音頻特征輸入待訓(xùn)練的回采預(yù)測(cè)模型進(jìn)行模型訓(xùn)練之前，還包括：

對(duì)所述模擬回采數(shù)據(jù)依次進(jìn)行傅里葉變換處理和特征提取處理，得到所述第一幅頻特征和所述第一相頻特征。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述伴聲音頻數(shù)據(jù)的音頻特征包括第二幅頻特征和第二相頻特征；在所述將所述音頻特征輸入回采預(yù)測(cè)模型之前，還包括：

對(duì)所述伴聲音頻數(shù)據(jù)進(jìn)行音調(diào)調(diào)整處理，得到音調(diào)調(diào)整后的第一處理音頻數(shù)據(jù)；

對(duì)所述第一處理音頻數(shù)據(jù)進(jìn)行分幀加窗處理，得到分幀加窗后的第二處理音頻數(shù)據(jù)；

對(duì)所述第二處理音頻數(shù)據(jù)進(jìn)行傅里葉變換處理，得到針對(duì)所述伴聲音頻數(shù)據(jù)的復(fù)數(shù)頻譜；

基于所述復(fù)數(shù)頻譜，得到所述第二相頻特征和所述第二幅頻特征。