[發(fā)明專利]丟包補(bǔ)償方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011502968.6
• 申請(qǐng)日: 2020-12-18
• 公開(kāi)（公告）號(hào): CN112634912A
• 公開(kāi)（公告）日: 2021-04-09
• 發(fā)明（設(shè)計(jì)）人: 王曉紅;陳佳路;王冬曉;楊明祺;馬楠;高強(qiáng);夏龍;郭常圳
• 申請(qǐng)（專利權(quán)）人: 北京猿力未來(lái)科技有限公司
• 主分類(lèi)號(hào): G10L19/00
• 分類(lèi)號(hào): G10L19/00;G10L25/30;G10L25/03;G10L25/24
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 劉曉楠

1.一種丟包補(bǔ)償方法，其特征在于，所述方法包括：

接收音頻數(shù)據(jù)流；

若確定所述音頻數(shù)據(jù)流中當(dāng)前幀為丟包幀，且所述當(dāng)前幀的上一幀不是丟包幀，則確定所述當(dāng)前幀為第一個(gè)丟包幀；

從所述音頻數(shù)據(jù)流中獲取所述第一個(gè)丟包幀之前的M幀歷史音頻數(shù)據(jù)，生成第一音頻序列，其中，所述M為大于1的正整數(shù)；

確定所述M幀歷史音頻數(shù)據(jù)的音頻特征，并基于所述M幀歷史音頻數(shù)據(jù)的音頻特征，生成第二音頻序列；

基于所述第一音頻序列，在所述第二音頻序列中確定與所述第一音頻序列的互相關(guān)性最大的位置，并將所述第二音頻序列中所述互相關(guān)性最大的位置之后的音頻數(shù)據(jù)確定為所述第一個(gè)丟包幀的第一補(bǔ)償音頻數(shù)據(jù)。

2.如權(quán)利要求1所述的丟包補(bǔ)償方法，其特征在于，所述基于所述M幀歷史音頻數(shù)據(jù)的音頻特征，生成第二音頻序列，包括：

將所述第一個(gè)丟包幀上一幀的歷史音頻數(shù)據(jù)的音頻特征確定為所述第一個(gè)丟包幀的音頻數(shù)據(jù)的預(yù)測(cè)音頻特征；

將所述M幀歷史音頻數(shù)據(jù)的音頻特征與所述第一個(gè)丟包幀的音頻數(shù)據(jù)的預(yù)測(cè)音頻特征輸入音頻合成模型中，得到所述第二音頻序列，其中，所述第二音頻序列中包括合成的所述M幀與所述第一個(gè)丟包幀的采樣音頻數(shù)據(jù)。

3.如權(quán)利要求1所述的丟包補(bǔ)償方法，其特征在于，所述基于所述第一音頻序列，在所述第二音頻序列中確定與所述第一音頻序列的互相關(guān)性最大的位置，包括：

基于所述第二音頻序列的采樣頻率從所述第一音頻序列中沿終點(diǎn)向起點(diǎn)方向獲取N個(gè)連續(xù)的采樣音頻數(shù)據(jù)，得到第一采樣音頻數(shù)據(jù)組，其中，所述N為大于1的正整數(shù)；

以N為采樣音頻數(shù)據(jù)組的長(zhǎng)度，逐次從所述第二音頻序列中沿終點(diǎn)向起點(diǎn)方向獲取N個(gè)連續(xù)的采樣音頻數(shù)據(jù)，得到第二采樣音頻數(shù)據(jù)組集合，其中，采樣音頻數(shù)據(jù)組的長(zhǎng)度為采樣音頻數(shù)據(jù)組包括的采樣音頻數(shù)據(jù)的數(shù)量；

對(duì)每個(gè)得到的第二采樣音頻數(shù)據(jù)組，將所得到的第二采樣音頻數(shù)據(jù)組與所述第一采樣音頻數(shù)據(jù)組進(jìn)行互相關(guān)性計(jì)算，以互相關(guān)性最大的第二采樣音頻數(shù)據(jù)組所在的位置確定所述互相關(guān)性最大的位置。

4.如權(quán)利要求3所述的丟包補(bǔ)償方法，其特征在于，所述以互相關(guān)性最大的第二采樣音頻數(shù)據(jù)組所在的位置確定所述互相關(guān)性最大的位置，包括：

將所述互相關(guān)性最大的第二采樣音頻數(shù)據(jù)組中距離終點(diǎn)最近的采樣音頻數(shù)據(jù)所在的位置確定為所述互相關(guān)性最大的位置。

5.如權(quán)利要求1所述的丟包補(bǔ)償方法，其特征在于，所述方法還包括：

從所述第一音頻序列中沿終點(diǎn)向起點(diǎn)的方向獲取X個(gè)未播放的采樣音頻數(shù)據(jù)，其中，所述X大于1且小于一幀采樣音頻數(shù)據(jù)的數(shù)量；

將所述第二音頻序列中所述互相關(guān)性最大的位置之前的X個(gè)采樣音頻數(shù)據(jù)與所述X個(gè)未播放的采樣音頻數(shù)據(jù)進(jìn)行融合，得到融合音頻數(shù)據(jù)；

將所述第一音頻序列中X個(gè)未播放的音頻數(shù)據(jù)替換為所述融合音頻數(shù)據(jù)，并將所述融合音頻數(shù)據(jù)與所述第一個(gè)丟包幀的補(bǔ)償音頻數(shù)據(jù)進(jìn)行拼接。

6.如權(quán)利要求1所述的丟包補(bǔ)償方法，其特征在于，所述方法還包括：

若確定所述音頻數(shù)據(jù)流中當(dāng)前幀為丟包幀，且所述當(dāng)前幀的上一幀為丟包幀，則確定所述當(dāng)前幀為連續(xù)丟包幀，其中，所述連續(xù)丟包幀為多個(gè)連續(xù)的丟包幀中非第一個(gè)丟包幀的丟包幀；

基于所述當(dāng)前幀之前最后一個(gè)非丟包幀的歷史音頻數(shù)據(jù)的音頻特征，確定所述連續(xù)丟包幀的第二補(bǔ)償音頻數(shù)據(jù)。

7.如權(quán)利要求6所述的丟包補(bǔ)償方法，其特征在于，所述基于所述當(dāng)前幀之前最后一個(gè)非丟包幀的歷史音頻數(shù)據(jù)的音頻特征，確定所述連續(xù)丟包幀的第二補(bǔ)償音頻數(shù)據(jù)，包括：

以所述當(dāng)前幀之前最后一個(gè)非丟包幀的歷史音頻數(shù)據(jù)的音頻特征作為所述連續(xù)丟包幀的預(yù)測(cè)音頻特征；

將所述連續(xù)丟包幀的預(yù)測(cè)音頻特征輸入音頻合成模型中，得到所述連續(xù)丟包幀的第二補(bǔ)償音頻數(shù)據(jù)。