[發(fā)明專利]語(yǔ)音傳輸方法、系統(tǒng)、裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202010104793.7
• 申請(qǐng)日: 2020-02-20
• 公開(kāi)（公告）號(hào): CN112820306B
• 公開(kāi)（公告）日: 2023-08-15
• 發(fā)明（設(shè)計(jì)）人: 梁俊斌
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G10L19/16
• 分類號(hào): G10L19/16;G10L19/008
• 代理公司: 華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 董慧;李文淵

1.一種語(yǔ)音傳輸方法，包括：

獲取語(yǔ)音編碼碼流中的當(dāng)前編碼數(shù)據(jù)；

通過(guò)訓(xùn)練好的基于機(jī)器學(xué)習(xí)的丟包恢復(fù)能力預(yù)測(cè)模型，根據(jù)當(dāng)前編碼數(shù)據(jù)對(duì)應(yīng)的第一語(yǔ)音編碼特征參數(shù)以及所述當(dāng)前編碼數(shù)據(jù)的在前編碼數(shù)據(jù)對(duì)應(yīng)的第二語(yǔ)音編碼特征參數(shù)，獲得所述當(dāng)前編碼數(shù)據(jù)對(duì)應(yīng)的丟包恢復(fù)能力；

根據(jù)所述丟包恢復(fù)能力判決是否需要進(jìn)行冗余編碼處理；

若是，則根據(jù)所述當(dāng)前編碼數(shù)據(jù)進(jìn)行冗余編碼生成相應(yīng)的冗余包后，再將所述當(dāng)前編碼數(shù)據(jù)及所述冗余包傳輸至接收端；

若否，則直接將所述當(dāng)前編碼數(shù)據(jù)傳輸至接收端；

其中，所述丟包恢復(fù)能力預(yù)測(cè)模型通過(guò)以下步驟確定：

獲取訓(xùn)練集中的樣本語(yǔ)音序列，對(duì)所述樣本語(yǔ)音序列進(jìn)行語(yǔ)音編碼，獲得樣本語(yǔ)音編碼碼流，提取所述樣本語(yǔ)音編碼碼流中的當(dāng)前編碼數(shù)據(jù)所采用的第一語(yǔ)音編碼特征參數(shù)以及所述當(dāng)前編碼數(shù)據(jù)的在前編碼數(shù)據(jù)所采用的第二語(yǔ)音編碼特征參數(shù)；

獲取直接對(duì)所述樣本語(yǔ)音編碼碼流進(jìn)行解碼并獲得第一語(yǔ)音信號(hào)后，基于所述第一語(yǔ)音信號(hào)所確定的第一語(yǔ)音質(zhì)量評(píng)分；獲取對(duì)所述當(dāng)前編碼數(shù)據(jù)進(jìn)行模擬丟包恢復(fù)處理獲得恢復(fù)包，對(duì)所述恢復(fù)包進(jìn)行解碼并獲得第二語(yǔ)音信號(hào)后，基于所述第二語(yǔ)音信號(hào)所確定的第二語(yǔ)音質(zhì)量評(píng)分；

根據(jù)所述第一語(yǔ)音質(zhì)量評(píng)分與所述第二語(yǔ)音質(zhì)量評(píng)分之間的評(píng)分差異確定所述當(dāng)前編碼數(shù)據(jù)對(duì)應(yīng)的真實(shí)丟包恢復(fù)能力；將所述第一語(yǔ)音編碼特征參數(shù)及所述第二語(yǔ)音編碼特征參數(shù)輸入至機(jī)器學(xué)習(xí)模型，通過(guò)所述機(jī)器學(xué)習(xí)模型輸出所述當(dāng)前編碼數(shù)據(jù)所對(duì)應(yīng)的預(yù)測(cè)丟包恢復(fù)能力；

根據(jù)所述真實(shí)丟包恢復(fù)能力與所述預(yù)測(cè)丟包恢復(fù)能力之間的差異調(diào)整所述機(jī)器學(xué)習(xí)模型的模型參數(shù)后，返回至所述獲取訓(xùn)練集中的樣本語(yǔ)音序列的步驟繼續(xù)訓(xùn)練，直至滿足訓(xùn)練結(jié)束條件。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

獲取原始語(yǔ)音信號(hào)；

將原始語(yǔ)音信號(hào)進(jìn)行分割，獲得原始語(yǔ)音序列；

依次對(duì)所述原始語(yǔ)音序列中的語(yǔ)音片段進(jìn)行語(yǔ)音編碼，獲得語(yǔ)音編碼碼流。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

獲取原始語(yǔ)音序列中的語(yǔ)音片段各自對(duì)應(yīng)的語(yǔ)音編碼特征參數(shù)；

根據(jù)所述語(yǔ)音編碼特征參數(shù)對(duì)相應(yīng)的語(yǔ)音片段進(jìn)行語(yǔ)音編碼，生成對(duì)應(yīng)的編碼數(shù)據(jù)后獲得語(yǔ)音編碼碼流；

緩存語(yǔ)音編碼過(guò)程中各個(gè)編碼數(shù)據(jù)所采用的語(yǔ)音編碼特征參數(shù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過(guò)訓(xùn)練好的基于機(jī)器學(xué)習(xí)的丟包恢復(fù)能力預(yù)測(cè)模型，根據(jù)當(dāng)前編碼數(shù)據(jù)對(duì)應(yīng)的第一語(yǔ)音編碼特征參數(shù)以及所述當(dāng)前編碼數(shù)據(jù)的在前編碼數(shù)據(jù)對(duì)應(yīng)的第二語(yǔ)音編碼特征參數(shù)，獲得所述當(dāng)前編碼數(shù)據(jù)對(duì)應(yīng)的丟包恢復(fù)能力，包括：

將所述當(dāng)前編碼數(shù)據(jù)對(duì)應(yīng)的第一語(yǔ)音編碼特征參數(shù)以及所述當(dāng)前編碼數(shù)據(jù)的在前編碼數(shù)據(jù)對(duì)應(yīng)的第二語(yǔ)音編碼特征參數(shù)輸入至丟包恢復(fù)能力預(yù)測(cè)模型；

通過(guò)所述丟包恢復(fù)能力預(yù)測(cè)模型，根據(jù)所述第一語(yǔ)音編碼特征參數(shù)及所述第二語(yǔ)音編碼特征參數(shù)，輸出對(duì)所述當(dāng)前編碼數(shù)據(jù)進(jìn)行直接解碼所確定的第一語(yǔ)音質(zhì)量評(píng)分與對(duì)所述當(dāng)前編碼數(shù)據(jù)進(jìn)行丟包恢復(fù)處理后解碼所確定的第二語(yǔ)音質(zhì)量評(píng)分之間的評(píng)分差異；

根據(jù)所述評(píng)分差異確定所述當(dāng)前編碼數(shù)據(jù)對(duì)應(yīng)的丟包恢復(fù)能力；

其中，所述當(dāng)前編碼數(shù)據(jù)對(duì)應(yīng)的丟包恢復(fù)能力與所述評(píng)分差異成反相關(guān)。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述當(dāng)前編碼數(shù)據(jù)進(jìn)行冗余編碼生成相應(yīng)的冗余包后，再將所述當(dāng)前編碼數(shù)據(jù)及所述冗余包傳輸至接收端，包括：

獲取接收端所反饋的丟包狀態(tài)信息；

根據(jù)所述丟包狀態(tài)信息確定所述當(dāng)前編碼數(shù)據(jù)所對(duì)應(yīng)的冗余率；

按照所述冗余率，根據(jù)所述當(dāng)前編碼數(shù)據(jù)生成冗余包后將所述當(dāng)前編碼數(shù)據(jù)及所述冗余包傳輸至所述接收端。