[發(fā)明專利]用于即時(shí)通話同聲翻譯的方法、設(shè)備及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011073402.6
• 申請(qǐng)日: 2020-10-09
• 公開(kāi)（公告）號(hào): CN112201224A
• 公開(kāi)（公告）日: 2021-01-08
• 發(fā)明（設(shè)計(jì)）人: 張明;關(guān)磊
• 申請(qǐng)（專利權(quán)）人: 北京分音塔科技有限公司
• 主分類號(hào): G10L15/00
• 分類號(hào): G10L15/00;G10L17/06;G10L13/033;G06F40/58
• 代理公司: 北京細(xì)軟智谷知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11471
• 代理人: 岳鳳羽

1.一種用于即時(shí)通話同聲翻譯的方法，其特征在于，包括：

接收發(fā)送端發(fā)送的待處理數(shù)據(jù)，對(duì)所述待處理數(shù)據(jù)進(jìn)行預(yù)處理，得到所述待處理數(shù)據(jù)中的音頻數(shù)據(jù)；

對(duì)所述音頻數(shù)據(jù)進(jìn)行語(yǔ)種識(shí)別，并匹配對(duì)應(yīng)的語(yǔ)言翻譯模塊進(jìn)行翻譯；

對(duì)所述音頻數(shù)據(jù)進(jìn)行性別識(shí)別和聲紋分析，生成與所述音頻數(shù)據(jù)性別和聲紋匹配的模擬聲音；

根據(jù)所述語(yǔ)言翻譯模塊翻譯后的所述音頻數(shù)據(jù)，基于所述模擬聲音，生成所述模擬聲音對(duì)應(yīng)的模擬音頻數(shù)據(jù)；

將所述模擬音頻數(shù)據(jù)發(fā)送到接收端。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述待處理數(shù)據(jù)進(jìn)行預(yù)處理，具體包括：

若所述待處理數(shù)據(jù)為視頻數(shù)據(jù)，則對(duì)所述視頻數(shù)據(jù)進(jìn)行音頻流分離，獲取所述視頻數(shù)據(jù)中的音頻數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)所述待處理數(shù)據(jù)進(jìn)行預(yù)處理，具體還包括：

對(duì)所述音頻數(shù)據(jù)進(jìn)行放大和濾波處理。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

對(duì)所述音頻數(shù)據(jù)進(jìn)行性別識(shí)別和聲紋分析，在預(yù)先建立的聲紋數(shù)據(jù)庫(kù)中獲取與所述音頻數(shù)據(jù)性別和聲紋匹配的模擬聲音。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

在確定通話循環(huán)進(jìn)行時(shí)，將每次通話循環(huán)中產(chǎn)生的音頻數(shù)據(jù)進(jìn)行訓(xùn)練，生成與所述音頻數(shù)據(jù)性別和聲紋匹配的優(yōu)化模擬聲音。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，還包括：

在每次通話循環(huán)結(jié)束后，將當(dāng)前模擬聲音替換為上次通話循環(huán)中生成的與所述音頻數(shù)據(jù)性別和聲紋匹配的優(yōu)化模擬聲音。

7.根據(jù)權(quán)利要求2所述的方法，其特征在于，還包括：

若所述待處理數(shù)據(jù)為視頻數(shù)據(jù)，基于所述語(yǔ)言翻譯模塊翻譯后的所述音頻數(shù)據(jù)，生成所述模擬聲音對(duì)應(yīng)的文字?jǐn)?shù)據(jù)；

將所述文字?jǐn)?shù)據(jù)發(fā)送到所述接收端。

8.一種用于即時(shí)通話同聲翻譯的設(shè)備，其特征在于，包括：處理器和存儲(chǔ)器；

所述處理器與存儲(chǔ)器通過(guò)通信總線相連接：

其中，所述處理器，用于調(diào)用并執(zhí)行所述存儲(chǔ)器中存儲(chǔ)的程序；

所述存儲(chǔ)器，用于存儲(chǔ)程序，所述程序至少用于執(zhí)行權(quán)利要求1-7任一項(xiàng)所述的用于即時(shí)通話同聲翻譯的方法。

9.一種用于即時(shí)通話同聲翻譯的系統(tǒng)，其特征在于，包括：第一終端和第二終端；

所述第一終端和所述第二終端無(wú)線通信連接；

所述第一終端或所述第二終端內(nèi)設(shè)置有如權(quán)利要求7所述的用于即時(shí)通話同聲翻譯的設(shè)備。

10.一種用于即時(shí)通話同聲翻譯的系統(tǒng)，其特征在于，包括：第一終端，第二終端和云端服務(wù)器；

所述云端服務(wù)器分別與所述第一終端和所述第二終端無(wú)線通信連接；

所述云端服務(wù)器內(nèi)設(shè)置有如權(quán)利要求7所述的翻譯設(shè)備。