[發(fā)明專利]同聲傳譯方法、系統(tǒng)和設(shè)備以及控制器和介質(zhì)

在審

• 申請?zhí)枺?/td>: 201811302012.4
• 申請日: 2018-11-02
• 公開（公告）號(hào): CN109344414A
• 公開（公告）日: 2019-02-15
• 發(fā)明（設(shè)計(jì)）人: 范利春;高鵬
• 申請（專利權(quán)）人: 芋頭科技（杭州）有限公司
• 主分類號(hào): G06F17/28
• 分類號(hào): G06F17/28;G06N3/04;G10L15/06;G10L15/22;G10L15/26
• 代理公司: 北京中原華和知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11019
• 代理人: 丁慧玲;張琳

1.一種同聲傳譯方法，其特征在于：包括:

采集源語言的語音信號(hào)和視覺信號(hào)；

接收所述語音信號(hào)和視覺信號(hào)并進(jìn)行語音識(shí)別；

根據(jù)語音識(shí)別結(jié)果和所述視覺信號(hào)進(jìn)行翻譯；

根據(jù)翻譯結(jié)果進(jìn)行語音合成，生成目標(biāo)語言。

2.根據(jù)權(quán)利要求1所述的同聲傳譯方法，其特征在于：

所述接收所述語音信號(hào)和視覺信號(hào)并進(jìn)行語音識(shí)別包括以下步驟：

接收所述語音信號(hào)和視覺信號(hào)；

將所述語音信號(hào)和視覺信號(hào)輸入預(yù)先建立的語音識(shí)別模型中進(jìn)行語音識(shí)別。

3.根據(jù)權(quán)利要求2所述的同聲傳譯方法，其特征在于：

所述方法還包括，預(yù)先建立所述語音識(shí)別模型，具體包括以下步驟：

輸入語音信號(hào)、視覺信號(hào)和對應(yīng)的語音識(shí)別結(jié)果進(jìn)行訓(xùn)練，生成所述語音識(shí)別模型。

4.根據(jù)權(quán)利要求3所述的同聲傳譯方法，其特征在于：

輸入語音信號(hào)、視覺信號(hào)和對應(yīng)的語音識(shí)別結(jié)果進(jìn)行訓(xùn)練，生成所述語音識(shí)別模型，包括以下步驟：

同時(shí)訓(xùn)練輸入的語音信號(hào)、視覺信號(hào)和對應(yīng)的語音識(shí)別結(jié)果，生成所述語音識(shí)別模型；

或者，

先對所述語音信號(hào)和對應(yīng)的語音識(shí)別結(jié)果進(jìn)行訓(xùn)練，待模型收斂之后，加入所述視覺信號(hào)調(diào)整模型，生成所述語音識(shí)別模型；

或者，

單獨(dú)對所述語音信號(hào)和對應(yīng)的語音識(shí)別結(jié)果進(jìn)行訓(xùn)練，生成語音模型，

單獨(dú)對所述視覺信號(hào)和對應(yīng)的語音識(shí)別結(jié)果進(jìn)行訓(xùn)練，生成視覺模型，

將所述語音模型和所述視覺模型的輸出結(jié)果進(jìn)行解碼合并，得到語音識(shí)別結(jié)果，所述語音模型、視覺模型以及解碼合并步驟共同構(gòu)成所述語音識(shí)別模型。

5.根據(jù)權(quán)利要求1所述的同聲傳譯方法，其特征在于：

所述根據(jù)語音識(shí)別結(jié)果和所述視覺信號(hào)進(jìn)行翻譯，包括以下步驟：

接收所述語音識(shí)別結(jié)果和所述視覺信號(hào)；

將所述語音識(shí)別結(jié)果和所述視覺信號(hào)輸入至預(yù)先建立的機(jī)器翻譯模型中進(jìn)行翻譯，得到翻譯結(jié)果。

6.根據(jù)權(quán)利要求5所述的同聲傳譯方法，其特征在于：

所述方法還包括：預(yù)先建立所述機(jī)器翻譯模型，具體包括以下步驟：

輸入源語言的文本信息、視覺信號(hào)以及對應(yīng)的目標(biāo)語言文本信息進(jìn)行訓(xùn)練，生成所述機(jī)器翻譯模型。

7.一種同聲傳譯系統(tǒng)，其特征在于：包括:

信號(hào)采集模塊，用于采集源語言的語音信號(hào)和視覺信號(hào)；

語音識(shí)別模塊，用于接收所述語音信號(hào)和視覺信號(hào)并進(jìn)行語音識(shí)別；

翻譯模塊，用于根據(jù)語音識(shí)別結(jié)果和所述視覺信號(hào)進(jìn)行翻譯；

語音合成模塊，用于根據(jù)翻譯結(jié)果進(jìn)行語音合成，生成目標(biāo)語言。

8.根據(jù)權(quán)利要求7所述的同聲傳譯系統(tǒng)，其特征在于：

所述語音識(shí)別模塊包括第一接收單元和信號(hào)識(shí)別單元，所述信號(hào)識(shí)別單元中存儲(chǔ)有預(yù)先建立的語音識(shí)別模型，其中，

所述第一接收單元用于接收所述語音信號(hào)和視覺信號(hào)；

所述信號(hào)識(shí)別單元用于將所述語音信號(hào)和視覺信號(hào)輸入預(yù)先建立的語音識(shí)別模型中進(jìn)行語音識(shí)別。

9.根據(jù)權(quán)利要求8所述的同聲傳譯系統(tǒng)，其特征在于：

所述語音識(shí)別模型通過輸入語音信號(hào)、視覺信號(hào)和對應(yīng)的語音識(shí)別結(jié)果進(jìn)行訓(xùn)練所得。

10.根據(jù)權(quán)利要求7所述的同聲傳譯系統(tǒng)，其特征在于：

所述翻譯模塊包括第二接收單元和機(jī)器翻譯單元，所述機(jī)器翻譯單元中存儲(chǔ)有預(yù)先建立的機(jī)器翻譯模型，其中，

所述第二接收單元用于接收所述語音識(shí)別結(jié)果和所述視覺信號(hào)；

所述機(jī)器翻譯單元用于將所述語音識(shí)別結(jié)果和所述視覺信號(hào)輸入至預(yù)先建立的機(jī)器翻譯模型中進(jìn)行翻譯，得到翻譯結(jié)果。