[發(fā)明專利]基于雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的口譯評(píng)測(cè)方法、系統(tǒng)及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202110962640.0
• 申請(qǐng)日: 2021-08-20
• 公開(kāi)（公告）號(hào): CN113674764A
• 公開(kāi)（公告）日: 2021-11-19
• 發(fā)明（設(shè)計(jì)）人: 劉江輝;謝柏儒;黃偉波
• 申請(qǐng)（專利權(quán)）人: 廣東外語(yǔ)外貿(mào)大學(xué)
• 主分類號(hào): G10L25/51
• 分類號(hào): G10L25/51;G10L25/30;G10L15/18;G06F40/51;G06N3/04;G06N3/08
• 代理公司: 廣州幫專高智知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 44674
• 代理人: 顏德昊

本發(fā)明公開(kāi)了基于雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的口譯評(píng)測(cè)方法、系統(tǒng)及設(shè)備，該方法包括：將口譯的聲學(xué)特征進(jìn)行向量轉(zhuǎn)化；輸出等維度的特征向量；獲取特征向量的統(tǒng)一概率分布；利用概率分布結(jié)果分別得出口譯結(jié)果的質(zhì)量向量以及語(yǔ)境詞向量；將語(yǔ)境詞向量轉(zhuǎn)化為連續(xù)的語(yǔ)境特征句向量；將質(zhì)量向量以及語(yǔ)境特征句向量輸入雙向循環(huán)神經(jīng)網(wǎng)絡(luò)，獲得口譯結(jié)果文本的文本對(duì)照程度向量和文本聯(lián)系程度向量，然后獲得口譯結(jié)果整體特征向量；將得到的整體特征向量用于計(jì)算口譯質(zhì)量得分。本發(fā)明通過(guò)提取特征語(yǔ)境句向量，能夠更好地識(shí)別口譯結(jié)果的語(yǔ)義和語(yǔ)序信息，通過(guò)引入雙向的循環(huán)神經(jīng)網(wǎng)絡(luò)，提高了對(duì)上下文信息的利用效率和訓(xùn)練效率以及對(duì)翻譯結(jié)果流利程度的特征識(shí)別能力。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能口譯評(píng)測(cè)技術(shù)領(lǐng)域，尤其涉及一種基于雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的口譯評(píng)測(cè)方法、系統(tǒng)及設(shè)備。

背景技術(shù)

隨著國(guó)際性交流的增加，使用不同語(yǔ)種的語(yǔ)言溝通也越來(lái)越頻繁，口譯作為一種重要的實(shí)時(shí)交流方式，在一些涉外商務(wù)交流和外交工作中顯得尤為重要，因此，口譯工作者的口譯可靠性以及準(zhǔn)確性對(duì)交流雙方的溝通暢達(dá)性至關(guān)重要。為了提高口譯工作者的口譯可靠性和準(zhǔn)確性，在口譯工作者的日常訓(xùn)練以及口譯工作中，通常需要對(duì)其口譯結(jié)果進(jìn)行質(zhì)量評(píng)測(cè)。

在這一領(lǐng)域，陳志明等人提出了基于QuEst技術(shù)和神經(jīng)網(wǎng)絡(luò)的質(zhì)量估計(jì)模型，其通過(guò)提取目標(biāo)語(yǔ)句的質(zhì)量向量來(lái)達(dá)到對(duì)于神經(jīng)機(jī)器翻譯質(zhì)量的檢測(cè)；秦文杰等人提出利用RNN模型的注意力機(jī)制來(lái)解決機(jī)器翻譯質(zhì)量檢測(cè)中的轉(zhuǎn)化方法有效性問(wèn)題；周瀚章對(duì)于現(xiàn)有的語(yǔ)音識(shí)別模型進(jìn)行了梳理，并且提出了Transformer模型的聲學(xué)建模思路。

上述方法雖然能一定程度上對(duì)口譯結(jié)果的質(zhì)量進(jìn)行評(píng)測(cè)估計(jì)，但是仍然存在相應(yīng)的缺陷。具體地：

1、在使用QuEst技術(shù)時(shí)，其需要利用大規(guī)模的語(yǔ)料庫(kù)，并且對(duì)于指標(biāo)的設(shè)定缺乏統(tǒng)一的標(biāo)準(zhǔn)，從而導(dǎo)致對(duì)于翻譯質(zhì)量的估計(jì)容易出現(xiàn)偏差。而在模型訓(xùn)練的過(guò)程中，現(xiàn)階段研究往往選擇將目標(biāo)詞向量和源詞向量分開(kāi)進(jìn)行訓(xùn)練，從而忽略了兩種詞向量之間的聯(lián)系；

2、在使用神經(jīng)譯文質(zhì)量估計(jì)方法時(shí)，主要是針對(duì)翻譯結(jié)果與參考譯文的對(duì)照程度進(jìn)行衡量，但目前的研究主要使用翻譯結(jié)果的特征詞向量來(lái)進(jìn)行對(duì)于語(yǔ)義的獲取，忽略了其上下文之間的聯(lián)系程度；

3、基于RNN模型的語(yǔ)音識(shí)別方法對(duì)于語(yǔ)義信息的獲取效率和模型的訓(xùn)練速度皆不如Transformer模型。而基于Transformer模型中的注意力機(jī)制(Attention)的聲學(xué)建模的語(yǔ)音識(shí)別系統(tǒng)表達(dá)能力仍有待提高。

發(fā)明內(nèi)容

為解決上述技術(shù)問(wèn)題，本發(fā)明實(shí)施例提供一種可識(shí)別口譯準(zhǔn)確性和口譯流利度的基于雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的口譯評(píng)測(cè)方法、系統(tǒng)及設(shè)備。

一種基于雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的口譯評(píng)測(cè)方法，包括如下步驟：

將口譯結(jié)果的聲學(xué)特征進(jìn)行音節(jié)的向量轉(zhuǎn)化；

輸出等維度的特征向量；

獲取特征向量的統(tǒng)一概率分布；

利用概率分布的結(jié)果分別得出口譯結(jié)果的質(zhì)量向量以及語(yǔ)境詞向量；

將語(yǔ)境詞向量轉(zhuǎn)化為連續(xù)的語(yǔ)境特征句向量；

將質(zhì)量向量以及語(yǔ)境特征句向量輸入雙向循環(huán)神經(jīng)網(wǎng)絡(luò)，獲得口譯結(jié)果文本的文本對(duì)照程度向量和文本聯(lián)系程度向量，然后通過(guò)向量連接操作獲得口譯結(jié)果整體特征向量；

將得到的口譯結(jié)果整體特征向量用于計(jì)算口譯質(zhì)量得分QE_{INTERPRETATION}，其中，y^*表示為口譯結(jié)果整體特征向量，w_qe為全連接神經(jīng)網(wǎng)絡(luò)層的權(quán)重矩陣。

優(yōu)選地，在上述的基于雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的口譯評(píng)測(cè)方法中，所述將口譯結(jié)果的聲學(xué)特征進(jìn)行音節(jié)的向量轉(zhuǎn)化包括步驟：