[發(fā)明專(zhuān)利]一種基于膠囊的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯系統(tǒng)、信息數(shù)據(jù)處理終端

有效

• 申請(qǐng)?zhí)枺?/td>: 201810371528.8
• 申請(qǐng)日: 2018-04-24
• 公開(kāi)（公告）號(hào): CN108549646B
• 公開(kāi)（公告）日: 2022-04-15
• 發(fā)明（設(shè)計(jì)）人: 貝超;程國(guó)艮
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中譯語(yǔ)通科技股份有限公司
• 主分類(lèi)號(hào): G06F40/58
• 分類(lèi)號(hào): G06F40/58;G06F40/279;G06N3/08
• 代理公司: 北京萬(wàn)貝專(zhuān)利代理事務(wù)所(特殊普通合伙) 11520
• 代理人: 馬紅

本發(fā)明屬于計(jì)算機(jī)軟件技術(shù)領(lǐng)域，公開(kāi)了一種基于膠囊的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯系統(tǒng)、信息數(shù)據(jù)處理終端，所述基于膠囊的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯方法包括：把詞映射得到高維向量空間得到詞向量，得到結(jié)合語(yǔ)料中額外信息的詞向量，同時(shí)結(jié)合詞的位置信息；接收上下文向量，得到到目標(biāo)語(yǔ)言的詞向量，通過(guò)詞典得到目標(biāo)語(yǔ)言詞匯。本發(fā)明通過(guò)改變神經(jīng)網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)，通過(guò)膠囊層改進(jìn)后的詞嵌入層可以學(xué)習(xí)到語(yǔ)料中額外的信息，使得原文和譯文中所對(duì)應(yīng)的詞更加緊密了。原文和譯文中帶有類(lèi)似額外信息的詞在詞向量空間中的距離更加緊密。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)軟件技術(shù)領(lǐng)域，尤其涉及一種基于膠囊的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯系統(tǒng)、信息數(shù)據(jù)處理終端。

背景技術(shù)

目前，業(yè)內(nèi)常用的現(xiàn)有技術(shù)是這樣的：機(jī)器翻譯是一種利用機(jī)器學(xué)習(xí)的技術(shù)將一種自然語(yǔ)言翻譯成另外一種自然語(yǔ)言的過(guò)程。作為計(jì)算語(yǔ)言學(xué)的一個(gè)重要分支，它涉及認(rèn)知科學(xué)、語(yǔ)言學(xué)等學(xué)科，是人工智能的終極目標(biāo)之一。現(xiàn)有主流的機(jī)器翻譯模型是使用基于自注意力機(jī)制的編碼-解碼結(jié)構(gòu)，由編碼器和解碼器組成。二者均以自注意力層為主。翻譯流程主要包括：首先把輸入的詞映射到高維的向量空間得到詞向量，再把詞向量輸入到編碼器，通過(guò)自注意力機(jī)制得到上下文向量，解碼器再根據(jù)上下文向量和自注意力機(jī)制，通過(guò)softmax層輸出到目標(biāo)語(yǔ)言的詞向量空間。最后通過(guò)詞典得到目標(biāo)語(yǔ)言詞匯。現(xiàn)有工業(yè)界的通用機(jī)器翻譯系統(tǒng)大多只是使用雙語(yǔ)平行語(yǔ)料，并未額外使用語(yǔ)料中的句法和詞性等信息。其主要原因在于兩點(diǎn)：第一，使用語(yǔ)料中的句法和詞性等信息的前提是在于已提取句法和詞性等信息，而提取這類(lèi)信息既耗費(fèi)時(shí)間，也不能保證很高的準(zhǔn)確率；第二，現(xiàn)有加入句法和詞性等信息的發(fā)放中，大多會(huì)使得模型更加復(fù)雜，訓(xùn)練以及解碼的時(shí)間成本更高，難以滿足用戶的需求。而雙語(yǔ)平行語(yǔ)料中可提取的信息十分豐富，但并沒(méi)有得到更好的利用。例如雙語(yǔ)平行語(yǔ)料中的詞性信息，可讓原文和譯文中相同詞性的詞有了更緊密的聯(lián)系。同樣的，這也拉近了原文和譯文中主謂賓的距離。有效地利用雙語(yǔ)平行語(yǔ)料中額外的信息，可以有效避免一些人名和數(shù)字的錯(cuò)翻漏翻等問(wèn)題。

綜上所述，現(xiàn)有技術(shù)存在的問(wèn)題是：現(xiàn)有工業(yè)界的通用機(jī)器翻譯系統(tǒng)大多只是使用雙語(yǔ)平行語(yǔ)料，并未額外使用語(yǔ)料中的句法和詞性等信息。

解決上述技術(shù)問(wèn)題的難度和意義：使用語(yǔ)料中的句法和詞性等信息的前提是在于已提取句法和詞性等信息，而提取這類(lèi)信息既耗費(fèi)時(shí)間，也不能保證很高的準(zhǔn)確率；現(xiàn)有加入句法和詞性等信息的發(fā)放中，大多會(huì)使得模型更加復(fù)雜，訓(xùn)練以及解碼的時(shí)間成本更高，難以滿足用戶的需求。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)存在的問(wèn)題，本發(fā)明提供了一種基于膠囊的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯系統(tǒng)、信息數(shù)據(jù)處理終端。

本發(fā)明是這樣實(shí)現(xiàn)的，一種基于膠囊的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯方法，所述基于膠囊的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯方法包括：把詞映射得到高維向量空間得到詞向量，得到結(jié)合語(yǔ)料中額外信息的詞向量，同時(shí)結(jié)合詞的位置信息；接收上下文向量，得到到目標(biāo)語(yǔ)言的詞向量，通過(guò)詞典得到目標(biāo)語(yǔ)言詞匯。

進(jìn)一步，所述得到高維向量空間得到詞向量的方法具體包括：

其中b_ij初始化為0。

所述基于膠囊的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯方法進(jìn)一步包括：

點(diǎn)乘注意力：

多頭注意力：

MultiHead(Q,K,V)＝Concat(head1，...，head_n)；