[發明專利]一種基于膠囊的神經網絡機器翻譯系統、信息數據處理終端

有效

• 申請號: 201810371528.8
• 申請日: 2018-04-24
• 公開（公告）號: CN108549646B
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 貝超;程國艮
• 申請（專利權）人: 中譯語通科技股份有限公司
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F40/279;G06N3/08
• 代理公司: 北京萬貝專利代理事務所(特殊普通合伙) 11520
• 代理人: 馬紅

1.一種基于膠囊的神經網絡機器翻譯方法，其特征在于，所述基于膠囊的神經網絡機器翻譯方法包括：把詞映射到高維向量空間得到詞向量，得到結合語料中額外信息的詞向量，同時結合詞的位置信息；接收上下文向量，得到目標語言的詞向量，通過詞典得到目標語言詞匯；

編碼器1，用于把詞映射得到高維向量空間得到詞向量，通過膠囊層得到結合語料中額外信息的詞向量，同時結合詞的位置信息，作為編碼器的輸入；

解碼器2，用于接收編碼器1的上下文向量；

膠囊層具體計算如下：

Embedding_output＝∑_iv_j·Embedding_i+1；

其中b_ij初始化為0；

編碼器和解碼器均主要由自注意力層組成，具體計算如下：點乘注意力：

多頭注意力：

MultiHead(Q，K，V)＝Concat(head1，...，head_n)；

head_i＝Attention(QW_i^Q，KW_i^K，VW_i^V)；

其中，Q，K，V均為詞向量，Concat是指把向量拼接起來；

前饋神經網絡：

FFN(x)＝max(0，xW₁+b₁)W₂+b₂；

最后通過softmax得到目標語言的詞向量，再通過詞典得到目標語言詞匯，其計算如下：

其中，θ_i為權重參數，k為目標語言詞表的大小。

2.一種實現權利要求1所述基于膠囊的神經網絡機器翻譯方法的信息數據處理終端。

3.一種計算機可讀存儲介質，包括指令，當其在計算機上運行時，使得計算機執行如權利要求1所述的基于膠囊的神經網絡機器翻譯方法。