[發(fā)明專利]一種翻譯處理方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201810555273.0
• 申請日: 2018-06-01
• 公開（公告）號: CN108874785B
• 公開（公告）日: 2020-11-03
• 發(fā)明（設計）人: 劉洋;丁延卓;欒煥博;孫茂松;翟飛飛;許靜芳
• 申請（專利權(quán)）人: 清華大學;北京搜狗科技發(fā)展有限公司
• 主分類號: G06F40/44
• 分類號: G06F40/44;G06F40/58;G06F40/279
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 王瑩;吳歡燕

1.一種翻譯處理方法，其特征在于，包括：

獲取源語言的語句；

將所述源語言的語句進行編碼，得到向量序列，所述向量序列包括由從所述語句分得的各個分詞分別轉(zhuǎn)換成的詞向量；

根據(jù)所述向量序列逐詞地預測目標語言中相應的候選詞；

根據(jù)預測得到的候選詞生成目標語言的語句；

其中，在任一所述候選詞的預測處理中，從預設的翻譯詞表中獲取多個初選詞，根據(jù)預先訓練的機器翻譯模型計算每個初選詞的翻譯概率，以根據(jù)所述翻譯概率從所述初選詞中選取所述候選詞；

所述預先訓練的機器翻譯模型根據(jù)公有翻譯模型輸出的隱狀態(tài)和私有翻譯模型輸出的隱狀態(tài)建立，所述公有翻譯模型根據(jù)多種樣本語言對訓練而成，所述私有翻譯模型根據(jù)所述源語言和目標語言對應的樣本語言對訓練而成；

其中，還包括對初選詞的公有隱狀態(tài)進行過濾，具體地，通過以下公式對初選詞的公有隱狀態(tài)進行過濾：

其中，W_o和W_s為過濾層中需要訓練的參數(shù)矩陣，g為一個門函數(shù)，表示第j次從翻譯詞表中選取的初選詞過濾后的公有隱狀態(tài)，σ()為sigmoid函數(shù)；表示第j-1個候選詞的詞向量，表示第j次從翻譯詞表中選取的初選詞的私有翻譯模型的隱狀態(tài)，表示第j次從翻譯詞表中選取的初選詞的公有翻譯模型的隱狀態(tài)，運算符表示向量的乘法。

2.根據(jù)權(quán)利要求1所述的翻譯處理方法，其特征在于，所述根據(jù)所述翻譯概率從所述初選詞中選取所述候選詞，之后還包括：獲取所述候選詞的詞向量。

3.根據(jù)權(quán)利要求2所述的翻譯處理方法，其特征在于，所述機器翻譯模型包括公有翻譯模型、私有翻譯模型和softmax模型；

相應地，所述從預設的翻譯詞表中獲取多個初選詞，根據(jù)預先訓練的機器翻譯模型計算每個初選詞的翻譯概率，以根據(jù)所述翻譯概率從所述初選詞中選取所述候選詞，具體為：

從預設的翻譯詞表中獲取若干個詞匯作為初選詞；

根據(jù)所述向量序列和在獲取若干個詞匯之前預測出的候選詞的詞向量，計算每個所述初選詞的公有翻譯模型的隱狀態(tài)；

根據(jù)所述向量序列和在獲取若干個詞匯之前預測出的候選詞的詞向量，計算每個所述初選詞的私有翻譯模型的隱狀態(tài)；

根據(jù)計算得到的所述初選詞的公有翻譯模型的隱狀態(tài)和私有翻譯模型的隱狀態(tài)以及在獲取若干個詞匯之前預測出的候選詞的詞向量，結(jié)合所述softmax模型計算每個初選詞的翻譯概率；

對計算得到的翻譯概率進行排序，將翻譯概率最高的初選詞選為所述候選詞。

4.根據(jù)權(quán)利要求3所述的翻譯處理方法，其特征在于，所述公有翻譯模型包括公有編碼器、公有注意力模塊以及公有解碼器；

相應地，所述根據(jù)所述向量序列和在獲取若干個詞匯之前預測出的候選詞的詞向量，計算每個所述初選詞的公有翻譯模型的隱狀態(tài)，具體為：

將所述向量序列逐詞輸入至所述公有編碼器中，輸出對應所述向量序列中各詞向量的公有隱狀態(tài)；

將所述初選詞與所述向量序列中各詞向量之間在公有翻譯模型的權(quán)重以及所述向量序列中各詞向量的公有隱狀態(tài)輸入至所述公有注意力模塊，輸出所述初選詞的公有翻譯模型的上下文信息；

將所述在獲取若干個詞匯之前預測出的候選詞的詞向量、所述在獲取若干個詞匯之前預測出的候選詞的公有翻譯模型的隱狀態(tài)以及所述初選詞的公有翻譯模型的上下文信息輸入至所述公有解碼器，輸出所述初選詞的公有翻譯模型的隱狀態(tài)。