[發(fā)明專利]序列轉(zhuǎn)換方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201610698139.7
• 申請(qǐng)日: 2016-08-19
• 公開（公告）號(hào): CN107766319B
• 公開（公告）日: 2021-05-18
• 發(fā)明（設(shè)計(jì)）人: 涂兆鵬;劉曉華;呂正東;李航
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06F40/205
• 分類號(hào): G06F40/205;G06F40/58;G06N3/02
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了序列轉(zhuǎn)換方法及裝置，其中序列轉(zhuǎn)換方法包括：獲取源端序列；獲取參考上下文向量；將所述源端序列轉(zhuǎn)換為源端上下文向量；根據(jù)所述參考上下文向量和所述源端上下文向量獲取權(quán)重向量；使用所述權(quán)重向量對(duì)所述源端上下文向量和所述參考上下文向量進(jìn)行加權(quán)；使用加權(quán)后的源端上下文向量和加權(quán)后的參考上下文向量預(yù)測(cè)與所述源端上下文向量對(duì)應(yīng)的目標(biāo)端上下文向量；根據(jù)所述目標(biāo)端上下文向量獲取目標(biāo)端序列。使用本發(fā)明，能夠在進(jìn)行序列轉(zhuǎn)換時(shí)提高目標(biāo)端序列相對(duì)于源端序列的忠誠(chéng)度。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)，具體涉及一種序列轉(zhuǎn)換方法及裝置。

背景技術(shù)

隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，深度學(xué)習(xí)的研究也取得了較大進(jìn)展，涉及自然語言處理的序列到序列學(xué)習(xí)(sequence-to-sequence learning)也取得了突破性的進(jìn)展，序列到序列學(xué)習(xí)是一種將源端序列映射到目標(biāo)端序列的學(xué)習(xí)過程。序列到序列學(xué)習(xí)的成果主要用于序列轉(zhuǎn)換，典型的序列轉(zhuǎn)換的應(yīng)用場(chǎng)景包括機(jī)器翻譯(Machine Translation)、語音識(shí)別(speech recognition)、對(duì)話系統(tǒng)(dialog system or conversational agent)、自動(dòng)摘要(automatic summarization)、自動(dòng)問答(question answering)和圖像說明文字生成(image caption generation)等等。

一種典型的序列轉(zhuǎn)換方法包括兩個(gè)階段：編碼階段和解碼階段。其中，編碼階段一般會(huì)通過循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)將源端序列轉(zhuǎn)化為向量(也稱為源端上下文向量)，可以使用注意力(attention)機(jī)制，每次選擇源端序列的一部分轉(zhuǎn)化為源端上下文向量，即源端序列會(huì)被轉(zhuǎn)化為多個(gè)源端上下文向量(即為解碼階段每個(gè)目標(biāo)端詞生成對(duì)應(yīng)的源端上下文向量)。解碼階段通過每次生成一個(gè)詞的方式生成目標(biāo)端序列：在每一步中，解碼器根據(jù)編碼階段獲得的當(dāng)前源端上下文向量，解碼器的目標(biāo)端上下文向量(包括上一步的解碼器中間狀態(tài)和上一步生成的目標(biāo)端詞)來計(jì)算當(dāng)前步驟的解碼器中間狀態(tài)，根據(jù)該中間狀態(tài)及源端上下文向量預(yù)測(cè)當(dāng)前步驟的目標(biāo)端詞，新生成的解碼器中間狀態(tài)及目標(biāo)端詞即為當(dāng)前時(shí)刻新的目標(biāo)端上下文向量。

在序列轉(zhuǎn)換方法應(yīng)用到自然語言處理時(shí)，由于源端序列和目標(biāo)端序列的長(zhǎng)度都是不固定的，因此在解碼階段也可以使用RNN進(jìn)行處理。

由于RNN在預(yù)測(cè)過程中主要參考的還是已經(jīng)預(yù)測(cè)獲得的目標(biāo)端上下文向量，而僅僅將源端上下文向量作為一個(gè)額外的輸入，因此導(dǎo)致當(dāng)前源端上下文向量對(duì)應(yīng)的信息可能不會(huì)正確地傳遞到對(duì)應(yīng)的目標(biāo)端上下文向量，從而導(dǎo)致預(yù)測(cè)獲得的目標(biāo)端序列不能忠誠(chéng)地體現(xiàn)源端序列的信息。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了序列轉(zhuǎn)換方法及裝置，能夠在進(jìn)行序列轉(zhuǎn)換時(shí)提高目標(biāo)端序列相對(duì)于源端序列的忠誠(chéng)度。

本發(fā)明的第一方面提供了一種序列轉(zhuǎn)換方法，包括：

獲取源端序列；

獲取參考上下文向量；

將所述源端序列轉(zhuǎn)換為源端上下文向量；

根據(jù)所述參考上下文向量和所述源端上下文向量獲取權(quán)重向量；

使用所述權(quán)重向量對(duì)所述源端上下文向量和所述參考上下文向量進(jìn)行加權(quán)；

使用加權(quán)后的源端上下文向量和加權(quán)后的參考上下文向量預(yù)測(cè)與所述源端上下文向量對(duì)應(yīng)的目標(biāo)端上下文向量；

根據(jù)所述目標(biāo)端上下文向量獲取目標(biāo)端序列。

結(jié)合第一方面，在第一方面的第一種實(shí)施方式中，在所述目標(biāo)端上下文向量是所述源端序列對(duì)應(yīng)的第一個(gè)目標(biāo)端上下文向量時(shí)，所述參考上下文向量是初始目標(biāo)端上下文向量；其中，在一種實(shí)施方式中，初始目標(biāo)端上下文向量中每一個(gè)元素的值均為0，以避免對(duì)當(dāng)前源端上下文向量的預(yù)測(cè)造成干擾；