[發明專利]機器翻譯模型的訓練方法及相關裝置

有效

• 申請號: 202110255893.4
• 申請日: 2021-03-09
• 公開（公告）號: CN112990434B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 魏文琦;王健宗;張之勇;程寧
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06N3/0455
• 分類號: G06N3/0455;G06N3/0499;G06N3/084;G06F40/284;G06F18/22
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強

本申請實施例提供了一種機器翻譯模型的訓練方法及相關裝置，該方法包括：通過自注意力層計算待編碼單詞與預設的第一序列中每個單詞之間的相似度，其中，待編碼單詞為預設的第二序列中第i時刻輸入的單詞，第二序列為預設的需要通過k個時刻輸完的單詞序列，第一序列為第二序列的單詞中第i個時刻之前輸入的單詞序列，i和k均為正整數，i小于k；根據相似度計算得到待編碼單詞的自注意力；將自注意力輸入至前饋神經網絡中得到輸出結果；計算輸出結果與自注意力之間的損失值；根據損失值調整機器翻譯模型的網絡參數。通過本申請實施例，能夠提高模型的訓練速度。

技術領域

本申請涉及人工智能技術領域，尤其涉及一種機器翻譯模型的訓練方法及相關裝置。

背景技術

在自然語音生成的任務中，大部分是基于Seq2Seq模型實現的，例如生成式對話，機器翻譯，文本摘要等等。Seq2Seq是一個編碼器Encoder-解碼器Decoder結構的網絡，它的輸入是一個序列，輸出也是一個序列。Encoder中將一個可變長度的信號序列變為固定長度的向量表達，Decoder將這個固定長度向量變成可變長度的目標的信號序列。其中，Encoder和Decoder可以由Transfomer結構來構成，Transformer結構中的注意力機制使得Seq2Seq模型可以集中在所有對于下一個目標單詞重要的輸入信息上，使得Seq2Seq模型效果得到極大的改善。

但是，在訓練模型的過程，當輸入輸出序列長度很長的時候，計算量會很大，訓練速度不快，會造成時間上的低效。

發明內容

本申請提供了一種機器翻譯模型的訓練方法，能夠提高模型的訓練速度。

本申請第一方面提供了一種機器翻譯模型的訓練方法，機器翻譯模型包括編碼器，編碼器包括自注意力層和前饋神經網絡，該方法可以包括：通過自注意力層計算待編碼單詞與預設的第一序列中每個單詞之間的相似度，其中，待編碼單詞為預設的第二序列中第i時刻輸入的單詞，第二序列為預設的需要通過k個時刻輸完的單詞序列，第一序列為第二序列的單詞中第i個時刻之前輸入的單詞序列，i和k均為正整數，i小于k；根據相似度計算得到待編碼單詞的自注意力；將自注意力輸入至前饋神經網絡中得到輸出結果；計算輸出結果與自注意力之間的損失值；根據損失值調整機器翻譯模型的網絡參數。

根據第一方面，在一種可能的實現方式中，通過自注意力層計算待編碼單詞與預設的第一序列中每個單詞之間的相似度，包括：獲取第一序列中的每個單詞的Key，Value數據對；計算待編碼單詞的Query和各個Key的相似度，相似度為每個Key對應Value值的權重系數。

根據第一方面，在一種可能的實現方式中，根據相似度計算得到待編碼單詞的自注意力，包括：獲取隨機函數值；若隨機函數值大于或等于第一閾值，則將所述相似度和所述相似度所表示的單詞的Value值進行加權求和，得到待編碼單詞的自注意力。

根據第一方面，在一種可能的實現方式中，還包括：若隨機函數值小于第一閾值，則將第一序列中第i-1時刻的單詞的自注意力作為待編碼單詞的自注意力。

根據第一方面，在一種可能的實現方式中，前饋神經網絡包括輸入層、隱藏層和輸出層，將自注意力輸入至前饋神經網絡中得到輸出結果，包括：將自注意力輸入至輸入層得到第一輸出；將第一輸出輸入至隱藏層得到第二輸出；將第二輸出輸入至輸出層得到輸出結果。

根據第一方面，在一種可能的實現方式中，計算輸出結果與自注意力之間的損失值，包括：通過似然函數的遞推式得到自注意力的閉式表達式，其中，閉式表達式為：

采用損失函數計算自注意力的閉式表達式與輸出結果之間的損失值。

根據第一方面，在一種可能的實現方式中，根據損失值調整機器翻譯模型中編碼器的網絡參數，包括：將損失值對機器翻譯模型中的每一個網絡參數求偏導；根據求導鏈式法則計算損失值對網絡參數的梯度值；根據梯度值更新網絡參數，使得損失值收斂至全局最優。