[發明專利]機器翻譯模型的訓練方法及相關裝置有效
| 申請號： | 202110255893.4 | 申請日： | 2021-03-09 |
| 公開（公告）號： | CN112990434B | 公開（公告）日： | 2023-06-20 |
| 發明（設計）人： | 魏文琦;王健宗;張之勇;程寧 | 申請（專利權）人： | 平安科技（深圳）有限公司 |
| 主分類號： | G06N3/0455 | 分類號： | G06N3/0455;G06N3/0499;G06N3/084;G06F40/284;G06F18/22 |
| 代理公司： | 廣州三環專利商標代理有限公司 44202 | 代理人： | 熊永強 |
| 地址： | 518000 廣東省深圳市福田區福*** | 國省代碼： | 廣東;44 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 機器翻譯 模型 訓練 方法 相關 裝置 | ||
1.一種機器翻譯模型的訓練方法，其特征在于，所述機器翻譯模型包括編碼器，所述編碼器包括自注意力層和前饋神經網絡，所述方法包括：
通過所述自注意力層計算待編碼單詞與預設的第一序列中每個單詞之間的相似度，其中，所述待編碼單詞為預設的第二序列中第i時刻輸入的單詞，所述第二序列為預設的需要通過k個時刻輸完的單詞序列，所述第一序列為所述第二序列的單詞中第i個時刻之前輸入的單詞序列，i和k均為正整數，i小于k；
根據所述相似度得到所述待編碼單詞的自注意力；
將所述自注意力輸入至所述前饋神經網絡中得到輸出結果；
計算所述輸出結果與所述自注意力之間的損失值，包括：
通過似然函數的遞推式得到所述自注意力的閉式表達式，其中，所述閉式表達式為：
其中，αi,j為所述待編碼單詞的自注意力，pi,j為所述待編碼單詞的相似度；
通過損失函數計算所述自注意力的閉式表達式與所述輸出結果之間的損失值；
根據所述損失值調整所述機器翻譯模型的網絡參數，包括：
基于反向傳播求導算法將所述損失值對所述機器翻譯模型中的每一個網絡參數求偏導；
根據求導鏈式法則計算所述損失值對所述網絡參數的梯度值；
根據所述梯度值更新所述網絡參數，使得所述損失值收斂至全局最優。
2.根據權利要求1所述的方法，其特征在于，所述通過所述自注意力層計算待編碼單詞與預設的第一序列中每個單詞之間的相似度，包括：
獲取所述第一序列中的每個單詞的Key，Value數據對；
計算所述待編碼單詞的Query和各個Key的相似度，所述相似度為每個Key對應Value值的權重系數。
3.根據權利要求2所述的方法，其特征在于，所述根據所述相似度計算得到所述待編碼單詞的自注意力，包括：
獲取隨機函數值；
若所述隨機函數值大于或等于第一閾值，則將所述相似度和所述相似度所表示的單詞的Value值進行加權求和，得到所述待編碼單詞的自注意力。
4.根據權利要求3所述的方法，其特征在于，還包括：
若所述隨機函數值小于所述第一閾值，則將所述第一序列中第i-1時刻的單詞的自注意力作為所述待編碼單詞的自注意力。
5.根據權利要求1所述的方法，其特征在于，所述前饋神經網絡包括輸入層、隱藏層和輸出層，所述將所述自注意力輸入至所述前饋神經網絡中得到輸出結果，包括：
將所述自注意力輸入至所述輸入層得到第一輸出；
將所述第一輸出輸入至所述隱藏層得到第二輸出；
將所述第二輸出輸入至所述輸出層得到輸出結果。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于平安科技（深圳）有限公司，未經平安科技（深圳）有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110255893.4/1.html，轉載請聲明來源鉆瓜專利網。
