[發明專利]跨語言的任務訓練

在審

• 申請號: 201910447514.4
• 申請日: 2019-05-27
• 公開（公告）號: CN112084295A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 梁耀波;段楠;公明;壽林鈞;姜大昕;周明
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/332;G06F40/30;G06N3/08
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華;丁君軍

1.一種計算機實現的方法，包括：

基于對第一語言的第一句子中的第一詞語的掩碼，生成所述第一語言的第一掩碼句子；

確定與所述第一詞語相對應的第二語言的第二詞語，所述第一語言不同于所述第二語言；以及

使用所述第一語言的所述第一掩碼句子和所述第二語言的第二詞語來預訓練跨語言編碼器，所述跨語言編碼器基于特定任務要被進一步訓練。

2.根據權利要求1所述的方法，其中預訓練跨語言編碼器包括：

將所述第一語言的所述第一掩碼句子確定為第一輸入；

將所述第二語言的所述第二詞語確定為第一輸出；以及

使用所述第一輸入和所述第一輸出來預訓練所述跨語言編碼器。

3.根據權利要求1所述的方法，還包括：

獲得所述第二語言的第二句子；

組合所述第一語言的所述第一句子和所述第二語言的所述第二句子以獲得第二輸入；以及

使用所述第二輸入和第二輸出來預訓練所述跨語言編碼器，所述第二輸出包括指示所述第一句子和所述第二句子是否具有相同含義的標志。

4.根據權利要求1所述的方法，還包括：

獲得所述第二語言的第三句子；

組合所述第一語言的所述第一句子和所述第二語言的所述第三句子以獲得第三輸入；以及

使用所述第三輸入和第三輸出來預訓練所述跨語言編碼器，所述第三輸出包括指示所述第三句子在語義上是否為所述第一句子的下一句子的標志。

5.根據權利要求1所述的方法，還包括：

在完成對所述跨語言編碼器的預訓練之后，從所述第一語言的問答語料庫中獲得第一問答對，所述第一問答對包括第一語言的第一問題和第一回答；以及

執行以下至少一項：

將所述第一回答從所述第一語言翻譯成所述第二語言，并且使用所述第一語言的第一問題和所述第二語言的第一回答來進一步訓練所述跨語言編碼器，以用于所述第二語言的問答，以及

將所述第一問題從所述第一語言翻譯成所述第二語言，并且使用所述第二語言的第一問題和所述第一語言的第一回答來進一步訓練所述跨語言編碼器，以用于所述第二語言的問答。

6.根據權利要求5所述的方法，還包括：

從所述問答語料庫中獲得第二問答對，所述第二問答對包括第一語言的第二問題和第二回答；

將所述第二問題和所述第二回答分別從所述第一語言翻譯成所述第二語言；以及

使用所述第二語言的所述第二問題和所述第二語言的所述第二回答來微調所述跨語言編碼器。

7.根據權利要求6所述的方法，還包括：

響應于在搜索引擎中接收到所述第二語言的用戶查詢；

使用所述跨語言編碼器來確定針對所述用戶查詢的第二語言的回答；以及

在所述搜索引擎的搜索結果頁面中呈現所述第二語言的所述回答。

8.根據權利要求1所述的方法，還包括：

從所述第一語言的自然語言推理庫中獲得第一句子對，所述第一句子對包括第一語言的第一前提句子和第一假設句子，所述第一前提句子和所述第一假設句子之間被標記有以下關系之一：蘊含、矛盾以及中立；以及

執行以下至少一項：

將所述第一假設句子從所述第一語言翻譯成所述第二語言，并且使用所述第一語言的所述第一前提句子、所述第二語言的所述第一假設句子以及所述關系來訓練所述跨語言編碼器，以用于所述第二語言的推理，以及

將所述第一前提句子從所述第一語言翻譯成所述第二語言，并且使用所述第二語言的第一前提句子、所述第一語言的第一假設句子以及所述關系來訓練所述跨語言編碼器，以用于所述第二語言的推理。

9.根據權利要求1所述的方法，還包括：

確定與所述第一詞語相對應的第三語言的第三詞語；以及

使用所述第一語言的所述第一掩碼句子和所述第三語言的第三詞語來預訓練跨語言編碼器，以用于與所述第三語言相關聯的任務。