[發(fā)明專利]訓(xùn)練語義表示模型的方法、裝置、設(shè)備和計算機(jī)存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010638228.9
• 申請日: 2020-07-06
• 公開（公告）號: CN111539227B
• 公開（公告）日: 2020-12-18
• 發(fā)明（設(shè)計）人: 王碩寰;劉佳祥;歐陽軒;孫宇;吳華;王海峰
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30
• 代理公司: 北京鴻德海業(yè)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11412
• 代理人: 田宏賓

1.一種訓(xùn)練語義表示模型的方法，包括：

獲取已針對第一語種訓(xùn)練得到的語義表示模型作為第一語義表示模型；

將所述第一語義表示模型的底層和頂層作為被訓(xùn)練層，對被訓(xùn)練層進(jìn)行初始化，保持其他層的模型參數(shù)不變，利用第二語種的訓(xùn)練語料對被訓(xùn)練層進(jìn)行訓(xùn)練，直至達(dá)到訓(xùn)練結(jié)束條件；

將未訓(xùn)練的各層從下至上逐次加入被訓(xùn)練層，并分別執(zhí)行：保持除被訓(xùn)練層之外的其他層的模型參數(shù)不變，利用第二語種的訓(xùn)練語料對被訓(xùn)練層進(jìn)行訓(xùn)練，直至分別達(dá)到訓(xùn)練結(jié)束條件；

所有層均訓(xùn)練結(jié)束后，得到針對第二語種的語義表示模型；

該方法還包括：獲取所述已針對第一語種訓(xùn)練得到的語義表示模型作為第二語義表示模型；

在所述利用第二語種的訓(xùn)練語料對被訓(xùn)練層進(jìn)行訓(xùn)練時，將所述第二語種的訓(xùn)練語料對應(yīng)的第一語種的平行語料輸入所述第二語義表示模型；將所述第二語義表示模型的輸出結(jié)果與所述第一語義表示模型的輸出結(jié)果進(jìn)行對齊。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述語義表示模型包括：Transformer模型。

3.根據(jù)權(quán)利要求1或2所述的方法，其中，所述第二語種的訓(xùn)練語料包括：使用第二語種的帶掩碼mask的文本以及所述mask對應(yīng)的字符；

在對第一語義表示模型的各層進(jìn)行訓(xùn)練時，訓(xùn)練目標(biāo)為：所述頂層對mask的預(yù)測結(jié)果符合所述訓(xùn)練語料中mask對應(yīng)的字符。

4.根據(jù)權(quán)利要求1所述的方法，其中，

將所述第二語義表示模型的輸出結(jié)果與所述第一語義表示模型的輸出結(jié)果進(jìn)行對齊包括：

將所述第一語義表示模型的輸出結(jié)果和所述第二語義表示模型的輸出結(jié)果輸入對齊模型；

由所述對齊模型利用所述第一語義表示模型的輸出結(jié)果對所述第二語義表示模型的輸出結(jié)果進(jìn)行注意力機(jī)制的處理，對所述注意力機(jī)制的處理結(jié)果進(jìn)行映射，得到對第二語種的訓(xùn)練語料中字符的預(yù)測結(jié)果。

5.根據(jù)權(quán)利要求4所述的方法，其中，若所述第二語種的訓(xùn)練語料包括：使用第二語種的帶mask的文本以及所述mask對應(yīng)的字符，則訓(xùn)練目標(biāo)為：所述對第二語種的訓(xùn)練語料中mask的預(yù)測結(jié)果符合所述訓(xùn)練語料中mask對應(yīng)的字符；

若所述第二語種的訓(xùn)練語料為第二語種的不帶mask的文本，則訓(xùn)練目標(biāo)為：所述對第二語種的訓(xùn)練語料中各字符的預(yù)測結(jié)果符合所述訓(xùn)練語料中的各字符。

6.一種訓(xùn)練語義表示模型的裝置，包括：

第一獲取單元，用于獲取已針對第一語種訓(xùn)練得到的語義表示模型作為第一語義表示模型；

訓(xùn)練單元，用于將所述第一語義表示模型的底層和頂層作為被訓(xùn)練層，對被訓(xùn)練層進(jìn)行初始化，保持其他層的模型參數(shù)不變，利用第二語種的訓(xùn)練語料對被訓(xùn)練層進(jìn)行訓(xùn)練，直至達(dá)到訓(xùn)練結(jié)束條件；將未訓(xùn)練的各層從下至上逐次加入被訓(xùn)練層，并分別執(zhí)行：保持除被訓(xùn)練層之外的其他層的模型參數(shù)不變，利用第二語種的訓(xùn)練語料對被訓(xùn)練層進(jìn)行訓(xùn)練，直至分別達(dá)到訓(xùn)練結(jié)束條件；所有層均訓(xùn)練結(jié)束后，得到針對第二語種的語義表示模型；

第二獲取單元，用于獲取所述已針對第一語種訓(xùn)練得到的語義表示模型作為第二語義表示模型；

所述訓(xùn)練單元，還用于在所述利用第二語種的訓(xùn)練語料對被訓(xùn)練層進(jìn)行訓(xùn)練時，將所述第二語種的訓(xùn)練語料對應(yīng)的第一語種的平行語料輸入所述第二語義表示模型；將所述第二語義表示模型的輸出結(jié)果與所述第一語義表示模型的輸出結(jié)果進(jìn)行對齊。

7.根據(jù)權(quán)利要求6所述的裝置，其中，所述語義表示模型包括：Transformer模型。

8.根據(jù)權(quán)利要求6或7所述的裝置，其中，所述第二語種的訓(xùn)練語料包括：使用第二語種的帶掩碼mask的文本以及所述mask對應(yīng)的字符；

所述訓(xùn)練單元在對第一語義表示模型的各層進(jìn)行訓(xùn)練時，訓(xùn)練目標(biāo)為：所述頂層對mask的預(yù)測結(jié)果符合所述訓(xùn)練語料中mask對應(yīng)的字符。