[發明專利]訓練語義表示模型的方法、裝置、設備和計算機存儲介質

有效

• 申請號: 202010638228.9
• 申請日: 2020-07-06
• 公開（公告）號: CN111539227B
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 王碩寰;劉佳祥;歐陽軒;孫宇;吳華;王海峰
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30
• 代理公司: 北京鴻德海業知識產權代理事務所(普通合伙) 11412
• 代理人: 田宏賓

本申請公開了一種訓練語義表示模型的方法、裝置、設備和計算機存儲設備，涉及人工智能中的自然語言處理技術領域。具體實現方案為：獲取已針對第一語種訓練得到的語義表示模型作為第一語義表示模型；將所述第一語義表示模型的底層和頂層作為被訓練層，對被訓練層進行初始化，保持其他層的模型參數不變，利用第二語種的訓練語料對被訓練層進行訓練，直至達到訓練結束條件；將未訓練的各層從下至上逐次加入被訓練層，并分別執行：保持除被訓練層之外的其他層的模型參數不變，利用第二語種的訓練語料對被訓練層進行訓練，直至分別達到訓練結束條件；所有層均訓練結束后，得到針對第二語種的語義表示模型。本申請能夠減少成本，且訓練效率更高。

技術領域

本申請涉及計算機應用技術領域，特別涉及人工智能技術。

背景技術

今年來，以BERT（Bidirectional Encoder Representation from Transformers，來自transformer的雙向編碼器表示）模型為代表的預訓練模型大幅提升了NLP（NaturalLanguage Processing，自然語言處理）任務的效果。然而目前主流的語義表示模型集中在英文、中文、法文、德文等常見語言。然而世界上有多達上千種語言，大部分相對于英文等常見語言來說語料較少，我們稱其為低資源語言。預訓練模型的訓練需要大量計算資源，成本昂貴，每個模型的成本高達幾十萬甚至幾百萬，因此，難以對每一種語言都構建足夠的語料進行訓練。并且對于諸如捷克語等語料非常稀少的語種來說，甚至難以收集到足夠多的語料進行訓練。

發明內容

有鑒于此，本申請提供了一種針對語料稀少語種的訓練語義表示模型的方法、裝置、設備和計算機存儲介質。

第一方面，本申請提供了一種訓練語義表示模型的方法，該方法包括：

獲取已針對第一語種訓練得到的語義表示模型作為第一語義表示模型；

將所述第一語義表示模型的底層和頂層作為被訓練層，對被訓練層進行初始化，保持其他層的模型參數不變，利用第二語種的訓練語料對被訓練層進行訓練，直至達到訓練結束條件；

將未訓練的各層從下至上逐次加入被訓練層，并分別執行：保持除被訓練層之外的其他層的模型參數不變，利用第二語種的訓練語料對被訓練層進行訓練，直至分別達到訓練結束條件；

所有層均訓練結束后，得到針對第二語種的語義表示模型。

第二方面，本申請還提供了一種訓練語義表示模型的裝置，該裝置包括：

第一獲取單元，用于獲取已針對第一語種訓練得到的語義表示模型作為第一語義表示模型；

訓練單元，用于將所述第一語義表示模型的底層和頂層作為被訓練層，對被訓練層進行初始化，保持其他層的模型參數不變，利用第二語種的訓練語料對被訓練層進行訓練，直至達到訓練結束條件；將未訓練的各層從下至上逐次加入被訓練層，并分別執行：保持除被訓練層之外的其他層的模型參數不變，利用第二語種的訓練語料對被訓練層進行訓練，直至分別達到訓練結束條件；所有層均訓練結束后，得到針對第二語種的語義表示模型。

第三方面，本申請提供了一種電子設備，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行如上任一項所述的方法。

第四方面，本申請還提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，所述計算機指令用于使所述計算機執行如上任一項所述的方法。