[發明專利]語義特征提取模型的訓練方法、裝置、設備及存儲介質

在審

• 申請號: 202110393016.3
• 申請日: 2021-04-13
• 公開（公告）號: CN113723105A
• 公開（公告）日: 2021-11-30
• 發明（設計）人: 陳小帥;陳春全;李偉康;孫星海
• 申請（專利權）人: 騰訊科技（北京）有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F16/35;G06F40/117;G06F40/169;G06N3/04;G06N3/08
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 祝亞男

本申請公開了一種語義特征提取模型的訓練方法、裝置、設備及存儲介質，涉及人工智能技術領域。所述方法包括：獲取語義特征提取模型的訓練語料，訓練語料包括目標語言的字詞文本語料及其發音標注信息；獲取字詞文本語料的字詞表示向量序列及其發音標注信息的發音表示向量序列；通過語義特征提取模型，從字詞表示向量序列和發音表示向量序列中，提取融合語義特征；基于融合語義特征，確定語義特征提取模型的預訓練任務所對應的預測結果；基于預測結果和真實結果確定語義特征提取模型的預訓練損失，并根據預訓練損失調整語義特征提取模型的參數，得到預訓練完成的語義特征提取模型。本申請能夠提升語義特征提取模型的語義表示能力。

技術領域

本申請實施例涉及人工智能技術領域，特別涉及一種語義特征提取模型的訓練方法、裝置、設備及存儲介質。

背景技術

語義特征提取模型是用于提取文本的語義特征的神經網絡模型，實現對文本的建模表示。

在相關技術中，在對文本進行建模表示時，通常是基于該文本中包含的字詞特征，通過語義特征提取模型從該字詞特征中提取文本的語義特征。采用這種方式訓練生成的語義特征提取模型，其語義表示能力欠佳。

發明內容

本申請實施例提供了一種語義特征提取模型的訓練方法、裝置、設備及存儲介質，能夠提升語義特征提取模型的語義表示能力。所述技術方案如下：

根據本申請實施例的一個方面，提供了一種語義特征提取模型的訓練方法，所述方法包括：

獲取所述語義特征提取模型的訓練語料，所述訓練語料包括目標語言的字詞文本語料和所述字詞文本語料的發音標注信息；

獲取所述字詞文本語料的字詞表示向量序列，以及所述字詞文本語料的發音標注信息的發音表示向量序列；

通過所述語義特征提取模型，從所述字詞文本語料的字詞表示向量序列和發音表示向量序列中，提取所述字詞文本語料的融合語義特征；

基于所述字詞文本語料的融合語義特征，確定所述語義特征提取模型的預訓練任務所對應的預測結果；

基于所述預訓練任務所對應的預測結果和真實結果確定所述語義特征提取模型的預訓練損失，并根據所述預訓練損失調整所述語義特征提取模型的參數，得到預訓練完成的語義特征提取模型。

根據本申請實施例的一個方面，提供了一種語義特征提取模型的訓練裝置，所述裝置包括：

語料獲取模塊，用于獲取所述語義特征提取模型的訓練語料，所述訓練語料包括目標語言的字詞文本語料和所述字詞文本語料的發音標注信息；

序列獲取模塊，用于獲取所述字詞文本語料的字詞表示向量序列，以及所述字詞文本語料的發音標注信息的發音表示向量序列；

特征提取模塊，用于通過所述語義特征提取模型，從所述字詞文本語料的字詞表示向量序列和發音表示向量序列中，提取所述字詞文本語料的融合語義特征；

結果確定模塊，用于基于所述字詞文本語料的融合語義特征，確定所述語義特征提取模型的預訓練任務所對應的預測結果；

參數調整模塊，用于基于所述預訓練任務所對應的預測結果和真實結果確定所述語義特征提取模型的預訓練損失，并根據所述預訓練損失調整所述語義特征提取模型的參數，得到預訓練完成的語義特征提取模型。

根據本申請實施例的一個方面，提供了一種計算機設備，所述計算機設備包括處理器和存儲器，所述存儲器中存儲有至少一條指令、至少一段程序、代碼集或指令集，所述至少一條指令、所述至少一段程序、所述代碼集或指令集由所述處理器加載并執行以實現上述語義特征提取模型的訓練方法。