[發(fā)明專利]端到端模型訓(xùn)練方法、語義理解方法、裝置、設(shè)備和介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210408734.8
• 申請(qǐng)日: 2022-04-19
• 公開（公告）號(hào): CN114781365A
• 公開（公告）日: 2022-07-22
• 發(fā)明（設(shè)計(jì)）人: 張桐桐;殷騰龍
• 申請(qǐng)（專利權(quán)）人: 海信視像科技股份有限公司
• 主分類號(hào): G06F40/279
• 分類號(hào): G06F40/279;G06F40/30
• 代理公司: 北京國之大銘知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11565
• 代理人: 張平

1.一種端到端語義理解模型訓(xùn)練方法，其特征在于，所述方法包括：

獲取訓(xùn)練樣本，所述訓(xùn)練樣本包括自然語言文本、所述自然語言文本對(duì)應(yīng)的關(guān)鍵詞集合以及關(guān)鍵詞對(duì)應(yīng)的標(biāo)簽信息集合；

定義端到端語義理解模型的框架，基于所述端到端語義理解模型的框架和所述訓(xùn)練樣本，生成對(duì)應(yīng)的語義理解結(jié)果，所述語義理解結(jié)果包括意圖識(shí)別結(jié)果、關(guān)鍵詞以及每個(gè)關(guān)鍵詞對(duì)應(yīng)的標(biāo)簽信息；

基于預(yù)設(shè)損失函數(shù)，根據(jù)所述訓(xùn)練樣本對(duì)所述端到端語義理解模型的框架進(jìn)行訓(xùn)練，得到端到端語義理解模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述端到端語義理解模型的框架包括語義特征提取單元、全連接層以及目標(biāo)結(jié)果分?jǐn)?shù)計(jì)算單元；

所述語義特征提取單元用于基于所述自然語言文本生成對(duì)應(yīng)的語義向量；

所述全連接層用于對(duì)所述語義向量進(jìn)行融合處理，得到意圖識(shí)別預(yù)測向量和關(guān)鍵詞預(yù)測向量；

所述目標(biāo)結(jié)果分?jǐn)?shù)計(jì)算單元用于基于所述意圖識(shí)別預(yù)測向量和所述關(guān)鍵詞預(yù)測向量分別得到對(duì)應(yīng)的預(yù)測分?jǐn)?shù)，并基于所述預(yù)測分?jǐn)?shù)確定所述自然語言文本對(duì)應(yīng)的語義理解結(jié)果。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于所述意圖識(shí)別預(yù)測向量和所述關(guān)鍵詞預(yù)測向量分別得到對(duì)應(yīng)的預(yù)測分?jǐn)?shù)，并基于所述預(yù)測分?jǐn)?shù)確定所述自然語言文本對(duì)應(yīng)的語義理解結(jié)果，包括：

基于所述意圖識(shí)別預(yù)測向量，根據(jù)第一參數(shù)矩陣，確定對(duì)應(yīng)的第一預(yù)測分?jǐn)?shù)；

基于所述關(guān)鍵詞預(yù)測向量，根據(jù)第二參數(shù)矩陣，確定對(duì)應(yīng)的第二預(yù)測分?jǐn)?shù)；

基于所述意圖識(shí)別預(yù)測向量和所述關(guān)鍵詞預(yù)測向量，根據(jù)第三參數(shù)矩陣，確定對(duì)應(yīng)的第三預(yù)測分?jǐn)?shù)；

基于所述第一預(yù)測分?jǐn)?shù)、所述第二預(yù)測分?jǐn)?shù)以及所述第三預(yù)測分?jǐn)?shù)，確定所述自然語言文本對(duì)應(yīng)的語義理解結(jié)果。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述語義特征提取單元包括：語義表示層和編碼層；

所述語義表示層，用于基于所述自然語言文本生成對(duì)應(yīng)的表示向量；

所述編碼層，用于對(duì)所述表示向量進(jìn)行特征提取，得到所述自然語言文本對(duì)應(yīng)的語義向量。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于預(yù)設(shè)損失函數(shù)，根據(jù)所述訓(xùn)練樣本對(duì)所述端到端語義理解模型的框架進(jìn)行訓(xùn)練，得到端到端語義理解模型，包括：

根據(jù)所述第一預(yù)測分?jǐn)?shù)、所述第二預(yù)測分?jǐn)?shù)、所述第三預(yù)測分?jǐn)?shù)以及所述標(biāo)簽信息集合，確定所述預(yù)設(shè)損失函數(shù)對(duì)應(yīng)的損失值；

根據(jù)所述損失值，調(diào)整所述端到端語義理解模型的框架的參數(shù)，直至所述端到端語義理解模型的框架收斂，得到端到端語義理解模型。

6.一種語義理解方法，其特征在于，所述方法包括：

獲取待預(yù)測文本；

將所述待預(yù)測文本輸入端到端語義理解模型中，得到所述待預(yù)測文本對(duì)應(yīng)的目標(biāo)語義理解結(jié)果；

其中，所述端到端語義理解模型基于如權(quán)利要求1至5任一項(xiàng)所述的方法訓(xùn)練得到。

7.一種端到端語義理解模型訓(xùn)練裝置，其特征在于，所述裝置包括：

樣本獲取模塊，用于獲取訓(xùn)練樣本，所述訓(xùn)練樣本包括自然語言文本、所述自然語言文本對(duì)應(yīng)的關(guān)鍵詞集合以及關(guān)鍵詞對(duì)應(yīng)的標(biāo)簽信息集合；

框架確定模塊，用于定義端到端語義理解模型的框架，基于所述端到端語義理解模型的框架和所述訓(xùn)練樣本，生成對(duì)應(yīng)的語義理解結(jié)果，所述語義理解結(jié)果包括意圖識(shí)別結(jié)果、關(guān)鍵詞以及每個(gè)關(guān)鍵詞對(duì)應(yīng)的標(biāo)簽信息；

模型確定模塊，用于基于預(yù)設(shè)損失函數(shù)，根據(jù)所述訓(xùn)練樣本對(duì)所述端到端語義理解模型的框架進(jìn)行訓(xùn)練，得到端到端語義理解模型。

8.一種語義理解裝置，其特征在于，所述裝置包括：

文本獲取模塊，用于獲取待預(yù)測文本；

結(jié)果確定模塊，用于將所述待預(yù)測文本輸入端到端語義理解模型中，得到所述待預(yù)測文本對(duì)應(yīng)的目標(biāo)語義理解結(jié)果；

其中，所述端到端語義理解模型基于如權(quán)利要求1至5任一項(xiàng)所述的方法訓(xùn)練得到。