[發明專利]優化語言語義理解模型方法、裝置、設備及存儲介質

在審

• 申請號: 202010970954.0
• 申請日: 2020-09-15
• 公開（公告）號: CN112199479A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 李健;李天陽;武衛東;陳明
• 申請（專利權）人: 北京捷通華聲科技股份有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06F40/211;G06F40/30
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

1.一種優化語言語義理解模型的方法，其特征在于，所述方法包括：

獲得語言語義理解模型在目標訓練中的第一損失值；所述目標訓練是利用目標領域的問句樣本數據精調所述語言語義理解模型的訓練；

根據所述第一損失值，對所述語言語義理解模型的輸入層添加擾動；

獲得添加擾動后的語言語義理解模型在所述目標訓練中的第二損失值；

根據所述第二損失值，更新所述語言語義理解模型的參數，得到優化后的語言語義理解模型。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

獲得多個所述問句樣本數據；所述問句樣本數據包括問句文本樣本和所述問句文本樣本對應的分類標記；

獲得語言語義理解模型在目標訓練中的第一損失值，包括：

將所述問句文本樣本輸入所述語言語義理解模型，得到第一預測分類；

計算所述第一預測分類和所述問句文本樣本對應的分類標記的交叉熵損失，得到所述第一損失值。

3.根據權利要求1所述的方法，其特征在于，根據所述第一損失值，對所述語言語義理解模型的輸入層添加擾動，包括：

根據所述第一損失值，計算對所述語言語義理解模型進行參數更新的第一梯度；

根據所述第一梯度，對所述語言語義理解模型的輸入層添加擾動；

根據所述第二損失值，更新所述語言語義理解模型的參數，得到優化后的語言語義理解模型，包括：

根據所述第二損失值，計算對所述添加擾動后語言語義理解模型進行參數更新的第二梯度；

根據所述第二梯度，更新所述語言語義理解模型的參數，得到優化后的語言語義理解模型。

4.根據權利要求1或3所述的方法，其特征在于，獲得添加擾動后的語言語義理解模型在所述目標訓練中的第二損失值，包括：

將所述問句文本樣本作為添加擾動后的輸入層的輸入，得到所述添加擾動后的輸入層輸出的對抗樣本向量；

將所述對抗樣本向量輸入所述語言語義理解模型的分類層，得到第二預測分類；

計算所述第二預測分類和所述問句文本樣本對應的分類標記的交叉熵損失，得到所述第二損失值。

5.根據權利要求3所述的方法，其特征在于，在根據所述第二損失值，計算對所述語言語義理解模型進行參數更新的第二梯度后，所述方法還包括；

累加所述第一梯度和所述第二梯度，得到累加梯度；

根據所述第二梯度，更新所述添加擾動后的語言語義理解模型的參數，得到優化后的語言語義理解模型，包括：

根據所述累加梯度，更新所述添加擾動后的語言語義理解模型的參數，得到優化后的語言語義理解模型。

6.根據權利要求3所述的方法，其特征在于，根據所述第一梯度，對所述語言語義理解模型的輸入層添加擾動，包括：

根據所述第一梯度，確定擾動系統；

對所述輸入層的原始梯度進行標準化；

將標準化后的輸入層乘以所述擾動系統，得到擾動梯度；

對所述輸入層的參數疊加所述擾動梯度。

7.一種優化語言語義理解模型裝置，其特征在于，所述裝置包括：

第一損失值獲得模塊，用于獲得語言語義理解模型在目標訓練中的第一損失值；所述目標訓練是利用目標領域的問句樣本數據精調所述語言語義理解模型的訓練；

擾動添加模塊，用于根據所述第一損失值，對所述語言語義理解模型的輸入層添加擾動；

第二損失值獲得模塊，用于獲得添加擾動后的語言語義理解模型在所述目標訓練中的第二損失值；

參數更新模塊，用于根據所述第二損失值，更新所述語言語義理解模型的參數，得到優化后的語言語義理解模型。