[發明專利]一種自然語言理解模型訓練方法及裝置

在審

• 申請號: 202011165670.0
• 申請日: 2020-10-27
• 公開（公告）號: CN114490922A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 韓驍楓;吳國星
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/332;G06F40/211;G06N3/04;G06N3/08
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 朱琳琳

1.一種自然語言理解模型訓練方法，其特征在于，包括：

通過訓練語句以及級聯后的老師自然語言理解模型和感知損失網絡，對所述感知損失網絡進行訓練，其中所述老師自然語言理解模型的輸入為所述訓練語句、輸出為對所述訓練語句處理得到的第一句向量，所述感知損失模型的輸入為所述第一句向量、輸出為對所述第一句向量處理得到的第二句向量，所述感知損失網絡基于所述第二句向量映射的理解結果相對所述訓練語句對應的理解結果真值的第一損失調整參數，所述感知損失網絡采用多層序列變換transformer結構；

將所述訓練語句輸入級聯后的所述老師自然語言理解模型和訓練后的所述感知損失網絡進行處理，得到第三句向量，以及將所述訓練語句輸入級聯后的學生自然語言理解模型和訓練后的所述感知損失網絡進行處理，得到第四句向量；

計算所述第四句向量相對所述第三句向量的感知損失；

根據所述感知損失調整所述學生自然語言理解模型的參數，獲得訓練完成的學生自然語言理解模型。

2.如權利要求1所述的方法，其特征在于，所述方法還包括：

將所述訓練語句輸入到所述老師自然語言理解模型進行處理，得到第五句向量；

計算所述第五句向量映射的理解結果相對所述訓練語句對應的理解結果真值的第二損失；

根據所述第二損失調整所述老師自然語言理解模型的參數。

3.如權利要求1所述的方法，其特征在于，所述方法還包括：

將所述訓練語句輸入到所述老師自然語言理解模型和所述學生自然語言理解模型，獲取所述老師自然語言理解模型隱藏層輸出的第一特征和所述學生自然語言理解模型隱藏層輸出的第二特征；

計算所述第二特征相對所述第一特征的第三損失；

根據所述第三損失調整所述學生自然語言理解模型的參數。

4.如權利要求1所述的方法，其特征在于，所述計算所述第四句向量相對所述第三句向量的感知損失，包括：

計算所述第四句向量映射的理解結果相對所述第三句向量映射的理解結果的感知損失。

5.如權利要求1-4中任一項所述的方法，其特征在于，所述理解結果包括所述訓練語句的意圖和意圖的關鍵信息。

6.如權利要求1-5中任一項所述的方法，其特征在于，所述老師自然語言理解模型的層數和/或參數大于所述學生自然語言理解模型。

7.一種自然語言理解模型訓練裝置，其特征在于，包括：

第一訓練單元，用于通過訓練語句以及級聯后的老師自然語言理解模型和感知損失網絡，對所述感知損失網絡進行訓練，其中所述老師自然語言理解模型的輸入為所述訓練語句、輸出為對所述訓練語句處理得到的第一句向量，所述感知損失模型的輸入為所述第一句向量、輸出為對所述第一句向量處理得到的第二句向量，所述感知損失網絡基于所述第二句向量映射的理解結果相對所述訓練語句對應的理解結果真值的第一損失調整參數，所述感知損失網絡采用多層序列變換transformer結構；

第二訓練單元，用于將所述訓練語句輸入級聯后的所述老師自然語言理解模型和訓練后的所述感知損失網絡進行處理，得到第三句向量，以及將所述訓練語句輸入級聯后的學生自然語言理解模型和訓練后的所述感知損失網絡進行處理，得到第四句向量；計算所述第四句向量相對所述第三句向量的感知損失；以及根據所述感知損失調整所述學生自然語言理解模型的參數，獲得訓練完成的學生自然語言理解模型。

8.如權利要求7所述的裝置，其特征在于，所述第一訓練單元，還用于將所述訓練語句輸入到所述老師自然語言理解模型進行處理，得到第五句向量；計算所述第五句向量映射的理解結果相對所述訓練語句對應的理解結果真值的第二損失；以及根據所述第二損失調整所述老師自然語言理解模型的參數。