[發明專利]基于Bert模型的意圖識別與槽值填充聯合預測方法

有效

• 申請號: 202011249692.5
• 申請日: 2020-11-11
• 公開（公告）號: CN112800190B
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 張璞;明歡歡;朱洪倩
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06F40/211;G06F40/279;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 重慶輝騰律師事務所 50215
• 代理人: 王海軍

1.一種基于Bert模型的意圖識別與槽值填充聯合預測方法，其特征在于，包括以下步驟：輸入目標文本，得到目標文本的詞向量、段向量和位置向量，將詞向量、段向量和位置向量拼接作為Bert模型的輸入向量，輸入最佳Bert模型中，Bert層輸出意圖表示向量和槽值序列表示向量，將意圖表示向量和槽值序列表示向量在Gate層通過權重計算，計算出聯合作用因子，將聯合作用因子作用于槽值序列表示向量，最終輸出預測的意圖分類和槽值序列；

其中，Bert模型先訓練后使用，訓練過程包括以下過程：

S1、獲得訓練集的詞向量、段向量和位置向量，將詞向量、段向量和位置向量拼接作為模型的輸入向量，輸入Bert層，Bert層輸出分類意圖表示向量和槽值表示向量；

S2、將Bert層的輸出數據輸入到Gate層，在Gate層，首先用權重矩陣W統一意圖表示向量的圖形狀，以與槽值表示向量的圖形狀相同；統一圖形狀之后，先用tanh激活函數分別處理意圖表示向量和槽值表示向量，再利用不同的可訓練向量分別對意圖表示向量和槽值表示向量加權求和，得到聯合作用因子t；

將聯合作用因子t作用于Bert層的槽值表示向量，得到混入聯合作用因子t的槽值表示向量并輸出Gate層；

S3、將Gate層輸出的混入聯合作用因子的槽值表示向量輸入到Softmax層，進行槽值序列預測；

S4、將Bert層輸出的意圖表示向量輸入到Softmax層進行意圖分類預測；

意圖分類預測：Softmax層直接使用Bert層輸出的意圖表示向量，計算每個類別的分類預測概率值，再進行歸一化，將預測概率映射到(0,1)之間，計算表達式如下：

y^I＝softmax(W^I·H_I+b^I)

其中，y^I表示歸一化后的意圖類別預測，W^I表示第一權重矩陣，H_I表示Bert輸出的意圖分類表示向量，b^I表示偏置值；

計算每個類別的分類概率值后，取最大概率對應的分類作為意圖類別預測值；根據意圖類別預測值和真實的意圖分類數計算意圖識別損失函數，通過意圖識別損失函數訓練第一權重矩陣W^I，得到訓練好的第一權重矩陣W^I；

槽值序列預測：使用Softmax層歸一化Gate層輸出的槽值表示向量，取每個歸一化后的最大概率值作為槽值預測值，計算整個目標文本的槽值損失之和，通過槽值損失函數訓練第二權重矩陣W^S，得到訓練好的第二權重矩陣W^S；

將每個epoch訓練好的第一權重矩陣W^I和訓練好的第二權重矩陣W^S存儲起來，得到多組模型參數，每一組參數中包括一個訓練好的第一權重矩陣W^I和訓練好的第二權重矩陣W^S；

S5、驗證集驗證Bert模型效果，從多組模型參數中找到最優參數組：使用驗證集，分別使用每個epoch已訓練好的模型參數參與計算，計算驗證集在每個模型參數組上的意圖識別準確率和槽值填充的F1值，將意圖識別準確率和槽值填充的F1值最高的一組模型參數作為最終模型參數，得到最佳Bert模型。

2.根據其權利要求1所述的一種基于Bert模型的意圖識別與槽值填充聯合預測方法，其特征在于，通過意圖識別損失函數訓練第一權重矩陣W^I，具體包括：通過在意圖識別損失函數中對可訓練參數進行求導，獲得各可訓練參數的梯度值diff，求得所有可訓練參數梯度值的平方和sum_diff，若sum_diff大于閾值，則計算第一縮放因子scale_factor＝閾值/sum_diff，最后將所有第一縮放因子乘以各可訓練參數梯度值，得到新的梯度值，使用Adam優化器將新的梯度值應用于變量，以更新優化可訓練參數，直至意圖識別損失函數達到最小時，可訓練參數達到最合適的值，停止迭代過程，得到訓練好的第一權重矩陣W^I。