[發明專利]一種基于神經網絡的意圖識別方法及電子裝置

在審

• 申請號: 202011268543.3
• 申請日: 2020-11-13
• 公開（公告）號: CN112364662A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 趙軍鎖;鐘方潔;吳鳳鴿;徐帆江;呂曉寧;朱博
• 申請（專利權）人: 中國科學院軟件研究所
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/279;G06N3/04;G06N3/08
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 余長江

本發明公開了一種基于神經網絡的意圖識別方法及電子裝置，包括依據待識別話術文本的預設場景，選取意圖識別模型；將待識別話術文本輸入意圖識別模型，獲取待識別話術文本的預測意圖標簽。本發明靈活性高，微調樣本可以直觀的看到，少樣本就可以有很好的效果，解決了傳統的神經網絡都需要大量輸入樣本的問題，相較于現有技術中使用的通用模型，極大地提高了識別率。

技術領域

本發明屬于計算機網絡領域，尤其涉及一種基于神經網絡的意圖識別方法及電子裝置。

背景技術

隨著時代的發展，意圖識別應用的越來越廣泛，尤其是人機對話方面，意圖識別是不可或缺的。意圖識別的準確性直接關系到語義槽填充的性能并且有助于后續對話系統的研究。考慮到人機對話系統中意圖識別的困難，傳統的機器學習方法無法理解用戶話語的深層語義信息，使得交互困難。本發明不僅改進了傳統的機器學習無法理解用戶話語的深層語義信息，而且使用較少的樣本量。

傳統的意圖識別方法包括基于規則模版的意圖識別方法和基于統計特征分類的意圖識別方法。

基于規則模板的方法一般需要人為構建規則模板以及類別信息對用戶意圖文本進行分類，但是不同的表達方式會導致規則模版數量的增加，需要耗費大量的人力物力。

基于統計特征分類的方法，則需要對語料文本進行關鍵特征的提取，如字、詞特征等，然后通過訓練分類器實現意圖分類。但是這種方法需要人工提取特征，不僅成本高，而且特征的準確性無法得到保障，同時還會導致數據稀疏問題。

但上述的基于規則模版的意圖識別方法和基于統計特征分類的意圖識別方法，其識別的準確率和樣本數量有關，少則千條，萬條，多則數百萬條，因此現在急需一種利用較少樣本就能進行意圖識別且識別準確率高的方法。

發明內容

為解決上述問題，本發明提供一種基于神經網絡的意圖識別方法及電子裝置，通過少量自定義的意圖訓練樣本微調預訓練模型，提高意圖識別的準確率。

本發明技術解決方案包括：

一種基于神經網絡的意圖識別方法，其步驟包括：

1)依據待識別話術文本的預設場景，選取意圖識別模型V₁；

2)將待識別話術文本輸入意圖識別模型V₁，獲取待識別話術文本的預測意圖標簽；

其中，通過以下步驟得到所述意圖識別模型V₁：

a)將訓練話術文本輸入預訓練語言模型T₁，獲取預訓練語言模型T₁中首位標簽CLS對應的最終隱藏層輸出的特征向量C₁；

b)通過全連接神經網絡與softmax神經網絡，將特征向量C₁轉化為特征矩陣P₁；

c)獲取特征矩陣P₁中最大元素的分布位置，從設定自然語言處理任務的預設候選意圖標簽集合中選取對應分布位置的的候選意圖標簽，作為所述訓練話術文本的預測意圖標簽；

d)通過預設損失函數，得到所述預測意圖標簽與所述訓練話術文本真實意圖標簽之間的結果誤差值，并根據所述結果誤差值對模型參數進行調整，直到結果誤差值小于結果誤差閾值且誤差符合次數不小于誤差符合次數閾值，得到所述意圖識別模型V₁。

進一步地，所述預設場景包括：催收或疫情調查。

進一步地，得到預訓練語言模型T₁的方法包括：使用大量無監督語料對一語言模型進行預訓練。

進一步地，所述語言模型包括：Bert模型。