[發明專利]一種基于深度學習的場景自適應Attention多意圖識別方法

在審

• 申請號: 202110326513.1
• 申請日: 2021-03-26
• 公開（公告）號: CN113204971A
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 張暉;李吉媛;趙海濤;孫雁飛;朱洪波
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 劉莎

1.一種基于深度學習的場景自適應Attention多意圖識別方法，其特征在于，包括以下步驟：

步驟1，實時獲取當前用戶輸入的多意圖文本，并進行向量化處理；

步驟2，構建多層Bi-IndRNN神經網絡模型，用來提取向量化處理后的多意圖文本的語義特征；

步驟3，構建場景自適應Attention語義增強模型，用來利用特定場景特征增強步驟2提取的語義特征；

步驟4，構建多意圖分類器，用來對步驟3增強后的語義特征進行分類，以識別用戶的多個意圖。

2.根據權利要求1所述的一種基于深度學習的場景自適應Attention多意圖識別方法，其特征在于，所述步驟1中，利用基于同領域海量中文無監督語料訓練得到的BERT模型對多意圖文本進行向量化處理。

3.根據權利要求1所述的一種基于深度學習的場景自適應Attention多意圖識別方法，其特征在于，所述步驟2中，多層Bi-IndRNN神經網絡模型的構建是利用殘差連接機制將IndRNN多層堆疊，用來提取向量化處理后的多意圖文本的語義特征；在IndRNN的基礎上設置前向IndRNN單元和后向IndRNN單元，分別用來提取向量化處理后的多意圖文本從前到后的語義特征和從后向前的語義特征，利用未來的語義特征增強當前的語義特征。

4.根據權利要求1所述的一種基于深度學習的場景自適應Attention多意圖識別方法，其特征在于，所述步驟3中，場景自適應Attention語義增強模型的構建是基于場景自適應Attention機制的權重，場景自適應注意力權重a_it的計算方法如下所示：

(1)將多層Bi-IndRNN神經網絡模型的輸出記為u_it，則u_it＝tanh(W_wh_it+b_w)，其中，W_w為多層Bi-IndRNN神經網絡模型權重，b_w為多層Bi-IndRNN神經網絡模型偏置，h_it為多層Bi-IndRNN神經網絡模型最后一層隱藏層狀態；

2)將某一特定場景下的場景自適應Attention機制的得分輸入到softmax函數中進行歸一化處理，得到場景自適應Attention機制的權重a_it：

式中，t表示時刻，u_w是場景自適應Attention語義增強模型的權重向量，m_i是某一特定場景下的第i類服務類型，p_j是某一特定場景下的第j類服務對象，λ是某種服務類型與某種服務對象的相關系數。

5.根據權利要求4所述的一種基于深度學習的場景自適應Attention多意圖識別方法，其特征在于，利用場景自適應Attention機制的權重，對多層Bi-IndRNN神經網絡模型提取的語義特征進行增強：

式中，C表示場景自適應Attention語義增強模型的輸出。

6.根據權利要求4所述的一種基于深度學習的場景自適應Attention多意圖識別方法，其特征在于，λ的計算方法為：

式中，M＝(m₁,m₂,...,m_n)表示由m₁,m₂,...,m_n構成的向量，P＝(p₁,p₂,...,p_v)表示由p₁,p₂,...,p_v構成的向量，分別表示M、P的均值。

7.根據權利要求1所述的一種基于深度學習的場景自適應Attention多意圖識別方法，其特征在于，所述步驟4中，多意圖分類器的構建具體如下所示：

在場景自適應Attention語義增強模型后面增加全連接層，全連接層后用sigmoid激活函數輸出分類結果。