[發明專利]一種基于深度學習的對話文本情感分析方法

在審

• 申請號: 202211084620.9
• 申請日: 2022-09-06
• 公開（公告）號: CN116306678A
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 尚文利;殷可晴;張夢;李俊;曹忠;韋蘊珊;李淑琦
• 申請（專利權）人: 廣州大學
• 主分類號: G06F40/35
• 分類號: G06F40/35;G06N3/0442;G06N3/045;G06N3/048
• 代理公司: 廣州高炬知識產權代理有限公司 44376
• 代理人: 孫明科

1.一種基于深度學習的對話文本情感分析方法，其特征在于，包括以下步驟：

S1、對數據集進行標簽歸類劃分；

S2、對劃分好的數據集進行歸一化處理；

S3、利用GRU模型對文本進行特征提取；

S4、初始化GRU模型的訓練參數；

S5、訓練GRU模型；

S6、輸入預測語句，得出訓練結果。

2.根據權利要求1所述的基于深度學習的對話文本情感分析方法，其特征在于，所述S1中，標簽包括憤怒、快樂、悲傷和中立。

3.根據權利要求1所述的基于深度學習的對話文本情感分析方法，其特征在于，所述S2中，歸一化處理過程包括將單詞的大寫轉換成小寫，特殊詞性還原為原形，并且去除非字母數字的符號，保留問號和感嘆號；采用pad機制，補齊對話的長度，使對話長度保持一致。

4.根據權利要求1所述的基于深度學習的對話文本情感分析方法，其特征在于，所述S3中，特征提取過程包括單個話語信息提取、引入注意力機制和上下文信息提取。

5.根據權利要求4所述的基于深度學習的對話文本情感分析方法，其特征在于，所述單個話語信息提取包括得到開源的詞向量矩陣對輸入文本進行向量化，得到單個單詞w_k的嵌入序列對話集合其中L為對話數目，表示在每一個對話D_i中的N_i個話語構成的序列，u_j為由說話者s_j∈S說出的帶有特定情緒c_j∈C的話語，其中s_j表示單個說話者，S表示說話者的集合，c_j表示單個話語，C表示話語的集合，w_k表示單個單詞；對于第j個話語其中M_j是話語u_j中的單詞數目，將對應的單個單詞嵌入序列被送入低層的雙向GRU模型中，從兩個相反的方向學習單個話語嵌入，其兩個方向的低層隱藏層狀態k表示單詞個數，公式如下所示：

其中一個GRU的計算過程為：

其中r_k,z_k分別為重置門與更新門；W,W_r,W_z分別為各神經元的參數，需要在訓練過程中學習得到；σ為sigmoid函數；為候選隱藏狀態。

6.根據權利要求4所述的基于深度學習的對話文本情感分析方法，其特征在于，所述注意力機制引用了掩碼機制，對補0的位置賦予一個極小值，隱藏層狀態通過一個線性變換上的tanh激活函數來產生與上下文有關的單詞嵌入e_c(w_k)。

7.根據權利要求4所述的基于深度學習的對話文本情感分析方法，其特征在于，所述與上下文有關的單詞嵌入e_c(w_k)通過最大池化操作來獲得單個話語嵌入e(u_j)；對于i個對話所學到的單詞嵌入送入高層雙向GRU來捕捉上下文語境信息，被送入高級別的雙向GRU中來捕獲對話中話語的序列關系和上下文關系，其計算如下所示：

其中，J的值與j的值相等，j∈{1，…，j}表示話語個數，通過所述注意力機制以及tanh函數得到與上下相關的語句嵌入e_c(u_j)；最后利用softmax函數來判斷語句對應的情感標簽。