[發明專利]基于多任務聯合學習的文本情緒原因識別系統

有效

• 申請號: 202011138387.9
• 申請日: 2020-10-22
• 公開（公告）號: CN112183064B
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 廖祥文;李澤南;陳志豪;張艷茹;葉鍇
• 申請（專利權）人: 福州大學
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/289;G06F40/284;G06F40/30;G06F40/126;G06F16/35;G06N3/04;G06N3/08
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 陳明鑫;蔡學俊

1.一種基于多任務聯合學習的文本情緒原因識別系統，其特征在于，包括：

數據預處理模塊，用于對文本數據進行預處理；

文本編碼模塊，提取文本內容上下文依賴關系，獲取其隱層向量表示，作為文本子句信息的整體表示；

相對位置信息嵌入模塊，從相對位置表示中學習出相對位置信息，并將其嵌入到文本子句向量中；

情緒分類子任務模塊，通過引入情緒分類子任務，使得相對位置信息表示能幫助情緒識別任務精準的定位目標子句的位置；

情緒原因識別標簽輸出模塊，用于分析文本子句之間的上下文關系，完成情緒原因識別的標簽預測工作；

所述文本編碼模塊，使用雙向長短時記憶神經網絡學習文本中各個子句中詞語的上下文關系的文本表示，利用注意力網絡得到文本中每個詞的注意力分布，并進行加權求和得到文本子句的句子級向量表示；所述相對位置信息嵌入模塊，將相對位置表示向量輸入殘差網絡學習新的相對位置信息，嵌入文本子句向量的方式為串聯；所述情緒分類子任務模塊，將包含相對位置信息的文本子句向量輸入長短時記憶神經網絡學習出每個子句的上下文關系的文本表示，采用softmax函數對所得到的文本向量處理，預測文本的情緒類別；所述情緒原因識別標簽輸出模塊，先采用transform網絡對輸入的包含相對位置信息的文本子句向量進行編碼，在對得到的文本子句上下文表示進行預測和標簽遮掩得到全局標簽，串聯到文本子句上下文表示后，在輸入到下一層transform網絡中，對特征進一步編碼得到最終的文本向量，預測文本中各個子句的情感原因標簽；所述全局標簽為將得到的文本子句上下文表示輸入到softmax層，得到基于當前文本上下文表示向量的預測結果，并得到所有子句預測結果的全局標簽向量，每個子句將全局標簽上該子句的預測結果遮掩掉，即置為0，并將其串聯在文本上下文表示后面。

2.根據權利要求1所述的基于多任務聯合學習的文本情緒原因識別系統，其特征在于，所述數據預處理模塊，對文本數據進行預處理的具體方式為：對文本數據進行分詞、文本內容表示、生成相對位置表示向量、基于情緒詞標注出文本中每個子句的相對位置，將文本中每個子句依據其情緒關鍵詞的位置標注出相應文本子句在文本中相對位置。

3.根據權利要求2所述的基于多任務聯合學習的文本情緒原因識別系統，其特征在于，所述數據預處理模塊中文本內容表示使用的是發表在NLPCC2017年上通過word2vec方法訓練110萬中文微博語料庫得到的詞向量模型，在文本分詞后的內容映射到低維的語義空間中獲取詞向量表示。

4.根據權利要求2所述的基于多任務聯合學習的文本情緒原因識別系統，其特征在于，所述數據預處理模塊中生成相對位置表示向量采用隨機生成正太分布的50維向量表示其相對位置。