[發(fā)明專利]一種基于CPC-ANN的文本情緒原因識別方法

在審

• 申請?zhí)枺?/td>: 202111575527.3
• 申請日: 2021-12-21
• 公開（公告）號: CN114004220A
• 公開（公告）日: 2022-02-01
• 發(fā)明（設計）人: 劉德喜;徐秀;萬常選
• 申請（專利權）人: 劉德喜
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/284;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 北京保識知識產權代理事務所(普通合伙) 11874
• 代理人: 姚天健

本發(fā)明公開了一種基于CPC?ANN的文本情緒原因識別方法，屬于自然語言處理文本情緒分析技術領域。一種基于CPC?ANN的文本情緒原因識別方法，CPC?ANN模型主要分為五層：嵌入層、Bi?LSTM層、Transformer層、注意力層以及CNN輸出層，在CANN方法的基礎上提出一種基于上下文和位置交互的協(xié)同注意力神經網絡模型，先將子句的相對位置信息編碼到子句的每個詞向量中，再通過雙向長短時記憶網絡Transformer網絡來捕捉子句的語義信息，以幫助產生更好的子句表示；然后，使用注意力機制來捕獲融合了上下文子句信息的候選原因子句和情緒子句之間的語義關系；最后，利用卷積神經網絡對候選原因子句進行分類。本發(fā)明解決了目前的文本情緒原因識別方法對語義和位置信息利用不充分的問題。

技術領域

本發(fā)明屬于自然語言處理文本情緒分析技術領域，具體涉及一種基于CPC-ANN的文本情緒原因識別方法。

背景技術

文本情緒原因識別是社交媒體領域中一個重要的研究任務，其主要目標是從社交媒體文本中發(fā)現個體情緒產生、變遷的原因。對社交媒體文本中的情緒進行情緒原因識別，可以分析社交媒體中個體情緒變遷的原因和趨勢，有利于相關部門進行重大決策且提高其決策的針對性和預見性。

傳統(tǒng)的基于規(guī)則的方法耗費人工且規(guī)則構建復雜，而基于統(tǒng)計與機器學習的方法在特征的抽取上存在主觀性過強的問題。近年來，深度學習方法在文本情緒原因識別任務上取得了較好的成果，但在現有的工作中，仍存在一些不足。例如，Li等人提出了一種基于協(xié)同注意力神經網絡的情緒原因識別方法，該方法借助協(xié)同注意力機制來捕獲每個候選原因子句和情緒子句之間的交互關系，但忽略了文本中候選原因子句的上下文語義信息，也未能在結合子句的相對位置信息時考慮候選原因子句與情緒子句之間的語義關系。考慮子句的相對位置信息，Xia等人為每個子句的相對位置學習一個嵌入向量作為分類特征，即將相對位置嵌入向量連接到子句的表示中，這種方法對相對位置信息的利用較弱，對候選原因子句的分類影響較小，且增加了特征維數，可能會導致過擬合。

文本情緒原因識別主要是對文本中的情緒原因進行分析，根據情緒文本中存在的情緒，來識別產生這種情緒的具體原因。近年來，關于情緒原因識別的相關研究從早期基于規(guī)則和傳統(tǒng)機器學習方法，逐步發(fā)展為基于深度神經網絡來進行建模。但目前的深度學習方法仍具有一定的局限性，它們大都大多都未能充分學習文本句子語義信息和文本子句的上下文信息，以及未能在結合子句的相對位置信息的情況下，來考慮候選原因子句與情緒子句之間的語義關系。

發(fā)明內容

1.要解決的技術問題

本發(fā)明的目的在于提供一種基于CPC-ANN的文本情緒原因識別方法，以解決上述背景技術中提出的問題：

目前的文本情緒原因識別方法對語義和位置信息利用不充分的問題。

2.技術方案

一種基于CPC-ANN的文本情緒原因識別方法，CPC-ANN模型主要分為五層：嵌入層、Bi-LSTM層、Transformer層、注意力層以及CNN輸出層，所述方法應用于文本情緒原因識別，包括以下步驟：

S1、相對位置嵌入層，獲取已標注原因子句和情緒子句的語料文本，得到文本每個子句的相對位置，再將子句轉化為詞嵌入矩陣，然后將相對位置嵌入到文本子句的每個詞向量中；

S2、Bi-LSTM層，使用Bi-LSTM分別對每個輸入的文本子句進行編碼，得到融合詞上下文的子句向量；

S3、Transformer層，使用Transformer分別對每個輸入的文本子句進行編碼，得到融合深層語義特征的子句向量；

S4、注意力層，將候選原因子句與其上下文子句融合，用注意力機制捕捉融合后的候選原因子句與情緒子句間的語義關系；