[發明專利]一種基于循環神經網絡判斷文本情感傾向性的方法

在審

• 申請號: 202010513283.5
• 申請日: 2020-06-08
• 公開（公告）號: CN111881249A
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 劉志鋒;楊云成;周從華
• 申請（專利權）人: 江蘇大學
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F16/33;G06F16/35;G06F40/289;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于循環神經網絡判斷文本情感傾向性的方法，其特征在于，包括以下步驟：

S1)對輸入文本的句子進行預處理，利用連續詞帶模型生成的詞向量表獲取輸入文本中的每一個詞的向量化表示；

S2)對步驟S1中得到的句子詞向量建立ID矩陣，將ID矩陣輸入到循環神經網絡中，學習輸入文本中詞的上下文信息，得到包含語義信息及上下文信息的句子詞向量；

S3)將語言學規則以約束的形式和循環神經網絡進行結合；

S4)將步驟4得到的輸出結果連接到一個全連接層，通過softmax層對句子的情感傾向類別進行預測。

2.根據權利要求1所述的一種基于循環神經網絡判斷文本情感傾向性的方法，其特征在于：所述方法在多層神經網絡中完成，所述步驟1在第一層輸入層完成，步驟2在循環神經網絡(LSTM)層完成，步驟4在輸出層完成。

3.根據權利要求1所述的一種基于循環神經網絡判斷文本情感傾向性的方法，其特征在于：所述步驟1中對輸入文本的句子進行預處理包括去除指定無用的符號、讓文本只保留英文、分詞、去停用詞。

4.根據權利要求1所述的一種基于循環神經網絡判斷文本情感傾向性的方法，其特征在于：所述步驟3中根據語言學規則，將詞分為不帶有情感傾向、帶有情感傾向、否定詞、程度副詞四種形式，通過損失函數引入到句子級情感分析的LSTM模型中，損失函數如下：

其中，yⁱ是樣本的實際分布，pⁱ是預測得到的樣本分布，是語言學規則中的一個或者多個的組合，i是句子的索引，t是位置的索引。

5.根據權利要求4所述的一種基于循環神經網絡判斷文本情感傾向性的方法，其特征在于，不帶有情感傾向的詞(NSR)的處理方法如下：

如果文本中相鄰的兩個詞都是不帶有情感傾向的詞，則運用下列公示計算情感分布：

其中代表情感分布，M是閾值(當KL散度大于這個值時，代表是NSR)，D_KL(p,q)代表對稱KL散度，p_t是要預測的位置t處的詞的分布，用向量表示為h_t；KL散度是一個用來衡量兩個分布或兩個函數之間差異的指數，KL散度的定義優化如下：

其中D_KL代表對稱KL散度，p，q分別代表兩個詞的情感分布，當相鄰的兩個詞分布較近時，KL散度小于M，NSR的值為0；NSR的值隨著兩個詞之間分布差值得增大而增大。

6.根據權利要求4所述的一種基于循環神經網絡判斷文本情感傾向性的方法，其特征在于，帶有情感傾向的詞(SR)的處理方法如下：

如果輸入的詞是帶有情感傾向，每一個情感詞典中的值對應一個漂流分布值S_C，利用以下公式計算詞的情感分布：

其中代表情感分布，M是閾值(當KL散度大于這個值時，代表是SR)，D_KL(p,q)代表對稱KL散度，p_t是要預測的位置t處的詞的分布，輸入的詞是帶有情感傾向時，前一個位置t-1的情感分布的值與漂流分布值相加之后，如果與位置t處的分布距離比較近，SR的值就為0，SR的值隨著分布差異的增大而增加。

7.根據權利要求4所述的一種基于循環神經網絡判斷文本情感傾向性的方法，其特征在于，否定詞(NR)的處理方法如下：

針對每一個否定詞都提出一個轉換矩陣T_m，

情感轉換的方向由當前詞的上下兩個詞決定，其中代表情感分布，M是閾值(當KL散度大于這個值時，代表是NR)，D_KL(p,q)代表對稱KL散度，p_t是要預測的位置t處的詞的分布。

8.根據權利要求4所述的一種基于循環神經網絡判斷文本情感傾向性的方法，其特征在于，程度副詞的處理方法如下：程度副詞對于文本的情感傾向的改變與否定詞相似，也通過轉換矩陣T_m定義。