[發明專利]一種利用目標知識增強模型的情感分類方法

有效

• 申請號: 202110605317.8
• 申請日: 2021-05-31
• 公開（公告）號: CN113220887B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 曾碧卿;楊健豪;陳嘉濤;鄧會敏
• 申請（專利權）人: 華南師范大學;廣東農工商職業技術學院
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/30;G06F40/211;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州駿思知識產權代理有限公司 44425
• 代理人: 張金龍

1.一種利用目標知識增強模型的情感分類方法，其特征在于，包括以下步驟：

構建目標知識增強模型，所述目標知識增強模型包括輸入層、嵌入層、多頭自注意力層、知識注意力層、隱藏層和輸出層；

根據待預測的上下文中的目標詞，獲取每個所述目標詞對應的知識句子；

將所述上下文與每個所述知識句子輸入至所述輸入層中，對所述上下文和所述知識句子進行拼接，得到輸入層的輸出序列；

將所述輸入層的輸出序列輸入至所述嵌入層中，將每個單詞或標記映射到向量空間，得到上下文的輸出向量表示和知識句子的輸出向量表示；

將所述上下文的輸出向量表示和所述知識句子的輸出向量表示輸入至所述多頭自注意力層中，計算所述上下文和所述知識句子中每個單詞的注意力分數，得到上下文的多頭輸出序列和知識句子的多頭輸出序列，以及，得到所述上下文中每個字的權重；其中，根據如下公式，計算每個自注意力頭中字與字之間的權重：

其中，為每個自注意力頭中字與字之間的權重，Q，K，V為上下文句子中每個字的三種不同向量化表示；

將所述上下文中每個字的權重以及所述知識句子的多頭輸出序列輸入至所述知識注意力層中，得到加權后的所述知識句子的多頭輸出序列，并拼接所述上下文的多頭輸出序列和所述加權后的所述知識句子的多頭輸出序列，輸出知識注意力層的輸出序列；其中，根據如下公式，計算加權后的知識句子的多頭輸出序列；

W_character＝Sum(W^C)

其中，W^C表示字與字之間的權重，W_character表示字相對于上下文句子的權重，L₀表示目標詞的第一個字的位置；當目標詞為復合詞時，L_i表示第i個子目標詞的最后一個字的位置；表示第i個字目標詞相對于上下文句子的權重，即表示知識注意力權重；表示加權后的所述知識句子的多頭輸出序列，O_KA表示知識注意力層的輸出序列；

將所述知識注意力層的輸出序列輸入至所述隱藏層中，提取所述知識注意力層的輸出序列的隱藏狀態向量，得到隱藏層的輸出序列；

將所述隱藏層的輸出序列輸入至所述輸出層中，得到所述上下文的分類結果。

2.根據權利要求1所述的一種利用目標知識增強模型的情感分類方法，其特征在于，所述隱藏層為隱藏注意力層，所述提取所述知識注意力層的輸出序列的隱藏狀態向量，包括：

基于隱藏注意機制計算所述知識注意力層的輸出序列的每個字的隱藏狀態向量的加權和。

3.根據權利要求1所述的一種利用目標知識增強模型的情感分類方法，其特征在于，所述根據待預測的上下文中的目標詞，獲取每個所述目標詞對應的知識句子，包括：

從數據庫獲取每個所述目標詞對應的實體知識句子；

其中，當目標詞是復合詞時，將復合詞分成多個子目標詞，獲取每個子目標詞的實體知識句子；

對所述實體知識句子進行數據預處理，刪除噪音數據，獲得待檢測上下文的知識句子。

4.根據權利要求3所述的一種利用目標知識增強模型的情感分類方法，其特征在于，對所述實體知識句子進行數據預處理，刪除噪音數據，包括：

對句子長度超過第一閾值的所述實體知識進行切割，對超過第一閾值長度以后的內容進行刪除；

對實體知識句子中出現的英文字母及無意義字符進行刪除。

5.根據權利要求1所述的一種利用目標知識增強模型的情感分類方法，其特征在于：

所述嵌入層為多層雙向變壓器編碼器，包含多個變壓器組和多個自我注意頭；所述嵌入層用于將每個單詞或標記映射到一個向量空間。

6.根據權利要求1所述的一種利用目標知識增強模型的情感分類方法，其特征在于，將所述隱藏層的輸出序列輸入至所述輸出層中，得到所述上下文的分類結果，包括：

使用softmax函數處理所述隱藏層的輸出序列，得到所述上下文的情緒極性預測結果。