[發明專利]一種結合標題與正文注意力機制的文本分類方法

在審

• 申請號: 201910095696.3
• 申請日: 2019-01-31
• 公開（公告）號: CN109753567A
• 公開（公告）日: 2019-05-14
• 發明（設計）人: 王濤
• 申請（專利權）人: 安徽大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F17/27
• 代理公司: 南京知識律師事務所 32207
• 代理人: 高玲玲

1.一種結合標題與正文注意力機制的文本分類方法，其特征在于包括以下步驟：

步驟1:對每篇文檔的標題與正文進行分詞預處理，得到標題詞集合和正文詞集合；

步驟2:采用詞向量訓練模型訓練標題詞集合和正文詞集合向量，得到每一個詞的分布式表示；

步驟3:通過雙向循環神經網絡捕捉每個詞的上下文語義，得到每個詞的左側上下文向量和右側上下文向量；

步驟4:將每個詞的左上下文向量、詞向量、右上下文向量串聯，得到每個詞結合上下文語義的表示，對詞義的表示應用線性變換并使用tanh激活函數獲得這個詞的潛在語義向量；

步驟5:分別把標題詞集合及正文詞集合中各個詞的潛在語義向量進行最大池化處理，得到標題向量及正文向量；

步驟6:應用標題與正文注意力機制得到每篇文檔的注意力向量，代表標題以及正文的權重；

步驟7:計算整篇文本的向量表示，使用soft max函數輸出概率來預測文本的類別。

2.根據權利要求1所述的一種結合標題與正文注意力機制的文本分類方法，其特征在于：所述步驟1中對每篇文檔標題與正文進行分詞預處理具體是采用以下步驟：對一篇包含標題和正文的文本，使用jieba分詞工具對文本的標題和正文進行分詞，分別得到分詞后的標題詞集合和正文詞集合。

3.根據權利要求1所述的一種結合標題與正文注意力機制的文本分類方法，其特征在于：所述步驟2的詞向量訓練模型為Glove模型或者word2vec的CBOW模型。

4.根據權利要求1所述的一種結合標題與正文注意力機制的文本分類方法，其特征在于：所述步驟3中通過雙向循環神經網絡捕捉每個詞的上下文語義具體采用以下步驟：

單詞w_i的左側上下文c_l(w_i)使用下面公式1計算：

c_l(w_i)＝f(W^(l)c_l(w_i-1)+W^(sl)e(w_i-1)) (1)

其中：c_l(w_i)為詞w_i的左側上下文向量，通過循環神經網絡對文本的正向掃描得到；e(w_i-1)是前一個詞w_i-1的詞向量，c_l(w_i-1)表示詞w_i-1的左側上下文；W^(l)是一個將隱藏層轉換為下一個隱藏層的矩陣；W^(sl)是一個用于將當前詞的語義與下一個詞的左上下文相結合的矩陣，f是一個非線性的激活函數，每篇文檔第一個詞的左側上下文使用相同的共享參數c_l(w₁)；右側上下文c_r(w_i)使用下面公式2計算

c_r(w_i)＝f(W^(r)c_r(w_i+1)+W^(sr)e(w_i+1)) (2)

其中：c_r(w_i)為詞w_i的右側上下文向量表示，通過循環神經網絡對文本的反向掃描得到；e(w_i+1)是后一個詞w_i+1的詞向量，c_r(w_i+1)表示詞w_i+1的右側上下文；W^(r)是一個將隱藏層轉換為下一個隱藏層的矩陣，W^(sr)是一個用于將當前詞的語義與上一個詞的右上下文相結合的矩陣，f是一個非線性的激活函數；每篇文本中最后一個詞的右側上下文共享參數c_r(w_n)。