[發明專利]一種基于注意力機制的文本分類方法

有效

• 申請號: 202110360121.7
• 申請日: 2021-04-02
• 公開（公告）號: CN113204640B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 于舒娟;蔡夢夢;吳夢潔;毛新濤;黃橙;徐欽晨;張昀;王秀梅
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/284;G06N3/047;G06N3/048;G06N3/0464;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 朱小兵

1.一種基于注意力機制的文本分類方法，其特征在于，包含步驟如下：

步驟A，文本的表示，利用word2vec將文本中的單詞轉換成詞向量，降低文本分類的復雜度，設定輸入句子中每個單詞被映射成一個向量x_i∈R^n×d(i＝0，1，2，…，n)，則輸入句子對應的詞向量矩陣為[x₁,x₂,…,x_n]，n為句子的最大長度，d為詞向量的維數；

步驟B，構建文本分類器，對輸入的文本進行類別劃分，文本分類器的構建基于DenseNet的神經網絡，由卷積層、基于注意力機制的密集塊、轉換層、池化層和分類層五個部分組成；

步驟B-1，卷積層的構建包括兩個過程：權重初始化和卷積過程；

步驟B-1-1，權重初始化，將輸入的詞向量構建N-gram模型，設定m為文本中的任一類別，利用樸素貝葉斯法計算類別m中的N-gram的比重r，公式如下：

式中，α是平滑參數，p_m表示在類別m中包含N-gram的文本數；

表示在除m類別外其他類別中包含N-gram的文本數；

||p_m||₁表示文本中的類別m的數量,||.||₁表示L₁范數；

分別表示文本中除類別m外其他類別的數量；

利用K均值算法對比重r大于1的N-gram進行聚類，將聚類的質心向量初始化卷積層的權重；

步驟B-1-2，卷積過程，利用權重初始化的卷積層相應位置的局部表示c_i為：

c_i＝f(W_c*x_i:i+m-1+b_c)

式中，x_i:i+k-1表示從第i個詞到第i+k-1個詞對應的詞向量；

W_c表示權值矩陣；

b_c表示對應的偏置向量；

f表示激活函數relu；

卷積層的輸出C表示為：

C＝[c₀,c₁,…,c_T]

式中，[c₀,c₁,…,c_T]為整個句子的局部表示，T表示輸入文本的長度；

步驟B-2，構建基于注意力機制密集塊，進行文本信息特征的深層次提取，注意力密集塊由主干模塊和標記模塊兩部分組成，主干模塊基于密集塊，利用DenseNet神經元前層傳遞方式進行特征傳遞；標記模塊由卷積模塊和激活函數組成；

主干模塊第0層到l-1層的輸出特征圖通道數目分別C₀，C₁，C₂，…,C_l-2,C_l-1，則第l層的輸出X_t為：

X_t＝H_l([C₀,C₁,C₂,…,C_l-1])

式中，X_t表示第t個主干模塊的輸出；

[C₀,C₁,C₂,…,C_l-1]表示將0層到l-1層的輸出特征圖做通道的合并；

H_l代表三種操作的組合函數，分別是BN、relu以及卷積操作；

標記模塊，即基于注意力密集模塊，注意力系數I_att表達式如下：

I_att＝f(W_att*C+b)

式中，I_att表示當前文本信息的重要程度；

W_att表示注意權重向量；

b表示偏置向量；

f為激活函數sigmoid；

基于注意力密集模塊的輸出為：

Y_t＝I_att*X_t+X_t

式中，Y_t表示第t個注意力密集塊的輸出；

步驟B-3，構建轉換層，對文本提取的特征進行降維，轉換層由卷積層和最大池化層兩部分組成，卷積層的卷積核大小為1×3，最大池化層的卷積核大小為1×2；

步驟B-4，構建分類層，對提取的文本特征進行歸類，分類層由最大池化層和分類層兩部分組成，最大池化層卷積核大小為1×7，分類層利用softmax分類器計算各個分類的概率。