[發明專利]基于具有自注意力機制的圖卷積神經網絡文本分類方法

在審

• 申請號: 202110082121.5
• 申請日: 2021-01-21
• 公開（公告）號: CN112765352A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 項林英;王國慶;陳飛
• 申請（專利權）人: 東北大學秦皇島分校
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/126;G06F40/216;G06F40/289;G06F40/30;G06K9/62;G06N3/08
• 代理公司: 沈陽東大知識產權代理有限公司 21109
• 代理人: 李珉

1.一種基于具有自注意力機制的圖卷積神經網絡文本分類方法，其特征在于：包括以下步驟：

步驟1：獲取多個待分類的文本存儲到語料庫中，同時對待分類的文本進行分詞處理獲得文本分詞序列；并對文本分詞序列的無效詞或者停止詞進行過濾處理；

步驟2：獲取過濾處理后的文本分詞序列的嵌入矩陣，使用自注意力機制得到文本分詞序列的自注意力機制矩陣；

步驟3：對語料庫中所有文本構建圖網絡結構；針對一個文本，構建一個具有n個節點、e條邊的圖網絡結構，文本中的詞作為圖的節點，與一個節點最相似的若干詞作為該詞的鄰居節點，并計算兩個詞向量的余弦相似度；

步驟4：對圖網絡結構進行預處理，計算圖的Laplacian矩陣并進行歸一化；步驟5：構建和訓練圖卷積神經網絡模型；

步驟5.1：在圖的Laplacian矩陣基礎上，計算圖傅里葉變換，實現圖卷積濾波；

步驟5.2：構建圖卷積層，并得到簡化后的圖卷積；步驟5.3：構建圖的池化層和全連接層；步驟6：通過Softmax分類器，得到文本分類結果；

將圖卷積神經網絡模型全連接層的輸出作為Softmax分類器的輸入，對Softmax分類器輸出的所有值計算Softmax函數值，并選取最大值作為文本的類別。

2.根據權利要求1所述的基于具有自注意力機制的圖卷積神經網絡文本分類方法，其特征在于：所述步驟2的具體方法為：

對步驟1中得到的預處理后的文本分詞序列進行編碼，建立文本詞向量，將文本詞向量輸入到自注意力機制中，得到自注意力機制詞向量，并計算各自注意力機制詞向量的權重；

根據自注意力機制的查詢Query與地址Key，計算各自注意力機制詞向量與其鄰居自注意力機制詞向量之間的相似度，相似度計算函數為Sim_i(Query,Key)＝Query_i·Key_i，其中，Query_i，Key_i分別為第i個自注意力機制詞向量的查詢和地址；然后使用Softmax函數對各自注意力機制詞向量進行歸一化處理得到各自注意力機制詞向量的概率分布，其中，α_i為各自注意力機制詞向量的概率分布密度，L_x＝||Source||表示文本分詞序列的長度，Source表示文本分詞序列；對各自注意力機制詞向量的Value值進行加權求和，求和通過以下公式來計算：

其中，SAT(Query,Source)表示對自注意力機制詞向量的Value值加權求和的結果值；

對加權求和后的自注意力機制詞向量，采用隨機初始化的詞嵌入模型映射獲得文本分詞序列的嵌入矩陣，并對詞嵌入矩陣的各行向量根據對應詞的位置進行編碼，然后將編碼后的嵌入矩陣通過自注意力機制生成文本分詞序列的自注意力機制矩陣A＝{a₁,a₂,...,a_m}^T，其中，向量a_i為第i個詞的自注意力機制詞向量，其包含有詞本身和詞與詞序列中其它詞的關聯信息；最后，對文本分詞序列的自注意力機制矩陣進行降維和融合處理。

3.根據權利要求2所述的基于具有自注意力機制的圖卷積神經網絡文本分類方法，其特征在于：所述步驟3的具體方法為：

構建圖G，文本詞構建圖中的節點n，并在兩個節點之間建立一條邊，節點共現次數表示為節點邊的權重W，若兩個節點之間沒有數據關聯，則不構建邊；在圖G中，與節點n相連的節點在圖G中所有節點的占比為Pe(n,G)，通過公式來計算其中，P(n,G)表示在圖G中與節點n相連接的節點的個數，N_G表示圖G中節點總數。