[發明專利]一種基于改進膠囊網絡的文本分類方法

有效

• 申請號: 202011126137.3
• 申請日: 2020-10-20
• 公開（公告）號: CN112231477B
• 公開（公告）日: 2023-09-22
• 發明（設計）人: 季陳;葉慧雯;王子民;趙子涵;楊玉東;郭新年
• 申請（專利權）人: 淮陰工學院
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/205;G06F40/284;G06F40/289;G06F40/30;G06N3/0464;G06N3/0442;G06N3/045;G06N3/08
• 代理公司: 淮安市科文知識產權事務所 32223
• 代理人: 李鋒

1.一種基于改進膠囊網絡的文本分類方法，其特征在于，包括如下步驟：

步驟1：獲取文本數據并對其進行文本標簽設定，將其分為訓練文本數據與測試文本數據，對數據預處理，去除噪聲，保留具有語義特征的詞匯；

步驟2：對所述去除了噪聲的文本數據進行文本建模，將文本數據中的詞匯轉化成詞向量，并將詞向量進行拼接，形成文檔向量；

步驟3：對步驟2中所述文檔向量利用膠囊網絡構建局部語義特征提取模型，進行局部語義特征提取，所述局部語義特征提取模型包括一層卷積層、兩層膠囊層以及一個全連接層，卷積層通過卷積操作來提取各個位置的局部特征，兩層膠囊層使用動態路由操作代替池化操作，進行兩次膠囊層的特征提取；全連接層用于文本分類；所述局部語義特征提取模型包括標準的卷積層、主膠囊層以及卷積膠囊層，標準的卷積層通過多個不同的卷積核在文本句子的不同位置提取特征；主膠囊層將卷積操作中的標量輸出替換為矢量輸出，保留文本的單詞順序和語義信息；卷積膠囊層通過與變換矩陣相乘來計算子膠囊與父膠囊的關系，然后根據路由協議計算出上層膠囊層；

步驟4：構建BiLSTM模型，對所述步驟3中膠囊網絡輸出的文本向量進行上下文信息提取；

步驟5：通過步驟3膠囊網絡的全連接層和softmax函數進行文本分類。

2.根據權利要求1所述的基于改進膠囊網絡的文本分類方法，其特征在于，所述步驟1中數據預處理包括：

(1)過濾文本數據中的標點符號和特殊字符；

(2)使用分詞工具對其進行分詞，若是英文這步操作省略；

(3)將所述文本數據使用哈工大停用詞表去除沒有具體語義的停用詞噪聲數據；

(4)將所述文本標簽數據轉化為數值型數據。

3.根據權利要求1所述的基于改進膠囊網絡的文本分類方法，其特征在于，所述局部語義特征提取模型進行特征提取的詳細步驟包括：

1)標準的卷積層

該層卷積層通過卷積在文本的不同位置提取N-gram特征，若X為文本中的一條文本，其長度為L，詞嵌入大小為V，即X的維度大小為L×V，X_i為文本X中的第i個詞語，X_i的維度為V；設N-gram滑動大小為K₁，W^α為卷積運算操作的濾波器，則W^α的維度為K₁×V，濾波器每次移動的單詞窗口為X_i至X_i+K1-1，產生的特征為m^α，其維度為L-K₁+1，則每個單詞特征m_i的特征如下：

其中，b₀為偏置項，f()為非線性激活函數，若有B個濾波器，即α＝1，2，...B，則所得的特征M的維度為(L-K₁+1)×B；

2)主膠囊層

設膠囊的維度為d，p_i為N-gram產生的實例化參數，M_i為每個滑動窗口的向量其維度為B，W_b表示為不同的滑動窗口的共享濾波器，其維度為B×d；生成膠囊P的維度為(L-K₁+1)×d，則P_i的表示如下：

P_i＝g(W_bM_i+b₁)

其中，g()表示非線性壓縮函數，b₁為膠囊的偏置項，對于所有的濾波器C來說，膠囊特征P表示為如下所述：

其中，P的維度為(L-K₁+1)×d×C；

3)卷積膠囊層

膠囊通過與變換矩陣相乘來計算子膠囊與父膠囊的關系，然后根據路由協議計算出上層膠囊層。

4.根據權利要求3所述的基于改進膠囊網絡的文本分類方法，其特征在于，所述標準的卷積層采用濾波器為3×100，4×100，5×100大小濾波器各128個，進行卷積運算。