[發明專利]一種基于語義遷移的文本分類方法

有效

• 申請號: 201910796512.6
• 申請日: 2019-08-27
• 公開（公告）號: CN110674293B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 王雄;任朝俊;吳環宇;任婧
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 溫利平

1.一種基于語義遷移的文本分類方法，其特征在于，包括以下步驟：

(1)、采用選舉機制將待分類的文本數據集分為G組，記為g₁，g₂,…,g_G；將分組后的每一組文本數據表示為X＝{x₁,x₂,…,x_|X|}，其中，x_i表示第i篇待分類的文本，1≤i≤|X|，|X|表示文本數據集X中的文本篇數；|X|篇文本構成詞庫集W＝{w₁,w₂...w_|W|}，w_j表示第j個詞語，|W|表示詞庫集W中的詞語個數；

(2)、對g₁組文本數據X進行分詞處理，去除停用詞；

(3)、構造文本-詞矩陣A_|X|×|W|，其中，矩陣的每一行代表文本，每一列代表詞語，矩陣中的每個元素a_ij表示第j個詞語在第i篇文本中的出現情況，若詞語出現則為1，否則為0；

(4)、利用神經網絡模型BERT構造詞間相似度矩陣S_|W|×|W|；

將每個詞語輸至入BERT，獲得每個詞語的向量表示，其中，第j個詞語的向量表示為

利用余弦函數計算詞間相似度：

其中，j′≠j^*，分別代表第j′個詞語和第j^*個詞語；

最后用所有詞間相似度構造出詞間相似度矩陣S_|W|×|W|；

(5)、對詞間相似度矩陣S_|W|×|W|進行截斷奇異值分解，分解為其中∑為低秩矩陣，為轉移矩陣，k＜＜|W|；

(6)、計算矩陣

(7)、利用K-Means聚類算法對矩陣表示的文本低維向量進行聚類；

利用自定義的余弦距離計算文本間距離：

其中，i′≠i^*，分別代表第i′個文本和第i^*個文本，c為常數；

根據文本間距離，將g₁組文本數據聚為l₁個小類；

(8)、按照步驟(2)——(7)所述方法，對剩余組文本數據進行處理，那么，對G組文本數據進行組內聚類后，記每一小組文本數據為g_k，每一組聚為l_k個小類，則共聚出了小類；

(9)、在L類的每一小類中，隨機選出若干文本代表，組成文本數據，再重復步驟(2)——(7)所述方法，進行第二輪聚類，在本輪聚類完成后，采用多數表決原則，若多數代表選擇了某類，那么就認為本小類的所有文本均屬于該類別，從而實現文本分類。