[發明專利]一種基于語義遷移的文本分類方法

有效

• 申請號: 201910796512.6
• 申請日: 2019-08-27
• 公開（公告）號: CN110674293B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 王雄;任朝俊;吳環宇;任婧
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 溫利平

本發明公開了一種基于語義遷移的文本分類方法，考慮到數據量的龐大，采用一種選舉機制，先將將原始文本分組，對每組的待分類的文本數據集進行預處理構造文本?詞矩陣，再用神經網絡模型BERT計算詞間相似度矩陣，從而獲得任務集中詞語的分布式表示，然后，對該相似度矩陣進行截斷奇異值分解獲得轉移矩陣，將該轉移矩陣蘊含的語義信息遷移至文本向量化的過程中，獲得任務集文本的低維度表示，接著，使用K?Means算法對每個分組進行聚類，最后從所有小類中選擇若干代表進行第二輪聚類，采用多數表決原則實現最終的文本分類。

技術領域

本發明屬于自然語言處理技術領域，更為具體地講，涉及一種基于語義遷移的文本分類方法。

背景技術

文本分類是指計算機根據文本表達的主題內容，自動地將文本分為若干類別。處于信息爆炸的時代，計算機自動文本分類可以幫助用戶從海量文本中快速獲取所需信息，大大提高人工處理信息的效率。在人工智能浪潮席卷全球的今天，文本分類已經被廣泛地應用在文本審核、廣告過濾、網絡輿情等領域，成為了自然語言處理的一個非常重要研究方向。

文本分類的方法可以大致分為基于監督式和無監督式學習的文本分類方法。由于基于監督式學習的文本分類方法需要使用大量具有分類標簽的文本進行模型訓練，但是在實際應用中這些標簽數據難于獲得。因此本發明主要關注無監督文本分類。

無監督文本分類能從大量文本數據中發現潛在的知識和規律，它不僅可以獲得知識，同時也對文本數據進行了處理，所以目前已經成為對文本信息進行有效地組織，摘要和導航的重要手段，被越來越多的研究人員關注。

對文本進行分類，首先要進行文本向量化，然后再對文本向量進行分類。其中，文本向量化是整個分類過程的核心，是本發明研究的主要內容。

傳統文本向量化方法有以下缺陷：首先，是以詞袋模型和TFIDF(Term Frequency–Inverse Document Frequency)為代表的傳統方法完全根據文本中詞語的統計特征(如，詞頻和詞權重)來構建文本向量，不能很好的表達文本語義，特別是在中文多義詞場景下；其次，以LDA(Latent Dirichlet Allocation)和Doc2vec為代表的文本向量化方法，只使用待分類的文本集來訓練模型，不能獲取到自然語言語義的先驗信息，也很難持續地對訓練模型進行優化。最終得到的文本向量質量較差，分類的結果差強人意。

因此,如何準確地對文本進行向量化，使其具有較為準確的語義，以便后續分類算法的實施，是文本分類任務中非常重要的一環。本發明即立足于此。

發明內容

本發明的目的在于克服現有技術的不足，提供一種基于語義遷移的文本分類方法，將自然語義信息遷移到文本向量化，再實現文本的分類處理。

為實現上述發明目的，本發明一種基于語義遷移的文本分類方法，其特征在于，包括以下步驟：

(1)、采用選舉機制將待分類的文本數據集分為G組，記為g₁,g₂,…,g_G；將分組后的每一組文本數據表示為X＝{x₁,x₂,…,x_|X|}，其中，x_i表示第i篇待分類的文本，1≤i≤|X|，|X|表示文本數據集X中的文本篇數；|X|篇文本構成詞庫集W＝{w₁,w₂...w_|W|}，w_j表示第j個詞語，|W|表示詞庫集W中的詞語個數；

(2)、對g₁組文本數據X進行分詞處理，去除停用詞；

(3)、構造文本-詞矩陣A_|X|×|W|，其中，矩陣的每一行代表文本，每一列代表詞語，矩陣中的每個元素a_ij表示第j個詞語在第i篇文本中的出現情況，若詞語出現則為1，否則為0；