[發明專利]一種基于深度學習和注意力模型的文本分類方法及系統

在審

• 申請號: 202210150080.3
• 申請日: 2022-02-18
• 公開（公告）號: CN114925685A
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 榮廣勝;李明明;潘心冰
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/211;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜鵬

本發明公開了一種基于深度學習和注意力模型的文本分類方法及系統，屬于自然語言處理領域；所述的方法具體步驟如下：S1對文本數據進行清洗、對詞token進行Id轉換的預處理操作；S2計算模型的損失、更新模型的參數；S3使用模型對文本數據進行分類預測；本發明使用文本分類語料，使用bert預訓練模型提取文本語義表征信息，改變傳統對Bert提取CLS維特征向量進行線性分類器進行處理的方式；增加Attention注意力模型捕獲Bert提取的語句特征信息，后接線性分類器對文本進行分類，提高文本的準確率。

技術領域

本發明公開一種基于深度學習和注意力模型的文本分類方法及系統，涉及自然語言處理技術領域。

背景技術

文本分類是NLP領域非常常見的應用場景，在現實生活中有著非常多的應用，例如輿情監測、新聞分類等等。在文本分類中，常見的分類算法有SVM、 KNN、決策樹、神經網絡等等。

現有的文本分類方法主要分為兩大類，分別是基于傳統機器學習的方法和基于深度學習的方法。基于傳統機器學習的文本分類方法主要是是對文本進行預處理、特征提取，然后將處理后的文本向量化，最后通過常見的機器學習分類算法來對訓練數據集進行建模，傳統的文本分類方法中，對文本的特征提取質量對文本分類的精度有很大的影響。基于深度學習的方法則是通過例如CNN、 LSTM、Bert等深度學習模型來對數據進行訓練，無需人工的對數據進行特征抽取，對文本分類精度影響更多的是數據量以及訓練的迭代次數

故現發明一種基于深度學習和注意力模型的文本分類方法及系統，以解決上述問題。

發明內容

本發明針對現有技術的問題，提供一種基于深度學習和注意力模型的文本分類方法及系統，所采用的技術方案為：一種基于深度學習和注意力模型的文本分類方法，所述的方法具體步驟如下：

S1對文本數據進行清洗、對詞token進行Id轉換的預處理操作；

S2計算模型的損失、更新模型的參數；

S3使用模型對文本數據進行分類預測。

所述S1對文本數據進行清洗、對詞token進行Id轉換的預處理操作的具體步驟如下：

S101對文本數據中的特殊字符和停用詞進行去除處理；

S102語句截取，截取長度l,截取方式，前置并進行Pad填充；

S103語句首尾添加“CLS”和“SEP”；

S104對語句進行分詞、將詞進行id轉化為wi。

所述S2計算模型的損失、更新模型的參數的具體步驟如下：

S201構建基于bert的詞嵌入網絡向量表征信息；

S202利用Bert網絡提取文本的表征信息：

S203構建Attention注意力網絡分類模型；

S204對模型參數進行更新；

S205判斷迭代條件；

S206返回評估參數最優的模型。

所述S3使用模型對文本數據進行分類預測的具體步驟如下：

S301文本預處理；

S302使用詞嵌入表征文本信息；

S303使用提取層網絡提取文本信息；

S304使用注意力分類網絡對文本信息進行處理、分類預測；

S305取出分類得分最大的作為文本分類的標簽。