[發明專利]一種基于深度學習和注意力模型的文本分類方法及系統

在審

• 申請號: 202210150080.3
• 申請日: 2022-02-18
• 公開（公告）號: CN114925685A
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 榮廣勝;李明明;潘心冰
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/211;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜鵬

1.一種基于深度學習和注意力模型的文本分類方法，其特征是所述的方法具體步驟如下：

S1對文本數據進行清洗、對詞token進行Id轉換的預處理操作；

S2計算模型的損失、更新模型的參數；

S3使用模型對文本數據進行分類預測。

2.根據權利要求1所述的方法，其特征是所述S1對文本數據進行清洗、對詞token進行Id轉換的預處理操作的具體步驟如下：

S101對文本數據中的特殊字符和停用詞進行去除處理；

S102語句截取，截取長度l,截取方式，前置并進行Pad填充；

S103語句首尾添加“CLS”和“SEP”；

S104對語句進行分詞、將詞進行id轉化為wi。

3.根據權利要求2所述的方法，其特征是所述S2計算模型的損失、更新模型的參數的具體步驟如下：

S201構建基于bert的詞嵌入網絡向量表征信息；

S202利用Bert網絡提取文本的表征信息：

S203構建Attention注意力網絡分類模型；

S204對模型參數進行更新；

S205判斷迭代條件；

S206返回評估參數最優的模型。

4.根據權利要求3所述的方法，其特征是所述S3使用模型對文本數據進行分類預測的具體步驟如下：

S301文本預處理；

S302使用詞嵌入表征文本信息；

S303使用提取層網絡提取文本信息；

S304使用注意力分類網絡對文本信息進行處理、分類預測；

S305取出分類得分最大的作為文本分類的標簽。

5.一種基于深度學習和注意力模型的文本分類系統，其特征是所述的系統具體包括預處理模塊、模型訓練模塊和文本分類模塊：

預處理模塊：對文本數據進行清洗、對詞token進行Id轉換的預處理操作；

數據處理模塊：計算模型的損失、更新模型的參數；

文本分類模塊：使用模型對文本數據進行分類預測。

6.根據權利要求5所述的系統，其特征是所述預處理模塊具體包括數據處理模塊、語句填充模塊、語句處理模塊和語句分詞模塊：

數據處理模塊：對文本數據中的特殊字符和停用詞進行去除處理；

語句填充模塊：語句截取，截取長度l,截取方式，前置并進行Pad填充；

語句處理模塊：語句首尾添加“CLS”和“SEP”；

語句分詞模塊：對語句進行分詞、將詞進行id轉化為wi。

7.根據權利要求6所述的系統，其特征是所述數據處理模塊具體包括信息嵌入模塊、表征提取模塊、模型分類模塊、模型更新模塊、處理判斷模塊和模型返回模塊：

信息嵌入模塊：構建基于bert的詞嵌入網絡向量表征信息；

表征提取模塊：利用Bert網絡提取文本的表征信息：

模型分類模塊：構建Attention注意力網絡分類模型；

模型更新模塊：對模型參數進行更新；

處理判斷模塊：判斷迭代條件；

模型返回模塊：返回評估參數最優的模型。

8.根據權利要求7所述的系統，其特征是所述文本分類模塊具體包括文本處理模塊、文本嵌入模塊、文本提取模塊、信息處理模塊和標簽分類模塊：

文本處理模塊：文本預處理；

文本嵌入模塊：使用詞嵌入表征文本信息；

文本提取模塊：使用提取層網絡提取文本信息；

信息處理模塊：使用注意力分類網絡對文本信息進行處理、分類預測；

標簽分類模塊：取出分類得分最大的作為文本分類的標簽。