[發明專利]一種基于Attention機制的多通道的文本分類方法

有效

• 申請號: 201911191475.2
• 申請日: 2019-11-28
• 公開（公告）號: CN111061873B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 劉磊;侯良文;孫應紅;李靜
• 申請（專利權）人: 北京工業大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/242;G06F40/289
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 吳蔭芳

本發明涉及一種基于Attention機制的多通道的文本分類方法，首先將由固定的預訓練詞向量和隨機初始化的詞向量構建的句子嵌入矩陣分別作為一個文本通道，其次在每層通道上單獨引入Attention機制為每個詞創建上下文向量，然后將上下文向量和詞向量進行拼接，從而得到多通道的句子嵌入矩陣。最后使用不同尺寸的卷積核對多通道的句子嵌入矩陣在多個通道上進行卷積操作，得到卷積后的文本特征向量，再使用最大池化層從特征向量中提取文本主要特征，最后經過Softmax層輸出所屬類別的概率分布，從而構建基于Attention機制的多通道的文本分類模型。提高了模型的泛化能力和訓練速度，解決了非連續詞之間相關性的問題。

技術領域

本發明屬于信息處理技術領域，是一種基于Attention機制的多通道的文本分類方法。

背景技術

隨著互聯網在社會中的大規模應用，網絡上的信息資源呈現爆炸式的增長。在各種形式的信息中，非結構化的文本信息仍然是十分重要的信息資源之一。而文本自動分類能更好的幫助人們快速準確的獲取信息，從而極大地提高信息的利用率。文本自動分類就是在給定的分類模型下，由計算機根據文本內容自動判別文本類別的過程，作為一項具有較大實用價值的關鍵技術，文本分類有著廣泛的商業前景和應用價值。

隨著深度學習技術的發展，各種詞嵌入模型可以將詞映射為低維稠密的向量，從而把對文本內容的處理簡化為向量空間中的向量運算，并且以空間上的相似度表達語義的相似度，利用卷積神經網絡可以提取文本特征，從而實現文本分類任務，對于單層文本通道的卷積過程雖然參數少，易于訓練，但收斂速度慢，精度不高。而多通道的文本將不同的詞向量表示引入不同的通道中，一方面可以豐富詞的語義；另一方面卷積核可以從雙層文本通道中提取更多的文本特征，已有實驗驗證了該方法一定程度上可以提高模型的泛化能力。對于單通道的文本卷積而言，雖然雙通道文本卷積過程克服了其收斂速度慢、語義表征能力不足的缺陷，但是卻難以捕獲長期的上下文信息和非連續詞之間的相關性。Attention機制是一種根據某些規則或者某些額外信息從向量表達集合中抽取特定的向量進行加權組合的方法，通過對不同詞向量賦予不同的權重來加強對某些重要詞的關注程度。

發明內容

針對以上問題，本發明將Attention機制分別嵌入不同通道進行文本卷積提取特征，提出了一種基于Attention機制的多通道的文本分類方法，來緩解模型中難以捕獲長期的上下文信息和非連續詞相關性以及模型過擬合的問題。該方法首先將由固定的預訓練詞向量和隨機初始化的詞向量構建的句子嵌入矩陣分別作為一個文本通道，在每層通道上單獨引入Attention機制為每個詞創建上下文向量，再將上下文向量和詞向量進行拼接，從而得到多通道的句子嵌入矩陣。然后在多個通道上使用不同尺寸的卷積核，對多通道的句子嵌入矩陣進行卷積操作，得到卷積后的文本特征向量，再使用最大池化層從特征向量中提取文本主要特征，最后經過Softmax層輸出所屬類別的概率分布，從而構建基于Attention機制的多通道的文本分類模型。

為實現上述目的，本發明采用如下的技術方案

一種基于Attention機制的多通道的文本分類方法，包括以下步驟：

步驟1文本預處理

1.1文本分詞

利用分詞工具對中文文本進行分詞處理，構建預處理后語料庫。

1.2構建詞庫

首先去除停用詞，即在文本中出現頻率很高，但沒有實際意義的詞，包括語氣助詞、副詞、介詞及無用符號等。然后保留詞頻大于閾值θ的詞構成詞庫，同時在詞庫中插入字符串“UNK”和“PAD”,其中“UNK”表示不能識別的詞，“PAD”表示為模型輸入中固定句子長度需要填充的詞。

步驟2詞向量構建