[發明專利]文本分類方法及裝置

在審

• 申請號: 201711120063.0
• 申請日: 2017-11-14
• 公開（公告）號: CN109783794A
• 公開（公告）日: 2019-05-21
• 發明（設計）人: 賈丹丹;張明明;張丹
• 申請（專利權）人: 北大方正集團有限公司;北京北大方正電子有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06K9/62
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 張子青;劉芳

本發明實施例提供一種文本分類方法及裝置。本發明實施例通過根據待分類文本中每個句子中的分詞的詞向量，確定每個句子的句子向量，根據每個句子的句子向量，確定每個句子的重要性評價參數，根據每個句子的重要性評價參數，確定所述待分類文本的摘要信息，然后對摘要信息利用LSTM網絡進行分類代替直接對長文本進行分類，減少了計算量，避免了將長文本截取成短文本帶來的語義信息缺失的問題。實現了高效準確地對長文本進行分類的方法。

技術領域

本發明實施例涉及通信技術領域，尤其涉及一種文本分類方法及裝置。

背景技術

隨著科技的進步，互聯網已經成了人們生活中不可或缺的一部分。在當今信息爆炸的時代，網絡上每天都會產生大量的微博，新聞等文本數據，文本數據的挖掘越來越被人們所需要，挖掘文本中有價值的信息可以幫助決策者更好地做出決策。文本分類是文本挖掘技術的基礎，它被廣泛地應用在垃圾過濾，新聞分類，詞性標注等問題中。

隨著深度學習技術的發展，神經網絡在文本分類中的應用逐漸成熟。循環神經網絡(RNN)是一種重要的神經網絡結構，在語音識別，機器翻譯及預測、處理序列數據等方面有著廣泛的應用。

目前基于循環神經網絡的長文本分類方法，一種是將長文本截取成固定長度的短文本進行分類，不能充分體現文本的語義信息；另一種是基于窗口的方法，大大增加了計算量。因此現有技術中缺乏一種高效準確地對長文本進行分類的方法。

發明內容

本發明實施例提供一種文本分類方法及裝置，以實現一種高效準確地對長文本進行分類的方法。

本發明實施例的一個方面是提供一種文本分類方法，包括：

根據待分類文本中每個句子中的分詞的詞向量，確定每個句子的句子向量；

根據每個句子的句子向量，確定每個句子的重要性評價參數；

根據每個句子的重要性評價參數，確定所述待分類文本的摘要信息；

根據所述待分類文本的摘要信息，對所述待分類文本進行分類。

本發明實施例的另一個方面是提供一種文本分類裝置，包括：

確定模塊，用于根據待分類文本中每個句子中的分詞的詞向量，確定每個句子的句子向量；根據每個句子的句子向量，確定每個句子的重要性評價參數；根據每個句子的重要性評價參數，確定所述待分類文本的摘要信息；

分類模塊，用于根據所述待分類文本的摘要信息，對所述待分類文本進行分類。

本發明實施例提供的文本分類方法及裝置，通過根據待分類文本中每個句子中的分詞的詞向量，確定每個句子的句子向量，根據每個句子的句子向量，確定每個句子的重要性評價參數，根據每個句子的重要性評價參數，確定所述待分類文本的摘要信息，然后對摘要信息利用LSTM網絡進行分類代替直接對長文本進行分類，減少了計算量，避免了將長文本截取成短文本帶來的語義信息缺失的問題。實現了高效準確地對長文本進行分類的方法。

附圖說明

此處的附圖被并入說明書中并構成本說明書的一部分，示出了符合本公開的實施例，并與說明書一起用于解釋本公開的原理。

圖1為本發明實施例提供的文本分類方法流程圖；

圖2為本發明實施例提供的LSTM神經元的示意圖；

圖3為本發明另一實施例提供的文本分類方法流程圖；

圖4為本發明另一實施例提供的文本分類方法流程圖；

圖5為本發明實施例提供的文本分類裝置的結構圖。