[發明專利]文本分類方法、裝置、電子設備及計算機存儲介質

在審

• 申請號: 202010403109.5
• 申請日: 2020-05-13
• 公開（公告）號: CN111680155A
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 李丹;趙立永;吳新麗;韓勇;劉啟明;代繼濤
• 申請（專利權）人: 新華網股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62
• 代理公司: 北京市立方律師事務所 11330
• 代理人: 張筱寧

本申請實施例涉及互聯網技術領域，公開了一種文本分類方法、裝置、電子設備及計算機可讀存儲介質，其中，文本分類方法包括：基于流式處理框架SparkStreaming，獲取至少一個文本分類任務，每個文本分類任務包括至少一個待分類文本；接著，針對每個文本分類任務，確定每個文本分類任務中的各個待分類文本各自對應的各個詞匯表；接著，基于預訓練的FastText分類模型，根據各個待分類文本各自對應的各個詞匯表，確定各個待分類文本各自對應的至少一個目標行業類別，和/或確定各個待分類文本在各自對應的至少一個目標行業類別中分別對應的至少一個目標類別標簽，以對各個待分類文本進行分類，每個行業類別包括多個類別標簽。極大降低分類預測的時間，滿足分類需求。

技術領域

本申請實施例涉及互聯網技術領域，具體而言，本申請涉及一種文本分類方法、裝置、電子設備及計算機存儲介質。

背景技術

隨著互聯網的不斷發展，網絡信息來源越來越多，人們可以通過網絡閱讀各種類型的文本。對于面向例如汽車、旅游、電影、時政新聞等領域的門戶網站，會存在大量的文章，并且對于網站的論壇，網絡用戶會發布很多的帖子。為了便于對文章或者帖子進行分類，需要對這些文章或者帖子貼上標簽。

以新聞文本為例，在向用戶推送新聞時，為了滿足用戶的閱讀興趣，需要根據文本的標簽選擇用戶感興趣的新聞文本，從而向用戶推送相關的新聞文本。這里，海量新聞的文本標簽的確定效率與準確性直接影響了后續的推送文本是否符合用戶需求。

發明內容

本申請實施例的目的旨在至少能解決上述的技術缺陷之一，特提出以下技術方案：

一方面，提供了一種文本分類方法，包括：

基于流式處理框架SparkStreaming，獲取至少一個文本分類任務，每個文本分類任務包括至少一個待分類文本；

針對每個文本分類任務，確定每個文本分類任務中的各個待分類文本各自對應的各個詞匯表；

基于預訓練的FastText分類模型，根據各個待分類文本各自對應的各個詞匯表，確定各個待分類文本各自對應的至少一個目標行業類別，和/或確定各個待分類文本在各自對應的至少一個目標行業類別中分別對應的至少一個目標類別標簽，以對各個待分類文本進行分類，每個行業類別包括多個類別標簽。

在一種可能的實現方式中，

確定每個文本分類任務中的各個待分類文本分別對應的詞匯表，包括：

針對每個待分類文本，確定每個待分類文本的文本標題和文本正文；對文本標題和文本正文分別進行文本預處理，得到每個待分類文本的詞匯表；其中，詞匯表包括多個文本詞，文本預處理包括分詞處理與停用詞過濾處理。

在一種可能的實現方式中，基于預訓練的FastText分類模型，根據各個待分類文本各自對應的各個詞匯表，確定各個待分類文本各自對應的至少一個目標行業類別，包括：

針對每個待分類文本，根據每個待分類文本的詞匯表，確定每個待分類文本是否為任一行業類別的行業文本；

若每個待分類文本是任一行業類別的行業文本，則確定任一行業類別為每個待分類文本的目標行業類別。

在一種可能的實現方式中，基于預訓練的FastText分類模型，根據所述各個待分類文本各自對應的各個詞匯表，確定各個待分類文本在各自對應的至少一個目標行業類別中分別對應的至少一個目標類別標簽，包括：

針對每個待分類文本，根據每個待分類文本的詞匯表，從每個待分類文本對應的至少一個目標行業類別分別包括的多個類別標簽中，確定每個待分類文本對應的至少一個目標類別標簽。

在一種可能的實現方式中，根據每個待分類文本的詞匯表，確定每個待分類文本是否為任一行業類別的行業文本，包括：