[發明專利]文本分類方法、裝置、電子設備及計算機存儲介質

在審

• 申請號: 202010403109.5
• 申請日: 2020-05-13
• 公開（公告）號: CN111680155A
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 李丹;趙立永;吳新麗;韓勇;劉啟明;代繼濤
• 申請（專利權）人: 新華網股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62
• 代理公司: 北京市立方律師事務所 11330
• 代理人: 張筱寧

1.一種文本分類方法，其特征在于，包括：

基于流式處理框架SparkStreaming，獲取至少一個文本分類任務，每個文本分類任務包括至少一個待分類文本；

針對每個文本分類任務，確定所述每個文本分類任務中的各個待分類文本各自對應的各個詞匯表；

基于預訓練的FastText分類模型，根據所述各個待分類文本各自對應的各個詞匯表，確定所述各個待分類文本各自對應的至少一個目標行業類別，和/或確定所述各個待分類文本在各自對應的至少一個目標行業類別中分別對應的至少一個目標類別標簽，以對各個待分類文本進行分類，每個行業類別包括多個類別標簽。

2.根據權利要求1所述的方法，其特征在于，所述確定所述每個文本分類任務中的各個待分類文本分別對應的詞匯表，包括：

針對每個待分類文本，確定所述每個待分類文本的文本標題和文本正文；

對所述文本標題和所述文本正文分別進行文本預處理，得到所述每個待分類文本的詞匯表；

其中，所述詞匯表包括多個文本詞，所述文本預處理包括分詞處理與停用詞過濾處理。

3.根據權利要求1所述的方法，其特征在于，所述基于預訓練的FastText分類模型，根據所述各個待分類文本各自對應的各個詞匯表，確定所述各個待分類文本各自對應的至少一個目標行業類別，包括：

針對每個待分類文本，根據所述每個待分類文本的詞匯表，確定所述每個待分類文本是否為任一行業類別的行業文本；

若所述每個待分類文本是任一行業類別的行業文本，則確定所述任一行業類別為所述每個待分類文本的目標行業類別。

4.根據權利要求1或3所述的方法，其特征在于，基于預訓練的FastText分類模型，根據所述各個待分類文本各自對應的各個詞匯表，確定所述各個待分類文本在各自對應的至少一個目標行業類別中分別對應的至少一個目標類別標簽，包括：

針對每個待分類文本，根據所述每個待分類文本的詞匯表，從所述每個待分類文本對應的至少一個目標行業類別分別包括的多個類別標簽中，確定所述每個待分類文本對應的至少一個目標類別標簽。

5.根據權利要求3所述的方法，其特征在于，所述根據所述每個待分類文本的詞匯表，確定所述每個待分類文本是否為任一行業類別的行業文本，包括：

根據所述每個待分類文本的詞匯表，計算所述每個待分類文本屬于所述任一行業類別的第一概率；

當確定所述第一概率大于或等于第一預定閾值時，確定所述每個待分類文本為所述任一行業類別的行業文本。

6.根據權利要求4所述的方法，其特征在于，根據所述每個待分類文本的詞匯表，從所述每個待分類文本對應的至少一個目標行業類別分別包括的多個類別標簽中，確定所述每個待分類文本對應的至少一個目標類別標簽，包括：

針對每個目標行業類別，根據所述每個待分類文本的詞匯表，計算所述每個待分類文本對應于所述每個目標行業類別中的各個類別標簽的第二概率，各個第二概率的總和為預定數值；

從各個第二概率中確定最大的N個第二概率，并根據所述最大的N個第二概率，確定所述每個待分類文本對應的至少一個目標類別標簽。

7.根據權利要求6所述的方法，其特征在于，根據所述最大的N個第二概率，確定所述每個待分類文本對應的至少一個目標類別標簽，包括：

按照從大到小的排列順序，對所述最大的N個第二概率進行排序；

將排序第一的第二概率對應的類別標簽確定為所述每個待分類文本的目標類別標簽，并按照所述排列順序，確定除所述排序第一的第二概率外的N-1個第二概率是否大于或等于第二預定閾值，若存在大于或等于第二預定閾值的第二概率，則將大于或等于第二預定閾值的第二概率對應的類別標簽確定為所述每個待分類文本的目標類別標簽。