[發明專利]一種新聞文本分類方法以及裝置

在審

• 申請號: 201810700701.4
• 申請日: 2018-06-29
• 公開（公告）號: CN108829889A
• 公開（公告）日: 2018-11-16
• 發明（設計）人: 楊濤;王肅;楊耀威;李彩虹
• 申請（專利權）人: 國信優易數據有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 張海洋

本申請提供了一種新聞文本分類方法以及裝置，該方法包括：對待分類新聞文本進行關鍵詞提取；基于所提取的新聞關鍵詞，與領域相關度詞典中所包括的領域關鍵詞之間的相關度，確定提取的新聞關鍵詞與預先生成的領域相關度詞典所表征的領域之間的相關度；其中，所述領域關鍵詞包括：領域名稱詞和/或與該領域名稱詞所表征領域相關的領域相關詞；基于所述新聞關鍵詞與所述領域之間的相關度，確定所述新聞關鍵詞所屬待分類新聞文本的分類。本申請實施例能夠在弱化詞匯的出現頻次對分類結果造成的影響的同時，提高分類的精度，滿足較高精度的新聞文本分類需求。

技術領域

本申請涉及信息處理技術領域，具體而言，涉及一種新聞文本分類方法以及裝置。

背景技術

對新聞文本進行分類的方法主要有兩種：頻次法以及詞頻-逆文本頻率指數(TermFrequency–Inverse Document Frequency，DF-IDF)法。頻次法和DF-IDF算法都屬于特征提取法。

其中，頻次法的分類結果容易受到詞匯出現頻率的影響。DF-IDF法雖然弱化了詞匯出現頻次對分類結果造成的影響，但存在分類精度低，所得到的分類過于籠統，針對領域不夠明確，無法滿足較高精度的分類需求的問題。

發明內容

有鑒于此，本申請實施例的目的在于提供一種新聞文本分類方法以及裝置，能夠在弱化詞匯的出現頻次對分類結果造成的影響的同時，提高分類的精度，滿足較高精度的新聞文本分類需求。

第一方面，本申請實施例提供了一種新聞文本分類方法，包括：

對待分類新聞文本進行關鍵詞提取；

基于所提取的新聞關鍵詞，與領域相關度詞典中所包括的領域關鍵詞之間的相關度，確定提取的新聞關鍵詞與預先生成的領域相關度詞典所表征的領域之間的相關度；其中，所述領域關鍵詞包括：領域名稱詞和/或與該領域名稱詞所表征領域相關的領域相關詞；

基于所述新聞關鍵詞與所述領域之間的相關度，確定所述新聞關鍵詞所屬待分類新聞文本的分類。

結合第一方面，本申請實施例提供了第一方面的第一種可能的實施方式，其中：所述領域相關度詞典根據下述步驟生成：

從預設平臺獲取語料；

采用預先訓練得到的分詞模型對所述語料進行分詞處理，得到關鍵詞集，其中，所述關鍵詞集包括：關鍵詞以及每兩個關鍵詞之間的第一相關度；

從所述關鍵詞集中確定表征各領域的領域名稱詞；

針對每個領域名稱詞，根據關鍵詞集中的各關鍵詞與該領域名稱詞之間的第一相關度，確定該領域名稱詞對應的關鍵詞集合，并基于確定的關鍵詞集合和該領域名稱詞生成對應的領域相關度詞典。

結合第一方面第一種可能的實施方式，本申請實施例提供了第一方面的第二種可能的實施方式，其中：針對每個領域名稱詞，根據關鍵詞集中的各關鍵詞與該領域名稱詞之間的第一相關度，確定該領域名稱詞對應的關鍵詞集合，并基于確定的關鍵詞集合和該領域名稱詞生成對應的領域相關度詞典，包括：

針對每個領域名稱詞，將關鍵詞集中的各關鍵詞與該領域名稱詞之間的第一相關度按照從高到低的順序進行排序；并將前預設數量第一相關度對應的關鍵詞以及該領域名稱詞構成的集合確定為對應的領域相關度詞典；或者

針對每個領域名稱詞，將關鍵詞集中的各關鍵詞與該領域名稱詞之間的第一相關度達到預設相關度閾值的關鍵詞以及該領域名稱詞構成的集合確定為對應的領域相關度詞典。

結合第一方面，本申請實施例提供了第一方面的第三種可能的實施方式，其中：所述領域關鍵詞包括與領域名稱詞對應的領域相關詞；所述領域相關度詞典中還包括領域名稱詞與各領域相關詞之間的第一相關度；