[發明專利]一種新聞文本分類方法以及裝置

在審

• 申請號: 201810700701.4
• 申請日: 2018-06-29
• 公開（公告）號: CN108829889A
• 公開（公告）日: 2018-11-16
• 發明（設計）人: 楊濤;王肅;楊耀威;李彩虹
• 申請（專利權）人: 國信優易數據有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 張海洋

1.一種新聞文本分類方法，其特征在于，包括：

對待分類新聞文本進行關鍵詞提取；

基于所提取的新聞關鍵詞，與領域相關度詞典中所包括的領域關鍵詞之間的相關度，確定提取的新聞關鍵詞與預先生成的領域相關度詞典所表征的領域之間的相關度；其中，所述領域關鍵詞包括：領域名稱詞和/或與該領域名稱詞所表征領域相關的領域相關詞；

基于所述新聞關鍵詞與所述領域之間的相關度，確定所述新聞關鍵詞所屬待分類新聞文本的分類。

2.根據權利要求1所述的方法，其特征在于，所述領域相關度詞典根據下述步驟生成：

從預設平臺獲取語料；

采用預先訓練得到的分詞模型對所述語料進行分詞處理，得到關鍵詞集，其中，所述關鍵詞集包括：關鍵詞以及每兩個關鍵詞之間的第一相關度；

從所述關鍵詞集中確定表征各領域的領域名稱詞；

針對每個領域名稱詞，根據關鍵詞集中的各關鍵詞與該領域名稱詞之間的第一相關度，確定該領域名稱詞對應的關鍵詞集合，并基于確定的關鍵詞集合和該領域名稱詞生成對應的領域相關度詞典。

3.根據權利要求2所述的方法，其特征在于，針對每個領域名稱詞，根據關鍵詞集中的各關鍵詞與該領域名稱詞之間的第一相關度，確定該領域名稱詞對應的關鍵詞集合，并基于確定的關鍵詞集合和該領域名稱詞生成對應的領域相關度詞典，包括：

針對每個領域名稱詞，將關鍵詞集中的各關鍵詞與該領域名稱詞之間的第一相關度按照從高到低的順序進行排序；并將前預設數量第一相關度對應的關鍵詞以及該領域名稱詞構成的集合確定為對應的領域相關度詞典；或者

針對每個領域名稱詞，將關鍵詞集中的各關鍵詞與該領域名稱詞之間的第一相關度達到預設相關度閾值的關鍵詞以及該領域名稱詞構成的集合確定為對應的領域相關度詞典。

4.根據權利要求1所述的方法，其特征在于，所述領域關鍵詞包括與領域名稱詞對應的領域相關詞；所述領域相關度詞典中還包括領域名稱詞與各領域相關詞之間的第一相關度；

采用如下方式確定所述新聞關鍵詞與對應領域相關度詞典所表征領域之間的相關度：

確定新聞關鍵詞分別與對應領域相關度詞典中各領域相關詞之間的第二相關度；

針對每個第二相關度，確定與該第二相關度對應領域相關詞所對應的第一相關度與該第二相關度的乘積；將所述乘積確定為所述新聞關鍵詞與所述領域關鍵詞之間的相關度；

將各乘積相加得到的和確定為所述新聞關鍵詞與對應領域相關度詞典所表征領域之間的相關度。

5.根據權利要求1所述的方法，其特征在于，所述領域關鍵詞包括領域名稱詞；所述領域相關度詞典中還包括領域名稱詞與各領域相關詞之間的第一相關度；

采用如下方式確定所述新聞關鍵詞與對應領域相關度詞典所表征領域之間的相關度：

確定新聞關鍵詞與對應領域相關度詞典中領域名稱詞之間的第二相關度；

確定所述第二相關度分別和對應領域名稱詞對應的各第一相關度之間的乘積；將所述乘積確定為所述新聞關鍵詞與所述領域關鍵詞之間的相關度；

將各乘積相加得到的和確定為所述新聞關鍵詞與對應領域相關度詞典所表征領域之間的相關度。

6.根據權利要求1所述的方法，其特征在于，采用如下方式對待分類新聞文本進行關鍵詞提取：

獲取待分類新聞標題以及對應新聞正文；

對所述待分類新聞標題以及對應新聞正文進行合成處理，得到待處理新聞文本；

對合成后的待分類新聞文本進行分詞處理；

將分詞處理得到的詞中，有效的且具有名詞屬性的詞確定為提取的新聞關鍵詞。

7.如權利要求6所述的方法，其特征在于，基于所述新聞關鍵詞與所述領域關鍵詞之間的相關度，確定所述新聞關鍵詞所屬待分類新聞文本的分類，具體包括：

針對每個領域，將待分類新聞文本提取的各新聞關鍵詞與該領域之間的相關度相加，得到所述待分類新聞文本與該領域之間的相關度；

根據所述待分類新聞文本與多個領域之間的相關度，確定所述待分類新聞文本所屬領域。