[發(fā)明專利]一種新聞文本分類方法以及裝置在審
| 申請?zhí)枺?/td> | 201810700701.4 | 申請日： | 2018-06-29 |
| 公開（公告）號： | CN108829889A | 公開（公告）日： | 2018-11-16 |
| 發(fā)明（設(shè)計）人： | 楊濤;王肅;楊耀威;李彩虹 | 申請（專利權(quán)）人： | 國信優(yōu)易數(shù)據(jù)有限公司 |
| 主分類號： | G06F17/30 | 分類號： | G06F17/30;G06F17/27 |
| 代理公司： | 北京超凡志成知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11371 | 代理人： | 張海洋 |
| 地址： | 100070 北京市豐臺*** | 國省代碼： | 北京;11 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 相關(guān)度 新聞關(guān)鍵詞 新聞文本 分類 領(lǐng)域關(guān)鍵詞 分類新聞 文本 關(guān)鍵詞提取 表征領(lǐng)域 分類結(jié)果 分類需求 預(yù)先生成 申請 詞匯 弱化 | ||
1.一種新聞文本分類方法，其特征在于，包括：
對待分類新聞文本進行關(guān)鍵詞提取；
基于所提取的新聞關(guān)鍵詞，與領(lǐng)域相關(guān)度詞典中所包括的領(lǐng)域關(guān)鍵詞之間的相關(guān)度，確定提取的新聞關(guān)鍵詞與預(yù)先生成的領(lǐng)域相關(guān)度詞典所表征的領(lǐng)域之間的相關(guān)度；其中，所述領(lǐng)域關(guān)鍵詞包括：領(lǐng)域名稱詞和/或與該領(lǐng)域名稱詞所表征領(lǐng)域相關(guān)的領(lǐng)域相關(guān)詞；
基于所述新聞關(guān)鍵詞與所述領(lǐng)域之間的相關(guān)度，確定所述新聞關(guān)鍵詞所屬待分類新聞文本的分類。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述領(lǐng)域相關(guān)度詞典根據(jù)下述步驟生成：
從預(yù)設(shè)平臺獲取語料；
采用預(yù)先訓(xùn)練得到的分詞模型對所述語料進行分詞處理，得到關(guān)鍵詞集，其中，所述關(guān)鍵詞集包括：關(guān)鍵詞以及每兩個關(guān)鍵詞之間的第一相關(guān)度；
從所述關(guān)鍵詞集中確定表征各領(lǐng)域的領(lǐng)域名稱詞；
針對每個領(lǐng)域名稱詞，根據(jù)關(guān)鍵詞集中的各關(guān)鍵詞與該領(lǐng)域名稱詞之間的第一相關(guān)度，確定該領(lǐng)域名稱詞對應(yīng)的關(guān)鍵詞集合，并基于確定的關(guān)鍵詞集合和該領(lǐng)域名稱詞生成對應(yīng)的領(lǐng)域相關(guān)度詞典。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，針對每個領(lǐng)域名稱詞，根據(jù)關(guān)鍵詞集中的各關(guān)鍵詞與該領(lǐng)域名稱詞之間的第一相關(guān)度，確定該領(lǐng)域名稱詞對應(yīng)的關(guān)鍵詞集合，并基于確定的關(guān)鍵詞集合和該領(lǐng)域名稱詞生成對應(yīng)的領(lǐng)域相關(guān)度詞典，包括：
針對每個領(lǐng)域名稱詞，將關(guān)鍵詞集中的各關(guān)鍵詞與該領(lǐng)域名稱詞之間的第一相關(guān)度按照從高到低的順序進行排序；并將前預(yù)設(shè)數(shù)量第一相關(guān)度對應(yīng)的關(guān)鍵詞以及該領(lǐng)域名稱詞構(gòu)成的集合確定為對應(yīng)的領(lǐng)域相關(guān)度詞典；或者
針對每個領(lǐng)域名稱詞，將關(guān)鍵詞集中的各關(guān)鍵詞與該領(lǐng)域名稱詞之間的第一相關(guān)度達(dá)到預(yù)設(shè)相關(guān)度閾值的關(guān)鍵詞以及該領(lǐng)域名稱詞構(gòu)成的集合確定為對應(yīng)的領(lǐng)域相關(guān)度詞典。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述領(lǐng)域關(guān)鍵詞包括與領(lǐng)域名稱詞對應(yīng)的領(lǐng)域相關(guān)詞；所述領(lǐng)域相關(guān)度詞典中還包括領(lǐng)域名稱詞與各領(lǐng)域相關(guān)詞之間的第一相關(guān)度；
采用如下方式確定所述新聞關(guān)鍵詞與對應(yīng)領(lǐng)域相關(guān)度詞典所表征領(lǐng)域之間的相關(guān)度：
確定新聞關(guān)鍵詞分別與對應(yīng)領(lǐng)域相關(guān)度詞典中各領(lǐng)域相關(guān)詞之間的第二相關(guān)度；
針對每個第二相關(guān)度，確定與該第二相關(guān)度對應(yīng)領(lǐng)域相關(guān)詞所對應(yīng)的第一相關(guān)度與該第二相關(guān)度的乘積；將所述乘積確定為所述新聞關(guān)鍵詞與所述領(lǐng)域關(guān)鍵詞之間的相關(guān)度；
將各乘積相加得到的和確定為所述新聞關(guān)鍵詞與對應(yīng)領(lǐng)域相關(guān)度詞典所表征領(lǐng)域之間的相關(guān)度。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述領(lǐng)域關(guān)鍵詞包括領(lǐng)域名稱詞；所述領(lǐng)域相關(guān)度詞典中還包括領(lǐng)域名稱詞與各領(lǐng)域相關(guān)詞之間的第一相關(guān)度；
采用如下方式確定所述新聞關(guān)鍵詞與對應(yīng)領(lǐng)域相關(guān)度詞典所表征領(lǐng)域之間的相關(guān)度：
確定新聞關(guān)鍵詞與對應(yīng)領(lǐng)域相關(guān)度詞典中領(lǐng)域名稱詞之間的第二相關(guān)度；
確定所述第二相關(guān)度分別和對應(yīng)領(lǐng)域名稱詞對應(yīng)的各第一相關(guān)度之間的乘積；將所述乘積確定為所述新聞關(guān)鍵詞與所述領(lǐng)域關(guān)鍵詞之間的相關(guān)度；
將各乘積相加得到的和確定為所述新聞關(guān)鍵詞與對應(yīng)領(lǐng)域相關(guān)度詞典所表征領(lǐng)域之間的相關(guān)度。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，采用如下方式對待分類新聞文本進行關(guān)鍵詞提取：
獲取待分類新聞標(biāo)題以及對應(yīng)新聞?wù)模?/p>
對所述待分類新聞標(biāo)題以及對應(yīng)新聞?wù)倪M行合成處理，得到待處理新聞文本；
對合成后的待分類新聞文本進行分詞處理；
將分詞處理得到的詞中，有效的且具有名詞屬性的詞確定為提取的新聞關(guān)鍵詞。
7.如權(quán)利要求6所述的方法，其特征在于，基于所述新聞關(guān)鍵詞與所述領(lǐng)域關(guān)鍵詞之間的相關(guān)度，確定所述新聞關(guān)鍵詞所屬待分類新聞文本的分類，具體包括：
針對每個領(lǐng)域，將待分類新聞文本提取的各新聞關(guān)鍵詞與該領(lǐng)域之間的相關(guān)度相加，得到所述待分類新聞文本與該領(lǐng)域之間的相關(guān)度；
根據(jù)所述待分類新聞文本與多個領(lǐng)域之間的相關(guān)度，確定所述待分類新聞文本所屬領(lǐng)域。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于國信優(yōu)易數(shù)據(jù)有限公司，未經(jīng)國信優(yōu)易數(shù)據(jù)有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201810700701.4/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
