[發(fā)明專利]一種用于中文新聞突發(fā)事件的文本分類與抽取方法

有效

• 申請?zhí)枺?/td>: 201811202156.2
• 申請日: 2018-10-16
• 公開（公告）號: CN109299266B
• 公開（公告）日: 2019-11-12
• 發(fā)明（設(shè)計(jì)）人: 滕輝;龍飛
• 申請（專利權(quán)）人: 中國搜索信息科技股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/9537
• 代理公司: 北京市盛峰律師事務(wù)所 11337
• 代理人: 于國富

本發(fā)明公開了一種用于中文新聞突發(fā)事件的文本分類與抽取方法，屬于自然語言處理領(lǐng)域。本發(fā)明針對新聞文本分類，采用了基于對標(biāo)題和內(nèi)容信息的聯(lián)合表征，并將詞性對文本分類的貢獻(xiàn)度融入到傳統(tǒng)的TF?IDF算法中,并作為Word2Vec詞向量的權(quán)重進(jìn)一步生成短文本向量，從而避免了因單一利用標(biāo)題或內(nèi)容引起的信息缺失和文本詞匯詞性重要性不同而導(dǎo)致的分類準(zhǔn)確率降低的問題；最后，采用基于事件實(shí)例驅(qū)動(dòng)的新聞突發(fā)事件的抽取方法抽取事件實(shí)例，不僅克服了正反例失衡以及數(shù)據(jù)稀疏問題，而且解決了預(yù)先定義事件類別的局限性，實(shí)現(xiàn)了事件抽取，方便新聞工作人員、輿情分析人員進(jìn)一步利用事件抽取結(jié)果快速分析新聞。

技術(shù)領(lǐng)域

本發(fā)明涉及自然事件處理領(lǐng)域，尤其涉及一種用于中文新聞突發(fā)事件的文本分類與抽取方法。

背景技術(shù)

近年來，網(wǎng)絡(luò)新聞快速發(fā)展，相比于傳統(tǒng)媒體新聞，網(wǎng)絡(luò)新聞更加快速、靈活且便捷，網(wǎng)絡(luò)新聞也日漸成為人們獲取新聞資訊的一種最普遍方式。利用文本分類技術(shù)自動(dòng)地對大量新聞進(jìn)行快速的分類，以及在保證原始新聞主要內(nèi)容的前提下，如何有效的抽取新聞中的事件，是當(dāng)前研究的主要困難。新聞文本分類以及事件提取在信息提取領(lǐng)域一直是極具挑戰(zhàn)性的問題，涉及自然語言處理、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等多個(gè)學(xué)科的技術(shù)和方法，在自動(dòng)摘要、信息檢索等領(lǐng)域有著廣泛的需求和應(yīng)用前景。首先，利用向量空間模型，對新聞標(biāo)題以及內(nèi)容進(jìn)行向量量化表示，構(gòu)建特征矩陣，利用基于余弦相似度和機(jī)器學(xué)習(xí)分類器對新聞進(jìn)行分類。進(jìn)一步，利用事件抽取算法對已經(jīng)分類好的數(shù)據(jù)集進(jìn)行事件提取。

現(xiàn)有的技術(shù)文獻(xiàn)中，發(fā)明專利“一種基于文體和詞表的突發(fā)事件信息抽取方法及系統(tǒng)”，公開號為201711343022.8，采用詞表進(jìn)行事件分類，采用文體特征進(jìn)行時(shí)間、事件摘要的抽取。這種基于觸發(fā)詞和事件元素的匹配方法依賴于具體領(lǐng)域及文本格式，且基于觸發(fā)詞的事件抽取方法會(huì)引入大量的反例，造成正反例失衡且在語料庫規(guī)模較小時(shí)存在一定的數(shù)據(jù)稀疏。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種用于中文新聞突發(fā)事件的文本分類與抽取方法，在對新聞文本進(jìn)行分類的基礎(chǔ)上，利用基于事件實(shí)例驅(qū)動(dòng)的事件抽取方法，對新聞進(jìn)行事件抽取，從而解決現(xiàn)有技術(shù)中存在的前述問題。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下：

一種用于中文新聞突發(fā)事件的文本分類與抽取方法，主要包括以下步驟：

S1，利用爬蟲獲取多個(gè)新聞網(wǎng)站內(nèi)容作為初始新聞數(shù)據(jù)集，記為新聞數(shù)據(jù)集S＝{s₁,s₂,...,s_N}，其中，s_i為新聞數(shù)據(jù)集中第i個(gè)新聞文本，i＝1,2,...,N，N為新聞數(shù)據(jù)集新聞文本總數(shù)；

S2，對步驟S1中得到的新聞數(shù)據(jù)集S進(jìn)行分類，得到分類好的新聞數(shù)據(jù)集

S3，對已經(jīng)分類好的新聞數(shù)據(jù)集進(jìn)行事件抽取。

優(yōu)選地，步驟S2主要包括以下步驟：

S21，提取新聞數(shù)據(jù)集S中的第一個(gè)新聞文本s₁的標(biāo)題和正文，得到新聞文本s′₁＝{t₁,c₁}，其中t₁為新聞文本s₁的標(biāo)題，c₁為新聞文本s₁的標(biāo)題；

S22，遍歷新聞數(shù)據(jù)集S中的所有新聞文本，重復(fù)步驟S21，得到新聞數(shù)據(jù)集S′，其中，N為新聞數(shù)據(jù)集新聞文本總數(shù)；

S23，提取所述新聞數(shù)據(jù)集S′中的新聞文本s′₁的特征向量，得到新聞數(shù)據(jù)集特征矩陣

S24，使用支持向量機(jī)分類器對步驟S23得到的新聞數(shù)據(jù)集特征矩陣進(jìn)行分類，得到分類好的新聞數(shù)據(jù)集

優(yōu)選地，步驟S23主要包括以下步驟：