[發(fā)明專利]一種基于Word2Vec與詞共現(xiàn)相結(jié)合的文本關(guān)鍵詞抽取方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710605900.2
• 申請(qǐng)日: 2017-07-24
• 公開(kāi)（公告）號(hào): CN107562717B
• 公開(kāi)（公告）日: 2021-08-03
• 發(fā)明（設(shè)計(jì)）人: 李曉飛;劉佳雯;韓光
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): G06F40/30
• 分類號(hào): G06F40/30;G06F40/284;G06K9/62
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 朱楨榮

本發(fā)明公開(kāi)了一種基于Word2Vec與詞共現(xiàn)相結(jié)合的文本關(guān)鍵詞抽取方法，采用ICTCLAS分詞系統(tǒng)對(duì)文本進(jìn)行分詞和詞性標(biāo)注得到詞匯集合；然后對(duì)詞匯集合進(jìn)行預(yù)處理，將不合理的詞匯組合過(guò)濾，得到初步候選集；將初步候選集放置到訓(xùn)練好的Word2Vec模型中得到詞向量表，計(jì)算詞向量表中詞向量間的距離，對(duì)初步候選集進(jìn)行kmeans聚類得到關(guān)鍵詞的二次候選集，根據(jù)詞向量距離得到二次候選集在初步候選集中的詞共現(xiàn)率；不同詞匯長(zhǎng)度賦予不同的權(quán)值，根據(jù)詞共現(xiàn)率、詞匯長(zhǎng)度得到相應(yīng)的權(quán)重，根據(jù)權(quán)重排序，排名靠前的m個(gè)即為最終的關(guān)鍵詞。本發(fā)明采用Word2Vec生成的詞向量進(jìn)行聚類，再結(jié)合詞共現(xiàn)等基本特征提取文本關(guān)鍵詞，提取的關(guān)鍵詞更準(zhǔn)確，可以適應(yīng)不同文本的關(guān)鍵詞抽取。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語(yǔ)言處理技術(shù)領(lǐng)域，特別是一種基于Word2Vec與詞共現(xiàn)相結(jié)合的文本關(guān)鍵詞抽取方法。

背景技術(shù)

關(guān)鍵詞提取就是從文本中把跟這篇文章意義最相關(guān)的一些詞匯抽取出來(lái)。這些詞匯也可以極大的概括文章的主要內(nèi)容和中心思想。作者在寫論文時(shí)一般都要求提供若干關(guān)鍵詞，這樣可以極大的方便讀者來(lái)確定該論文是否為所需要的論文，達(dá)到預(yù)覽的效果。

傳統(tǒng)的關(guān)鍵詞標(biāo)注，主要是通過(guò)人工完成。一般是邀請(qǐng)領(lǐng)域?qū)＜覍?duì)一些特定文檔進(jìn)行閱讀，然后根據(jù)文本內(nèi)容，選取一些詞作為關(guān)鍵詞。這樣做的好處是，關(guān)鍵詞的精確性比較髙，一般與文章內(nèi)容非常契合，具有很強(qiáng)的代表性。但是人工標(biāo)注的一個(gè)主要問(wèn)題是效率太低，傳統(tǒng)文本量下，可以采用人工標(biāo)注，但是在大數(shù)據(jù)時(shí)代，數(shù)據(jù)爆炸式增長(zhǎng)，人工標(biāo)注無(wú)法有效應(yīng)對(duì)如此巨量的數(shù)據(jù)，使用計(jì)算機(jī)進(jìn)行自動(dòng)關(guān)鍵詞抽取成為了主流選擇。

關(guān)鍵詞抽取算法的不斷發(fā)展，使得關(guān)鍵詞自動(dòng)標(biāo)注的準(zhǔn)確率不斷提高，但是這與人工關(guān)鍵詞自動(dòng)標(biāo)注相比，依舊顯得過(guò)低。已有的一些研巧表明，準(zhǔn)確率和召回率評(píng)價(jià)上，一般只有30％-40％，這使得如何進(jìn)一步提高關(guān)鍵詞抽取的效果，成為十分有意義的研究議題。

早期的關(guān)鍵詞提取算法使用詞頻、詞性、詞在文章中位置等屬性來(lái)表示詞匯，然后根據(jù)某個(gè)規(guī)則計(jì)算出每個(gè)詞的得分，選擇得分高的詞作為關(guān)鍵詞，效果并不理想。除了基于得分的關(guān)鍵詞提取方法之外，還有一類是基于機(jī)器學(xué)習(xí)的關(guān)鍵詞提取方法。相對(duì)于基于得分的方法而言，這些方法雖然利用了數(shù)據(jù)集中的信息，但是并沒(méi)有改變?cè)~的表示方式。其中詞的特征仍然是詞的詞性、詞頻等，這種表示方式忽略了詞匯之間的語(yǔ)義聯(lián)系，比如同義詞、反義詞等。因此不論是聚類還是分類過(guò)程中，詞匯的特征并不能給出關(guān)于詞匯語(yǔ)義充分信息，所以這些關(guān)鍵詞提取算法的準(zhǔn)確率并不理想。

綜上，傳統(tǒng)的關(guān)鍵詞抽取方法存在關(guān)鍵詞抽取的效果不佳、關(guān)鍵詞抽取效率低的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是克服現(xiàn)有技術(shù)的不足而提供一種基于Word2Vec與詞共現(xiàn)相結(jié)合的文本關(guān)鍵詞抽取方法，本發(fā)明采用Word2Vec生成的詞向量進(jìn)行詞間相似度計(jì)算而后聚類，再結(jié)合詞共現(xiàn)等基本特征提取文本關(guān)鍵詞，所提取的關(guān)鍵詞更加準(zhǔn)確，可以較好適應(yīng)不同文本的關(guān)鍵詞抽取。

本發(fā)明為解決上述技術(shù)問(wèn)題采用以下技術(shù)方案：

根據(jù)本發(fā)明提出的一種基于Word2Vec與詞共現(xiàn)相結(jié)合的文本關(guān)鍵詞抽取方法，包括以下步驟：

步驟A、將文本分為若干子句，對(duì)子句進(jìn)行分詞，同時(shí)進(jìn)行詞性標(biāo)注得到詞匯集合；

步驟B、對(duì)詞匯集合進(jìn)行預(yù)處理，具體如下：

掃描每個(gè)子句中的詞匯，對(duì)相連詞匯進(jìn)行掃描組合得到詞匯組合；

根據(jù)停用詞表，將虛詞和以虛詞為開(kāi)頭或結(jié)尾的詞匯組合進(jìn)行過(guò)濾，得到初步候選集D₁；

步驟C、將初步候選集D₁輸入到訓(xùn)練好的Word2Vec模型中，得到詞向量表；計(jì)算詞向量表中每個(gè)詞向量與其余詞向量的語(yǔ)義距離，采用該語(yǔ)義距離，對(duì)初步候選集D₁進(jìn)行kmeans聚類；