[發(fā)明專利]短文本關(guān)鍵詞提取方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011107170.1
• 申請(qǐng)日: 2020-10-16
• 公開(kāi)（公告）號(hào): CN114386393A
• 公開(kāi)（公告）日: 2022-04-22
• 發(fā)明（設(shè)計(jì)）人: 汪濤;張守菊;黃佳佳;戴永恒;劉學(xué)謙
• 申請(qǐng)（專利權(quán)）人: 電科云（北京）科技有限公司
• 主分類號(hào): G06F40/216
• 分類號(hào): G06F40/216;G06F40/284;G06F16/33;G06F16/35
• 代理公司: 北京金咨知識(shí)產(chǎn)權(quán)代理有限公司 11612
• 代理人: 秦景芳

本發(fā)明提供了一種短文本關(guān)鍵詞提取方法及裝置，其中，該方法包括：將待提取關(guān)鍵詞文本和與其來(lái)源相關(guān)的文本進(jìn)行拼接，得到長(zhǎng)文本；利用設(shè)定主題模型對(duì)所述長(zhǎng)文本進(jìn)行主題分類，得到主題分類數(shù)據(jù)；基于所述主題分類數(shù)據(jù)計(jì)算考慮類別統(tǒng)計(jì)信息的單詞重要性得分，得到所述待提取關(guān)鍵詞文本的關(guān)鍵詞。通過(guò)上述方案能夠解決了短文本較短的問(wèn)題和各領(lǐng)域文本差別較大所導(dǎo)致的數(shù)據(jù)集偏斜的問(wèn)題，從而能夠提高對(duì)短文本進(jìn)行關(guān)鍵詞提取的準(zhǔn)確度。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語(yǔ)言處理技術(shù)領(lǐng)域，尤其涉及一種短文本關(guān)鍵詞提取方法及裝置。

背景技術(shù)

近年來(lái)，微博因其平臺(tái)的開(kāi)放性和內(nèi)容簡(jiǎn)潔性等特征而得到迅速發(fā)展，正成為人類社會(huì)中社會(huì)關(guān)系維系和信息傳播的重要渠道和載體。人們可以利用微博實(shí)時(shí)分享數(shù)據(jù)，同時(shí)，由于微博內(nèi)容可以通過(guò)各種通訊手段(如手機(jī)等)實(shí)時(shí)發(fā)布，所以容易在短時(shí)間內(nèi)產(chǎn)生大量數(shù)據(jù)。但是，這些數(shù)據(jù)通常是雜亂無(wú)章的，很難及時(shí)準(zhǔn)確地從中獲取感興趣的信息。因此，對(duì)微博文本的關(guān)鍵詞進(jìn)行提取顯得格外重要。準(zhǔn)確提取關(guān)鍵詞，可以有效地識(shí)別出當(dāng)天熱點(diǎn)詞匯以及高熱度話題。

對(duì)微博文本進(jìn)行關(guān)鍵詞提取一直都是一個(gè)熱點(diǎn)問(wèn)題，但是微博文本數(shù)據(jù)本身的缺陷導(dǎo)致關(guān)鍵詞的提取有一定的難度。首先，微博文本數(shù)據(jù)的噪聲很大，因?yàn)槲⒉﹥?nèi)容書(shū)寫(xiě)比較隨意，所以在微博中錯(cuò)別字、新生詞、網(wǎng)絡(luò)用語(yǔ)、符號(hào)語(yǔ)言等出現(xiàn)的頻率比普通網(wǎng)絡(luò)文本出現(xiàn)的頻率要高很多。其次，一些常見(jiàn)的背景詞匯(例如“明天”、“呵呵”等)在微博中的出現(xiàn)頻率也極高，也會(huì)對(duì)文本挖掘任務(wù)造成了一定影響。再者，因?yàn)槲⒉┫拗朴脩舭l(fā)表的博文字符數(shù)，例如不能超過(guò)140個(gè)字符，所以微博文本大部分都是發(fā)表的短文本或轉(zhuǎn)發(fā)評(píng)論他人微博的短文本，而短文本對(duì)于提取關(guān)鍵詞有很大影響。另外，轉(zhuǎn)發(fā)評(píng)論他人微博的文本，不僅較短，而且多時(shí)候缺少重要信息，從而導(dǎo)致無(wú)法有效的識(shí)別出關(guān)鍵詞。此外，微博文本涵蓋領(lǐng)域豐富，同時(shí)各領(lǐng)域的占比相差很大，這一特點(diǎn)也嚴(yán)重影響了基于統(tǒng)計(jì)信息提取的關(guān)鍵詞的準(zhǔn)確率。

因此，對(duì)于類似于微博的具有噪聲大、缺少重要信息、涵蓋領(lǐng)域豐富但占比相差大等特點(diǎn)的短文本進(jìn)行關(guān)鍵詞提取的準(zhǔn)確度亟待提高。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供了一種短文本關(guān)鍵詞提取方法及裝置，以提高短文本關(guān)鍵詞提取的準(zhǔn)確度。

為了達(dá)到上述目的，本發(fā)明采用以下方案實(shí)現(xiàn)：

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種短文本關(guān)鍵詞提取方法，包括：

將待提取關(guān)鍵詞文本和與其來(lái)源相關(guān)的文本進(jìn)行拼接，得到長(zhǎng)文本；

利用設(shè)定主題模型對(duì)所述長(zhǎng)文本進(jìn)行主題分類，得到主題分類數(shù)據(jù)；

基于所述主題分類數(shù)據(jù)計(jì)算考慮類別統(tǒng)計(jì)信息的單詞重要性得分，得到所述待提取關(guān)鍵詞文本的關(guān)鍵詞。

在一些實(shí)施例中，將待提取關(guān)鍵詞文本和與其來(lái)源相關(guān)的文本進(jìn)行拼接，得到長(zhǎng)文本，包括：

將待提取關(guān)鍵詞文本和其所來(lái)源的初始文本進(jìn)行拼接，得到拼接后的文本；其中，所述的與其來(lái)源相關(guān)的文本包括所述的其所來(lái)源的初始文本；

將多個(gè)拼接后的文本按設(shè)定屬性進(jìn)行聚合，得到長(zhǎng)文本。

在一些實(shí)施例中，所述設(shè)定屬性為作者信息。

在一些實(shí)施例中，所述設(shè)定主題模型為L(zhǎng)DA主題模型。

在一些實(shí)施例中，基于所述主題分類數(shù)據(jù)計(jì)算考慮類別統(tǒng)計(jì)信息的單詞重要性得分，得到所述待提取關(guān)鍵詞文本的關(guān)鍵詞之前，所述的短文本關(guān)鍵詞提取方法還包括：

確定所述設(shè)定主題模型的最優(yōu)主題個(gè)數(shù)，以得到對(duì)應(yīng)所述最優(yōu)主題個(gè)數(shù)的所述主題分類數(shù)據(jù)。

在一些實(shí)施例中，確定所述設(shè)定主題模型的最優(yōu)主題個(gè)數(shù)，以得到對(duì)應(yīng)所述最優(yōu)主題個(gè)數(shù)的所述主題分類數(shù)據(jù)，包括：