[發(fā)明專利]關(guān)鍵詞提取方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011297172.1
• 申請(qǐng)日: 2020-11-17
• 公開(kāi)（公告）號(hào): CN112650830B
• 公開(kāi)（公告）日: 2021-11-26
• 發(fā)明（設(shè)計(jì)）人: 鄭翔;楊晶生;陳可蓉;劉敬暉;宗博文
• 申請(qǐng)（專利權(quán)）人: 北京字跳網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33;G06F16/35;G06F40/216;G06F40/284;G10L15/183
• 代理公司: 北京植德律師事務(wù)所 11780
• 代理人: 唐華東

本公開(kāi)提供一種關(guān)鍵詞提取方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。該方法的一具體實(shí)施方式包括：對(duì)目標(biāo)文本對(duì)應(yīng)的候選關(guān)鍵詞集合中各候選關(guān)鍵詞進(jìn)行向量表示得到對(duì)應(yīng)的向量；對(duì)各候選關(guān)鍵詞對(duì)應(yīng)的向量進(jìn)行異常點(diǎn)檢測(cè)，得到異常點(diǎn)向量集合；刪除候選關(guān)鍵詞集合中與各異常點(diǎn)向量對(duì)應(yīng)的關(guān)鍵詞；將候選關(guān)鍵詞集合確定為與目標(biāo)文本對(duì)應(yīng)的關(guān)鍵詞集合。該實(shí)施方式提高了關(guān)鍵詞提取的準(zhǔn)確度。

技術(shù)領(lǐng)域

本公開(kāi)的實(shí)施例涉及自然語(yǔ)言處理技術(shù)領(lǐng)域，具體涉及關(guān)鍵詞提取方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著文本信息爆發(fā)式地增長(zhǎng)，為了方便人們快速了解某篇文本內(nèi)容，一種重要方式是為人們提取能夠確切反映文本內(nèi)容的關(guān)鍵詞。

關(guān)鍵詞提取通常可以分為兩種方法：有監(jiān)督方法和無(wú)監(jiān)督方法。其中，有監(jiān)督方法需要大量的人工標(biāo)注數(shù)據(jù)，成本較高；而目前的無(wú)監(jiān)督方法提取出來(lái)的關(guān)鍵詞往往包含很多“雜質(zhì)”，即其中存在與文本內(nèi)容無(wú)關(guān)、或相關(guān)性較低的非關(guān)鍵詞，因此提取出來(lái)的關(guān)鍵詞準(zhǔn)確度較低。

發(fā)明內(nèi)容

本公開(kāi)的實(shí)施例提出了關(guān)鍵詞提取方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

第一方面，本公開(kāi)的實(shí)施例提供了一種關(guān)鍵詞提取方法，該方法包括：對(duì)目標(biāo)文本對(duì)應(yīng)的候選關(guān)鍵詞集合中各候選關(guān)鍵詞進(jìn)行向量表示得到對(duì)應(yīng)的向量；對(duì)各上述候選關(guān)鍵詞對(duì)應(yīng)的向量進(jìn)行異常點(diǎn)檢測(cè)，得到異常點(diǎn)向量集合；刪除上述候選關(guān)鍵詞集合中與各上述異常點(diǎn)向量對(duì)應(yīng)的關(guān)鍵詞；將上述候選關(guān)鍵詞集合確定為與上述目標(biāo)文本對(duì)應(yīng)的關(guān)鍵詞集合。

在一些可選的實(shí)施方式中，上述目標(biāo)文本對(duì)應(yīng)的候選關(guān)鍵詞通過(guò)如下方式生成：對(duì)上述目標(biāo)文本進(jìn)行關(guān)鍵詞提取，得到對(duì)應(yīng)的候選關(guān)鍵詞集合。

在一些可選的實(shí)施方式中，上述目標(biāo)文本通過(guò)如下方式生成：獲取待識(shí)別語(yǔ)音數(shù)據(jù)；對(duì)上述待識(shí)別語(yǔ)音數(shù)據(jù)進(jìn)行自動(dòng)語(yǔ)音識(shí)別得到上述目標(biāo)文本。

在一些可選的實(shí)施方式中，上述待識(shí)別語(yǔ)音數(shù)據(jù)為目標(biāo)音視頻會(huì)議的音頻數(shù)據(jù)。

在一些可選的實(shí)施方式中，上述對(duì)上述目標(biāo)文本進(jìn)行關(guān)鍵詞提取，得到對(duì)應(yīng)的候選關(guān)鍵詞集合，包括：基于無(wú)監(jiān)督關(guān)鍵詞提取方法對(duì)上述目標(biāo)文本進(jìn)行關(guān)鍵詞提取，得到對(duì)應(yīng)的候選關(guān)鍵詞集合。

在一些可選的實(shí)施方式中，上述無(wú)監(jiān)督關(guān)鍵詞提取方法為詞頻-逆文本頻率指數(shù)方法、Textrank方法、文檔主題生成模型中的任意一種。

在一些可選的實(shí)施方式中，上述對(duì)各上述候選關(guān)鍵詞對(duì)應(yīng)的向量進(jìn)行異常點(diǎn)檢測(cè)，得到異常點(diǎn)向量集合，包括：利用局部異常因子算法、孤立森林算法或者支持向量機(jī)異常檢測(cè)法對(duì)各上述候選關(guān)鍵詞對(duì)應(yīng)的向量進(jìn)行異常點(diǎn)檢測(cè)，得到異常點(diǎn)向量集合。

在一些可選的實(shí)施方式中，上述對(duì)目標(biāo)文本對(duì)應(yīng)的候選關(guān)鍵詞集合中各候選關(guān)鍵詞進(jìn)行向量表示得到對(duì)應(yīng)的向量，包括：分別將上述候選關(guān)鍵詞集合中各候選關(guān)鍵詞輸入詞向量化模型，得到對(duì)應(yīng)的向量。

第二方面，本公開(kāi)的實(shí)施例提供了一種關(guān)鍵詞提取裝置，該裝置包括：向量表示單元，被配置成對(duì)目標(biāo)文本對(duì)應(yīng)的候選關(guān)鍵詞集合中各候選關(guān)鍵詞進(jìn)行向量表示得到對(duì)應(yīng)的向量；異常檢測(cè)單元，被配置成對(duì)各上述候選關(guān)鍵詞對(duì)應(yīng)的向量進(jìn)行異常點(diǎn)檢測(cè)，得到異常點(diǎn)向量集合；刪除單元，被配置成刪除上述候選關(guān)鍵詞集合中與各上述異常點(diǎn)向量對(duì)應(yīng)的關(guān)鍵詞；確定單元，被配置成將上述候選關(guān)鍵詞集合確定為與上述目標(biāo)文本對(duì)應(yīng)的關(guān)鍵詞集合。

在一些可選的實(shí)施方式中，上述目標(biāo)文本對(duì)應(yīng)的候選關(guān)鍵詞通過(guò)如下方式生成：對(duì)上述目標(biāo)文本進(jìn)行關(guān)鍵詞提取，得到對(duì)應(yīng)的候選關(guān)鍵詞集合。

在一些可選的實(shí)施方式中，上述目標(biāo)文本通過(guò)如下方式生成：獲取待識(shí)別語(yǔ)音數(shù)據(jù)；對(duì)上述待識(shí)別語(yǔ)音數(shù)據(jù)進(jìn)行自動(dòng)語(yǔ)音識(shí)別得到上述目標(biāo)文本。

在一些可選的實(shí)施方式中，上述待識(shí)別語(yǔ)音數(shù)據(jù)為目標(biāo)音視頻會(huì)議的音頻數(shù)據(jù)。