[發(fā)明專利]一種主題詞的提取方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201911349731.6
• 申請(qǐng)日: 2019-12-24
• 公開（公告）號(hào): CN111126060B
• 公開（公告）日: 2023-04-25
• 發(fā)明（設(shè)計(jì)）人: 郎鵬飛;崔朝輝;趙立軍;張霞
• 申請(qǐng)（專利權(quán)）人: 東軟集團(tuán)股份有限公司
• 主分類號(hào): G06F40/289
• 分類號(hào): G06F40/289
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 柳欣

本申請(qǐng)公開了一種主題詞的提取方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，包括：確定包括多個(gè)分詞的候選詞集合；根據(jù)候選詞總數(shù)，以及目標(biāo)候選詞在目標(biāo)文本的不同位置處分別對(duì)應(yīng)的權(quán)重值，計(jì)算出詞頻，該權(quán)重值基于影響因子進(jìn)行確定，影響因子包括目標(biāo)候選詞在該目標(biāo)文本中的位置，和/或，目標(biāo)候選詞與關(guān)鍵詞之間的位置關(guān)系；根據(jù)目標(biāo)候選詞在所有文本中對(duì)應(yīng)的權(quán)重值總和以及該文本庫中所有候選詞對(duì)應(yīng)的權(quán)重總和，計(jì)算出該目標(biāo)候選詞的逆文本頻率；根據(jù)目標(biāo)候選詞的詞頻與逆文本頻率的乘積，從候選詞集合中確定出主題詞。由此可見，基于候選詞在目標(biāo)文本中所具有的其它特征來對(duì)該候選詞的重要程度進(jìn)行考量，可以提高提取主題詞的準(zhǔn)確性。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是涉及一種主題詞的提取方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

主題詞，通常能夠高度概括文本的中心思想。比如，對(duì)于一篇介紹“月季”(花)的文章，其通篇內(nèi)容通常圍繞“月季”進(jìn)行描述，則，該篇文章的主題詞可以為“月季”。實(shí)際應(yīng)用中，為文本提取出主題詞，在文本檢索、文本分類等諸多領(lǐng)域中存在廣泛應(yīng)用。

目前，通常是采用詞頻-逆文本頻率(Term?Frequency–Inverse?DocumentFrequency，TF-IDF)算法來提取文本的主題詞，但是這種提取文本主題詞的方式，通常存在準(zhǔn)確性較低的問題。

發(fā)明內(nèi)容

為了解決上述問題，本申請(qǐng)實(shí)施例提供了一種主題詞的提取方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，以提高所提取的文本主題詞的準(zhǔn)確性。

第一方面，本申請(qǐng)實(shí)施例提供了一種主題詞的提取方法，所述方法包括：

確定目標(biāo)文本的候選詞集合，所述候選詞集合中包括所述目標(biāo)文本的多個(gè)分詞；

根據(jù)所述候選詞集合所包括的候選詞總數(shù)以及目標(biāo)候選詞在所述目標(biāo)文本的不同位置處分別對(duì)應(yīng)的權(quán)重值，計(jì)算出所述目標(biāo)候選詞的詞頻，每個(gè)位置處的目標(biāo)候選詞所對(duì)應(yīng)的權(quán)重值基于所述目標(biāo)候選詞的影響因子進(jìn)行確定，所述影響因子包括所述目標(biāo)候選詞在所述目標(biāo)文本中的位置，和/或，所述目標(biāo)候選詞與所述目標(biāo)候選詞對(duì)應(yīng)的關(guān)鍵詞之間的位置關(guān)系，所述目標(biāo)候選詞對(duì)應(yīng)的關(guān)鍵詞在所述目標(biāo)文本包括的關(guān)鍵詞中距離所述目標(biāo)候選詞最近，所述目標(biāo)候選詞為所述候選詞集合中的任意一個(gè)候選詞；

根據(jù)所述目標(biāo)候選詞在文本庫的所有文本中對(duì)應(yīng)的權(quán)重值總和以及所述文本庫中所有候選詞對(duì)應(yīng)的權(quán)重總和，計(jì)算出所述目標(biāo)候選詞的逆文本頻率；

根據(jù)所述目標(biāo)候選詞的詞頻與逆文本頻率的乘積，從所述候選詞集合中確定出所述目標(biāo)文本的主題詞。

在一種可能的實(shí)施方式中，所述目標(biāo)候選詞在所述目標(biāo)文本中的位置，包括段首、段中、段尾、文章首段、文章尾段以及文章中間段中的任意一種或多種。

在一種可能的實(shí)施方式中，所述目標(biāo)候選詞與所述目標(biāo)候選詞對(duì)應(yīng)的關(guān)鍵詞之間的位置關(guān)系，包括所述目標(biāo)候選詞與所述目標(biāo)候選詞對(duì)應(yīng)的關(guān)鍵詞是否位于同一段落、所述目標(biāo)候選詞與所述目標(biāo)候選詞對(duì)應(yīng)的關(guān)鍵詞是否位于同一語句、所述目標(biāo)候選詞與所述目標(biāo)候選詞對(duì)應(yīng)的關(guān)鍵詞之間的距離。

在一種可能的實(shí)施方式中，所述方法還包括：

獲取影響因子對(duì)應(yīng)的權(quán)重值的多個(gè)取值以及每個(gè)取值所對(duì)應(yīng)的主題詞提取精度；

根據(jù)所述多個(gè)取值以及每個(gè)取值對(duì)應(yīng)的主題詞提取精度構(gòu)建線性函數(shù)；

確定所述線性函數(shù)中使得主題詞提取精度為極大值時(shí)所對(duì)應(yīng)的極值點(diǎn)，并將所述極值點(diǎn)作為所述影響因子對(duì)應(yīng)的權(quán)重值的目標(biāo)值。

在一種可能的實(shí)施方式中，所述方法還包括：

對(duì)所述目標(biāo)文本進(jìn)行分詞，得到所述目標(biāo)文本的初始分詞結(jié)果；

對(duì)所述初始分詞結(jié)果所包含的各個(gè)詞進(jìn)行詞性標(biāo)注；