[發(fā)明專利]文本話題的抽取方法、裝置及計(jì)算機(jī)設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202010631669.6
• 申請(qǐng)日: 2020-07-03
• 公開（公告）號(hào): CN111930885B
• 公開（公告）日: 2023-08-04
• 發(fā)明（設(shè)計(jì)）人: 朱鑫
• 申請(qǐng)（專利權(quán)）人: 北京新聯(lián)財(cái)通咨詢有限公司
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33;G06F16/35;G06F40/289;G06F40/30
• 代理公司: 北京中強(qiáng)智尚知識(shí)產(chǎn)權(quán)代理有限公司 11448
• 代理人: 黃耀威

本申請(qǐng)公開了一種文本話題的抽取方法、裝置及計(jì)算機(jī)設(shè)備，涉及數(shù)據(jù)處理領(lǐng)域，可以解決目前在進(jìn)行文本話題抽取時(shí)，抽取效率低，且準(zhǔn)確度不高的問題。其中方法包括：對(duì)文本集合中各個(gè)待進(jìn)行話題抽取的輸入文本進(jìn)行預(yù)處理，得到所述輸入文本對(duì)應(yīng)的詞序列；依據(jù)所述詞序列計(jì)算各個(gè)所述輸入文本的詞頻向量以及詞權(quán)重向量；基于所述詞頻向量確定所述文本集合的第一話題抽取結(jié)果；根據(jù)所述詞權(quán)重向量以及所述第一話題抽取結(jié)果輸出所述文本集合的第二話題抽取結(jié)果，所述第二話題抽取結(jié)果包括預(yù)設(shè)數(shù)量個(gè)目標(biāo)話題以及所述目標(biāo)話題下的第一文本集合，所述第一文本集合中至少包含一個(gè)所述輸入文本。本申請(qǐng)適用于對(duì)文本話題的抽取。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及到一種文本話題的抽取方法、裝置及計(jì)算機(jī)設(shè)備。

背景技術(shù)

隨著信息時(shí)代的發(fā)展，業(yè)務(wù)數(shù)據(jù)日漸增多甚至泛濫，話題的抽取與檢測(cè)技術(shù)逐步應(yīng)用到諸多數(shù)據(jù)處理的過程之中，機(jī)器自動(dòng)從業(yè)務(wù)數(shù)據(jù)中抽取話題、組織話題幫助使用者提高工作效率意義重大。基于圖理論和概率統(tǒng)計(jì)學(xué)的主題模型在機(jī)器學(xué)習(xí)領(lǐng)域中得到越來越多的應(yīng)用。

目前在對(duì)文本中的話題進(jìn)行抽取時(shí)，通常可采用兩種方法：一種是僅能在話題已知的情況下進(jìn)行抽取，通過將文本與預(yù)設(shè)話題匹配，獲取話題抽取結(jié)果；第二種是在話題未知的情況下，直接將文本中出現(xiàn)頻率最高的話題確定為文本對(duì)應(yīng)的話題抽取結(jié)果。

然而上述兩種話題抽取方法往往會(huì)導(dǎo)致一個(gè)文本對(duì)應(yīng)多個(gè)話題識(shí)別結(jié)果，均不能在話題未知的情況下，準(zhǔn)確快速地抽取出文本所對(duì)應(yīng)的話題。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)?zhí)峁┝艘环N文本話題的抽取方法、裝置及計(jì)算機(jī)設(shè)備，主要解決目前在進(jìn)行文本話題抽取時(shí)，抽取效率低，且準(zhǔn)確度不高的問題。

根據(jù)本申請(qǐng)的一個(gè)方面，提供了一種文本話題的抽取方法，該方法包括：

對(duì)文本集合中各個(gè)待進(jìn)行話題抽取的輸入文本進(jìn)行預(yù)處理，得到所述輸入文本對(duì)應(yīng)的詞序列；

依據(jù)所述詞序列計(jì)算各個(gè)所述輸入文本的詞頻向量以及詞權(quán)重向量；

基于所述詞頻向量確定所述文本集合的第一話題抽取結(jié)果；

根據(jù)所述詞權(quán)重向量以及所述第一話題抽取結(jié)果輸出所述文本集合的第二話題抽取結(jié)果，所述第二話題抽取結(jié)果包括預(yù)設(shè)數(shù)量個(gè)目標(biāo)話題以及所述目標(biāo)話題下的第一文本集合，所述第一文本集合中至少包含一個(gè)所述輸入文本。

優(yōu)選地，所述對(duì)文本集合中各個(gè)待進(jìn)行話題抽取的輸入文本進(jìn)行預(yù)處理，得到所述輸入文本對(duì)應(yīng)的詞序列，具體包括：

基于分詞技術(shù)分別將各個(gè)輸入文本切分為第一詞語(yǔ)，并得到第一詞序列；

基于所述第一詞語(yǔ)的目標(biāo)詞性確定與預(yù)設(shè)停用詞性匹配的第二詞語(yǔ)，以便從所述第一詞序列中剔除所述第二詞語(yǔ)，得到第二詞序列。

優(yōu)選地，所述依據(jù)所述詞序列計(jì)算各個(gè)所述輸入文本的詞頻向量以及詞權(quán)重向量，具體包括：

基于TF-IDF算法計(jì)算所述第二詞序列中各個(gè)所述第一詞語(yǔ)對(duì)應(yīng)所述輸入文本的詞頻以及權(quán)重值；

利用所述第二詞序列以及所述詞頻構(gòu)建關(guān)于所述輸入文本的詞頻向量；

根據(jù)所述第二詞序列以及所述詞權(quán)重構(gòu)建關(guān)于所述輸入文本的詞權(quán)重向量。

優(yōu)選地，所述TF-IDF算法包括：第一計(jì)算公式和第二計(jì)算公式，所述基于TF-IDF算法計(jì)算所述第二詞序列中各個(gè)所述第一詞語(yǔ)對(duì)應(yīng)所述輸入文本的詞頻以及權(quán)重值，包括：

根據(jù)所述第一計(jì)算公式計(jì)算所述輸入文本中所述第一詞語(yǔ)的詞頻；

根據(jù)所述第二計(jì)算公式計(jì)算所述輸入文本中所述第一詞語(yǔ)的逆向文件頻率；