[發(fā)明專利]一種主題詞挖掘方法、裝置、電子設備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011580178.X
• 申請日: 2020-12-28
• 公開（公告）號: CN112784009B
• 公開（公告）日: 2023-08-18
• 發(fā)明（設計）人: 熊永平;曹滔宇;朱承治;谷紀亭;徐翀
• 申請（專利權(quán)）人: 北京郵電大學;國網(wǎng)浙江省電力有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F40/289;G06N3/0464;G06N3/0442
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 王剛

本申請中一個或多個實施例提供一種主題詞挖掘方法、裝置、電子設備及存儲介質(zhì)，包括：獲取文本數(shù)據(jù)；基于語言模型過濾文本數(shù)據(jù)以確定候選詞集合；基于無監(jiān)督算法和預測模型篩選候選詞集合以確定候選詞集合的重要度結(jié)果；根據(jù)候選詞集合的重要度結(jié)果確定主題詞。本申請通過語言模型過濾掉文本數(shù)據(jù)內(nèi)部凝合程度低的字符，降低了拼接不緊密的字符對主題詞挖掘的影響，通過文本數(shù)據(jù)中詞匯的自由度反映該詞匯的左右鄰接字的不確定性，找到能夠自由獨立運用的詞匯，縮小主題詞的挖掘范圍，在充分考慮了中文文本語料的復雜結(jié)構(gòu)，通過層層篩選，在識別出文本數(shù)據(jù)的主題詞的同時，還能夠根據(jù)重要度排序挖掘出潛在的由新興專業(yè)詞匯構(gòu)成的主題詞。

技術(shù)領(lǐng)域

本申請中一個或多個實施例涉及數(shù)據(jù)挖掘技術(shù)領(lǐng)域，尤其涉及一種主題詞挖掘方法、裝置、電子設備及存儲介質(zhì)。

背景技術(shù)

現(xiàn)有技術(shù)中，項目文本查重工作面對的文本體量大且項目文本顆粒度高，快速檢索出文獻數(shù)據(jù)庫中的相似文獻成為提高查重工作準確性及效率的首要難題。由于科技項目或科研文獻通常圍繞若干個關(guān)鍵詞，而關(guān)鍵詞從一定程度上反映了文本描述的主旨大意，因此只需要發(fā)現(xiàn)并比對各文本中所發(fā)現(xiàn)出的行業(yè)主題詞即可檢驗文本之間的相似性。

對于中文文本而言，具有比英文文本更加復雜的組織結(jié)構(gòu)，而現(xiàn)有技術(shù)中通常利用挖掘英文文本的主題詞的方法在應用于挖掘中文文本的主題詞或是基于人工進行主題詞的提取，存在準確度低，并且無法準確地挖掘出中文文本中潛在的由新興專業(yè)詞匯構(gòu)成的主題詞的問題。

發(fā)明內(nèi)容

有鑒于此，本申請中一個或多個實施例的目的在于提出一種主題詞挖掘方法、裝置、電子設備及存儲介質(zhì)，以解決現(xiàn)有技術(shù)存在的上述至少一個問題。

基于上述目的，本申請中一個或多個實施例提供了一種主題詞挖掘方法，包括：

獲取文本數(shù)據(jù)；

基于語言模型過濾所述文本數(shù)據(jù)以確定候選詞集合；

基于無監(jiān)督算法和預測模型篩選所述候選詞集合以確定所述候選詞集合的重要度結(jié)果；

根據(jù)所述候選詞集合的重要度結(jié)果確定主題詞。

可選的，所述獲取文本數(shù)據(jù)，具體包括：

獲取待處理的行業(yè)文本語料；

對所述行業(yè)文本語料進行預處理操作以得到所述文本數(shù)據(jù)；所述預處理操作，包括：刪除冗余字符、確定文本粒度和分行處理。

可選的，所述基于語言模型過濾所述文本數(shù)據(jù)以確定候選詞集合，具體包括：

基于所述語言模型根據(jù)所述文本數(shù)據(jù)確定所述文本數(shù)據(jù)中的詞匯的詞長和詞頻；

利用數(shù)據(jù)挖掘策略選擇所述詞長不大于詞長閾值且所述詞頻不小于詞頻閾值的所述文本數(shù)據(jù)中的詞匯以確定候選詞；

基于凝固度和自由度篩選策略根據(jù)所述候選詞確定所述候選詞集合。

可選的，所述基于凝固度和自由度篩選策略根據(jù)所述候選詞確定所述候選詞集合，具體包括：

確定所述候選詞的凝固度SD(W_i)和自由度FD(W_i)；所述候選詞的凝固度SD(W_i)表示為

其中，W_i表示所述候選詞，W_i＝C₁C₂...C_n，C₁C₂...C_n表示字符，p()表示概率函數(shù)；

所述候選詞的自由度FD(W_i)表示為