[發(fā)明專利]熱詞詞組提取方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710680829.4
• 申請(qǐng)日: 2017-08-10
• 公開（公告）號(hào): CN107423444B
• 公開（公告）日: 2020-05-19
• 發(fā)明（設(shè)計(jì)）人: 曹航瑞;張穎;林志聰;馬幸暉;王家賓;銀超
• 申請(qǐng)（專利權(quán)）人: 世紀(jì)龍信息網(wǎng)絡(luò)有限責(zé)任公司
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33;G06F16/335
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 余永文

1.一種熱詞詞組提取方法，其特征在于，包括以下步驟：

獲取關(guān)鍵詞的歷史詞頻以及當(dāng)前詞頻；其中歷史詞頻為關(guān)鍵詞在歷史時(shí)間段內(nèi)發(fā)布的文本信息上的詞頻，當(dāng)前詞頻為關(guān)鍵詞在當(dāng)前時(shí)間段內(nèi)發(fā)布的文本信息上的詞頻；

根據(jù)所述歷史詞頻、當(dāng)前詞頻以及關(guān)鍵詞所在當(dāng)前文本的平均熱度權(quán)重計(jì)算當(dāng)前詞頻的詞頻加權(quán)變化率；

將所述詞頻加權(quán)變化率達(dá)到第一閾值的關(guān)鍵詞作為熱詞，從所述當(dāng)前文本中提取所述熱詞的相關(guān)詞，得到熱詞集，根據(jù)所述熱詞集獲取頻繁項(xiàng)集；

遞歸合并頻繁項(xiàng)集內(nèi)的熱詞，得到熱詞詞組；包括：通過FP-growth頻繁項(xiàng)集挖掘算法分析提取熱詞詞組。

2.根據(jù)權(quán)利要求1所述的熱詞詞組提取方法，其特征在于，從所述當(dāng)前文本中提取所述熱詞的相關(guān)詞之前，還包括以下步驟：

從當(dāng)前文本中過濾出熱詞的相關(guān)詞中的停用詞和無(wú)意義詞。

3.根據(jù)權(quán)利要求1所述的熱詞詞組提取方法，其特征在于，獲取關(guān)鍵詞的歷史詞頻以及當(dāng)前詞頻，具體包括以下步驟：

獲取歷史時(shí)間段內(nèi)發(fā)布的文本信息的歷史分詞語(yǔ)料以及當(dāng)前時(shí)間段內(nèi)發(fā)布的文本信息的當(dāng)前分詞語(yǔ)料；

根據(jù)所述歷史分詞語(yǔ)料中各分詞之間的共現(xiàn)關(guān)系提取所述歷史分詞語(yǔ)料中的歷史關(guān)鍵詞，根據(jù)當(dāng)前分詞語(yǔ)料中各分詞之間的共現(xiàn)關(guān)系提取所述當(dāng)前分詞語(yǔ)料中的當(dāng)前關(guān)鍵詞；

計(jì)算所述歷史關(guān)鍵詞的歷史詞頻和所述當(dāng)前關(guān)鍵詞的當(dāng)前詞頻。

4.根據(jù)權(quán)利要求1所述的熱詞詞組提取方法，其特征在于，所述遞歸合并頻繁項(xiàng)集內(nèi)的熱詞，得到熱詞詞組，具體包括以下步驟：

當(dāng)兩個(gè)頻繁項(xiàng)集中相同熱詞的數(shù)量大于第二閾值時(shí)，對(duì)所述兩個(gè)頻繁項(xiàng)集進(jìn)行合并獲得新的頻繁項(xiàng)集，并從合并后的頻繁項(xiàng)集中刪除重復(fù)的熱詞，不斷迭代，直到該頻繁項(xiàng)集中的熱詞數(shù)量達(dá)到第三閾值；

輸出合并后的頻繁項(xiàng)集，將最后得到的頻繁項(xiàng)集中熱詞組成的詞組作為最終的熱詞詞組。

5.根據(jù)權(quán)利要求3所述的熱詞詞組提取方法，其特征在于，所述當(dāng)前關(guān)鍵詞的數(shù)量為多個(gè)，各個(gè)當(dāng)前關(guān)鍵詞分別對(duì)應(yīng)一個(gè)詞頻加權(quán)變化率；

將詞頻加權(quán)變化率達(dá)到第一閾值的關(guān)鍵詞作為熱詞，具體包括以下步驟：

將各個(gè)詞頻加權(quán)變化率達(dá)到第一閾值的當(dāng)前關(guān)鍵詞均作為熱詞。

6.根據(jù)權(quán)利要求5所述的熱詞詞組提取方法，其特征在于，所述歷史關(guān)鍵詞的數(shù)量為多個(gè)，各個(gè)歷史關(guān)鍵詞分別對(duì)應(yīng)一個(gè)歷史詞頻；

根據(jù)所述歷史詞頻、當(dāng)前詞頻以及關(guān)鍵詞所在當(dāng)前文本的平均熱度權(quán)重計(jì)算當(dāng)前詞頻的詞頻加權(quán)變化率，具體包括以下步驟：

將各個(gè)當(dāng)前關(guān)鍵詞分別與各個(gè)歷史關(guān)鍵詞進(jìn)行比較，當(dāng)所述當(dāng)前關(guān)鍵詞與所述歷史關(guān)鍵詞相同時(shí)，根據(jù)所述歷史詞頻、當(dāng)前詞頻以及關(guān)鍵詞所在當(dāng)前文本的平均熱度權(quán)重計(jì)算所述詞頻加權(quán)變化率。

7.一種熱詞詞組提取系統(tǒng)，其特征在于，包括：

獲取模塊，用于獲取關(guān)鍵詞的歷史詞頻以及當(dāng)前詞頻；其中歷史詞頻為關(guān)鍵詞在歷史時(shí)間段內(nèi)發(fā)布的文本信息上的詞頻，當(dāng)前詞頻為關(guān)鍵詞在當(dāng)前時(shí)間段內(nèi)發(fā)布的文本信息上的詞頻；

計(jì)算模塊，用于根據(jù)所述歷史詞頻、當(dāng)前詞頻以及關(guān)鍵詞所在當(dāng)前文本的平均熱度權(quán)重計(jì)算當(dāng)前詞頻的詞頻加權(quán)變化率；

提取模塊，用于將所述詞頻加權(quán)變化率達(dá)到第一閾值的關(guān)鍵詞作為熱詞，從所述當(dāng)前文本中提取所述熱詞的相關(guān)詞，得到熱詞集，根據(jù)所述熱詞集獲取頻繁項(xiàng)集；

遞歸合并模塊，用于遞歸合并頻繁項(xiàng)集內(nèi)的熱詞，得到熱詞詞組；進(jìn)一步用于：通過FP-growth頻繁項(xiàng)集挖掘算法分析提取熱詞詞組。

8.根據(jù)權(quán)利要求7所述的熱詞詞組提取系統(tǒng)，其特征在于，還包括：

過濾模塊，用于從當(dāng)前文本中過濾出所述相關(guān)詞中的停用詞和無(wú)意義詞。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至6任意一項(xiàng)所述的熱詞詞組提取方法。

10.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)權(quán)利要求1至6任意一項(xiàng)所述的熱詞詞組提取方法。