[發(fā)明專利]基于微博內(nèi)容的關(guān)鍵詞挖掘方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201410768704.3
• 申請日: 2014-12-11
• 公開（公告）號: CN104504024B
• 公開（公告）日: 2018-09-07
• 發(fā)明（設(shè)計）人: 高寶強;吳波;曹娟;張勇東;李錦濤
• 申請（專利權(quán)）人: 中國科學(xué)院計算技術(shù)研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京泛華偉業(yè)知識產(chǎn)權(quán)代理有限公司 11280
• 代理人: 王勇

1.一種基于微博內(nèi)容的關(guān)鍵詞挖掘方法，所述方法包括：

步驟1，對于待分析的微博數(shù)據(jù)集中的每條微博文本進行分詞，并統(tǒng)計每個詞在該微博文本中出現(xiàn)的次數(shù)以及該微博文本被轉(zhuǎn)發(fā)的次數(shù)；

步驟2，對于經(jīng)分詞后得到的每個詞，基于該詞在每個微博文本中出現(xiàn)的次數(shù)及該微博文本被轉(zhuǎn)發(fā)的次數(shù)來計算該詞的權(quán)重；

步驟3，選取其權(quán)重大于預(yù)定閾值的詞作為從該微博數(shù)據(jù)集中挖掘的關(guān)鍵詞；

其中，在所述步驟2中，對于任一個詞語t，其權(quán)重為：其中N為該微博數(shù)據(jù)集所包含的微博文本的總數(shù)，t_i是詞語t在第i個微博文本中出現(xiàn)的次數(shù)，f_i是第i個微博文本被轉(zhuǎn)發(fā)的次數(shù)，f_max是微博數(shù)據(jù)集中微博文本的最大轉(zhuǎn)發(fā)數(shù)。

2.一種基于微博內(nèi)容的關(guān)鍵詞挖掘方法，所述方法包括：

步驟1，對于待分析的微博數(shù)據(jù)集中的每條微博文本進行分詞，并統(tǒng)計每個詞在該微博文本中出現(xiàn)的次數(shù)以及該微博文本被轉(zhuǎn)發(fā)的次數(shù)；

步驟2，對于經(jīng)分詞后得到的每個詞，基于該詞在每個微博文本中出現(xiàn)的次數(shù)及該微博文本被轉(zhuǎn)發(fā)的次數(shù)來計算該詞的權(quán)重；

步驟3，選取其權(quán)重大于預(yù)定閾值的詞作為從該微博數(shù)據(jù)集中挖掘的關(guān)鍵詞；

在所述步驟2中，對于任一個詞語t，其權(quán)重為：其中N為該微博數(shù)據(jù)集所包含的微博文本的總數(shù)，t_i是詞語t在第i個微博文本中出現(xiàn)的次數(shù)，f_i是第i個微博文本被轉(zhuǎn)發(fā)的次數(shù)，f_max是微博數(shù)據(jù)集中微博文本的最大轉(zhuǎn)發(fā)數(shù)。

3.一種基于微博內(nèi)容的關(guān)鍵詞挖掘方法，所述方法包括：

步驟1，對于待分析的微博數(shù)據(jù)集中的每條微博文本進行分詞，并統(tǒng)計每個詞在該微博文本中出現(xiàn)的次數(shù)以及該微博文本被轉(zhuǎn)發(fā)的次數(shù)；

步驟2，對于經(jīng)分詞后得到的每個詞，基于該詞在每個微博文本中出現(xiàn)的次數(shù)及該微博文本被轉(zhuǎn)發(fā)的次數(shù)來計算該詞的權(quán)重；

步驟3，選取其權(quán)重大于預(yù)定閾值的詞作為從該微博數(shù)據(jù)集中挖掘的關(guān)鍵詞；

其中，在所述步驟2中，對于任一個詞語t，其權(quán)重為：其中N為該微博數(shù)據(jù)集所包含的微博文本的總數(shù)，d_i指示詞語t在第i個微博文本中是否出現(xiàn)，f_i是第i個微博文本被轉(zhuǎn)發(fā)的次數(shù)，f_max是微博數(shù)據(jù)集中微博文本的最大轉(zhuǎn)發(fā)數(shù)。

4.根據(jù)權(quán)利要求1、2或3所述的方法，還包括在步驟1之前實時抓取微博網(wǎng)絡(luò)數(shù)據(jù)，以及定期地對所抓取的微博網(wǎng)絡(luò)數(shù)據(jù)的步驟。

5.根據(jù)權(quán)利要求1、2或3所述的方法，還包括將所挖掘的關(guān)鍵詞以詞云的形式提供給用戶。

6.一種基于微博內(nèi)容的關(guān)鍵詞挖掘系統(tǒng)，所述系統(tǒng)包括：

微博文本分詞和統(tǒng)計裝置，用于對于待分析的微博數(shù)據(jù)集中的每條微博文本進行分詞，并統(tǒng)計每個詞在該微博文本中出現(xiàn)的次數(shù)以及該微博文本被轉(zhuǎn)發(fā)的次數(shù)；

關(guān)鍵詞挖掘裝置，用于對于經(jīng)分詞后得到的每個詞，基于該詞在每個微博文本中出現(xiàn)的次數(shù)及該微博文本被轉(zhuǎn)發(fā)的次數(shù)來計算該詞的權(quán)重，以及選取其權(quán)重大于預(yù)定閾值的詞作為從該微博數(shù)據(jù)集中挖掘的關(guān)鍵詞；

其中，對于任一個詞語t，其權(quán)重為：其中N為該微博數(shù)據(jù)集所包含的微博文本的總數(shù)，t_i是詞語t在第i個微博文本中出現(xiàn)的次數(shù)，f_i是第i個微博文本被轉(zhuǎn)發(fā)的次數(shù)，f_max是微博數(shù)據(jù)集中微博文本的最大轉(zhuǎn)發(fā)數(shù)。

7.根據(jù)權(quán)利要求6所述的系統(tǒng)，還包括微博數(shù)據(jù)抓取裝置，用于實時抓取微博網(wǎng)絡(luò)數(shù)據(jù)，并定期地將所抓取的微博網(wǎng)絡(luò)數(shù)據(jù)傳遞給微博文本分詞和統(tǒng)計裝置進行處理。

8.根據(jù)權(quán)利要求6所述的系統(tǒng)，還包括關(guān)鍵詞展示裝置，用于將關(guān)鍵詞挖掘裝置所挖掘的關(guān)鍵詞以詞云的形式提供給用戶。