[發(fā)明專利]一種基于storm流計算框架的食品安全網(wǎng)絡(luò)輿情分析方法

在審

• 申請?zhí)枺?/td>: 201710957248.0
• 申請日: 2017-10-16
• 公開（公告）號: CN107832344A
• 公開（公告）日: 2018-03-23
• 發(fā)明（設(shè)計）人: 吳羽;黃文愷;林熾杰
• 申請（專利權(quán)）人: 廣州大學(xué)
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司44245
• 代理人: 裘暉,林梅繁

1.一種基于storm流計算框架的食品安全網(wǎng)絡(luò)輿情分析方法，其特征在于，包括以下步驟：

S1、利用Scrapy爬蟲框架對網(wǎng)絡(luò)媒體資源進(jìn)行網(wǎng)絡(luò)爬蟲，獲取有關(guān)食品安全網(wǎng)頁的url，根據(jù)url將相應(yīng)的網(wǎng)頁數(shù)據(jù)下載并進(jìn)行分析，最后將數(shù)據(jù)保存到Hbase數(shù)據(jù)庫中；

S2、Spout節(jié)點(diǎn)從Hbase數(shù)據(jù)庫讀取數(shù)據(jù)放入網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)topology，并且隨機(jī)分發(fā)給第一層Bolt節(jié)點(diǎn)進(jìn)行計算和處理；

S3、第一層Bolt節(jié)點(diǎn)獲取數(shù)據(jù)后對文本數(shù)據(jù)進(jìn)行向量化，將文本數(shù)據(jù)進(jìn)行分詞和計算該詞匯的權(quán)重；

S4、對第一層Bolt節(jié)點(diǎn)向量化后的文本數(shù)據(jù)進(jìn)行文本聚類，并將同一類的文本數(shù)據(jù)發(fā)送到相同的Bolt節(jié)點(diǎn)中；

S5、對同一類的文本數(shù)據(jù)作進(jìn)一步處理，生成事件，提取事件中的輿情信息，根據(jù)輿情信息計算出文本分類的輿情傾向度。

2.根據(jù)權(quán)利要求1所述的基于storm流計算框架的食品安全網(wǎng)絡(luò)輿情分析方法，其特征在于，所述步驟S3通過漢語分詞系統(tǒng)對文本的標(biāo)題以及摘要進(jìn)行分詞；根據(jù)食品分類的規(guī)則，在數(shù)據(jù)庫中建立食品類別表，將標(biāo)題以及摘要分詞后的結(jié)果與數(shù)據(jù)庫中食品類別表進(jìn)行對比確定標(biāo)題或摘要中出現(xiàn)的食品，統(tǒng)計確定為食品的詞匯出現(xiàn)的頻率，出現(xiàn)頻率最高的食品詞匯的父類作為事件的分類；繼續(xù)通過漢語分詞系統(tǒng)對整篇文章進(jìn)行分詞，確定該文章出現(xiàn)的時間、地點(diǎn)、評價、轉(zhuǎn)發(fā)量及評論數(shù)；最后對文本進(jìn)行向量化。

3.根據(jù)權(quán)利要求1所述的基于storm流計算框架的食品安全網(wǎng)絡(luò)輿情分析方法，其特征在于，所述步驟S4使用余弦相似度算法來進(jìn)行文本聚類。

4.根據(jù)權(quán)利要求1所述的基于storm流計算框架的食品安全網(wǎng)絡(luò)輿情分析方法，其特征在于，所述步驟S5在第二層Bolt節(jié)點(diǎn)中對同一類的文本數(shù)據(jù)進(jìn)行進(jìn)一步處理，生成事件。

5.根據(jù)權(quán)利要求4所述的基于storm流計算框架的食品安全網(wǎng)絡(luò)輿情分析方法，其特征在于，所述第二層Bolt節(jié)點(diǎn)首先提取由第一層Bolt節(jié)點(diǎn)獲得的事件發(fā)生的時間、地點(diǎn)、類別以及輿情；根據(jù)輿情計算得出輿情傾向度，創(chuàng)建正向傾向詞庫、中立傾向詞庫、反向傾向詞庫共三個傾向數(shù)據(jù)庫，并向三個傾向數(shù)據(jù)庫導(dǎo)入相應(yīng)的詞匯；利用漢語分詞系統(tǒng)對文本數(shù)據(jù)中評價的內(nèi)容進(jìn)行分詞，將分詞后的結(jié)果與三個傾向數(shù)據(jù)庫進(jìn)行對比，獲取評價內(nèi)容中正向傾向、中立傾向、反向傾向的個數(shù)，計算出個體對象輿情傾向度；然后基于同一類不同對象的傾向度計算某個文本分類的整體輿情傾向度。