[發明專利]并行化分布式網絡輿情數據管理方法及系統

有效

• 申請號: 201210424633.6
• 申請日: 2012-10-30
• 公開（公告）號: CN102945270A
• 公開（公告）日: 2013-02-27
• 發明（設計）人: 楊睿塵
• 申請（專利權）人: 北京騰逸科技發展有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

1.一種并行化分布式網絡輿情數據管理方法，其特征在于，包括：

對互聯網數據進行抓取；

對所述互聯網數據進行抽取；

存儲和展示抓取和抽取得到的互聯網輿情數據；以及

對所述互聯網輿情數據的索引和查詢進行優化。

2.如權利要求1所述的方法，其特征在于，所述對互聯網數據進行抓取包括：

用戶設定網站的類型、所屬行業、所要抓取索引頁的鏈接；

然后將所述索引頁對應的網頁信息抓取的正則配置網頁導入數據庫；以及

讀取所述索引頁的完整抓取配置信息，對所述索引頁下的所有全文和評論進行抓取，并對抓取的網頁進行標定和記錄。

3.如權利要求1和2所述的方法，其特征在于，所述對所述互聯網數據進行抽取包括：

將所述索引頁對應的網頁信息抽取正則配置文件導入數據庫；以及

讀取所述索引頁下正文、評論的完整抽取配置信息，進行所述索引頁下的所有正文及評論的抽取，并對抽取的網頁進行標定和記錄。

4.如權利要求4所述的方法，其特征在于，所述數據庫的讀操作和寫操作在不同數據庫服務器中進行。

5.一種并行化分布式網絡輿情數據管理系統，其特征在于，包括：

數據抓取模塊，所述數據抓取模塊用于對互聯網數據進行抓取；

數據抽取模塊，所述數據抽取模塊用于對所述互聯網數據進行抽取；

存儲模塊，所述存儲模塊用于存儲和展示抓取和抽取得到的互聯網輿情數據；以及

優化模塊，所述優化模塊用于對所述互聯網輿情數據的索引和查詢進行優化。

6.如權利要求5所述的系統，其特征在于，所述數據抓取模塊包括：

用戶設定模塊，所述用戶設定模塊用于用戶設定網站的類型、所屬行業、所要抓取索引頁的鏈接；

第一導入模塊，所述第一導入模塊用于將所述索引頁對應的網頁信息抓取的正則配置網頁導入數據庫；以及

抓取及標定子模塊，所述抓取及標定子模塊用于讀取所述索引頁的完整抓取配置信息，對所述索引頁下的所有全文和評論進行抓取，并對抓取的網頁進行標定和記錄。

7.如權利要求5和6所述的系統，其特征在于，所述數據抽取模塊包括：

第二導入模塊，所述第二導入模塊用于將所述索引頁對應的網頁信息抽取正則配置文件導入數據庫；以及

抽取及標定子模塊，裝置抽取及標定子模塊用于讀取所述索引頁下正文、評論的完整抽取配置信息，進行所述索引頁下的所有正文及評論的抽取，并對抽取的網頁進行標定和記錄。

8.如權利要求8所述的方法，其特征在于，所述數據庫的讀操作和寫操作在不同數據庫服務器中進行。