[發明專利]一種網絡內容資源評估方法及評估系統

在審

• 申請號: 201610052315.X
• 申請日: 2016-01-26
• 公開（公告）號: CN105718587A
• 公開（公告）日: 2016-06-29
• 發明（設計）人: 王薇;龍思薇;劉珊;馬濤
• 申請（專利權）人: 王薇;龍思薇
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京東方匯眾知識產權代理事務所(普通合伙) 11296
• 代理人: 張淑賢

1.一種網絡內容資源評估方法，其特征在于，包括如下步驟：

利用網絡爬蟲模塊有針對性地爬取網絡信息數據并將獲得的網絡信息數據存入數據庫；

對爬取的網絡信息數據進行去重過濾、解析并對網絡信息數據進行分類；

根據網絡信息數據的類型進行文本分析或指數計算并將結果存入數據庫以便于直接從數據庫調用分析結果進行展示。

2.根據權利要求1所述的網絡內容資源評估方法，其特征在于，利用基于scrapy構造的通用web爬蟲模塊對web網絡數據進行爬取，利用微信數據獲取模塊通過代理服務器對移動客戶端數據進行抓取；將獲取的網絡信息數據存入Mongodb數據庫。

3.根據權利要求2所述的網絡內容資源評估方法，其特征在于，所述通過代理服務器對移動客戶端數據進行抓取包括：將移動客戶端聯網設置代理，數據從代理服務器傳送到客戶端，客戶端使用模擬按鍵來實現自動操作移動客戶端，代理服務器在數據傳送過程中進行數據包捕獲，進而對數據進行過濾與解析，從而獲取數據。

4.根據權利要求1所述的網絡內容資源評估方法，其特征在于，所述指數計算包括傳播指數計算、收視指數計算和輿情指數計算。

5.根據權利要求1所述的網絡內容資源評估方法，其特征在于，所述文本分析包括文本正負向判斷、文本詞頻統計、關聯詞統計、文本聚類和文本分類。

6.一種網絡內容資源評估系統，其特征在于，包括：

網絡爬蟲模塊，所述網絡爬蟲模塊用于有針對性地爬取網絡信息數據；

數據庫，用于存儲所述網絡爬蟲模塊爬取的網絡信息數據；

數據處理模塊，用于對網絡信息數據進行去重與過濾、數據解析轉換以及數據分類；

指數計算模塊和文本分析模塊，用于根據網絡信息數據的類型進行指數計算或文本分析并將結果存入數據庫以便于直接從數據庫調用分析結果進行展示。

7.根據權利要求6所述的網絡內容資源評估系統，其特征在于，所述網絡爬蟲模塊包括web爬蟲模塊和微信數據抓取模塊，所述web爬蟲模塊為基于scrapy構造的通用eb爬蟲模塊，所述微信數據抓取模塊通過代理服務器對移動客戶端數據進行抓取。

8.根據權利要求7所述的網絡內容資源評估系統，其特征在于，所述微信數據獲取模塊包括模擬按鍵模塊、代理服務模塊、數據包截取模塊，客戶端使用模擬按鍵模塊來實現自動操作移動客戶端，代理服務模塊在數據傳送過程中通過數據包截取模塊進行數據包捕獲，進而對數據進行過濾與解析，從而獲取數據。

9.根據權利要求6所述的網絡內容資源評估系統，其特征在于，所述指數計算模塊包括傳播指數計算模塊、收視指數計算模塊和輿情指數計算模塊。

10.根據權利要求6所述的網絡內容資源評估系統，其特征在于，所述文本分析模塊包括文本正負向判斷模塊、文本詞頻統計模塊、關聯詞統計模塊、文本聚類模塊和文本分類模塊。