[發明專利]一種網絡內容資源評估方法及評估系統

在審

• 申請號: 201610052315.X
• 申請日: 2016-01-26
• 公開（公告）號: CN105718587A
• 公開（公告）日: 2016-06-29
• 發明（設計）人: 王薇;龍思薇;劉珊;馬濤
• 申請（專利權）人: 王薇;龍思薇
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京東方匯眾知識產權代理事務所(普通合伙) 11296
• 代理人: 張淑賢

技術領域

本發明涉及互聯網信息處理技術領域，尤其是一種網絡內容資源評估方法及評估系統。

背景技術

隨著互聯網技術的不斷發展，互聯網已成為被廣泛使用的媒介，已延伸至社會的各個領域，并逐漸成為信息傳播的重要媒介，改變著人們的生產和生活方式、人際交往及思維方式，對社會生活的各個領域和人類自身的生存發展產生了深刻的影響。網絡信息內容資源是指互聯網、移動網絡中的各種信息資源，通過對網絡信息內容資源的分析評估，可以了解網絡信息傳播的動向，從而及時掌握網絡輿情動態，但是，現有的網絡信息內容評估存在信息量少、信息滯后等問題，不能客觀地反應網絡輿情動態。

發明內容

本發明提供了一種網絡內容資源評估方法及評估系統，用于解決現有技術中信息量少、信息滯后等問題。

為了解決上述問題，本發明提供一種網絡內容資源評估方法，包括如下步驟：

利用網絡爬蟲模塊有針對性地爬取網絡信息數據并將獲得的網絡信息數據存入數據庫；

對爬取的網絡信息數據進行去重、解析并對網絡信息數據進行分類；

根據網絡信息數據的類型進行文本分析或指數計算并將結果存入數據庫以便于直接從數據庫調用分析結果進行展示。

本發明提供的網絡信息內容資源評估方法還包括以下技術步驟：

進一步地，利用基于scrapy構造的通用web爬蟲模塊對web網絡數據進行爬取，利用微信數據獲取模塊通過代理服務器對移動客戶端數據進行抓取；將獲取的網絡信息數據存入Mongodb數據庫。

進一步地，所述通過代理服務器對移動客戶端數據進行抓取包括：將移動客戶端聯網設置代理，數據從代理服務器傳送到客戶端，客戶端使用模擬按鍵來實現自動操作移動客戶端，代理服務器在數據傳送過程中進行數據包捕獲，進而對數據進行過濾與解析，從而獲取數據。

進一步地，所述指數計算包括傳播指數計算、收視指數計算和輿情指數計算。

進一步地，所述文本分析包括文本正負向判斷、文本詞頻統計、關聯詞統計、文本聚類和文本分類。

第二方面，本發明提供一種網絡內容資源評估系統，包括：

網絡爬蟲模塊，所述網絡爬蟲模塊用于有針對性地爬取網絡信息數據；

數據庫，用于存儲所述網絡爬蟲模塊爬取的網絡信息數據；

數據處理模塊，用于對網絡信息數據進行去重與過濾、數據解析轉換以及數據分類；

指數計算模塊和文本分析模塊，用于根據網絡信息數據的類型進行指數計算或文本分析并將結果存入數據庫以便于直接從數據庫調用分析結果進行展示。

本發明提供的網絡信息內容資源評估系統還包括以下計算特征：

進一步地，所述網絡爬蟲模塊包括web爬蟲模塊和微信數據抓取模塊，所述web爬蟲模塊為基于scrapy構造的通用eb爬蟲模塊，所述微信數據抓取模塊通過代理服務器對移動客戶端數據進行抓取。

進一步地，所述微信數據獲取模塊包括模擬按鍵模塊、代理服務模塊、數據包截取模塊，客戶端使用模擬按鍵模塊來實現自動操作移動客戶端，代理服務模塊在數據傳送過程中通過數據包截取模塊進行數據包捕獲，進而對數據進行過濾與解析，從而獲取數據。

進一步地，所述指數計算模塊包括傳播指數計算模塊、收視指數計算模塊和輿情指數計算模塊。

進一步地，所述文本分析模塊包括文本正負向判斷模塊、文本詞頻統計模塊、關聯詞統計模塊、文本聚類模塊和文本分類模塊。

本發明具有如下有益效果：通過利用網絡爬蟲模塊有針對性地對網絡信息數據進行抓取，分別獲取web傳播數據、社區網站數據、視頻網站數據、輿論數據和移動互聯網數據，對各種網絡信息數據進行去重過濾、數據解析轉換以及數據分類，根據網絡信息數據的類型進行文本分析或指數計算以獲得社會輿論的趨勢和走向，數據獲取范圍廣、針對性強，信息獲取和反饋及時。

附圖說明

圖1為本發明實施例網絡內容資源評估系統的結構示意圖；

圖2為本發明實施例網絡內容資源評估系統的工作流程圖；

圖3為本發明實施例中微信數據獲取模塊的工作狀態示意圖；

圖4為本發明實施例中文本分析模塊的工作流程圖。

具體實施方式

下文中將參考附圖并結合實施例來詳細說明本發明。需要說明的是，在不沖突的情況下，本發明中的實施例及實施例中的特征可以相互組合。

本發明提供一種網絡內容資源評估方法，包括如下步驟：