[發明專利]一種互聯網輿情數據的獲取方法及系統

在審

• 申請號: 201610157139.6
• 申請日: 2016-03-18
• 公開（公告）號: CN105677921A
• 公開（公告）日: 2016-06-15
• 發明（設計）人: 董啟文
• 申請（專利權）人: 上海珍島信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

技術領域

本發明涉及輿情監控技術領域，更具體地說，涉及一種互聯網輿情數據 的獲取方法及系統。

背景技術

隨著因特網的飛速發展，網絡媒體已成為第四媒體。社會輿情也越來越 多在網絡里集中爆發，成為反映民間輿論的主要形式之一。網絡輿情與生俱 來有偏差性(即缺乏規限和監督)、突發性(熱點事件加上情緒化意見會成為導 火索迅速點燃一片輿論，難以掌控)、直接性(微博、微信、qq群已經成為網民 立即發表意見的平臺)。但是目前市場上的公共輿情監測系統普遍存在爬蟲抓 取范圍不廣、海量數據查詢檢索效率低下等問題。

因此，如何高效率的檢測范圍更廣的互聯網輿情數據，是本領域技術人 員需要解決的問題。

發明內容

本發明的目的在于提供一種互聯網輿情數據的獲取方法及系統，以實現 高效率的檢測范圍更廣的互聯網輿情數據。

為實現上述目的，本發明實施例提供了如下技術方案：

一種互聯網輿情數據的獲取方法，包括：

利用爬蟲技術，確定輿情相關度大于預設值的URL隊列；

對所述URL隊列中的每一URL地址進行解析，得到與每一URL地址對 應的頁面信息；

利用Lucene技術，為每一URL地址對應的頁面信息創建與輿情索引關 鍵詞信息對應的索引文件。

其中，所述利用爬蟲技術，確定輿情相關度大于預設值的URL隊列，包 括：

確定與目標主題的輿情相關度大于預設值的種子URL地址，并將所述種 子URL地址存入所述URL隊列；

獲取所述URL隊列中的每個種子URL地址的源代碼，并提取每個源代 碼中的所有URL地址，形成URL地址集，并將所述URL地址集存入所述 URL隊列。

其中，將所述URL地址集存入所述URL隊列之前，還包括：

判斷所述URL地址集中的每個URL地址是否符合預定網頁提取規則；

若符合，則保留；若不符合，則從所述URL地址集中刪除。

其中，所述利用Lucene技術，為每一URL地址對應的頁面信息創建與 輿情索引關鍵詞信息對應的索引文件，包括：

從每個URL地址對應的頁面信息中提取與預設輿情參數相對應的輿情索 引關鍵詞信息；其中，所述預設輿情參數至少包括：標題、發布時間、發布 者、正文等；

將所述輿情索引關鍵詞信息整理成規范的結構化數據保存至本地數據 庫；

通過Lucene技術，為每個URL地址對應輿情索引關鍵詞信息創建索引 文件。

其中，所述為每一URL地址對應的頁面信息創建與輿情索引關鍵詞信息 對應的索引文件之后，還包括：

接收用戶發送的索引請求；

利用Lucene技術，解析所述索引請求中的關鍵詞，查找與所述關鍵詞相 對應的索引文件，并將查找到的索引文件所對應的URL地址返回給用戶。

一種互聯網輿情數據的獲取系統，包括：

URL隊列確定模塊，用于利用爬蟲技術，確定輿情相關度大于預設值的 URL隊列；

頁面信息解析模塊，用于對所述URL隊列中的每一URL地址進行解析， 得到與每一URL地址對應的頁面信息；

索引文件創建模塊，用于利用Lucene技術，為每一URL地址對應的頁 面信息創建與輿情索引關鍵詞信息對應的索引文件。

其中，所述URL隊列確定模塊，包括：

種子URL地址確定單元，用于確定與目標主題的輿情相關度大于預設值 的種子URL地址，并將所述種子URL地址存入所述URL隊列；

URL地址集提取單元，用于獲取所述URL隊列中的每個種子URL地址 的源代碼，并提取每個源代碼中的所有URL地址，形成URL地址集；

URL地址集添加單元，用于將所述URL地址集存入所述URL隊列。

其中，所述URL隊列確定模塊，還包括：

判斷單元，用于判斷所述URL地址集中的每個URL地址是否符合預定 網頁提取規則；

若符合，則保留；若不符合，則從所述URL地址集中刪除。

其中，所述索引文件創建模塊，包括：