[發明專利]一種多租戶網絡輿情監控方法及系統

有效

• 申請號: 201110390588.2
• 申請日: 2011-11-30
• 公開（公告）號: CN103139256A
• 公開（公告）日: 2013-06-05
• 發明（設計）人: 張丹;楊建武;梁汝峰;孫紅娥;王松
• 申請（專利權）人: 北大方正集團有限公司;北京大學;北京北大方正電子有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 北京天悅專利代理事務所(普通合伙) 11311
• 代理人: 田明;任曉航

技術領域

本發明屬于網絡輿情信息監控技術領域，具體涉及一種多租戶網絡輿情監控方法及系統。

背景技術

隨著國際互聯網在全球的迅猛發展，人們能夠方便的通過互聯網傳播和獲取各種信息，然而互聯網信息的內容龐雜多樣，既有大量進步、有益的信息，也有不少謠言、反動的內容。網頁內容里包含大量的輿情信息，如果僅以人工方式去甄別這些網頁所含的信息并加以分析統計，需要消耗大量的人力和物力。

隨著計算機信息智能處理技術的不斷提升，目前關于網絡輿情監控已可以通過搭建獨立的應用系統對互聯網信息進行采集、分析和應用，來實現對網絡輿情的監測、分析和預警。但是以上做法存在如下缺點：

(1)搭建獨立的系統需要耗費大量硬件服務器，大大提高建設成本，且無法快速搭建系統來滿足靈活的擴展。

(2)數據監測范圍有限，服務器都已滿負荷運轉，無法對更多網站進行監測。而所采集的網站大部分是相同的重點網站，對于相同的數據需要做多次的數據采集、存儲和分析，嚴重浪費服務器資源。

發明內容

針對現有技術中存在的缺陷，本發明所要解決的技術問題是提供一種效率高的多租戶網絡輿情監控方法及系統。

為解決上述技術問題，本發明采用的技術方案如下：

一種多租戶網絡輿情監控方法，包括以下步驟：

(1)采集網頁數據，提取并存儲所述網頁數據中的元數據和正文，并將存儲后的所述元數據和所述正文相關聯；

(2)檢索所述元數據和正文；

(3)分析所述正文是否符合預先設置的租戶輿情監控規則和特征詞庫，如果符合，則將該正文分配給該租戶。

一種多租戶網絡輿情監控系統，包括用于采集網頁數據，提取并存儲所述網頁數據中的元數據和正文，并將存儲后的所述元數據和所述正文相關聯的采集裝置；

用于檢索所述元數據和正文的檢索裝置；

用于分析所述正文是否符合預先設置的租戶輿情監控規則和特征詞庫，如果符合，則將該正文分配給該租戶的分析裝置。

本發明的效果在于：統一實現了對數據的采集和存儲，建立分布式全文檢索系統支持海量數據的檢索，靈活建立不同的租戶，租戶建立各自的業務規則，各租戶之間業務規則不可見，根據配置的規則分析各租戶所關心的輿情信息并進行有規則的存儲，每個租戶都可以高效快速的進行網絡輿情監控。

附圖說明

圖1是具體實施方式中多租戶網絡輿情監控系統的結構框圖；

圖2是具體實施方式中多租戶網絡輿情監控系統的總體架構示意圖；

圖3是具體實施方式中多租戶網絡輿情監控方法的流程圖；

圖4是具體實施方式中采集網頁數據的方法流程圖。

具體實施方式

下面結合附圖對本發明的具體實施方式作進一步的說明。

本實施方式中，通過搭建統一的云平臺來實現互聯網數據的采集、存儲、檢索和應用，建立不同的租戶，各租戶再根據自己的業務需要建立輿情監控規則，系統及時對各租戶配置的規則進行處理，根據用戶的輿情監控規則將有價值的輿情信息存儲到各租戶自己所對應的業務庫中，租戶登錄系統后訪問輿情信息，實現對網絡輿情的監控。

如圖1所示，本實施方式中多租戶網絡輿情監控系統包括采集裝置1、檢索裝置2、分析裝置3、建立裝置4和配置裝置5。采集裝置1包括采集單元11、提取單元12、存儲單元13和關聯單元14。采集單元11包括任務生成器111、任務分發器112和若干采集服務器113。

采集單元11用于采集網頁數據。其中，任務生成器111用于確定需要采集的網站列表并生成采集任務；任務分發器112用于檢測各采集服務器的使用情況，分析各采集服務器的壓力，將采集任務進行分發給壓力最小的采集服務器；采集服務器113用于采集網頁數據。提取單元12用于提取網頁數據中的元數據和正文，存儲單元13用于提取網頁數據中的元數據和正文，關聯單元14用于將存儲后的元數據和正文相關聯。

檢索裝置2用于檢索元數據和正文。

分析裝置3用于分析所述正文是否符合預先設置的租戶輿情監控規則和特征詞庫，如果符合，則將該正文分配給該租戶。

建立裝置4用于為不同租戶建立不同賬號，根據不同租戶的租戶ID為租戶建立不同的用于存儲租戶輿情監控業務規則和租戶所關心的輿情信息數據表。

配置裝置15用于配置租戶信息、租戶的輿情監控業務規則及特征詞庫。

如圖2和圖3所示，采用圖1所示系統實現多租戶網絡輿情監控的方法，包括以下步驟：