[發(fā)明專利]一種多租戶網(wǎng)絡(luò)輿情監(jiān)控方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201110390588.2
• 申請(qǐng)日: 2011-11-30
• 公開(kāi)（公告）號(hào): CN103139256A
• 公開(kāi)（公告）日: 2013-06-05
• 發(fā)明（設(shè)計(jì)）人: 張丹;楊建武;梁汝峰;孫紅娥;王松
• 申請(qǐng)（專利權(quán)）人: 北大方正集團(tuán)有限公司;北京大學(xué);北京北大方正電子有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08;G06F17/30
• 代理公司: 北京天悅專利代理事務(wù)所(普通合伙) 11311
• 代理人: 田明;任曉航

技術(shù)領(lǐng)域

本發(fā)明屬于網(wǎng)絡(luò)輿情信息監(jiān)控技術(shù)領(lǐng)域，具體涉及一種多租戶網(wǎng)絡(luò)輿情監(jiān)控方法及系統(tǒng)。

背景技術(shù)

隨著國(guó)際互聯(lián)網(wǎng)在全球的迅猛發(fā)展，人們能夠方便的通過(guò)互聯(lián)網(wǎng)傳播和獲取各種信息，然而互聯(lián)網(wǎng)信息的內(nèi)容龐雜多樣，既有大量進(jìn)步、有益的信息，也有不少謠言、反動(dòng)的內(nèi)容。網(wǎng)頁(yè)內(nèi)容里包含大量的輿情信息，如果僅以人工方式去甄別這些網(wǎng)頁(yè)所含的信息并加以分析統(tǒng)計(jì)，需要消耗大量的人力和物力。

隨著計(jì)算機(jī)信息智能處理技術(shù)的不斷提升，目前關(guān)于網(wǎng)絡(luò)輿情監(jiān)控已可以通過(guò)搭建獨(dú)立的應(yīng)用系統(tǒng)對(duì)互聯(lián)網(wǎng)信息進(jìn)行采集、分析和應(yīng)用，來(lái)實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)輿情的監(jiān)測(cè)、分析和預(yù)警。但是以上做法存在如下缺點(diǎn)：

(1)搭建獨(dú)立的系統(tǒng)需要耗費(fèi)大量硬件服務(wù)器，大大提高建設(shè)成本，且無(wú)法快速搭建系統(tǒng)來(lái)滿足靈活的擴(kuò)展。

(2)數(shù)據(jù)監(jiān)測(cè)范圍有限，服務(wù)器都已滿負(fù)荷運(yùn)轉(zhuǎn)，無(wú)法對(duì)更多網(wǎng)站進(jìn)行監(jiān)測(cè)。而所采集的網(wǎng)站大部分是相同的重點(diǎn)網(wǎng)站，對(duì)于相同的數(shù)據(jù)需要做多次的數(shù)據(jù)采集、存儲(chǔ)和分析，嚴(yán)重浪費(fèi)服務(wù)器資源。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中存在的缺陷，本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種效率高的多租戶網(wǎng)絡(luò)輿情監(jiān)控方法及系統(tǒng)。

為解決上述技術(shù)問(wèn)題，本發(fā)明采用的技術(shù)方案如下：

一種多租戶網(wǎng)絡(luò)輿情監(jiān)控方法，包括以下步驟：

(1)采集網(wǎng)頁(yè)數(shù)據(jù)，提取并存儲(chǔ)所述網(wǎng)頁(yè)數(shù)據(jù)中的元數(shù)據(jù)和正文，并將存儲(chǔ)后的所述元數(shù)據(jù)和所述正文相關(guān)聯(lián)；

(2)檢索所述元數(shù)據(jù)和正文；

(3)分析所述正文是否符合預(yù)先設(shè)置的租戶輿情監(jiān)控規(guī)則和特征詞庫(kù)，如果符合，則將該正文分配給該租戶。

一種多租戶網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)，包括用于采集網(wǎng)頁(yè)數(shù)據(jù)，提取并存儲(chǔ)所述網(wǎng)頁(yè)數(shù)據(jù)中的元數(shù)據(jù)和正文，并將存儲(chǔ)后的所述元數(shù)據(jù)和所述正文相關(guān)聯(lián)的采集裝置；

用于檢索所述元數(shù)據(jù)和正文的檢索裝置；

用于分析所述正文是否符合預(yù)先設(shè)置的租戶輿情監(jiān)控規(guī)則和特征詞庫(kù)，如果符合，則將該正文分配給該租戶的分析裝置。

本發(fā)明的效果在于：統(tǒng)一實(shí)現(xiàn)了對(duì)數(shù)據(jù)的采集和存儲(chǔ)，建立分布式全文檢索系統(tǒng)支持海量數(shù)據(jù)的檢索，靈活建立不同的租戶，租戶建立各自的業(yè)務(wù)規(guī)則，各租戶之間業(yè)務(wù)規(guī)則不可見(jiàn)，根據(jù)配置的規(guī)則分析各租戶所關(guān)心的輿情信息并進(jìn)行有規(guī)則的存儲(chǔ)，每個(gè)租戶都可以高效快速的進(jìn)行網(wǎng)絡(luò)輿情監(jiān)控。

附圖說(shuō)明

圖1是具體實(shí)施方式中多租戶網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)的結(jié)構(gòu)框圖；

圖2是具體實(shí)施方式中多租戶網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)的總體架構(gòu)示意圖；

圖3是具體實(shí)施方式中多租戶網(wǎng)絡(luò)輿情監(jiān)控方法的流程圖；

圖4是具體實(shí)施方式中采集網(wǎng)頁(yè)數(shù)據(jù)的方法流程圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式作進(jìn)一步的說(shuō)明。

本實(shí)施方式中，通過(guò)搭建統(tǒng)一的云平臺(tái)來(lái)實(shí)現(xiàn)互聯(lián)網(wǎng)數(shù)據(jù)的采集、存儲(chǔ)、檢索和應(yīng)用，建立不同的租戶，各租戶再根據(jù)自己的業(yè)務(wù)需要建立輿情監(jiān)控規(guī)則，系統(tǒng)及時(shí)對(duì)各租戶配置的規(guī)則進(jìn)行處理，根據(jù)用戶的輿情監(jiān)控規(guī)則將有價(jià)值的輿情信息存儲(chǔ)到各租戶自己所對(duì)應(yīng)的業(yè)務(wù)庫(kù)中，租戶登錄系統(tǒng)后訪問(wèn)輿情信息，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)輿情的監(jiān)控。

如圖1所示，本實(shí)施方式中多租戶網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)包括采集裝置1、檢索裝置2、分析裝置3、建立裝置4和配置裝置5。采集裝置1包括采集單元11、提取單元12、存儲(chǔ)單元13和關(guān)聯(lián)單元14。采集單元11包括任務(wù)生成器111、任務(wù)分發(fā)器112和若干采集服務(wù)器113。

采集單元11用于采集網(wǎng)頁(yè)數(shù)據(jù)。其中，任務(wù)生成器111用于確定需要采集的網(wǎng)站列表并生成采集任務(wù)；任務(wù)分發(fā)器112用于檢測(cè)各采集服務(wù)器的使用情況，分析各采集服務(wù)器的壓力，將采集任務(wù)進(jìn)行分發(fā)給壓力最小的采集服務(wù)器；采集服務(wù)器113用于采集網(wǎng)頁(yè)數(shù)據(jù)。提取單元12用于提取網(wǎng)頁(yè)數(shù)據(jù)中的元數(shù)據(jù)和正文，存儲(chǔ)單元13用于提取網(wǎng)頁(yè)數(shù)據(jù)中的元數(shù)據(jù)和正文，關(guān)聯(lián)單元14用于將存儲(chǔ)后的元數(shù)據(jù)和正文相關(guān)聯(lián)。

檢索裝置2用于檢索元數(shù)據(jù)和正文。

分析裝置3用于分析所述正文是否符合預(yù)先設(shè)置的租戶輿情監(jiān)控規(guī)則和特征詞庫(kù)，如果符合，則將該正文分配給該租戶。

建立裝置4用于為不同租戶建立不同賬號(hào)，根據(jù)不同租戶的租戶ID為租戶建立不同的用于存儲(chǔ)租戶輿情監(jiān)控業(yè)務(wù)規(guī)則和租戶所關(guān)心的輿情信息數(shù)據(jù)表。

配置裝置15用于配置租戶信息、租戶的輿情監(jiān)控業(yè)務(wù)規(guī)則及特征詞庫(kù)。

如圖2和圖3所示，采用圖1所示系統(tǒng)實(shí)現(xiàn)多租戶網(wǎng)絡(luò)輿情監(jiān)控的方法，包括以下步驟：