[發(fā)明專利]一種對(duì)互聯(lián)網(wǎng)信息進(jìn)行異常狀態(tài)監(jiān)測(cè)的方法

無效

• 申請(qǐng)?zhí)枺?/td>: 200710098645.3
• 申請(qǐng)日: 2007-04-24
• 公開（公告）號(hào): CN101296128A
• 公開（公告）日: 2008-10-29
• 發(fā)明（設(shè)計(jì)）人: 梁循;陳華;楊健
• 申請(qǐng)（專利權(quán)）人: 北京大學(xué)
• 主分類號(hào): H04L12/26
• 分類號(hào): H04L12/26;G06F17/30;G06F17/22;G06F17/00;G06F11/00
• 代理公司: 北京君尚知識(shí)產(chǎn)權(quán)代理事務(wù)所
• 代理人: 余功勛

1.一種對(duì)互聯(lián)網(wǎng)信息進(jìn)行異常狀態(tài)監(jiān)測(cè)的方法，所述的方法是結(jié)合用戶關(guān)注的熱點(diǎn)詞匯詞典，對(duì)用戶關(guān)注的互聯(lián)網(wǎng)信息進(jìn)行異常狀態(tài)的監(jiān)測(cè)，其特征在于，包括以下步驟：

(1)獲取通用詞匯在當(dāng)日互聯(lián)網(wǎng)頁中出現(xiàn)的當(dāng)日詞頻數(shù)據(jù)，并存入數(shù)據(jù)庫；：

(2)結(jié)合用戶關(guān)注的熱點(diǎn)詞匯詞典，確定每篇網(wǎng)頁的當(dāng)日關(guān)鍵詞，合并所有網(wǎng)頁的當(dāng)日關(guān)鍵詞，得到互聯(lián)網(wǎng)信息的當(dāng)日關(guān)鍵詞集合{ti，i＝1……M}，M為當(dāng)日關(guān)鍵詞表中的關(guān)鍵詞個(gè)數(shù)；

(3)確定當(dāng)日關(guān)鍵詞的權(quán)重：

根據(jù)每個(gè)當(dāng)日關(guān)鍵詞ti的互聯(lián)網(wǎng)詞頻的歷史數(shù)據(jù)，計(jì)算其歷史均值μi、歷史波動(dòng)率σi，波動(dòng)率為詞頻變化率的絕對(duì)值；定義qi＝1/(cein(σi))，cein()是上取整函數(shù)，當(dāng)日關(guān)鍵詞ti的權(quán)重wi=qi/Σi=1Mqi,]]>i＝1時(shí)對(duì)應(yīng)當(dāng)日詞頻fi最小的當(dāng)日關(guān)鍵詞；

(4)確定當(dāng)日關(guān)鍵詞的異常閥值：

對(duì)于當(dāng)日關(guān)鍵詞ti，定義其異常閥值為σi’＝σi+c(wi/w1)，其中c是用戶根據(jù)經(jīng)驗(yàn)來給出的一個(gè)常數(shù)，代表詞語異常閥值的膨脹；

(5)檢測(cè)當(dāng)日關(guān)鍵詞的異常程度并確定當(dāng)日熱點(diǎn)互聯(lián)網(wǎng)信息：

定義當(dāng)日關(guān)鍵詞的偏移度θi’＝(fi-μi)/σi’，偏移度大的當(dāng)日關(guān)鍵詞所屬的互聯(lián)網(wǎng)信息即為當(dāng)日熱點(diǎn)互聯(lián)網(wǎng)信息。

2.如權(quán)利要求1所述的自動(dòng)監(jiān)測(cè)方法，其特征在于，所述步驟(1)中通用詞匯的當(dāng)日詞頻數(shù)據(jù)是按照如下方法得出：

(1.1)給定欲抓取的互聯(lián)網(wǎng)站點(diǎn)列表并存入數(shù)據(jù)庫之中；

(1.2)遍歷數(shù)據(jù)庫站點(diǎn)列表中的每一條記錄，按照如下方法得到該站點(diǎn)中每一個(gè)通用詞匯的詞頻數(shù)：根據(jù)互聯(lián)網(wǎng)站點(diǎn)列表記錄和通用詞匯表，得到需抓取的網(wǎng)頁鏈接地址；根據(jù)需抓取的鏈接地址，找出每一個(gè)通用詞匯標(biāo)有當(dāng)天日期的信息，并對(duì)這些信息計(jì)數(shù)；

(1.3)累加每一個(gè)通用詞匯在數(shù)據(jù)庫中所有站點(diǎn)列表中的詞頻數(shù)，得到該通用詞匯的當(dāng)日詞頻數(shù)據(jù)。

3.如權(quán)利要求1所述的對(duì)互聯(lián)網(wǎng)信息進(jìn)行異常狀態(tài)監(jiān)測(cè)的方法，其特征在于，所述步驟(2)中確定當(dāng)日每篇網(wǎng)頁的關(guān)鍵詞的方法如下：

(2.1)對(duì)于每篇網(wǎng)頁中的每個(gè)通用詞匯，按照如下公式計(jì)算其信息特征值tfidf，即tfidf＝-[freq(p，D)/size(D)]*[log(df(p)/N)]，其中：freq(p，D)是通用詞匯p在網(wǎng)頁D中的出現(xiàn)次數(shù)，size(D)是網(wǎng)頁D中包含的所有通用詞匯的數(shù)量，df(p)是當(dāng)日網(wǎng)頁集合中含有通用詞匯p的文章的數(shù)量，N是當(dāng)日網(wǎng)頁集合中網(wǎng)頁的數(shù)量；

(2.2)將該網(wǎng)頁中的所有通用詞匯與用戶關(guān)注的熱點(diǎn)詞匯詞典進(jìn)行比較，刪去其中不屬于用戶關(guān)注的熱點(diǎn)詞匯，形成針對(duì)該網(wǎng)頁的備選關(guān)鍵詞表，選取該網(wǎng)頁備選關(guān)鍵詞表中tfidf值較大的K個(gè)關(guān)鍵詞，得到該篇網(wǎng)頁的當(dāng)日關(guān)鍵詞，K為正整數(shù)。

4.如權(quán)利要求1所述的自動(dòng)監(jiān)測(cè)方法，其特征在于，所述的方法進(jìn)一步包括如下步驟：定義每個(gè)當(dāng)日關(guān)鍵詞的異常度θi，當(dāng)-∞＜θi’＜0時(shí)，θi＝0；當(dāng)0≤θi’＜1時(shí)，θi＝floor(10θi’)，其中floor()是下取整函數(shù)；當(dāng)1≤θi’＜2時(shí)，θi＝floor(80(θi’-1))+10；當(dāng)2≤θi’＜3時(shí)，θi＝floor(9(θi’-2))+90；當(dāng)3≤θi’＜+∞時(shí)，θi＝99；當(dāng)當(dāng)日關(guān)鍵詞ti的異常度θi＞90時(shí)，認(rèn)為該關(guān)鍵詞發(fā)生異常變化，該關(guān)鍵詞所屬的互聯(lián)網(wǎng)信息為當(dāng)日突發(fā)的熱點(diǎn)信息。

5.如權(quán)利要求4所述的自動(dòng)監(jiān)測(cè)方法，其特征在于，所述的方法進(jìn)一步包括如下步驟：將所有當(dāng)日關(guān)鍵詞的異常度得分進(jìn)行圖形化顯示。

6.如權(quán)利要求4或5所述的自動(dòng)監(jiān)測(cè)方法，其特征在于，所述的方法進(jìn)一步包括如下步驟：當(dāng)當(dāng)日關(guān)鍵詞ti的異常度θi＞90分時(shí)，向用戶報(bào)警。