[發(fā)明專利]一種面向微博的非分詞突發(fā)話題檢測方法

有效

• 申請?zhí)枺?/td>: 201410416127.1
• 申請日: 2014-08-22
• 公開（公告）號: CN104216964A
• 公開（公告）日: 2014-12-17
• 發(fā)明（設(shè)計）人: 楊武;伸國偉;王巍;苘大鵬;宣世昌
• 申請（專利權(quán)）人: 哈爾濱工程大學(xué)
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉及利用計算機技術(shù)輔助網(wǎng)絡(luò)信息智能分析或輿情的一種面向微博的非分詞突發(fā)話題檢測方法。

背景技術(shù)

隨著移動互聯(lián)網(wǎng)的興起，我國新浪、騰訊等微博快速崛起。新浪微博注冊用戶數(shù)已突破2億，騰訊微博注冊用戶已超過1.6億。我國微博網(wǎng)絡(luò)中每天產(chǎn)生的微博消息數(shù)量超過3億條，微博平臺已經(jīng)成為人們?nèi)粘Ｉ睢@取新聞資訊的主要渠道之一。由于微博的推送機制，使得微博消息在網(wǎng)絡(luò)中快速傳播，產(chǎn)生巨大的傳播影響力。

微博給人們提供資訊的同時，也增加了社會管理的難度。現(xiàn)實社會中的事件在微博網(wǎng)絡(luò)中快速擴散，迅速演變成突發(fā)事件，產(chǎn)生巨大的社會影響力。突發(fā)事件中還包含了大量的虛假信息、謠言消息等，僅僅靠官方賬號發(fā)動網(wǎng)民的舉報和辟謠，或是當(dāng)事人在第一時間出來辟謠，已遠(yuǎn)遠(yuǎn)不能滿足如今網(wǎng)絡(luò)信息傳播的速度，而虛假的信息往往給政府、企業(yè)、及知名人士帶來負(fù)面的影響。因此需要通過技術(shù)手段實時檢測微博網(wǎng)絡(luò)中的突發(fā)事件，為危機管理、辟謠等提供基礎(chǔ)。

如何對微博網(wǎng)絡(luò)中的消息進行有效監(jiān)測，是國家政府及網(wǎng)絡(luò)監(jiān)管部門面臨的一大課題。僅僅靠人工進行搜集和瀏覽，不僅會消耗大量的人力、物力，并且難以及時、準(zhǔn)確、全面把握微博輿論的敏感內(nèi)容和傳播趨勢。使用微博輿情監(jiān)測預(yù)警軟件能第一時間發(fā)現(xiàn)相關(guān)微博內(nèi)容，對突發(fā)話題及敏感信息進行預(yù)警，并能隨時掌握輿論關(guān)注動向及關(guān)注趨勢強弱變化。微博輿情監(jiān)測軟件是各級政府、網(wǎng)絡(luò)監(jiān)督部門、品牌企業(yè)上市公司掌握微博輿情的好幫手。因此，伴隨著微博監(jiān)測預(yù)警軟件的投入使用，對微博內(nèi)容的健康有序管理起到積極的推動作用。

目前雖然有很多面向微博的輿情監(jiān)測、預(yù)警軟件，但大多數(shù)軟件都是在中文分詞的基礎(chǔ)上實現(xiàn)。微博網(wǎng)絡(luò)中包含大量的社會化、口語化的詞語，基于分詞的方法很難檢測由新詞或串誘導(dǎo)的突發(fā)話題。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種提高檢測方法的整體性能的面向微博的非分詞突發(fā)話題檢測方法。

本發(fā)明的目的是這樣實現(xiàn)的：

步驟1：語料預(yù)處理，構(gòu)建動態(tài)的微博檢測窗口；

步驟2：將微博內(nèi)容切分成單個漢字，并構(gòu)建字典；

步驟3：計算突發(fā)特征字集合；

步驟4：計算由特征字組成的突發(fā)話題；

步驟5：生成有意義詞或串，形成由詞或串表示的突發(fā)話題。

語料預(yù)處理的步驟為：

步驟1.1：依據(jù)微博發(fā)布時間序抽取微博消息元素；

步驟1.2：微博窗口劃分，基于小波分析思想將微博消息流動態(tài)劃分微博窗口。

將微博內(nèi)容切分成單個漢字，并構(gòu)建字典步驟為：

步驟2.1，直接將每一條微博消息以字為單元進行切分，無需去除停用詞；

步驟2.2，按照字典序進行存儲，支持高效查找和動態(tài)更新。

計算突發(fā)特征字集合步驟為：

步驟3.1，遍歷字典，依據(jù)歷史特征權(quán)值和檢測窗口中的突發(fā)特征權(quán)值判定當(dāng)前檢測窗口是否發(fā)生突發(fā)；

步驟3.2，更新歷史窗口中字的特征權(quán)值，依據(jù)生命周期模型中的老化理論，更新字的特征權(quán)值；

步驟33，計算當(dāng)前檢測窗口中字的突發(fā)特征權(quán)值，在考慮用戶的粉絲數(shù)、消息的轉(zhuǎn)發(fā)數(shù)和評論數(shù)基礎(chǔ)上計算字的影響力，并將字的影響力作為突發(fā)特征權(quán)值。

計算由特征字組成的突發(fā)話題步驟為：

步驟4.1，構(gòu)建突發(fā)特征字與消息、用戶之間的關(guān)系矩陣；

步驟4.2，通過聯(lián)合聚類算法對關(guān)系矩陣進行計算，得到實體、消息、用戶的聚類指示矩陣。

生成有意義詞或串，形成由詞或串表示的突發(fā)話題的步驟為：

步驟5.1，對于每一個話題中的漢字以及對應(yīng)的消息作為樣本集合，計算話題中任意兩個字之間的聚合程度；

步驟5.2，計算話題中左右邊界字的熵；

步驟5.3，依據(jù)聚合程度和左右邊界字的熵值判定是否可生產(chǎn)一個有意義詞或串。

生成字典步驟包括：

步驟2.2.1，字典為空，則根據(jù)漢字的字典序插入到字典中；

步驟2.2.2，若字典不為空并已存在字典中，則直接將該字在當(dāng)前檢測窗口中的關(guān)聯(lián)信息增加到字典中；

步驟2.2.3，若字典不為空且不存在字典中，基于字典序?qū)崿F(xiàn)二分查找，依據(jù)查找返回結(jié)果得到字典序號，將該字插入字典，字典當(dāng)前序號后面的字依次后移。

本發(fā)明的有益效果在于：