[發(fā)明專利]一種網(wǎng)絡(luò)熱點(diǎn)話題的發(fā)現(xiàn)方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201710933407.3
• 申請日: 2017-10-09
• 公開（公告）號: CN107943816A
• 公開（公告）日: 2018-04-20
• 發(fā)明（設(shè)計(jì)）人: 安振宇;孫亭;李毅;陳思;葉云;沈自然;沈昌力
• 申請（專利權(quán)）人: 中國電子科技集團(tuán)公司第二十八研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 北京中知法苑知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)11226
• 代理人: 常玉明

技術(shù)領(lǐng)域

本發(fā)明涉及一種網(wǎng)絡(luò)熱點(diǎn)話題發(fā)現(xiàn)方法和系統(tǒng)，采用一種稀疏矩 陣分解和主題模型相結(jié)合的方法，屬于人工智能領(lǐng)域。

背景技術(shù)

網(wǎng)絡(luò)熱點(diǎn)話題不僅極大地影響著虛擬社會中各種事件的形成與發(fā) 展，同時(shí)也影響著現(xiàn)實(shí)中人們對事件的看法和判斷。為了通過海量的 社交網(wǎng)絡(luò)數(shù)據(jù)及時(shí)的掌握熱點(diǎn)話題和輿情的態(tài)勢變化，需要對話題進(jìn) 行提取、追蹤和預(yù)測，這也使得從網(wǎng)絡(luò)中獲取熱點(diǎn)話題成為近年來研 究的熱點(diǎn)。傳統(tǒng)方法如郭藍(lán)天，李揚(yáng)，慕德俊等人提出的基于聚類規(guī) 則對文本主題詞進(jìn)行相似度的計(jì)算和聚類，受限于人工對聚類規(guī)則的 制定，對特定文本主題分類效果較好，但難以具有普遍意義。于此同 時(shí)，由于網(wǎng)絡(luò)數(shù)據(jù)具有長度短、信息量少、高維稀疏等特點(diǎn)，給熱點(diǎn) 話題發(fā)現(xiàn)任務(wù)帶來極大的困難。本發(fā)明根據(jù)網(wǎng)絡(luò)文本數(shù)據(jù)特點(diǎn)，提出 利用稀疏非負(fù)矩陣分解的方法來解決這一問題。

發(fā)明內(nèi)容

本發(fā)明提出了一種基于稀疏矩陣分解和主題模型相結(jié)合的網(wǎng)絡(luò)熱 點(diǎn)話題發(fā)現(xiàn)方法。首先對網(wǎng)絡(luò)文本構(gòu)建詞共現(xiàn)矩陣、稀疏非負(fù)矩陣分 解、主題模型發(fā)現(xiàn)、熱度排序等步驟，最終實(shí)現(xiàn)網(wǎng)絡(luò)熱點(diǎn)話題的發(fā)現(xiàn)。 主要包括以下幾個(gè)步驟：

第一步：構(gòu)建詞共現(xiàn)矩陣。對于網(wǎng)絡(luò)海量文本，在文檔規(guī)模達(dá)到 一定程度時(shí)，去除低頻詞項(xiàng)后的詞量基本保持在20000左右，首先計(jì) 算這些常用詞的詞共現(xiàn)矩陣X。

第二步：對詞共現(xiàn)矩陣X進(jìn)行稀疏非負(fù)矩陣分解，得到的分解結(jié) 果W與其轉(zhuǎn)置即構(gòu)成了詞項(xiàng)-主題矩陣，作為下一步主題建模的輸入。

第三步：將上一步得到的詞項(xiàng)-主題矩陣，即W作為輸入，利用經(jīng) 典的pLSA(Probability Latent Semantic Analysis)算法得到文 檔-主題分布，這樣得到每個(gè)文檔中的話題簇。統(tǒng)計(jì)每個(gè)話題涉及的 文檔數(shù)，即可以對話題進(jìn)行熱點(diǎn)排序，得到最熱門的若干話題。

本發(fā)明的有益結(jié)果為，通過引入稀疏非負(fù)矩陣分解，滿足了海量 網(wǎng)絡(luò)文本中主題稀疏的特點(diǎn)，也可以對詞共現(xiàn)矩陣進(jìn)行有效分解，得 到詞項(xiàng)-主題分布，作為初始化參數(shù)輸入pLSA算法中，令得到的分解 結(jié)果更有效，同時(shí)加快計(jì)算速度，對網(wǎng)絡(luò)輿情監(jiān)測具有重要意義。

附圖說明

圖1表示本發(fā)明所提出的基于稀疏矩陣分解和主題模型相結(jié)合的 網(wǎng)絡(luò)熱點(diǎn)話題發(fā)現(xiàn)方法流程圖。

圖2為非負(fù)稀疏矩陣分解原理示意圖。

圖3為pLSA原理示意圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合 附圖及實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明，應(yīng)當(dāng)理解，此處所描 述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

現(xiàn)在將詳細(xì)參考本發(fā)明的實(shí)施例，這些實(shí)施例的示例在附圖中示 出。元件的后綴“模塊”和“單元”在此用于方便描述，并且因此可 以可交換地被使用，而且沒有任何可區(qū)別的意義或功能。

雖然構(gòu)成本發(fā)明的實(shí)施例的所有元件或單元被描述為結(jié)合到單個(gè) 元件中或被操作為單個(gè)元件或單元，但是本發(fā)明不一定局限于此種實(shí) 施例。根據(jù)實(shí)施例，在本發(fā)明的目的和范圍內(nèi)所有的元件可以選擇性 地結(jié)合到一個(gè)或多個(gè)元件并且被操作為一個(gè)或多個(gè)元件。

下面結(jié)合附圖對本發(fā)明的具體實(shí)施方式進(jìn)行詳細(xì)闡述。圖1為本 發(fā)明提出的基于稀疏矩陣分解和主題模型相結(jié)合的主題發(fā)現(xiàn)方法示 意圖，主要分為詞共現(xiàn)矩陣X構(gòu)建、稀疏矩陣分解、概率潛在語義分 析三個(gè)步驟。

1)構(gòu)建詞共現(xiàn)矩陣。

對于網(wǎng)絡(luò)海量文本，在文檔規(guī)模達(dá)到一定程度時(shí)，去除低頻詞項(xiàng)， 首先計(jì)算這些常用詞的詞-詞共現(xiàn)矩陣X。

在一個(gè)實(shí)施例中，文檔達(dá)到的規(guī)模優(yōu)先選擇40000篇以上，去除 低頻詞項(xiàng)后的詞量基本保持在20000左右。

所謂低頻詞項(xiàng)，是指出現(xiàn)頻率相對較低的詞。比如，對于一個(gè)含 有1000個(gè)單詞的集合，如果某個(gè)詞A出現(xiàn)100次，則頻率為0.1， 如果某個(gè)詞僅出現(xiàn)1次，則頻率為0.001，低頻詞項(xiàng)就是頻率小于一 定程度的單詞。低頻詞項(xiàng)的詞頻值的設(shè)置與系統(tǒng)輸入的文檔量有關(guān)， 不宜設(shè)置為固定值。在本發(fā)明實(shí)施例中，優(yōu)選詞頻低于0.01的詞匯 為低頻詞匯。

第一步，得到詞項(xiàng)t_i的分布(W_i，1，W_i，2，...，W_i，m)，其中W_i，m表示詞t_i與t_m之 間的互信息。