[發(fā)明專(zhuān)利]一種基于主題詞的社交媒體事件主題識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910766747.0
• 申請(qǐng)日: 2019-08-20
• 公開(kāi)（公告）號(hào): CN110457711B
• 公開(kāi)（公告）日: 2021-02-02
• 發(fā)明（設(shè)計(jì)）人: 費(fèi)高雷;李家傳;于富財(cái);胡光岷
• 申請(qǐng)（專(zhuān)利權(quán)）人: 電子科技大學(xué)
• 主分類(lèi)號(hào): G06F40/289
• 分類(lèi)號(hào): G06F40/289;G06F16/33;G06F16/35
• 代理公司: 成都虹盛匯泉專(zhuān)利代理有限公司 51268
• 代理人: 王偉

1.一種基于主題詞的社交媒體事件主題識(shí)別方法，其特征在于，包括以下步驟：

S1、對(duì)社交媒體文本進(jìn)行降噪處理；

S2、計(jì)算詞和事件關(guān)于主題的分布向量；具體實(shí)現(xiàn)方法為：

事件關(guān)于主題的分布為：給定預(yù)定義的主題集合T＝{t₁,t₂...t_n}，同時(shí)給定人工標(biāo)注的訓(xùn)練集合S＝{(e₁,t₁),(e₂,t₂)...(e_n,t_n)}，其中e表示事件簇所包含的所有推文集合，t表示人工對(duì)事件簇標(biāo)記的事件主題，由集合S計(jì)算出的所有事件關(guān)于主題t的分布V(t)；

詞關(guān)于主題的分布為：給定預(yù)定義的主題集合T，訓(xùn)練集合S，由集合S計(jì)算出的詞關(guān)于主題t的分布W(t)，其中W(t)表示每個(gè)詞在話題集合T中的分布向量；

由上述關(guān)于詞的主題分布的定義，得到詞的分布向量的計(jì)算過(guò)程如下所示：

其中count(w,t_i)表示單詞w在t_i下的頻數(shù)，count(w)表示w在所有話題下的出現(xiàn)總次數(shù)；

由上述關(guān)于事件的主題分布的定義，得到事件的分布向量的計(jì)算過(guò)程如下所示：

其中，count(e,t_i)表示主題t_i下事件的頻數(shù)，count(e)表示在所有主題下e的總出現(xiàn)頻數(shù)；

S3、提取社交媒體文本中事件主題詞；

S4、構(gòu)建基于主題詞的貝葉斯推斷模型。

2.根據(jù)權(quán)利要求1所述的一種基于主題詞的社交媒體事件主題識(shí)別方法，其特征在于，所述步驟S1包括以下子步驟：

S11、停止詞去除；

S12、詞干提取和詞形還原；

S13、使用Jaccard系數(shù)合并形近詞；Jaccard系數(shù)用于衡量?jī)蓚€(gè)集合的相似性，給定兩個(gè)集合A、B，Jaccard系數(shù)定義為：

通過(guò)將兩個(gè)單詞word₁與單詞word₂分別看作字符的集合，分別將其分解為字符的集合w₁和w₂，定義兩個(gè)單詞的Jaccard系數(shù)為J(w₁,w₂)；設(shè)置詞的相似性閾值為J_min，即若單詞的相似度J(w₁,w₂)≥J_min，則認(rèn)為兩個(gè)單詞為同一個(gè)正確單詞的錯(cuò)誤拼寫(xiě)形式，將這些詞視為同一個(gè)詞。

3.根據(jù)權(quán)利要求1所述的一種基于主題詞的社交媒體事件主題識(shí)別方法，其特征在于，所述步驟S3具體實(shí)現(xiàn)方法為：使用相對(duì)熵KL散度來(lái)作為主題詞的判斷依據(jù)；

定義事件主題詞如下：一個(gè)詞是事件主題詞必然滿足下述條件：

其中，KL_min表示預(yù)設(shè)的主題詞篩選閾值，W(t)表示每個(gè)詞在話題集合T中的分布向量，V(t)表示由集合S計(jì)算出的所有事件關(guān)于主題t的分布向量。

4.根據(jù)權(quán)利要求1所述的一種基于主題詞的社交媒體事件主題識(shí)別方法，其特征在于，所述步驟S4具體實(shí)現(xiàn)方法為：通過(guò)對(duì)社交媒體文本的統(tǒng)計(jì)分析，計(jì)算出每個(gè)詞關(guān)于主題的分布，根據(jù)最大似然估計(jì)的角度，使用p(t/w)表示單詞w能夠區(qū)分事件主題t的概率；通過(guò)聚合每個(gè)事件簇中所有的推文，把所有推文文本進(jìn)行預(yù)處理，然后使用主題詞提取算法提取出文本中包含的所有主題詞；

定義事件主題分類(lèi)任務(wù)為：在給定事件的推文簇C_tweets(e)后，通過(guò)使用預(yù)處理技術(shù)得到其中所有的單詞集合W_words(e)，然后利用主題詞提取算法得到主題詞集合C_words(e)，最后計(jì)算出集合C_tweets(e)對(duì)應(yīng)的事件屬于每一個(gè)主題t的概率值p(t/C_words(e))

使用p(t/w)表示單詞w能夠區(qū)分事件主題t的概率，使用p(w)表示整個(gè)事件簇單詞中w所占的比例；定義上述概率的計(jì)算公式如下所示：

其中，count(w)表示單詞w在數(shù)據(jù)集中的頻數(shù)，count(w,t)表示出現(xiàn)于t話題下的w頻數(shù)，count_all表示所有詞的總出現(xiàn)頻數(shù)；

基于上述概率計(jì)算過(guò)程計(jì)算出事件簇屬于每個(gè)主題的概率，并且選擇具有最高概率的主題作為事件的主題。