[發(fā)明專(zhuān)利]一種基于BTM和Single-pass的熱點(diǎn)話題發(fā)現(xiàn)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201711210195.2
• 申請(qǐng)日: 2017-11-28
• 公開(kāi)（公告）號(hào): CN108197144B
• 公開(kāi)（公告）日: 2021-02-09
• 發(fā)明（設(shè)計(jì)）人: 許國(guó)艷;夭榮朋;張網(wǎng)娟;平萍;朱帥;李敏佳
• 申請(qǐng)（專(zhuān)利權(quán)）人: 河海大學(xué)
• 主分類(lèi)號(hào): G06F16/35
• 分類(lèi)號(hào): G06F16/35
• 代理公司: 南京蘇高專(zhuān)利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 柏尚春

本發(fā)明提供本發(fā)明提供一種基于BTM和Single?pass的熱點(diǎn)話題發(fā)現(xiàn)方法，該方法首先利用BTM主題模型進(jìn)行主題建模，獲得語(yǔ)料數(shù)據(jù)集的主題分布，然后使用VSM進(jìn)行向量化，再使用改進(jìn)的Single?pass算法對(duì)上面得到的結(jié)果進(jìn)行聚類(lèi)，對(duì)聚類(lèi)結(jié)果進(jìn)行整理得到新的聚類(lèi)結(jié)果，其次，對(duì)上述熱點(diǎn)話題發(fā)現(xiàn)方法進(jìn)行并行化計(jì)算，以提高其在大數(shù)據(jù)量情況下的主題挖掘的速度。本發(fā)明可以很好的解決微博數(shù)據(jù)稀疏及處理海量數(shù)據(jù)的能力的問(wèn)題，改進(jìn)后的Single?pass算法可以很好的降低計(jì)算復(fù)雜度，保持算法的穩(wěn)定性，對(duì)新的數(shù)據(jù)能有效的進(jìn)行處理，對(duì)熱點(diǎn)話題的持續(xù)影響力有較好的計(jì)算分析，且數(shù)據(jù)集通過(guò)MapReduce框架提高數(shù)據(jù)處理效率的基礎(chǔ)上，仍然能夠保持話題發(fā)現(xiàn)質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于BTM和Single-pass的熱點(diǎn)話題發(fā)現(xiàn)方法，屬于數(shù)據(jù)挖掘領(lǐng)域中的文本聚類(lèi)。

背景技術(shù)

隨著智能手機(jī)及網(wǎng)絡(luò)的普及，人們能時(shí)刻的通過(guò)微博APP關(guān)注最新的一些國(guó)家、社會(huì)發(fā)生的大事，對(duì)微博熱點(diǎn)話題進(jìn)行發(fā)現(xiàn)研究在商業(yè)、科研等領(lǐng)域都有很大的價(jià)值，越來(lái)越多的學(xué)者針對(duì)微博進(jìn)行相關(guān)的研究。

在傳統(tǒng)的熱點(diǎn)話題發(fā)現(xiàn)中，一般都是采用LDA主題模型和K-Means等算法進(jìn)行研究，然而，傳統(tǒng)的LDA模型主要解決的是長(zhǎng)文本的問(wèn)題，對(duì)微博之類(lèi)的短文本數(shù)據(jù)的處理效果不佳，同時(shí)，微博數(shù)據(jù)具有的數(shù)據(jù)稀疏、上下文關(guān)聯(lián)性較強(qiáng)等特點(diǎn)，是LDA模型很難解決的。

為了處理大量的數(shù)據(jù)集，傳統(tǒng)的熱點(diǎn)話題發(fā)現(xiàn)技術(shù)已經(jīng)遇到了瓶頸。首先，在進(jìn)行熱點(diǎn)話題發(fā)現(xiàn)的過(guò)程中要處理的數(shù)據(jù)量是巨大的，單個(gè)主機(jī)、處理器處理起來(lái)費(fèi)時(shí)費(fèi)力。其次，單純的BTM模型對(duì)數(shù)據(jù)進(jìn)行主題挖掘的速度過(guò)慢，最后其次，在使用BTM主題模型進(jìn)行建模之后，沒(méi)有考慮微博流式數(shù)據(jù)的特性，所以其分類(lèi)效果還有待提高。因此在分布式環(huán)境下對(duì)微博熱點(diǎn)話題發(fā)現(xiàn)顯得尤為重要。

發(fā)明內(nèi)容

發(fā)明目的：本發(fā)明針對(duì)現(xiàn)有技術(shù)的不足，提出一種適用于短文本、數(shù)據(jù)稀疏的流式數(shù)據(jù)的基于BTM和Single-pass的熱點(diǎn)話題發(fā)現(xiàn)方法，同時(shí)，該方法能夠適應(yīng)大數(shù)據(jù)量情況和加快主題挖掘速度。

技術(shù)方案：本發(fā)明提供了一種基于BTM和Single-pass的熱點(diǎn)話題發(fā)現(xiàn)方法，該方法包括MapReduce框架的Mapper階段和Reducer階段；

所述Mapper階段具體包括：

(1)對(duì)所述輸入的數(shù)據(jù)集D進(jìn)行預(yù)處理；

(2)將所述預(yù)處理后的數(shù)據(jù)集D平均分到C個(gè)節(jié)點(diǎn)，每個(gè)所述節(jié)點(diǎn)包含定量詞對(duì)，隨機(jī)為所述詞對(duì)分配一個(gè)主題；

(3)利用BTM主題模型進(jìn)行主題建模，獲得語(yǔ)料數(shù)據(jù)集的主題分布；

(4)在每個(gè)節(jié)點(diǎn)上采用VSM對(duì)結(jié)果進(jìn)行向量化；

(5)在每個(gè)節(jié)點(diǎn)上采用改進(jìn)的Single-pass算法進(jìn)行聚類(lèi)分析，得到局部話題；

(6)輸出所述局部話題；

所述Reducer階段具體包括：

(1)輸入所述每個(gè)節(jié)點(diǎn)上的初始化聚類(lèi)結(jié)果；

(2)選取主節(jié)點(diǎn)的所述聚類(lèi)結(jié)果作為初始的聚類(lèi)中心；

(3)采用改進(jìn)Single-pass算法將其余節(jié)點(diǎn)的聚類(lèi)結(jié)果與所述主節(jié)點(diǎn)的聚類(lèi)結(jié)果進(jìn)行聚類(lèi)操作，最終得出熱點(diǎn)話題；

(4)輸出所述熱點(diǎn)話題。

優(yōu)選的，步驟(5)中，所述聚類(lèi)分析具體包括：

(51)將所述節(jié)點(diǎn)C按一定規(guī)模分成n個(gè)數(shù)據(jù)片C₁,C₂,...,C_n，將所述數(shù)據(jù)片按順序依次作為輸入數(shù)據(jù)；每個(gè)所述數(shù)據(jù)片單獨(dú)進(jìn)行內(nèi)部聚類(lèi)，得到每個(gè)所述數(shù)據(jù)片的聚類(lèi)結(jié)果；