[發(fā)明專利]一種建立微博索引的方法及裝置

有效

• 申請?zhí)枺?/td>: 201410272487.9
• 申請日: 2014-06-18
• 公開（公告）號: CN104021205B
• 公開（公告）日: 2017-04-19
• 發(fā)明（設(shè)計）人: 楊樹強(qiáng);陳志坤;金松昌;尹洪;賈焰;韓偉紅;周斌;李愛平
• 申請（專利權(quán)）人: 中國人民解放軍國防科學(xué)技術(shù)大學(xué)
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司11227
• 代理人: 王寶筠

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)索引技術(shù)領(lǐng)域，更具體地說，涉及一種建立微博索引的方法及裝置。

背景技術(shù)

微博，是微型博客的簡稱，是一種基于用戶關(guān)系分享、傳播以及獲取信息的平臺。通過微博系統(tǒng)的實(shí)時搜索服務(wù)，用戶可以快速得到新鮮的第一手草根信息，第一時間了解國內(nèi)外事件。而實(shí)時搜索服務(wù)實(shí)現(xiàn)過程中，為了能夠快速的獲取實(shí)時微博的信息，需要對微博系統(tǒng)中的博文建立索引。

目前，微博系統(tǒng)中建立索引的過程是這樣的：只要有新博文進(jìn)入微博系統(tǒng)，就為該博文建立一條索引，所有博文的索引以簡單集合形式存在。

發(fā)明人經(jīng)研究發(fā)現(xiàn)，微博系統(tǒng)中實(shí)時產(chǎn)生的博文數(shù)量非常龐大，逐一為這些博文建立索引相當(dāng)耗時，根本無法讓最新的博文在其發(fā)表之后的幾秒之內(nèi)就變?yōu)榭伤阉鳎欢遥捎谖⒉┫到y(tǒng)中本身的博文數(shù)據(jù)量很大，故博文索引的數(shù)據(jù)量也不可小覷，如此龐大的數(shù)據(jù)對存儲設(shè)備來說是極大的負(fù)荷，存儲設(shè)備的讀寫速度會受影響，為新博文建立索引時速度會很慢，無法滿足建立博文索引的實(shí)時性。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供一種建立微博索引的方法及裝置，能夠快速的對最新博文建立索引，使最新博文在其發(fā)表后短時間內(nèi)變?yōu)榭伤阉鳌?/p>

為了實(shí)現(xiàn)上述目的，現(xiàn)提出的方案如下：

一種建立微博索引的方法，所述方法應(yīng)用于分布式存儲網(wǎng)絡(luò)中的第一節(jié)點(diǎn)，包括：

從微博系統(tǒng)中實(shí)時獲取用戶發(fā)布的博文；

當(dāng)所述博文是對其他博文的轉(zhuǎn)發(fā)和/或回復(fù)時，將所述博文的主題確定為所述博文所回復(fù)和/或所轉(zhuǎn)發(fā)的原始博文的主題；

當(dāng)所述博文與其他博文無轉(zhuǎn)發(fā)和/或回復(fù)關(guān)系時，使用Twitter-LDA模型確定所述博文的主題；

在與所述主題相對應(yīng)的索引結(jié)構(gòu)的底層建立所述博文的索引；

判斷所述索引結(jié)構(gòu)的底層的索引數(shù)是否大于或等于預(yù)設(shè)閾值；

如果是，則將已存儲在所述索引結(jié)構(gòu)的底層的索引數(shù)據(jù)遷移至分布式存儲網(wǎng)絡(luò)中的第二節(jié)點(diǎn)。

上述方法，所述從微博系統(tǒng)中實(shí)時獲取用戶發(fā)布的博文之后，還包括：

確定發(fā)布所述博文的用戶；

判斷所述用戶是否為惡意用戶，如果否，才執(zhí)行確定所述博文的主題的步驟。

上述方法，建立所述索引之后，還包括：

獲取所述微博系統(tǒng)中的主節(jié)點(diǎn)下發(fā)的搜索任務(wù)；所述搜索任務(wù)是由所述主節(jié)點(diǎn)根據(jù)用戶在搜索操作中給定的搜索關(guān)鍵字對應(yīng)的主題所分配的；

在所述索引結(jié)構(gòu)的底層搜索與所述關(guān)鍵字相匹配的索引，得到搜索結(jié)果；

將所述搜索結(jié)果發(fā)送至所述主節(jié)點(diǎn)，以便所述主節(jié)點(diǎn)綜合所述第一節(jié)點(diǎn)的搜索結(jié)果和所述第二節(jié)點(diǎn)的搜索結(jié)果得到所述主題的搜索結(jié)果，綜合所有主題的搜索結(jié)果，得到最終搜索結(jié)果。

上述方法，優(yōu)選地，所述綜合所有主題的搜索結(jié)果之前還包括：對所述所有主題的排序結(jié)果進(jìn)行排序。

一種建立微博索引的裝置，所述裝置應(yīng)用于分布式存儲網(wǎng)絡(luò)中的第一節(jié)點(diǎn)，包括：

博文獲取模塊：用于從微博系統(tǒng)中實(shí)時獲取用戶發(fā)布的博文；

主題確定模塊：用于當(dāng)所述博文是對其他博文的轉(zhuǎn)發(fā)和/或回復(fù)時，將所述博文的主題確定為所述博文所回復(fù)和/或所轉(zhuǎn)發(fā)的原始博文的主題，當(dāng)所述博文與其他博文無轉(zhuǎn)發(fā)和/或回復(fù)關(guān)系時，使用Twitter-LDA模型確定所述博文的主題；

索引建立模塊：用于在與所述主題相對應(yīng)的索引結(jié)構(gòu)的底層建立所述博文的索引；

閾值判斷模塊：用于判斷所述索引結(jié)構(gòu)的底層的索引數(shù)是否大于或等于預(yù)設(shè)閾值，如果是，觸發(fā)索引遷移模塊；

索引遷移模塊：用于將已存儲在所述索引結(jié)構(gòu)的底層的索引數(shù)據(jù)遷移至分布式存儲網(wǎng)絡(luò)中的第二節(jié)點(diǎn)。

上述裝置，優(yōu)選地，所述博文獲取模塊從微博系統(tǒng)中實(shí)時獲取用戶發(fā)布的博文之后還包括：

用戶確定模塊，用于確定發(fā)布所述博文的用戶；

用戶判斷模塊，用于判斷所述用戶是否為惡意用戶，如果否，觸發(fā)主題確定模塊。

上述裝置，優(yōu)選地，所述索引建立模塊建立所述索引之后還包括：

任務(wù)獲取模塊，用于獲取所述微博系統(tǒng)中的主節(jié)點(diǎn)下發(fā)的搜索任務(wù)；所述搜索任務(wù)是由所述主節(jié)點(diǎn)根據(jù)用戶在搜索操作中給定的搜索關(guān)鍵字對應(yīng)的主題所分配的；

搜索執(zhí)行模塊，用于在所述索引結(jié)構(gòu)的底層搜索與所述關(guān)鍵字相匹配的索引，得到搜索結(jié)果；