[發明專利]一種羅杰斯特?正態模型話題提取方法

有效

• 申請號: 201410056958.2
• 申請日: 2014-02-19
• 公開（公告）號: CN103810282B
• 公開（公告）日: 2017-02-15
• 發明（設計）人: 朱軍;陳鍵飛;王紫;張鈸
• 申請（專利權）人: 清華大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 北京路浩知識產權代理有限公司11002
• 代理人: 李迪

技術領域

本發明涉及數據挖掘技術領域，尤其涉及一種羅杰斯特-正態模型話題提取方法。

背景技術

隱式話題模型在挖掘文檔語義信息和處理復雜的文檔結構方面都體現出了明顯的優勢，利用隱式話題模型挖掘大規模文檔中的語義結構需要解決的問題主要是：文檔數量十分龐大，需要在分布式計算環境中可用的算法；模型的靈活性，如提取話題的相關性。

如今應用隱式話題模型的數據已經從小規模的文本集發展到大規模的社會網絡、乃至整個互聯網。傳統的單機學習方法無法適應大數據的要求，需要快速、并且可以在分布式計算環境下運行的算法。

現有技術中，利用關聯話題模型，通過采用非共軛羅杰斯特正態模型，提取話題相關性，在關聯話題模型中，羅杰斯特正態模型的學習算法使用變分法，通過數值算法多次迭代進行求解。

通過上述描述可見，關聯話題模型中的羅杰斯特正態模型的學習算法使用變分法，通過數值算法多次迭代進行求解，效率較低，速度低。

發明內容

本發明提供了一種羅杰斯特-正態模型話題提取方法，能夠提高話題提取的速度。

本發明提供了一種羅杰斯特-正態模型話題提取方法，該方法包括：

S1：參數服務器將訓練集中話題與單詞對應關系的計數矩陣分布式存儲在計算節點上，參數服務器將訓練集中的所有文檔分發給所述計算節點，每個計算節點保存所述計數矩陣和參數服務器發來的文檔；

S2：計算節點對本計算節點中的文檔中的每個單詞對應的話題根據本計算節點存儲的計數矩陣進行吉布斯采樣；

S3：計算節點根據本計算節點所采樣的文檔中的每個單詞的話題采樣本文檔的特征向量；

S4：計算節點計算本節點中每個文檔的特征向量的和、平方和，利用所述和、平方和計算所有所述特征向量的均值和協方差所服從的后驗分布，并從后驗分布中采樣每個文檔的特征向量的均值和協方差；

S5：計算節點中，判斷迭代次數是否達到預定常數，如果是，則停止迭代，執行S6，如果否，則迭代次數加1，依次執行S2、S3、S4；

S6：計算節點中，對本計算節點的文檔依次執行S2、S3，對S3中所采樣的特征向量做軟最大值變換，輸出本計算節點中的每個文檔中每個話題所占該文檔的比例。

進一步地，所述方法進一步包括：

計算節點將所述話題的后驗分布拆分成本節點存儲的所述計數矩陣的項和先驗的項，通過引入增廣均勻分布隨機變量采樣，當從所述計數矩陣的項采樣時只采樣非零元。

進一步地，所述計算節點根據本計算節點所采樣的文檔中的每個單詞的話題采樣本文檔的特征向量，進一步包括：

S31：對所述特征向量的每一維引入增廣變量；

S32：從當前特征向量下的每一維增廣變量的條件分布中利用高斯分布近似采樣該增廣變量；

S33：從給定所述特征向量的其他所有維以及增廣變量后，特征向量的某一維的條件分布中依次采樣所述特征向量的每一維；

S34：判斷所述循環次數是否到達預設循環次數，如果否，則循環次數加1，依次執行S32、S33。

進一步地，所述預設循環次數為8次。

進一步地，所述步驟S32，包括：從當前特征向量下的任一維增廣變量的條件分布中利用經過變換的Polya-Gamma(1,z)分布近似采樣該增廣變量。

進一步地，所述方法還包括：在任一話題的后驗分布中將隱式話題-單詞分布矩陣通過積分去掉。

進一步地，所述方法還包括：

計算節點記錄本計算節點的計數矩陣的增量，周期性地將該計數矩陣的每一行與該行對應的參數服務器進行同步，其中，所述參數服務器是分布式服務器，該計數矩陣的不同行存儲在不同的節點上。

進一步地，所述計算節點記錄本計算節點的計數矩陣的增量，周期性地將該計數矩陣的每一行與這一行對應的參數服務器進行同步，具體包括：

按照所述行的編號計算存儲器的參數服務器，將該行在本計算節點上的增量發送到參數服務器；

參數服務器根據發來的增量更新參數服務器中的計數矩陣，將參數服務器上對應的行與計算節點上的所述行的差發送回所述計算節點；

計算節點根據接收到的差值更新本計算節點上的該行。

通過本發明提供的一種羅杰斯特-正態模型話題提取方法，通過分布式計算處理大規模數據，并能夠提高話題提取的速度。

附圖說明