[發明專利]一種羅杰斯特?正態模型話題提取方法

有效

• 申請號: 201410056958.2
• 申請日: 2014-02-19
• 公開（公告）號: CN103810282B
• 公開（公告）日: 2017-02-15
• 發明（設計）人: 朱軍;陳鍵飛;王紫;張鈸
• 申請（專利權）人: 清華大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 北京路浩知識產權代理有限公司11002
• 代理人: 李迪

1.一種羅杰斯特-正態模型話題提取方法，其特征在于，該方法包括：

S1：參數服務器將訓練集中話題與單詞對應關系的計數矩陣分布式存儲在計算節點上，參數服務器將訓練集中的所有文檔分發給所述計算節點，每個計算節點保存所述計數矩陣和參數服務器發來的文檔；

S2：計算節點對本計算節點中的文檔中的每個單詞對應的話題根據本計算節點存儲的計數矩陣進行吉布斯采樣；

S3：計算節點根據本計算節點所采樣的文檔中的每個單詞的話題采樣本文檔的特征向量；

S4：計算節點計算本節點中每個文檔的特征向量的和、平方和，利用所述和、平方和計算所有所述特征向量的均值和協方差所服從的后驗分布，并從后驗分布中采樣每個文檔的特征向量的均值和協方差；

S5：計算節點中，判斷迭代次數是否達到預定常數，如果是，則停止迭代，執行S6，如果否，則迭代次數加1，依次執行S2、S3、S4；

S6：計算節點中，對本計算節點的文檔依次執行S2、S3，對S3中所采樣的特征向量做軟最大值變換，輸出本計算節點中的每個文檔中每個話題所占該文檔的比例。

2.根據權利要求1所述的方法，其特征在于，所述方法進一步包括：

計算節點將所述話題的后驗分布拆分成本節點存儲的所述計數矩陣的項和先驗的項，通過引入增廣均勻分布隨機變量采樣，當從所述計數矩陣的項采樣時只采樣非零元。

3.根據權利要求1所述的方法，其特征在于，所述計算節點根據本計算節點所采樣的文檔中的每個單詞的話題采樣本文檔的特征向量，進一步包括：

S31：對所述特征向量的每一維引入增廣變量；

S32：從當前特征向量下的每一維增廣變量的條件分布中利用高斯分布近似采樣該增廣變量；

S33：從給定所述特征向量的其他所有維以及增廣變量后，特征向量的某一維的條件分布中依次采樣所述特征向量的每一維；

S34：判斷所述循環次數是否到達預設循環次數，如果否，則循環次數加1，依次執行S32、S33。

4.根據權利要求3所述的方法，其特征在于，所述預設循環次數為8次。

5.根據權利要求3所述的方法，其特征在于，所述步驟S32，包括：從當前特征向量下的任一維增廣變量的條件分布中利用經過變換的Polya-Gamma(1,z)分布近似采樣該增廣變量。

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：在任一話題的后驗分布中將隱式話題-單詞分布矩陣通過積分去掉。

7.根據權利要求1所述的方法，其特征在于，所述方法還包括：

計算節點記錄本計算節點的計數矩陣的增量，周期性地將該計數矩陣的每一行與該行對應的參數服務器進行同步，其中，所述參數服務器是分布式服務器，該計數矩陣的不同行存儲在不同的節點上。

8.根據權利要求7所述的方法，其特征在于，所述計算節點記錄本計算節點的計數矩陣的增量，周期性地將該計數矩陣的每一行與這一行對應的參數服務器進行同步，具體包括：

按照所述行的編號計算存儲器的參數服務器，將該行在本計算節點上的增量發送到參數服務器；

參數服務器根據發來的增量更新參數服務器中的計數矩陣，將參數服務器上對應的行與計算節點上的所述行的差發送回所述計算節點；

計算節點根據接收到的差值更新本計算節點上的該行。