[發明專利]一種基于大數據的話題檢測方法及裝置

有效

• 申請號: 201310075129.4
• 申請日: 2013-03-08
• 公開（公告）號: CN103177090B
• 公開（公告）日: 2016-11-23
• 發明（設計）人: 羅峰;黃蘇支;李娜
• 申請（專利權）人: 億贊普（北京）科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 蘇培華

1.一種基于大數據的話題檢測方法，其特征在于，包括：

依據用戶網絡行為數據抽取熱點網頁；

采集所述熱點網頁的內容；

依據所述熱點網頁的內容，提取得到所述熱點網頁的網頁特征向量；

依據所述熱點網頁的網頁特征向量對所述熱點網頁進行聚類，得到相應的潛在熱點話題類；

以所述潛在熱點話題類作為種子類，對新增網頁進行增量聚類；所述新增網頁包括在線網頁；

針對增量聚類后的潛在熱點話題類，通過分析其對應的用戶關注度參數，判定其是否為熱點話題類。

2.如權利要求1所述的方法，其特征在于，所述用戶網絡行為數據包括用戶訪問行為數據和用戶搜索行為數據中的一項或多項；

則所述依據用戶網絡行為數據抽取熱點網頁的步驟，包括：

依據所述用戶訪問行為數據，獲取用戶訪問量或用戶訪問頻率符合第一預置條件的網頁，作為熱點網頁；和/或

依據所述用戶搜索行為數據，獲取用戶搜索量或用戶搜索頻率符合第二預置條件的關鍵詞所關聯的網頁，作為熱點網頁。

3.如權利要求1所述的方法，其特征在于，所述針對增量聚類后的潛在熱點話題類，通過分析其對應的用戶關注度參數，判定其是否為熱點話題類的步驟，包括：

當增量聚類后的某潛在熱點話題類對應的用戶關注度參數的加權處理結果與增量聚類后的所有潛在熱點話題類對應的用戶關注度參數的加權處理結果的比值大于第一閾值時，判定該潛在熱點話題類為熱點話題類。

4.如權利要求1所述的方法，其特征在于，所述以所述潛在熱點話題類作為種子類，對新增網頁進行增量聚類的步驟，包括：

計算新增網頁的網頁特征向量與各潛在熱點話題類的質心向量的相似度；

在某新增網頁的網頁特征向量與某潛在熱點話題類的質心向量的相似度大于等于第一相似度閾值時，將該新增網頁加入至該潛在熱點話題類。

5.如權利要求4所述的方法，其特征在于，所述潛在熱點話題類的質心向量為對潛在熱點話題類所包括的熱點網頁的網頁特征向量進行加權處理得到，其中，某熱點網頁的網頁特征向量的權重為依據該熱點網頁的用戶訪問量與該熱點網頁所屬潛在熱點話題類中所有熱點網頁的總用戶訪問量的比率確定。

6.如權利要求1所述的方法，其特征在于，還包括：

針對增量聚類后的潛在熱點話題類，通過分析其對應的用戶關注度參數在以往時段內的變化，預測其是否為下一時段的熱點話題類。

7.如權利要求1至6中任一項所述的方法，其特征在于，還包括：

對所判定或預測的熱點話題類進行提示，相應的提示內容包括：相應熱點話題類的描述關鍵詞。

8.如權利要求7所述的方法，其特征在于，所述描述關鍵詞包括：相應熱點話題類的所有網頁的中共現度最高的若干個特征詞。

9.如權利要求1至6中任一項所述的方法，其特征在于，所述用戶關注度參數包括網頁文檔數量和用戶網絡行為數量。

10.一種基于大數據的話題檢測裝置，其特征在于，包括：

抽取模塊，用于依據用戶網絡行為數據抽取熱點網頁；

采集模塊，用于采集所述熱點網頁的內容；

提取模塊，用于依據所述熱點網頁的內容，提取得到所述熱點網頁的網頁特征向量；

聚類模塊，用于依據所述熱點網頁的網頁特征向量對所述熱點網頁進行聚類，得到相應的潛在熱點話題類；

增量聚類模塊，用于以所述潛在熱點話題類作為種子類，對新增網頁進行增量聚類；所述新增網頁包括在線網頁；及

判定模塊，用于針對增量聚類后的潛在熱點話題類，通過分析其對應的用戶關注度參數，判定其是否為熱點話題類。