[發明專利]一種網絡搜索詞的聚類方法和聚類裝置

在審

• 申請號: 201410377357.1
• 申請日: 2014-08-01
• 公開（公告）號: CN104199833A
• 公開（公告）日: 2014-12-10
• 發明（設計）人: 孫鵬飛
• 申請（專利權）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 北京市隆安律師事務所 11323
• 代理人: 權鮮枝;吳昊

技術領域

本發明涉及數據分析技術領域，特別涉及一種網絡搜索詞的聚類方法和聚類裝置。

背景技術

聚類分析是數據分析中的一種重要技術，在網站信息分類問題、網頁的點擊行為關聯性問題及用戶搜索詞(query)分類問題等多個領域得到廣泛的關注和研究。它可以將看似無序的對象進行分組、歸類，以達到更好地理解研究對象的目的。

現有方案在對用戶搜索詞進行聚類時，根據用戶共同點擊的URL(Uniform?Resource?Locator，統一資源定位符)進行聚類分析，將具有相同URL的用戶搜索詞劃分為同一類。

然而，單純依靠共同點擊的URL進行聚類是片面的、不準確的，例如，僅依賴用戶共同點擊的URL得到的聚類結果中會出現長尾現象，也就是說，只有少數20％的高頻搜索詞，才會對應相同的URL，而其他80％的搜索詞沒有共同的URL。再如，一些搜索詞雖然沒有共同的URL，但是卻應該聚到一起，如“金融”和“股票”。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的一種網絡搜索詞的聚類方法和相應的聚類裝置。

依據本發明的一個方面，本發明實施例提供了一種網絡搜索詞的聚類方法，包括：

從搜索日志中提取出需要進行聚類的網絡搜索詞；

對相同統一資源定位符URL的網絡搜索詞，根據所述URL抓取網頁相關內容，生成短文本信息；

對所述短文本信息提取關鍵詞，并根據所述關鍵詞獲取每條短文本信息對應的關鍵詞向量；

判斷任兩個所述關鍵詞向量是否為相似的關鍵詞向量；

當存在相似的兩個關鍵詞向量時，對相似的兩個關鍵詞向量進行合并，生成一個新的關鍵詞向量代替所述相似的兩個關鍵詞向量，并繼續判斷任兩個關鍵詞向量是否為相似的關鍵詞向量；

當不存在相似的關鍵詞向量時，從互不相似的各關鍵詞向量中提取網絡搜索詞，將從同一個關鍵詞向量中提取到的網絡搜索詞劃分為同一聚類。

可選地，所述對相同統一資源定位符URL的網絡搜索詞，根據所述URL抓取網頁相關內容，生成短文本信息包括：

將對應于相同URL的網絡搜索詞設置在短文本信息中，其中，當對應于相同URL的網絡搜索詞中存在多個相同的網絡搜索詞時，從相同的網絡查詢詞中選取一個網絡查詢詞設置在所述短文本信息中；

從具有所述URL的網頁中抓取屬性標簽中關鍵詞屬性和/或描述屬性對應的屬性值，將所述屬性值設置在在所述短文本信息中。

可選地，在對所述短文本信息提取關鍵詞之前，所述方法還包括：

剔除所述短文本信息中的停用詞，并對剔除停用詞后的短文本信息中的詞項進行詞性分析，得到各詞項的詞性。

其中，對所述短文本信息提取關鍵詞包括：

將預定詞性的詞項選取為所述關鍵詞，所述詞性包括名詞、形容詞、副詞和動詞。

可選地，所述根據所述關鍵詞得到每條短文本信息對應的關鍵詞向量包括：

利用關鍵詞在關鍵詞向量中的詞頻值，計算所述關鍵詞在每條短文本信息中的權重值；

根據所述關鍵詞和關鍵詞在本條短文本信息中的權重值，得到本條短文本信息對應的關鍵詞向量。

并且，所述判斷任兩個所述關鍵詞向量是否為相似的關鍵詞向量包括：

根據兩個關鍵詞向量中各關鍵詞的權重值，計算兩個關鍵詞向量之間的余弦相似度，當計算出的余弦相似度大于預定閥值時，判斷所述兩個關鍵詞向量為相似的關鍵詞向量，當計算出的余弦相似度不大于預定閥值時，判斷所述兩個關鍵詞向量不是相似的關鍵詞向量。

其中，所述計算兩個關鍵詞向量之間的余弦相似度包括：

對第一關鍵詞向量中的第一關鍵詞，在設置的詞項倒排索引表中查詢該第一關鍵詞對應的關鍵詞向量，當對應的關鍵詞向量包括第二關鍵詞向量時，獲知所述第一關鍵詞為同時存在于第一關鍵詞向量和第二關鍵詞向量中的共同關鍵詞；

利用所述共同關鍵詞在第一關鍵詞向量中的第一權重值、所述共同關鍵詞在第二關鍵詞向量中的第二權重值、第一關鍵詞向量的模長和第二關鍵詞向量的模長計算所述第一關鍵詞向量和第二關鍵詞向量的余弦相似度；

上述詞項倒排索引表包括記錄詞項的詞典表、記錄詞項與關鍵詞向量編號對應關系的向量索引表和詞項信息表，所述詞項信息表記錄關鍵詞向量中的關鍵詞、關鍵詞的權重值、關鍵詞向量的模長和關鍵詞向量對應的短文本信息。

可選地，所述方法還包括建立關鍵詞向量和短文本信息的對應關系：