[發(fā)明專利]一種網(wǎng)絡(luò)搜索詞的聚類方法和聚類裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201410377357.1
• 申請(qǐng)日: 2014-08-01
• 公開（公告）號(hào): CN104199833A
• 公開（公告）日: 2014-12-10
• 發(fā)明（設(shè)計(jì)）人: 孫鵬飛
• 申請(qǐng)（專利權(quán)）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06F17/27
• 代理公司: 北京市隆安律師事務(wù)所 11323
• 代理人: 權(quán)鮮枝;吳昊

1.一種網(wǎng)絡(luò)搜索詞的聚類方法，包括：?

從搜索日志中提取出需要進(jìn)行聚類的網(wǎng)絡(luò)搜索詞；?

對(duì)相同統(tǒng)一資源定位符URL的網(wǎng)絡(luò)搜索詞，根據(jù)所述URL抓取網(wǎng)頁(yè)相關(guān)內(nèi)容，生成短文本信息；?

對(duì)所述短文本信息提取關(guān)鍵詞，并根據(jù)所述關(guān)鍵詞獲取每條短文本信息對(duì)應(yīng)的關(guān)鍵詞向量；?

判斷任兩個(gè)所述關(guān)鍵詞向量是否為相似的關(guān)鍵詞向量；?

當(dāng)存在相似的兩個(gè)關(guān)鍵詞向量時(shí)，對(duì)相似的兩個(gè)關(guān)鍵詞向量進(jìn)行合并，生成一個(gè)新的關(guān)鍵詞向量代替所述相似的兩個(gè)關(guān)鍵詞向量，并繼續(xù)判斷任兩個(gè)關(guān)鍵詞向量是否為相似的關(guān)鍵詞向量；?

當(dāng)不存在相似的關(guān)鍵詞向量時(shí)，從互不相似的各關(guān)鍵詞向量中提取網(wǎng)絡(luò)搜索詞，將從同一個(gè)關(guān)鍵詞向量中提取到的網(wǎng)絡(luò)搜索詞劃分為同一聚類。?

2.根據(jù)權(quán)利要求1所述的方法，其中，所述對(duì)相同統(tǒng)一資源定位符URL的網(wǎng)絡(luò)搜索詞，根據(jù)所述URL抓取網(wǎng)頁(yè)相關(guān)內(nèi)容，生成短文本信息包括：?

將對(duì)應(yīng)于相同URL的網(wǎng)絡(luò)搜索詞設(shè)置在短文本信息中，其中，當(dāng)對(duì)應(yīng)于相同URL的網(wǎng)絡(luò)搜索詞中存在多個(gè)相同的網(wǎng)絡(luò)搜索詞時(shí)，從相同的網(wǎng)絡(luò)查詢?cè)~中選取一個(gè)網(wǎng)絡(luò)查詢?cè)~設(shè)置在所述短文本信息中；?

從具有所述URL的網(wǎng)頁(yè)中抓取屬性標(biāo)簽中關(guān)鍵詞屬性和/或描述屬性對(duì)應(yīng)的屬性值，將所述屬性值設(shè)置在在所述短文本信息中。?

3.根據(jù)權(quán)利要求1所述的方法，其中，在對(duì)所述短文本信息提取關(guān)鍵詞之前，所述方法還包括：?

剔除所述短文本信息中的停用詞，并對(duì)剔除停用詞后的短文本信息中的詞項(xiàng)進(jìn)行詞性分析，得到各詞項(xiàng)的詞性。?

4.根據(jù)權(quán)利要求3所述的方法，其中，對(duì)所述短文本信息提取關(guān)鍵詞包括：?

將預(yù)定詞性的詞項(xiàng)選取為所述關(guān)鍵詞，所述詞性包括名詞、形容詞、副詞和動(dòng)詞。?

5.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)所述關(guān)鍵詞得到每條短文本信息對(duì)應(yīng)的關(guān)鍵詞向量包括：?

利用關(guān)鍵詞在關(guān)鍵詞向量中的詞頻值，計(jì)算所述關(guān)鍵詞在每條短文本信息中的權(quán)重值；?

根據(jù)所述關(guān)鍵詞和關(guān)鍵詞在本條短文本信息中的權(quán)重值，得到本條短文本信息對(duì)應(yīng)的關(guān)鍵詞向量。?

6.根據(jù)權(quán)利要求5所述的方法，其中，所述判斷任兩個(gè)所述關(guān)鍵詞向量是否為相似的關(guān)鍵詞向量包括：?

根據(jù)兩個(gè)關(guān)鍵詞向量中各關(guān)鍵詞的權(quán)重值，計(jì)算兩個(gè)關(guān)鍵詞向量之間的余弦相似度，當(dāng)計(jì)算出的余弦相似度大于預(yù)定閥值時(shí)，判斷所述兩個(gè)關(guān)鍵詞向量為相似的關(guān)鍵詞向量，當(dāng)計(jì)算出的余弦相似度不大于預(yù)定閥值時(shí)，判斷所述兩個(gè)關(guān)鍵詞向量不是相似的關(guān)鍵詞向量。?

7.根據(jù)權(quán)利要求6所述的方法，其中，所述計(jì)算兩個(gè)關(guān)鍵詞向量之間的余弦相似度包括：?

對(duì)第一關(guān)鍵詞向量中的第一關(guān)鍵詞，在設(shè)置的詞項(xiàng)倒排索引表中查詢?cè)摰谝魂P(guān)鍵詞對(duì)應(yīng)的關(guān)鍵詞向量，當(dāng)對(duì)應(yīng)的關(guān)鍵詞向量包括第二關(guān)鍵詞向量時(shí)，獲知所述第一關(guān)鍵詞為同時(shí)存在于第一關(guān)鍵詞向量和第二關(guān)鍵詞向量中的共同關(guān)鍵詞；?

利用所述共同關(guān)鍵詞在第一關(guān)鍵詞向量中的第一權(quán)重值、所述共同?關(guān)鍵詞在第二關(guān)鍵詞向量中的第二權(quán)重值、第一關(guān)鍵詞向量的模長(zhǎng)和第二關(guān)鍵詞向量的模長(zhǎng)計(jì)算所述第一關(guān)鍵詞向量和第二關(guān)鍵詞向量的余弦相似度；?

其中，所述詞項(xiàng)倒排索引表包括記錄詞項(xiàng)的詞典表、記錄詞項(xiàng)與關(guān)鍵詞向量編號(hào)對(duì)應(yīng)關(guān)系的向量索引表和詞項(xiàng)信息表，所述詞項(xiàng)信息表記錄關(guān)鍵詞向量中的關(guān)鍵詞、關(guān)鍵詞的權(quán)重值、關(guān)鍵詞向量的模長(zhǎng)和關(guān)鍵詞向量對(duì)應(yīng)的短文本信息。?

8.根據(jù)權(quán)利要求1所述的方法，其中，所述方法還包括建立關(guān)鍵詞向量和短文本信息的對(duì)應(yīng)關(guān)系：?

將所述對(duì)應(yīng)關(guān)系和向量合并關(guān)系記錄在向量正排索引表中，其中，所述對(duì)應(yīng)關(guān)系指示向量編號(hào)與文本編號(hào)的對(duì)應(yīng)關(guān)系，每個(gè)關(guān)鍵詞向量設(shè)置有向量編號(hào)，每個(gè)短文本信息設(shè)置有文本編號(hào)，所述向量合并關(guān)系指示向量編號(hào)與發(fā)生合并的關(guān)鍵詞向量的對(duì)應(yīng)關(guān)系；?

所述向量正排索引表包括記錄向量編號(hào)的向量索引表、記錄向量編號(hào)與關(guān)鍵詞向量的對(duì)應(yīng)關(guān)系的向量?jī)?nèi)容索引表和詞項(xiàng)信息表，所述詞項(xiàng)信息表記錄關(guān)鍵詞向量中的關(guān)鍵詞、關(guān)鍵詞的權(quán)重值、關(guān)鍵詞向量的模長(zhǎng)和關(guān)鍵詞向量對(duì)應(yīng)的短文本信息。?