[發(fā)明專利]一種網(wǎng)頁(yè)分類方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 200610167466.6
• 申請(qǐng)日: 2006-12-20
• 公開（公告）號(hào): CN101178714A
• 公開（公告）日: 2008-05-14
• 發(fā)明（設(shè)計(jì)）人: 文勖
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 劉巖

1.一種網(wǎng)頁(yè)分類方法，其特征在于，包括步驟：

A、從網(wǎng)頁(yè)對(duì)應(yīng)的錨文本中選取分類錨文本，確定該分類錨文本中包含的分類關(guān)鍵詞；

B、從網(wǎng)頁(yè)的全部?jī)?nèi)容中查找至少包含一個(gè)所述分類關(guān)鍵詞的語句，將查找到的語句組合形成特征文本；

C、對(duì)所述特征文本進(jìn)行文本分類處理，將該特征文本的類別確定為所述網(wǎng)頁(yè)的類別。

2.如權(quán)利要求1所述的方法，其特征在于，所述步驟A中還包括步驟：

判斷網(wǎng)頁(yè)下載過程中下載網(wǎng)頁(yè)爬蟲的階段是否記錄了所述網(wǎng)頁(yè)的錨文本信息，若是，從網(wǎng)頁(yè)對(duì)應(yīng)的錨文本中選取分類錨文本，否則，將該網(wǎng)頁(yè)的標(biāo)題字段確定為分類錨文本。

3.如權(quán)利要求2所述的方法，其特征在于，若下載網(wǎng)頁(yè)爬蟲階段記錄了所述網(wǎng)頁(yè)的錨文本信息，則選取其中出現(xiàn)次數(shù)最多的錨文本做為該網(wǎng)頁(yè)的分類錨文本。

4.如權(quán)利要求1或2所述的方法，其特征在于，所述確定分類錨文本中包含的分類關(guān)鍵詞的過程為：

對(duì)分類錨文本進(jìn)行分詞處理，去掉其中的停用詞，余下的詞匯即為該分類錨文本的分類關(guān)鍵詞。

5.如權(quán)利要求1所述的方法，其特征在于，對(duì)特征文本進(jìn)行文本分類處理的過程為：

對(duì)特征文本進(jìn)行分詞處理，去掉其中的停用詞，按照預(yù)先構(gòu)建的特征詞表從余下的詞中提取特征詞匯；

按照預(yù)先設(shè)定的分類算法，根據(jù)各類別文本的先驗(yàn)概率及特征詞匯在各類別文本中的權(quán)值確定出所述特征文本的類別。

6.一種網(wǎng)頁(yè)分類裝置，其特征在于，包括：

分類錨文本選取模塊，用于從網(wǎng)頁(yè)對(duì)應(yīng)的錨文本中選取分類錨文本；

分類關(guān)鍵詞確定模塊，用于確定分類錨文本中包含的分類關(guān)鍵詞；

查找模塊，用于從網(wǎng)頁(yè)的全部?jī)?nèi)容中查找包含至少一個(gè)所述分類關(guān)鍵詞的語句，將查找到的語句組合形成特征文本；

特征文本分類模塊，用于對(duì)所述特征文件進(jìn)行分類處理，將該特征文本的類別確定為所述網(wǎng)頁(yè)的類別。

7.如權(quán)利要求6所述的裝置，其特征在于，還包括：

判斷模塊，用于判斷網(wǎng)頁(yè)下載過程中下載網(wǎng)頁(yè)爬蟲的階段是否記錄了所述網(wǎng)頁(yè)的錨文本信息，若是，觸發(fā)分類錨文本選取模塊從網(wǎng)頁(yè)對(duì)應(yīng)的錨文本中選取分類錨文本，否則，觸發(fā)標(biāo)題字段提取模塊提取網(wǎng)頁(yè)的標(biāo)題字段；

標(biāo)題字段提取模塊，用于提取網(wǎng)頁(yè)的標(biāo)題字段，將其做為該網(wǎng)頁(yè)的分類錨文本發(fā)送給分類關(guān)鍵詞確定模塊。