[發(fā)明專利]網(wǎng)頁(yè)抽取準(zhǔn)確性計(jì)算方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201110048960.1
• 申請(qǐng)日: 2011-03-01
• 公開(kāi)（公告）號(hào): CN102654861B
• 公開(kāi)（公告）日: 2017-12-08
• 發(fā)明（設(shè)計(jì)）人: 朱靖君;林世飛;張立明
• 申請(qǐng)（專利權(quán)）人: 深圳市世紀(jì)光速信息技術(shù)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司44224
• 代理人: 何平,曾旻輝

1.一種網(wǎng)頁(yè)抽取準(zhǔn)確性計(jì)算方法，包括以下步驟：

采用瀏覽器對(duì)網(wǎng)頁(yè)進(jìn)行解析；

獲取瀏覽器對(duì)網(wǎng)頁(yè)解析的結(jié)果；

采用待測(cè)網(wǎng)頁(yè)抽取模塊對(duì)網(wǎng)頁(yè)進(jìn)行解析；

獲取待測(cè)網(wǎng)頁(yè)抽取模塊對(duì)網(wǎng)頁(yè)解析的結(jié)果；

計(jì)算所述待測(cè)網(wǎng)頁(yè)抽取模塊解析的結(jié)果與瀏覽器解析的結(jié)果的相似度，解析結(jié)果包括：可見(jiàn)文本、鏈接和錨文本；

根據(jù)所述相似度確定所述待測(cè)網(wǎng)頁(yè)抽取模塊解析的準(zhǔn)確性，相似度越大，則所述待測(cè)網(wǎng)頁(yè)抽取模塊進(jìn)行網(wǎng)頁(yè)抽取的準(zhǔn)確性越高。

2.根據(jù)權(quán)利要求1所述的網(wǎng)頁(yè)抽取準(zhǔn)確性計(jì)算方法，其特征在于，所述待測(cè)網(wǎng)頁(yè)抽取模塊解析的結(jié)果包括解析網(wǎng)頁(yè)得到的第一可見(jiàn)文本集合、第一鏈接集合和第一錨文本集合，所述瀏覽器解析的結(jié)果包括瀏覽器解析網(wǎng)頁(yè)得到的第二可見(jiàn)文本集合、第二鏈接集合和第二錨文本集合；

所述計(jì)算待測(cè)網(wǎng)頁(yè)抽取模塊解析的結(jié)果與瀏覽器解析的結(jié)果的相似度的步驟為：

計(jì)算第一可見(jiàn)文本集合與第二可見(jiàn)文本集合的相似度；

計(jì)算第一鏈接集合與第二鏈接集合的相似度；

計(jì)算第一錨文本集合與第二錨文本集合的相似度；

對(duì)所述第一可見(jiàn)文本集合與第二可見(jiàn)文本集合的相似度、所述第一鏈接集合與所述第二鏈接集合的相似度、所述第一錨文本集合與第二錨文本集合的相似度按第一預(yù)設(shè)比例求和。

3.根據(jù)權(quán)利要求2所述的網(wǎng)頁(yè)抽取準(zhǔn)確性計(jì)算方法，其特征在于，所述計(jì)算第一可見(jiàn)文本集合與第二可見(jiàn)文本集合的相似度的步驟為：

對(duì)所述第一可見(jiàn)文本集合中的文本進(jìn)行切詞，統(tǒng)計(jì)每個(gè)詞出現(xiàn)的次數(shù)，建立第一詞頻向量；

對(duì)所述第二可見(jiàn)文本集合中的文本進(jìn)行切詞，統(tǒng)計(jì)每個(gè)詞出現(xiàn)的次數(shù)，建立第二詞頻向量；

計(jì)算所述第一詞頻向量與所述第二詞頻向量的相似度，即為所述第一可見(jiàn)文本集合與第二可見(jiàn)文本集合的相似度。

4.根據(jù)權(quán)利要求2所述的網(wǎng)頁(yè)抽取準(zhǔn)確性計(jì)算方法，其特征在于，所述計(jì)算第一鏈接集合與第二鏈接集合的相似度的步驟為：

按照如下公式計(jì)算所述第一鏈接集合與所述第二鏈接集合的相似度：所述第一鏈接集合和所述第二鏈接集合中相同的鏈接數(shù)的倍數(shù)與所述第一鏈接集合及第二鏈接集合中的鏈接總數(shù)的比值。

5.根據(jù)權(quán)利要求2所述的網(wǎng)頁(yè)抽取準(zhǔn)確性計(jì)算方法，其特征在于，所述計(jì)算第一錨文本集合與第二錨文本集合的相似度的步驟為：

提取所述第一錨文本集合與第二錨文本集合中具有相同鏈接的錨文本；

計(jì)算每個(gè)相同鏈接所對(duì)應(yīng)的第一錨文本與第二錨文本的相似度，對(duì)該相似度求平均值；

將第一錨文本集合中的錨文本通過(guò)間隔符按順序連接起來(lái)，生成第一文本串；

將第二錨文本集合中的錨文本通過(guò)間隔符按順序連接起來(lái)，生成第二文本串；

計(jì)算所述第一文本串和第二文本串的相似度；

對(duì)所述第一文本串和第二文本串的相似度與所述平均值按第二預(yù)設(shè)比例求和。

6.一種網(wǎng)頁(yè)抽取準(zhǔn)確性計(jì)算系統(tǒng)，其特征在于，包括：

瀏覽器，用于對(duì)網(wǎng)頁(yè)進(jìn)行解析；

待測(cè)網(wǎng)頁(yè)抽取模塊，用于對(duì)網(wǎng)頁(yè)進(jìn)行解析；

解析結(jié)果對(duì)比模塊，用于獲取瀏覽器對(duì)網(wǎng)頁(yè)的解析結(jié)果及所述待測(cè)網(wǎng)頁(yè)抽取模塊對(duì)網(wǎng)頁(yè)的解析結(jié)果，計(jì)算所述待測(cè)網(wǎng)頁(yè)抽取模塊解析的結(jié)果與瀏覽器解析的結(jié)果的相似度，解析結(jié)果包括：可見(jiàn)文本、鏈接和錨文本，根據(jù)所述相似度確定所述待測(cè)網(wǎng)頁(yè)抽取模塊解析的準(zhǔn)確性，相似度越大，所述待測(cè)網(wǎng)頁(yè)抽取模塊進(jìn)行網(wǎng)頁(yè)抽取的準(zhǔn)確性越高。