[發(fā)明專(zhuān)利]一種網(wǎng)頁(yè)信息提取系統(tǒng)及提取方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410138234.2
• 申請(qǐng)日: 2014-04-08
• 公開(kāi)（公告）號(hào): CN103870606B
• 公開(kāi)（公告）日: 2017-05-10
• 發(fā)明（設(shè)計(jì)）人: 張嘯晨;郭少鵬;呂強(qiáng);賀文磊
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海語(yǔ)天信息技術(shù)有限公司
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30
• 代理公司: 上海申新律師事務(wù)所31272
• 代理人: 俞滌炯

1.一種網(wǎng)頁(yè)信息提取系統(tǒng)，其特征在于，包括：

網(wǎng)頁(yè)信息捕捉單元，用于在瀏覽器側(cè)下載預(yù)設(shè)的網(wǎng)頁(yè)，并捕捉所述網(wǎng)頁(yè)的網(wǎng)址信息和網(wǎng)頁(yè)編碼信息；

網(wǎng)址過(guò)濾單元，連接所述網(wǎng)頁(yè)信息捕捉單元，預(yù)設(shè)有多個(gè)標(biāo)準(zhǔn)網(wǎng)址信息，并用于根據(jù)預(yù)設(shè)的所述標(biāo)準(zhǔn)網(wǎng)址信息對(duì)所述網(wǎng)址信息進(jìn)行匹配，以獲得匹配于所述標(biāo)準(zhǔn)網(wǎng)址信息的有效網(wǎng)址信息；

網(wǎng)頁(yè)信息提取單元，分別連接所述網(wǎng)頁(yè)信息捕捉單元和所述網(wǎng)址過(guò)濾單元，用于提取對(duì)應(yīng)所述有效網(wǎng)址信息的所述網(wǎng)頁(yè)編碼信息，并將所述網(wǎng)頁(yè)編碼信息分為多個(gè)信息塊，查找到字節(jié)密度驟升的所述信息塊和字節(jié)密度驟降的所述信息塊；

所述網(wǎng)頁(yè)信息提取單元將位于字節(jié)密度驟升的所述信息塊和字節(jié)密度驟降的所述信息塊之間的所述網(wǎng)頁(yè)編碼信息確定為網(wǎng)頁(yè)信息，并輸出所述網(wǎng)頁(yè)信息；

所述網(wǎng)址過(guò)濾單元包括：

網(wǎng)址分割模塊，用于接收所述網(wǎng)頁(yè)信息捕捉單元捕獲的網(wǎng)址信息，并將所述網(wǎng)址信息分割為域名信息、URL路徑信息以及URL實(shí)體信息；

標(biāo)準(zhǔn)網(wǎng)址存儲(chǔ)模塊，保存有所述標(biāo)準(zhǔn)網(wǎng)址信息，所述標(biāo)準(zhǔn)網(wǎng)址信息包括標(biāo)準(zhǔn)域名信息和標(biāo)準(zhǔn)URL路徑信息；

網(wǎng)址匹配模塊，分別連接所述網(wǎng)址分割模塊和所述標(biāo)準(zhǔn)網(wǎng)址存儲(chǔ)模塊，用于將所述域名信息與所述標(biāo)準(zhǔn)域名信息進(jìn)行匹配，以及將所述URL路徑信息與所述標(biāo)準(zhǔn)URL路徑信息匹配，并將匹配成功的所述網(wǎng)址信息標(biāo)記為有效網(wǎng)址信息；

所述網(wǎng)頁(yè)信息提取單元中包括：

編碼轉(zhuǎn)換模塊，用于根據(jù)所述網(wǎng)頁(yè)編碼信息的編碼類(lèi)型選擇相應(yīng)的解碼方式，以將所述網(wǎng)頁(yè)編碼信息的編碼類(lèi)型轉(zhuǎn)換成對(duì)應(yīng)的UTF-8編碼UTF-8編碼類(lèi)型；

編碼存儲(chǔ)模塊，連接所述編碼轉(zhuǎn)換模塊，用于保存經(jīng)過(guò)轉(zhuǎn)換的所述網(wǎng)頁(yè)編碼信息；

第一符號(hào)轉(zhuǎn)換模塊，連接所述編碼存儲(chǔ)模塊，采用空白信息替代所述編碼存儲(chǔ)模塊中保存的所述網(wǎng)頁(yè)編碼信息中的超文本標(biāo)簽；

信息密度計(jì)算模塊，連接所述第一符號(hào)轉(zhuǎn)換模塊，用于將經(jīng)過(guò)替代后的所述網(wǎng)頁(yè)編碼信息分割為多個(gè)行數(shù)相等的連續(xù)的信息塊，并計(jì)算每個(gè)所述信息塊的字節(jié)密度；

網(wǎng)頁(yè)信息提取模塊，連接所述信息密度計(jì)算模塊，用于根據(jù)所述信息塊的字節(jié)密度的變化趨勢(shì)，提取位于字節(jié)密度驟升的所述信息塊和字節(jié)密度驟降的所述信息塊之間的所述網(wǎng)頁(yè)編碼信息，并將被提取的所述網(wǎng)頁(yè)編碼信息作為網(wǎng)頁(yè)信息輸出。

2.如權(quán)利要求1所述的網(wǎng)頁(yè)信息提取系統(tǒng)，其特征在于，所述網(wǎng)頁(yè)信息提取單元中還包括：

第二符號(hào)轉(zhuǎn)換模塊，連接于所述編碼存儲(chǔ)模塊與所述第一符號(hào)轉(zhuǎn)換模塊之間，采用換行符替代所述網(wǎng)頁(yè)編碼信息中的分段符，并將經(jīng)過(guò)替代后的所述網(wǎng)頁(yè)編碼信息發(fā)送至所述第一符號(hào)轉(zhuǎn)換模塊中。

3.如權(quán)利要求1所述的網(wǎng)頁(yè)信息提取系統(tǒng)，其特征在于，所述信息密度計(jì)算模塊還直接連接所述編碼存儲(chǔ)模塊，用于直接提取保存于所述編碼存儲(chǔ)模塊中的所述網(wǎng)頁(yè)編碼信息，并進(jìn)行劃分和信息密度計(jì)算；

所述網(wǎng)頁(yè)信息提取模塊中包括：

符號(hào)查詢(xún)模塊，根據(jù)位于字節(jié)密度驟降的所述信息塊之前的最接近的區(qū)塊分隔符，查找位于字節(jié)密度驟降的所述信息塊之后的對(duì)應(yīng)的區(qū)塊分隔符；

所述網(wǎng)頁(yè)信息提取模塊將位于兩個(gè)相應(yīng)的所述區(qū)塊分隔符之間的所述網(wǎng)頁(yè)編碼信息作為所述網(wǎng)頁(yè)信息并輸出。

4.一種網(wǎng)頁(yè)信息提取方法，其特征在于，包括：

步驟1，預(yù)設(shè)多個(gè)標(biāo)準(zhǔn)網(wǎng)址信息；

步驟2，在瀏覽器側(cè)下載一個(gè)預(yù)設(shè)的網(wǎng)頁(yè)，并獲取所述網(wǎng)頁(yè)的網(wǎng)址信息和對(duì)應(yīng)的網(wǎng)頁(yè)編碼信息；

步驟3，將匹配于所述標(biāo)準(zhǔn)網(wǎng)址信息的所述網(wǎng)址信息標(biāo)記為有效網(wǎng)址信息；

步驟4，提取對(duì)應(yīng)所述有效網(wǎng)址信息的所述網(wǎng)頁(yè)編碼信息，并將所述網(wǎng)頁(yè)編碼信息的編碼類(lèi)型轉(zhuǎn)換為UTF-8編碼類(lèi)型，隨后保存經(jīng)過(guò)轉(zhuǎn)換的所述網(wǎng)頁(yè)編碼信息；

步驟5，采用空白信息替代經(jīng)過(guò)轉(zhuǎn)換后的所述網(wǎng)頁(yè)編碼信息中的超文本標(biāo)簽；

步驟6，將所述網(wǎng)頁(yè)編碼信息劃分為多個(gè)行數(shù)相等的連續(xù)的信息塊，并計(jì)算每個(gè)所述信息塊中的字節(jié)密度；

步驟7，提取位于字節(jié)密度驟升的所述信息塊與字節(jié)密度驟降的所述信息塊之間的所述網(wǎng)頁(yè)編碼信息，以作為對(duì)應(yīng)所述網(wǎng)頁(yè)編碼信息的網(wǎng)頁(yè)信息并輸出。