[發(fā)明專利]一種基于http協(xié)議的網(wǎng)頁(yè)信息提取方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201410299203.5
• 申請(qǐng)日: 2014-06-26
• 公開(kāi)（公告）號(hào): CN104050281A
• 公開(kāi)（公告）日: 2014-09-17
• 發(fā)明（設(shè)計(jì)）人: 馬春新;董磊
• 申請(qǐng)（專利權(quán)）人: 北京思特奇信息技術(shù)股份有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京輕創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 11212
• 代理人: 楊立

1.一種基于http協(xié)議的網(wǎng)頁(yè)信息提取方法，其特征在于，包括：

模板生成步驟：根據(jù)要提取信息的目標(biāo)頁(yè)面，定制相應(yīng)的頁(yè)面解析模板，并在頁(yè)面解析模板中預(yù)定義目標(biāo)字段和校驗(yàn)規(guī)則；

網(wǎng)頁(yè)地址解析步驟：解析目標(biāo)頁(yè)面的網(wǎng)頁(yè)地址，獲取目標(biāo)頁(yè)面的HTML源文件；

信息提取步驟：讀取并解析目標(biāo)頁(yè)面的HTML源文件，在目標(biāo)頁(yè)面的HTML源文件中提取與頁(yè)面解析模板預(yù)定義的目標(biāo)字段相匹配的頁(yè)面信息；

信息校驗(yàn)步驟：根據(jù)預(yù)定義的校驗(yàn)規(guī)則，校驗(yàn)提取出的頁(yè)面信息是否符合要求；

信息保存步驟：保存經(jīng)信息校驗(yàn)后的頁(yè)面信息。

2.根據(jù)權(quán)利要求1所述的網(wǎng)頁(yè)信息提取方法，其特征在于，所述信息提取步驟中以塊方式提取出匹配到的頁(yè)面信息。

3.根據(jù)權(quán)利要求1所述的網(wǎng)頁(yè)信息提取方法，其特征在于，定制的頁(yè)面解析模板為XML文件，且該XML文件中包括預(yù)定義的節(jié)點(diǎn)信息、目標(biāo)字段信息和校驗(yàn)規(guī)則信息。

4.根據(jù)權(quán)利要求1所述的網(wǎng)頁(yè)信息提取方法，其特征在于，預(yù)定義的校驗(yàn)規(guī)則為正則表達(dá)式。

5.根據(jù)權(quán)利要求1所述的網(wǎng)頁(yè)信息提取方法，其特征在于，采用SAX技術(shù)讀取并解析目標(biāo)頁(yè)面的HTML源文件。

6.根據(jù)權(quán)利要求1所述的網(wǎng)頁(yè)信息提取方法，其特征在于，在目標(biāo)頁(yè)面的HTML源文件中提取與頁(yè)面解析模板預(yù)定義的目標(biāo)字段相匹配的頁(yè)面信息具體包括：采用DOM技術(shù)讀取定制的頁(yè)面解析模板，并遍歷頁(yè)面解析模板中包括的節(jié)點(diǎn)，在目標(biāo)頁(yè)面的HTML源文件中匹配目標(biāo)字段，提出與目標(biāo)字段相匹配的頁(yè)面信息，并保存到臨時(shí)表中。

7.一種基于http協(xié)議的網(wǎng)頁(yè)信息提取裝置，其特征在于，包括：

模板生成模塊，用于根據(jù)要提取信息的目標(biāo)頁(yè)面，定制相應(yīng)的頁(yè)面解析模板，并在頁(yè)面解析模板中預(yù)定義目標(biāo)字段和校驗(yàn)規(guī)則；

網(wǎng)頁(yè)地址解析模塊，其用于解析目標(biāo)頁(yè)面的網(wǎng)頁(yè)地址，獲取目標(biāo)頁(yè)面的HTML源文件；

信息提取模塊，其用于讀取并解析目標(biāo)頁(yè)面的HTML源文件，在目標(biāo)頁(yè)面的HTML源文件中提取與頁(yè)面解析模板預(yù)定義的目標(biāo)字段相匹配的頁(yè)面信息；

信息校驗(yàn)?zāi)K，其用于校驗(yàn)所述信息提取模塊提取出的頁(yè)面信息是否符合需求；

信息保存模塊，其用于保存經(jīng)信息校驗(yàn)后的頁(yè)面信息。

8.根據(jù)權(quán)利要求7所述的網(wǎng)頁(yè)信息提取裝置，其特征在于，所述信息保存模塊采用數(shù)據(jù)庫(kù)服務(wù)器。