[發(fā)明專利]一種用于處理頁面數(shù)據(jù)的方法與設(shè)備

有效

• 申請?zhí)枺?/td>: 201310177865.0
• 申請日: 2013-05-14
• 公開（公告）號: CN103294781A
• 公開（公告）日: 2013-09-11
• 發(fā)明（設(shè)計）人: 羅威;陳銘敏;鄧天生
• 申請（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京漢昊知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11370
• 代理人: 羅朋;周建華

技術(shù)領(lǐng)域

本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及一種用于處理頁面數(shù)據(jù)的技術(shù)。

背景技術(shù)

互聯(lián)網(wǎng)的飛速發(fā)展為人們提供了大量的信息和資源，人們通常利用搜索引擎從海量互聯(lián)網(wǎng)信息中進行信息搜索，如通過搜索引擎經(jīng)網(wǎng)絡(luò)爬蟲抓取網(wǎng)頁。然而，搜索引擎抓取到的網(wǎng)頁中的頁面數(shù)據(jù)通常需要被處理以滿足特定需要，如提取網(wǎng)頁中符合需要的頁面數(shù)據(jù)如頁面結(jié)構(gòu)化數(shù)據(jù)等、對提取的頁面數(shù)據(jù)進行數(shù)據(jù)分析等方面。現(xiàn)有的通過為每個站點單獨配置提取器(wrapper)來提取網(wǎng)頁中的頁面數(shù)據(jù)，而不同類型的頁面如小說、新聞、論壇等包括多個站點，對于相同頁面類型的不同站點，需為其配置不同的提取器，該以站點為粒度配置提取器的方法不僅無法兼容新的站點，穩(wěn)定性較差，而且需要花費大量人力物力成本，還降低了提取頁面數(shù)據(jù)的效率。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種用于處理頁面數(shù)據(jù)的方法與設(shè)備。

根據(jù)本發(fā)明的一個方面，提供了一種用于處理頁面數(shù)據(jù)的方法，其中，該方法包括以下步驟：

a獲取待處理的目標(biāo)頁面；

b根據(jù)與所述目標(biāo)頁面的頁面類型相對應(yīng)的多個屬性分類模型，確定所述目標(biāo)頁面中的頁面節(jié)點的節(jié)點屬性信息；

c根據(jù)所述節(jié)點屬性信息，對所述頁面節(jié)點進行相應(yīng)的數(shù)據(jù)處理。

根據(jù)本發(fā)明的另一個方面，還提供了一種用于處理頁面數(shù)據(jù)的處理設(shè)備，其中，該處理設(shè)備包括：

頁面獲取裝置，用于獲取待處理的目標(biāo)頁面；

節(jié)點屬性確定裝置，用于根據(jù)與所述目標(biāo)頁面的頁面類型相對應(yīng)的多個屬性分類模型，確定所述目標(biāo)頁面中的頁面節(jié)點的節(jié)點屬性信息；

處理裝置，用于根據(jù)所述節(jié)點屬性信息，對所述頁面節(jié)點進行相應(yīng)的數(shù)據(jù)處理。

根據(jù)本發(fā)明的又一個方面，還提供了一種計算機設(shè)備，包括前述根據(jù)本發(fā)明另一個方面的用于處理頁面數(shù)據(jù)的處理設(shè)備。

根據(jù)本發(fā)明的又一個方面，還提供了一種搜索引擎，包括如前述根據(jù)本發(fā)明另一個方面的用于處理頁面數(shù)據(jù)的處理設(shè)備。

根據(jù)本發(fā)明的再一個方面，還提供了一種搜索引擎插件，包括如前述根據(jù)本發(fā)明另一個方面的用于處理頁面數(shù)據(jù)的處理設(shè)備。

根據(jù)本發(fā)明的還一個方面，還提供了一種瀏覽器，包括如前述根據(jù)本發(fā)明另一個方面的用于處理頁面數(shù)據(jù)的處理設(shè)備。

根據(jù)本發(fā)明的還一個方面，還提供了一種瀏覽器插件，包括如前述根據(jù)本發(fā)明另一個方面的用于處理頁面數(shù)據(jù)的處理設(shè)備。

與現(xiàn)有技術(shù)相比，本發(fā)明通過根據(jù)與待處理的目標(biāo)頁面的頁面類型相對應(yīng)的多個屬性分類模型，確定所述目標(biāo)頁面中的頁面節(jié)點的節(jié)點屬性信息，進而根據(jù)所述節(jié)點屬性信息，對所述頁面節(jié)點進行相應(yīng)的數(shù)據(jù)處理，實現(xiàn)了根據(jù)頁面類型對應(yīng)的多個屬性分類模型來提取頁面數(shù)據(jù)，不依賴于頁面類型的站點數(shù)，提高了提取頁面數(shù)據(jù)的效率。而且，本發(fā)明還可根據(jù)與訓(xùn)練頁面的頁面類型相對應(yīng)的屬性分類模型，確定與所述訓(xùn)練頁面的頁面類型相對應(yīng)的頁面結(jié)構(gòu)模板，以根據(jù)與所述目標(biāo)頁面所對應(yīng)的頁面類型相對應(yīng)的頁面結(jié)構(gòu)模板，生成所述目標(biāo)頁面所對應(yīng)的摘要數(shù)據(jù)，從而進一步地優(yōu)化目標(biāo)頁面的摘要數(shù)據(jù)并提升用戶獲取信息的效率。此外，本發(fā)明還可根據(jù)所述節(jié)點屬性信息，提取所述頁面節(jié)點中與所述節(jié)點屬性信息相對應(yīng)的頁面數(shù)據(jù)，以獲得所述目標(biāo)頁面所對應(yīng)的頁面數(shù)據(jù)，并將其作為頁面優(yōu)選信息提供給訪問所述目標(biāo)頁面的目標(biāo)應(yīng)用，從而更近一步地提高了提取頁面數(shù)據(jù)的效率。

附圖說明

通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細(xì)描述，本發(fā)明的其它特征、目的和優(yōu)點將會變得更明顯：

圖1示出根據(jù)本發(fā)明一個方面的用于處理頁面數(shù)據(jù)的設(shè)備示意圖；

圖2示出根據(jù)本發(fā)明一個方面的用于處理頁面數(shù)據(jù)的根據(jù)節(jié)點屬性信息對頁面節(jié)點進行數(shù)據(jù)處理得到的頁面數(shù)據(jù)示意圖；

圖3示出根據(jù)本發(fā)明一個優(yōu)選實施例的用于處理頁面數(shù)據(jù)的設(shè)備示意圖；

圖4示出根據(jù)本發(fā)明另一個方面的用于處理頁面數(shù)據(jù)的方法流程圖；

圖5示出根據(jù)本發(fā)明一個優(yōu)選實施例的用于處理頁面數(shù)據(jù)的方法流程圖。

附圖中相同或相似的附圖標(biāo)記代表相同或相似的部件。

具體實施方式

下面結(jié)合附圖對本發(fā)明作進一步詳細(xì)描述。