[發(fā)明專利]網(wǎng)頁信息獲得方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710157301.9
• 申請(qǐng)日: 2017-03-16
• 公開（公告）號(hào): CN106951505B
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計(jì)）人: 李天與;劉海龍;郗家貞
• 申請(qǐng)（專利權(quán)）人: 北京搜狐新媒體信息技術(shù)有限公司
• 主分類號(hào): G06F16/954
• 分類號(hào): G06F16/954;G06F16/953;G06F16/955
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王寶筠

本發(fā)明實(shí)施例提供了一種網(wǎng)頁信息獲得方法及裝置，可以獲得用戶輸入的網(wǎng)頁關(guān)鍵詞，通過搜索引擎對(duì)所述網(wǎng)頁關(guān)鍵詞進(jìn)行檢索，獲得與該網(wǎng)頁關(guān)鍵詞對(duì)應(yīng)的多個(gè)網(wǎng)頁的網(wǎng)絡(luò)鏈接，通過所述網(wǎng)絡(luò)鏈接獲得所述多個(gè)網(wǎng)頁的網(wǎng)頁源代碼，對(duì)所述網(wǎng)頁源代碼進(jìn)行分析處理，從所述網(wǎng)頁源代碼中獲得正文網(wǎng)頁列表頁的網(wǎng)絡(luò)鏈接。可見，本發(fā)明實(shí)現(xiàn)了正文網(wǎng)頁列表頁的自動(dòng)獲取，可以快速、準(zhǔn)確的獲得大量網(wǎng)站的正文網(wǎng)頁列表頁。

技術(shù)領(lǐng)域

本發(fā)明涉及信息處理技術(shù)領(lǐng)域，特別是涉及網(wǎng)頁信息獲得方法及系統(tǒng)。

背景技術(shù)

新聞是互聯(lián)網(wǎng)信息的主要承載體，從各大門戶、媒體等新聞生產(chǎn)者處獲取新聞后，可以對(duì)其進(jìn)行研究，從而得出互聯(lián)網(wǎng)信息的某些特征及趨勢。

為了獲取大量的新聞，需要對(duì)新聞列表頁進(jìn)行監(jiān)控。現(xiàn)有技術(shù)下需要通過人工尋找各大門戶、媒體的新聞列表頁，無法快速、準(zhǔn)確的獲得大量網(wǎng)站的新聞列表頁。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種網(wǎng)頁信息獲得方法及系統(tǒng)，以實(shí)快速、準(zhǔn)確的獲得大量網(wǎng)站的新聞列表頁。具體技術(shù)方案如下：

一種網(wǎng)頁信息獲得方法，包括：

獲得用戶輸入的網(wǎng)頁關(guān)鍵詞；

通過搜索引擎對(duì)所述網(wǎng)頁關(guān)鍵詞進(jìn)行檢索，獲得與該網(wǎng)頁關(guān)鍵詞對(duì)應(yīng)的多個(gè)網(wǎng)頁的網(wǎng)絡(luò)鏈接；

通過所述網(wǎng)絡(luò)鏈接獲得所述多個(gè)網(wǎng)頁的網(wǎng)頁源代碼；

對(duì)所述網(wǎng)頁源代碼進(jìn)行分析處理，從所述網(wǎng)頁源代碼中獲得正文網(wǎng)頁列表頁的網(wǎng)絡(luò)鏈接。

可選的，在所述通過所述網(wǎng)絡(luò)鏈接獲得所述多個(gè)網(wǎng)頁的網(wǎng)頁源代碼之前，所述方法還包括：

從所述網(wǎng)絡(luò)鏈接中選出正文網(wǎng)頁的網(wǎng)絡(luò)鏈接；

所述通過所述網(wǎng)絡(luò)鏈接獲得所述多個(gè)網(wǎng)頁的網(wǎng)頁源代碼，包括：通過所述正文網(wǎng)頁的網(wǎng)絡(luò)鏈接獲得所述正文網(wǎng)頁的網(wǎng)頁源代碼。

可選的，所述對(duì)所述網(wǎng)頁源代碼進(jìn)行分析處理，從所述網(wǎng)頁源代碼中獲得正文網(wǎng)頁列表頁的網(wǎng)絡(luò)鏈接，包括：

對(duì)所述網(wǎng)頁源代碼進(jìn)行分析處理，獲得網(wǎng)頁的文檔對(duì)象模型HTML DOM；

對(duì)所述HTML DOM中的所有節(jié)點(diǎn)進(jìn)行遍歷，獲得網(wǎng)頁的導(dǎo)航欄標(biāo)簽列表，其中，所述導(dǎo)航欄標(biāo)簽列表中各導(dǎo)航欄標(biāo)簽依次排列；

將所述導(dǎo)航欄標(biāo)簽列表中的倒數(shù)第二個(gè)導(dǎo)航欄標(biāo)簽對(duì)應(yīng)的網(wǎng)絡(luò)鏈接確定為該網(wǎng)頁對(duì)應(yīng)的正文網(wǎng)頁列表頁的網(wǎng)絡(luò)鏈接。

可選的，所述對(duì)所述HTML DOM中的所有節(jié)點(diǎn)進(jìn)行遍歷，獲得網(wǎng)頁的導(dǎo)航欄標(biāo)簽列表，包括：

判斷所述HTML DOM中的body節(jié)點(diǎn)是否存在子節(jié)點(diǎn)，如果存在，則將所述body節(jié)點(diǎn)的一個(gè)子節(jié)點(diǎn)確定為當(dāng)前節(jié)點(diǎn)；

判斷當(dāng)前節(jié)點(diǎn)的文本text中是否包含有導(dǎo)航欄的間隔符，如果包含有導(dǎo)航欄的間隔符，則判斷當(dāng)前節(jié)點(diǎn)是否存在未遍歷的兄弟節(jié)點(diǎn)；如果不包含有導(dǎo)航欄的間隔符，則將所述body節(jié)點(diǎn)的另一子節(jié)點(diǎn)確定為當(dāng)前節(jié)點(diǎn)并返回執(zhí)行所述判斷當(dāng)前節(jié)點(diǎn)的text中是否包含有導(dǎo)航欄的間隔符的步驟；

如果存在未遍歷的兄弟節(jié)點(diǎn)，則將當(dāng)前節(jié)點(diǎn)的未遍歷的兄弟節(jié)點(diǎn)確定為當(dāng)前節(jié)點(diǎn)并判斷當(dāng)前節(jié)點(diǎn)是否具有預(yù)設(shè)的標(biāo)簽特征，如果具有預(yù)設(shè)的標(biāo)簽特征，則將當(dāng)前節(jié)點(diǎn)放入網(wǎng)頁的導(dǎo)航欄標(biāo)簽列表中并返回執(zhí)行所述判斷當(dāng)前節(jié)點(diǎn)是否存在未遍歷的兄弟節(jié)點(diǎn)的步驟；如果不具有預(yù)設(shè)的標(biāo)簽特征，則返回執(zhí)行所述判斷當(dāng)前節(jié)點(diǎn)是否存在未遍歷的兄弟節(jié)點(diǎn)的步驟；