[發明專利]網頁信息獲得方法及系統

有效

• 申請號: 201710157301.9
• 申請日: 2017-03-16
• 公開（公告）號: CN106951505B
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 李天與;劉海龍;郗家貞
• 申請（專利權）人: 北京搜狐新媒體信息技術有限公司
• 主分類號: G06F16/954
• 分類號: G06F16/954;G06F16/953;G06F16/955
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

1.一種網頁信息獲得方法，其特征在于，所述方法包括：

獲得用戶輸入的網頁關鍵詞；

通過搜索引擎對所述網頁關鍵詞進行檢索，獲得與該網頁關鍵詞對應的多個網頁的網絡鏈接；

通過所述網絡鏈接獲得所述多個網頁的網頁源代碼；

對所述網頁源代碼進行分析處理，從所述網頁源代碼中獲得正文網頁列表頁的網絡鏈接，包括：

對所述網頁源代碼進行分析處理，獲得網頁的文檔對象模型HTML DOM；

對所述HTML DOM中的所有節點進行遍歷，獲得網頁的導航欄標簽列表，其中，所述導航欄標簽列表中各導航欄標簽依次排列；

將所述導航欄標簽列表中的倒數第二個導航欄標簽對應的網絡鏈接確定為該網頁對應的正文網頁列表頁的網絡鏈接;

所述對所述HTML DOM中的所有節點進行遍歷，獲得網頁的導航欄標簽列表，包括：

對網頁的文檔對象模型HTML DOM中的所有節點進行遍歷，獲得網頁的導航欄標簽列表，包括：判斷所述HTML DOM中的body節點是否存在子節點，如果存在，則將所述body節點的一個子節點確定為當前節點；

判斷當前節點的文本text中是否包含有導航欄的間隔符，如果包含有導航欄的間隔符，則判斷當前節點是否存在未遍歷的兄弟節點；如果不包含有導航欄的間隔符，則將所述body節點的另一子節點確定為當前節點并返回執行所述判斷當前節點的text中是否包含有導航欄的間隔符的步驟；

如果存在未遍歷的兄弟節點，則將當前節點的未遍歷的兄弟節點確定為當前節點并判斷當前節點是否具有預設的標簽特征，如果具有預設的標簽特征，則將當前節點放入網頁的導航欄標簽列表中并返回執行所述判斷當前節點是否存在未遍歷的兄弟節點的步驟；如果不具有預設的標簽特征，則返回執行所述判斷當前節點是否存在未遍歷的兄弟節點的步驟；

如果不存在未遍歷的兄弟節點，則判斷是否已對所述body節點的所有子節點進行遍歷，如果已對所述body節點的所有子節點進行遍歷，則確定放入網頁的導航欄標簽列表中的節點即為網頁的導航欄標簽列表中的全部節點；如果未對所述body節點的所有子節點進行遍歷，則將所述body節點的另一子節點確定為當前節點并返回執行所述判斷當前節點的text中是否包含有導航欄的間隔符的步驟。

2.根據權利要求1所述的方法，其特征在于，在所述通過所述網絡鏈接獲得所述多個網頁的網頁源代碼之前，所述方法還包括：

從所述網絡鏈接中選出正文網頁的網絡鏈接；

所述通過所述網絡鏈接獲得所述多個網頁的網頁源代碼，包括：通過所述正文網頁的網絡鏈接獲得所述正文網頁的網頁源代碼。

3.根據權利要求1所述的方法，其特征在于，所述預設的標簽特征，包括如下特征中的任意個：

位于標題上方；

與導航鏈接之間設置有標識符；

具有標簽形式。