[發明專利]網頁鏈接抽取方法及系統

有效

• 申請號: 202010074980.5
• 申請日: 2020-01-22
• 公開（公告）號: CN111291288B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 沈鵬;李國輝;李凱
• 申請（專利權）人: 奇安信科技集團股份有限公司;奇安信網神信息技術（北京）股份有限公司
• 主分類號: G06F16/955
• 分類號: G06F16/955
• 代理公司: 北京英特普羅知識產權代理有限公司 11015
• 代理人: 鄧應山

1.一種網頁鏈接抽取方法，其特征在于，包括：

加載目標站點的待訪問地址，以得到目標頁面；

從所述目標頁面中獲取頁面源碼，解析所述頁面源碼，以獲取第一鏈接；

根據加載所述待訪問地址時所述目標頁面中的第一腳本文件發起的第一鏈接請求，獲取第二鏈接；

針對所述目標頁面生成模擬動作指令；

接收所述模擬動作指令，根據所述模擬動作指令觸發所述目標頁面中的第二腳本文件，以獲取第三鏈接；

對所述第一鏈接、第二鏈接以及第三鏈接去重，以得到目標鏈接；

其中，所述根據加載所述待訪問地址時第一腳本文件發起的第一鏈接請求，獲取第二鏈接包括：

監聽加載所述待訪問地址時執行所述第一腳本文件返回的第一事件；

記錄所述第一事件發起的第一鏈接請求；

獲取所述待訪問地址加載完成后根據所述第一鏈接請求發起的第二鏈接；

其中，所述接收所述模擬動作指令，根據所述模擬動作指令觸發所述目標頁面中的第二腳本文件，以獲取第三鏈接還包括：

根據預設的至少一個元素標簽從所述目標頁面中獲取對應的網頁元素；

從所述網頁元素中篩選出綁定所述第二腳本文件的網頁元素；

通過所述綁定第二腳本文件的網頁元素對應的第二事件，調用相應的模擬觸發第二事件的策略；

根據所述模擬觸發第二事件的策略觸發所述目標頁面中對應的第二腳本文件；

監聽觸發所述目標頁面中對應的所述第二腳本文件返回的第二事件；

記錄所述第二事件發起的第二鏈接請求；

獲取根據所述第二鏈接請求發起的第三鏈接。

2.根據權利要求1所述的網頁鏈接抽取方法，其特征在于，所述解析所述頁面源碼，以獲取第一鏈接還包括：

根據所述頁面源碼的類型選擇相應的解析庫；

通過所述解析庫解析所述頁面源碼，以獲取頁面源碼的內容；

從所述解析庫中獲取多個關鍵標簽；

在所述頁面源碼的內容中查詢所述多個關鍵標簽，根據所述多個關鍵標簽抽取對應的鏈接字段；

根據所述鏈接字段獲取對應的第一鏈接。

3.根據權利要求2所述的網頁鏈接抽取方法，其特征在于，所述根據所述鏈接字段獲取對應的第一鏈接還包括：

當所述鏈接字段不符合預設的鏈接格式時，通過預設的組合規則對鏈接字段進行組合，以生成對應的第一鏈接。

4.根據權利要求1所述的網頁鏈接抽取方法，其特征在于，所述對所述第一鏈接、第二鏈接以及第三鏈接去重，以得到目標鏈接還包括：

分別獲取所述第一鏈接、第二鏈接以及第三鏈接中的多個參數；

根據預設的排序規則分別對所述第一鏈接、第二鏈接以及第三鏈接中的多個參數進行排序，以得到對應的排序后的第一鏈接、第二鏈接以及第三鏈接，所述排序后的第一鏈接、第二鏈接以及第三鏈接均包括對應的多個參數的新排列組合；

根據所述排序后的第一鏈接、第二鏈接以及第三鏈接對應的多個參數的新排列組合去重，以得到目標鏈接。

5.根據權利要求1所述的網頁鏈接抽取方法，其特征在于，所述加載目標站點的待訪問地址，以得到目標頁面還包括：

通過無頭瀏覽器接收并解析所述待訪問地址，以得到網頁語言文本；

解析所述網頁語言文本，以構建文檔對象樹；

對所述文檔對象樹進行渲染，以得到所述目標頁面。