[發明專利]網頁元素采集方法、裝置、終端與計算機可讀存儲介質

有效

• 申請號: 201710957272.4
• 申請日: 2017-10-16
• 公開（公告）號: CN107729475B
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 劉寶強;肖云飛
• 申請（專利權）人: 深圳視界信息技術有限公司
• 主分類號: G06F16/955
• 分類號: G06F16/955;G06F16/958
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 張海洋

一種網頁元素采集方法，包括：獲取用戶輸入的需要采集的網頁的網址，并在內置瀏覽器中打開所述網頁；獲取用戶點擊的網頁元素，顯示與所述用戶點擊的網頁元素對應的功能選項組；確定用戶選擇的功能選項；生成與所述網頁元素對應的Xpath路徑表達式，并生成與所述功能選項對應的執行步驟或執行與所述功能選項對應的操作。本發明提供的網頁元素采集方法、網頁元素采集裝置、終端與計算機可讀存儲介質，采用Xpath路徑表達式進行定位及面向用戶的選擇操作方式，降低非技術人員對于網頁數據的迅速采集的實現門檻。

技術領域

本發明屬于網絡通信技術領域，具體地來說，是一種網頁元素采集方法、裝置、終端與計算機可讀存儲介質。

背景技術

隨著互聯網的發展，特別是C2C電子商務的興起，個人網站和網店大量出現。個人站主或個人店主為了快速的實現網站數據或者填補商品信息的填充，開始越來越多的通過采集其它網站類似信息來填充自己網站或者店鋪。網頁數據采集成為一種應用日益廣泛的互聯網技術。

目前，網頁數據采集的通用做法是，通過網絡抓包的方式把整個網頁的源碼提取出來，然后分析網頁源碼，并通過正則表達式對網頁源碼進行匹配，最終得到想要的數據。

這種做法依賴于網頁源碼與正則表達式，屬于面向技術人員的實現方式。對于作為非技術人員的個人站長和個人店主而言，技術門檻很高，難以實現對于網頁數據的迅速采集。

發明內容

為了克服現有技術的不足，本發明提供了一種網頁元素采集方法、網頁元素采集裝置、終端與計算機可讀存儲介質，采用Xpath路徑表達式進行定位及面向用戶的選擇操作方式，降低非技術人員對于網頁數據的迅速采集的實現門檻。

本發明的目的通過以下技術方案來實現：

一種網頁元素采集方法，包括：

獲取用戶輸入的需要采集的網頁的網址，并在內置瀏覽器中打開所述網頁；

獲取用戶點擊的網頁元素，顯示與所述用戶點擊的網頁元素對應的功能選項組，所述功能選項組包括至少一個可供選擇的功能選項；

確定用戶選擇的功能選項；

生成與所述網頁元素對應的Xpath路徑表達式，并生成與所述功能選項對應的執行步驟或執行與所述功能選項對應的操作，所述執行步驟用于被執行而實現對所述用戶點擊的網頁元素的目標數據的采集，所述操作包括點擊所述用戶點擊的網頁元素和獲取用戶輸入的文本。

作為上述技術方案的改進，所述功能選項與所述用戶點擊的網頁元素所包含的標簽類型相適應，所述標簽類型包括a標簽、img標簽、input標簽和其他標簽，所述功能選項包括抓取所述網頁元素的文本、抓取所述網頁元素的InnerHtml、抓取所述網頁元素的OuterHtml、抓取所述網頁元素的超鏈接、抓取所述網頁元素的圖片地址、抓取所述網頁元素的Value值、循環遍歷下拉選項、點擊所述網頁元素與輸入文本中的一種或多種。

作為上述技術方案的進一步改進，當所述用戶點擊的網頁元素所包含的標簽類型為a標簽時，所述功能選項為所述抓取所述網頁元素的文本、所述抓取所述網頁元素的InnerHtml、所述抓取所述網頁元素的OuterHtml、所述抓取所述網頁元素的超鏈接與點擊所述網頁元素中的一種或多種。

作為上述技術方案的進一步改進，當所述用戶點擊的網頁元素所包含的標簽類型為img標簽時，所述功能選項為所述抓取該網頁元素的OuterHtml、所述抓取該網頁元素的圖片地址與所述點擊該網頁元素中的一種或多種。

作為上述技術方案的進一步改進，當所述用戶點擊的網頁元素所包含的標簽類型為input標簽時，所述功能選項組為所述抓取該網頁元素的OuterHtml、所述抓取該網頁元素的Value值”、所述點擊該網頁元素與所述輸入文本中的一種或多種；當所述用戶點擊的網頁元素所包含的標簽類型為select標簽時，所述功能選項為所述循環遍歷下拉選項。