[發明專利]一種基于圖像識別的網頁數據解析方法及系統

在審

• 申請號: 201911386811.9
• 申請日: 2019-12-29
• 公開（公告）號: CN111221893A
• 公開（公告）日: 2020-06-02
• 發明（設計）人: 李成廣
• 申請（專利權）人: 的盧技術有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/951
• 代理公司: 南京禹為知識產權代理事務所(特殊普通合伙) 32272
• 代理人: 王曉東

本發明公開了一種基于圖像識別的網頁數據解析方法及系統，包括以下步驟，安裝python開發模塊；通過所述python開發模塊安裝selenium庫和pytesseract庫；安裝瀏覽器并下載相應版本的瀏覽器驅動文件；利用所述selenium庫驅動所述瀏覽器訪問目標網站，并對目標數據進行截圖；通過所述pytesseract庫對截圖進行圖像識別；解析出所述目標數據，解決了現有技術中對動態加載HTML和加密HTML難解析的問題，完美規避了直接解析HTML而引發的難題。

技術領域

本發明涉及計算機數據內容提取的技術領域，尤其涉及一種基于圖像識別的網頁數據解析方法及系統。

背景技術

python是一種跨平臺的計算機程序設計語言，簡單易用，pyselenium是python語言實現的瀏覽器控制模塊，可以使用pyselenium驅動瀏覽器完成一系列操作，pytesseract是python的一個圖像識別庫，可以識別圖像上的文字。

現有的爬蟲技術方案是通過使用網絡請求庫請求目標網頁，拿到目標網頁的靜態頁面內容HTML后，再使用正則表達式或解析庫對HTML數據進行解析的。但現在大多數的網站都對爬蟲進行限制，一些反爬蟲措施如動態加載、數據加密，導致了傳統的爬蟲方案無法爬取到目標網站的數據。

發明內容

本部分的目的在于概述本發明的實施例的一些方面以及簡要介紹一些較佳實施例。在本部分以及本申請的說明書摘要和發明名稱中可能會做些簡化或省略以避免使本部分、說明書摘要和發明名稱的目的模糊，而這種簡化或省略不能用于限制本發明的范圍。

鑒于上述現有網站HTML內容解析技術存在的問題，提出了本發明。

因此，本發明解決的技術問題是：解決動態加載HTML和加密HTML難解析的問題。

為解決上述技術問題，本發明提供如下技術方案：一種基于圖像識別的網頁數據解析方法，包括以下步驟：安裝python開發模塊；通過所述python開發模塊安裝selenium庫和pytesseract庫；安裝瀏覽器并下載相應版本的瀏覽器驅動文件；利用所述selenium庫驅動所述瀏覽器訪問目標網站，并對目標數據進行截圖；通過所述pytesseract庫對截圖進行圖像識別；解析出所述目標數據。

作為本發明所述的基于圖像識別的網頁數據解析方法的一種優選方案，其中：所述python開發模塊選擇python3.5.4版本。

作為本發明所述的基于圖像識別的網頁數據解析方法的一種優選方案，其中：安裝所述selenium庫和所述pytesseract庫具體包括如下步驟，調用所述python開發模塊；終端輸入pip安裝命令；安裝所述selenium庫和所述pytesseract庫。

作為本發明所述的基于圖像識別的網頁數據解析方法的一種優選方案，其中：所述selenium庫選擇selenium3.14.1庫。

作為本發明所述的基于圖像識別的網頁數據解析方法的一種優選方案，其中：所述pytesseract庫選擇pytesseract0.3.0庫。

作為本發明所述的基于圖像識別的網頁數據解析方法的一種優選方案，其中：所述瀏覽器選擇79.0.3945.36版本谷歌瀏覽器，并下載相應驅動文件。

為解決上述技術問題，本發明還提供如下技術方案：一種基于圖像識別的網頁數據解析系統，包括安裝模塊，所述安裝模塊用于安裝python開發模塊、selenium庫、pytesseract庫、瀏覽器及瀏覽器驅動文件；控制模塊，所述控制模塊(200)使用所述selenium庫和所述pytesseract庫的功能組合編寫完成所述瀏覽器的控制、截圖和OCR識別解析目標數據。