[發明專利]一種基于中間人的互聯網數據采集方法及系統

有效

• 申請號: 201910909270.7
• 申請日: 2019-09-25
• 公開（公告）號: CN110781367B
• 公開（公告）日: 2023-10-20
• 發明（設計）人: 程學旗;史存會;胡耀康;朱運昌;俞曉明;劉悅
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/955
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國;張燕華

本發明提出一種基于中間人的互聯網數據采集方法及系統，包括：通過安裝中間人代理證書至網頁信息采集設備，建立網頁信息采集設備的中間人，網頁信息采集設備訪問互聯網中網頁信息時，中間人代理網頁信息采集設備的全部網絡流量；中間人獲取包含待采集網頁URL正則表達式的采集任務，捕獲全部網絡流量中符合URL正則表達式的流量，作為中間流量，并將采集任務注入中間流量的HTML頁面中，得到待解析頁面并將其存入第一數據庫；解析模塊根據第一數據庫中待解析頁面的URL信息，將待解析頁面分發給解析器實例進行解析，從中獲取包含結構化數據的網頁采集結果并將其存入第二數據庫。本發明能夠支持所有依靠集成瀏覽器內核功能來提供信息的應用的數據采集。

技術領域

本發明涉及網絡爬蟲領域，具體涉及一種基于“中間人攻擊”的數據采集方法及系統，能夠對不同的應用程序以中間人代理修改流量數據攻擊的方式不斷注入不同的任務代碼來完成對不同的頁面的請求，并獲取相關數據。

背景技術

網絡爬蟲能夠有效使用現有的各種資源自動抓取互聯網中大量網頁信息的程序，有時也被叫成“網絡蜘蛛(Spider)”。但是隨著移動互聯網的普及，更多的流量直接通過各種不同的終端應用進行分發，并不提供WEB訪問或WEB訪問會有部分數據受限，這樣便給數據采集帶來了極大的困難。

由網絡爬蟲爬取過程中需要獲取請求URL、發送WEB請求下載頁面、從網頁中解析結構化數據、重復數據過濾和種子任務處理，共計5個環節，每個環節消耗資源各不相同，且每個環節出現問題都會影響整個爬蟲系統效率及穩定性。另外，隨著互聯網技術的日新月異，越來越多的信息不可通過傳統的WEB渠道獲取的信息越來越多，大量的信息近通過特定的應用程序傳播，典型的如移動資訊應用等，而且其中大量的數據均為異步請求，以及使用HTTPS的加密數據，目前缺少一種兼容各種應用、各類數據的通用數據采集系統。

發明內容

針對現有技術的不足，本發明提出一種基于中間人的互聯網數據采集方法，其中包括：

步驟1、通過安裝中間人代理證書至網頁信息采集設備，建立該網頁信息采集設備的中間人，該網頁信息采集設備訪問互聯網中網頁信息時，中間人代理該網頁信息采集設備的全部網絡流量；

步驟2、該中間人獲取包含待采集網頁URL正則表達式的采集任務，捕獲該全部網絡流量中符合該URL正則表達式的流量，作為中間流量，并將該采集任務注入該中間流量的HTML頁面中，得到待解析頁面并將其存入第一數據庫；

步驟3、解析模塊根據該第一數據庫中待解析頁面的URL信息，將待解析頁面分發給解析器實例進行解析，從中獲取包含結構化數據的網頁采集結果并將其存入第二數據庫。

所述的基于中間人的互聯網數據采集方法，其中該步驟2包括：該中間人根據該網頁信息采集設備配置的HTTPS安全證書，對該網絡流量中加密內容進行解密。

所述的基于中間人的互聯網數據采集方法，其中步驟2中該采集任務的生成過程包括：根據預先配置的種子信息生成該采集任務，或者根據采集得到的網頁采集結果生成新的該采集任務。

所述的基于中間人的互聯網數據采集方法，其中步驟2包括：根據配置的URL正則表達式對部分HTTP/HTTPS請求進行攔截，返回空內容，以提高采集效率。

所述的基于中間人的互聯網數據采集方法，其中步驟2中該采集任務包括：HTML頁面采集任務和動態內容采集任務；該HTML頁面采集任務包括跳轉代碼，跳轉到下次要采集的URL；該動態內容采集任務不僅包括跳轉代碼，還包括使用JavaScript代碼獲取相應的接口參數以及用被采集頁面的JavaScript代碼。

本發明還提出了一種基于中間人的互聯網數據采集系統，其中包括：

模塊1、通過安裝中間人代理證書至網頁信息采集設備，建立該網頁信息采集設備的中間人，該網頁信息采集設備訪問互聯網中網頁信息時，中間人代理該網頁信息采集設備的全部網絡流量；