[發(fā)明專利]一種基于中間人的互聯(lián)網(wǎng)數(shù)據(jù)采集方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201910909270.7
• 申請日: 2019-09-25
• 公開（公告）號: CN110781367B
• 公開（公告）日: 2023-10-20
• 發(fā)明（設計）人: 程學旗;史存會;胡耀康;朱運昌;俞曉明;劉悅
• 申請（專利權(quán)）人: 中國科學院計算技術(shù)研究所
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/955
• 代理公司: 北京律誠同業(yè)知識產(chǎn)權(quán)代理有限公司 11006
• 代理人: 祁建國;張燕華

1.一種基于中間人的互聯(lián)網(wǎng)數(shù)據(jù)采集方法，其特征在于，包括：

步驟1、通過安裝中間人代理證書至網(wǎng)頁信息采集設備，建立該網(wǎng)頁信息采集設備的中間人，該網(wǎng)頁信息采集設備訪問互聯(lián)網(wǎng)中網(wǎng)頁信息時，中間人代理該網(wǎng)頁信息采集設備的全部網(wǎng)絡流量；

步驟2、該中間人獲取包含待采集網(wǎng)頁URL正則表達式的采集任務，捕獲該全部網(wǎng)絡流量中符合該URL正則表達式的流量，作為中間流量，并將該采集任務注入該中間流量的HTML頁面中，得到待解析頁面并將其存入第一數(shù)據(jù)庫；

步驟3、解析模塊根據(jù)該第一數(shù)據(jù)庫中待解析頁面的URL信息，將待解析頁面分發(fā)給解析器實例進行解析，從中獲取包含結(jié)構(gòu)化數(shù)據(jù)的網(wǎng)頁采集結(jié)果并將其存入第二數(shù)據(jù)庫。

2.如權(quán)利要求1所述的基于中間人的互聯(lián)網(wǎng)數(shù)據(jù)采集方法，其特征在于，該步驟2包括：該中間人根據(jù)該網(wǎng)頁信息采集設備配置的HTTPS安全證書，對該網(wǎng)絡流量中加密內(nèi)容進行解密。

3.如權(quán)利要求1所述的基于中間人的互聯(lián)網(wǎng)數(shù)據(jù)采集方法，其特征在于，步驟2中該采集任務的生成過程包括：根據(jù)預先配置的種子信息生成該采集任務，或者根據(jù)采集得到的網(wǎng)頁采集結(jié)果生成新的該采集任務。

4.如權(quán)利要求1所述的基于中間人的互聯(lián)網(wǎng)數(shù)據(jù)采集方法，其特征在于，步驟2包括：根據(jù)配置的URL正則表達式對部分HTTP/HTTPS請求進行攔截，返回空內(nèi)容，以提高采集效率。

5.如權(quán)利要求1所述的基于中間人的互聯(lián)網(wǎng)數(shù)據(jù)采集方法，其特征在于，步驟2中該采集任務包括：HTML頁面采集任務和動態(tài)內(nèi)容采集任務；該HTML頁面采集任務包括跳轉(zhuǎn)代碼，跳轉(zhuǎn)到下次要采集的URL；該動態(tài)內(nèi)容采集任務不僅包括跳轉(zhuǎn)代碼，還包括使用JavaScript代碼獲取相應的接口參數(shù)以及用被采集頁面的JavaScript代碼。

6.一種基于中間人的互聯(lián)網(wǎng)數(shù)據(jù)采集系統(tǒng)，其特征在于，包括：

模塊1、通過安裝中間人代理證書至網(wǎng)頁信息采集設備，建立該網(wǎng)頁信息采集設備的中間人，該網(wǎng)頁信息采集設備訪問互聯(lián)網(wǎng)中網(wǎng)頁信息時，中間人代理該網(wǎng)頁信息采集設備的全部網(wǎng)絡流量；

模塊2、該中間人獲取包含待采集網(wǎng)頁URL正則表達式的采集任務，捕獲該全部網(wǎng)絡流量中符合該URL正則表達式的流量，作為中間流量，并將該采集任務注入該中間流量的HTML頁面中，得到待解析頁面并將其存入第一數(shù)據(jù)庫；

模塊3、解析模塊根據(jù)該第一數(shù)據(jù)庫中待解析頁面的URL信息，將待解析頁面分發(fā)給解析器實例進行解析，從中獲取包含結(jié)構(gòu)化數(shù)據(jù)的網(wǎng)頁采集結(jié)果并將其存入第二數(shù)據(jù)庫。

7.如權(quán)利要求6所述的基于中間人的互聯(lián)網(wǎng)數(shù)據(jù)采集系統(tǒng)，其特征在于，該模塊2包括：該中間人根據(jù)該網(wǎng)頁信息采集設備配置的HTTPS安全證書，對該網(wǎng)絡流量中加密內(nèi)容進行解密。

8.如權(quán)利要求6所述的基于中間人的互聯(lián)網(wǎng)數(shù)據(jù)采集系統(tǒng)，其特征在于，模塊2中該采集任務的生成過程包括：根據(jù)預先配置的種子信息生成該采集任務，或者根據(jù)采集得到的網(wǎng)頁采集結(jié)果生成新的該采集任務。

9.如權(quán)利要求6所述的基于中間人的互聯(lián)網(wǎng)數(shù)據(jù)采集系統(tǒng)，其特征在于，模塊2包括：根據(jù)配置的URL正則表達式對部分HTTP/HTTPS請求進行攔截，返回空內(nèi)容，以提高采集效率。

10.如權(quán)利要求6所述的基于中間人的互聯(lián)網(wǎng)數(shù)據(jù)采集系統(tǒng)，其特征在于，模塊2中該采集任務包括：HTML頁面采集任務和動態(tài)內(nèi)容采集任務；該HTML頁面采集任務包括跳轉(zhuǎn)代碼，跳轉(zhuǎn)到下次要采集的URL；該動態(tài)內(nèi)容采集任務不僅包括跳轉(zhuǎn)代碼，還包括使用JavaScript代碼獲取相應的接口參數(shù)以及用被采集頁面的JavaScript代碼。