[發(fā)明專利]一種數(shù)據(jù)采集方法、裝置、可讀介質(zhì)及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 201811633366.7
• 申請日: 2018-12-29
• 公開（公告）號: CN109862074B
• 公開（公告）日: 2022-03-25
• 發(fā)明（設(shè)計）人: 李海威;馬航洲;樸紅吉
• 申請（專利權(quán)）人: 醫(yī)渡云（北京）技術(shù)有限公司;金色熊貓有限公司
• 主分類號: H04L67/02
• 分類號: H04L67/02;H04L67/60
• 代理公司: 北京嘉科知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11687
• 代理人: 劉力

1.一種數(shù)據(jù)采集方法，其特征在于，包括：

監(jiān)聽并記錄指定終端向目標(biāo)業(yè)務(wù)系統(tǒng)發(fā)送的第一超文本傳輸協(xié)議HTTP請求，所述第一HTTP請求包括瀏覽器中JS代碼發(fā)起的隱藏的HTTP請求，所述第一HTTP請求中攜帶所述目標(biāo)業(yè)務(wù)系統(tǒng)下承載業(yè)務(wù)數(shù)據(jù)的真實統(tǒng)一資源定位符URL；

根據(jù)記錄的所述第一HTTP請求模擬客戶端程序；

通過模擬的所述客戶端程序向所述目標(biāo)業(yè)務(wù)系統(tǒng)發(fā)送第二HTTP請求，接收所述目標(biāo)業(yè)務(wù)系統(tǒng)根據(jù)所述第二HTTP請求提供的第一反饋信息，所述第二HTTP請求與記錄的所述第一HTTP請求具有相同的請求規(guī)則且攜帶相同的請求內(nèi)容；其中，所述第一反饋信息包括至少一個下級URL；

采用深度優(yōu)先搜索方式或廣度優(yōu)先搜索方式對所述第一反饋信息進(jìn)行動態(tài)嗅探以提取所述目標(biāo)業(yè)務(wù)系統(tǒng)下的業(yè)務(wù)數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)采集方法，其特征在于，

所述采用深度優(yōu)先搜索方式或廣度優(yōu)先搜索方式對所述第一反饋信息進(jìn)行動態(tài)嗅探以提取所述目標(biāo)業(yè)務(wù)系統(tǒng)下的業(yè)務(wù)數(shù)據(jù)，包括：

采用深度優(yōu)先搜索方式或廣度優(yōu)先搜索方式，對所述第一反饋信息進(jìn)行動態(tài)嗅探以確定所述第一反饋信息中承載數(shù)據(jù)的至少一個下級URL；

通過模擬的所述客戶端程序向所述目標(biāo)業(yè)務(wù)系統(tǒng)發(fā)送攜帶所述下級URL的第三HTTP請求，接收所述目標(biāo)業(yè)務(wù)系統(tǒng)根據(jù)所述第三HTTP請求提供的第二反饋信息；

對所述第二反饋信息進(jìn)行動態(tài)嗅探以提取所述第二反饋信息中攜帶的所述目標(biāo)業(yè)務(wù)系統(tǒng)下的業(yè)務(wù)數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)采集方法，其特征在于，

還包括：預(yù)先設(shè)置最小延遲時間和最大延遲時間；

則，

所述通過模擬的所述客戶端程序向所述目標(biāo)業(yè)務(wù)系統(tǒng)發(fā)送攜帶所述下級URL的第三HTTP請求，包括：

A1、從確定的各個所述下級URL中選擇一個未被選擇過的所述下級URL；

A2、通過模擬的所述客戶端程序向所述目標(biāo)業(yè)務(wù)系統(tǒng)發(fā)送攜帶選擇的所述下級URL的第三HTTP請求；

A3、檢測是否存在未被選擇過的所述下級URL，如果是，則執(zhí)行A4；否則，結(jié)束當(dāng)前流程；

A4、生成不小于所述最小延遲時間且不大于所述最大延遲時間的隨機(jī)延遲時間，并在所述隨機(jī)延遲之間之后執(zhí)行A1。

4.根據(jù)權(quán)利要求2所述的數(shù)據(jù)采集方法，其特征在于，

還包括：根據(jù)預(yù)設(shè)的至少一個過濾字段對提取的所述業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，

還包括：利用進(jìn)行數(shù)據(jù)清洗后的所述業(yè)務(wù)數(shù)據(jù)形成對應(yīng)于所述下級URL的XML文件。

6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)采集方法，其特征在于，

所述監(jiān)聽并記錄指定終端向目標(biāo)業(yè)務(wù)系統(tǒng)發(fā)送的第一HTTP請求，包括：

監(jiān)聽指定終端通過其網(wǎng)卡發(fā)出的HTTP請求；

檢測監(jiān)聽的所述HTTP請求是否攜帶指定關(guān)鍵字，若是，則將所述HTTP請求記錄為向目標(biāo)業(yè)務(wù)系統(tǒng)發(fā)送的第一HTTP請求。

7.根據(jù)權(quán)利要求1至6中任一所述的方法，其特征在于，

還包括：預(yù)先設(shè)置并存儲對應(yīng)于所述目標(biāo)業(yè)務(wù)系統(tǒng)的用戶登錄信息；

在接收到所述目標(biāo)業(yè)務(wù)系統(tǒng)發(fā)送的驗證請求時，接收第三方業(yè)務(wù)系統(tǒng)提供的驗證信息，并將所述用戶登錄信息及所述驗證信息發(fā)送至所述目標(biāo)業(yè)務(wù)系統(tǒng)。