[發明專利]一種防止網絡爬蟲竊取隱私數據的方法、訓練方法及裝置

有效

• 申請號: 201911284559.0
• 申請日: 2019-12-13
• 公開（公告）號: CN111107074B
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 宗志遠
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: H04L9/40
• 分類號: H04L9/40;G06F21/62;G06F16/951
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 許振新

本說明書實施例提供一種防止網絡爬蟲竊取隱私數據的方法、訓練方法及裝置。防止網絡爬蟲竊取隱私數據的方法包括：從目標客戶端的網絡流量數據中提取目標客戶端在預設時間段內的應用程序接口API訪問記錄?；谀繕丝蛻舳说腁PI訪問記錄，生成待識別數據，所述待識別數據包括以時間和API訪問量為維度的目標客戶端在預設時間段內的API訪問二維圖。將待識別數據輸入至網絡爬蟲識別模型，以得到所目標客戶端的網絡識別結果，其中，網絡爬蟲識別模型是基于樣本數據和樣本數據的網絡爬蟲分類標簽訓練得到的，樣本數據包括以時間和API訪問量為維度的樣本用戶在預設時間段內的API訪問二維圖。對目標客戶端執行與網絡爬蟲識別結果相匹配的隱私數據保護措施。

技術領域

本文件涉及數據安全技術領域，尤其涉及一種防止網絡爬蟲竊取隱私數據的方法、訓練方法及裝置。

背景技術

互聯網公司在向用戶提供服務的同時，也為信息爬取提供了機會。網絡爬蟲只需要編寫好自動化腳本，并在用戶有意識或無意識授權下，即可在各個互聯網公司中過度采集用戶的隱私數據。這些用戶個人的敏感信息被存儲在爬取公司，很容易導致大規模的數據泄露發生。

為此，當前迫切需要一種能夠自動識別網絡爬蟲，并防止網絡爬蟲竊取隱私數據的技術方案。

發明內容

本說明書實施例目的是提供一種方法防止網絡爬蟲竊取隱私數據的方法、訓練方法及裝置、裝置及電子設備，能夠機械化識別網絡爬蟲，并防止網絡爬蟲竊取隱私數據。

為了實現上述目的，本說明書實施例是這樣實現的：

第一方面，提供一種防止網絡爬蟲竊取隱私數據的方法，包括：

從目標客戶端的網絡流量數據中提取所述目標客戶端在預設時間段內的應用程序接口API訪問記錄；

基于所述目標客戶端在所述預設時間段內的應用程序接口API訪問記錄，生成待識別數據，所述待識別數據包括以時間和API訪問量為維度的所述目標客戶端在所述預設時間段內的API訪問二維圖；

將所述待識別數據輸入至網絡爬蟲識別模型，以得到所述目標客戶端的網絡識別結果，其中，所述網絡爬蟲識別模型是基于樣本數據和所述樣本數據的網絡爬蟲分類標簽訓練得到的，所述樣本數據包括以時間和API訪問量為維度的所述樣本用戶在所述預設時間段內的API訪問二維圖；

對所述目標客戶端執行與所述網絡爬蟲識別結果相匹配的隱私數據保護措施。

第二方面，網絡爬蟲識別模型的訓練方法，包括：

從樣本客戶端的網絡流量數據中提取所述樣本客戶端在預設時間段內的應用程序接口API訪問記錄；

基于所述樣本客戶端在所述預設時間段內的應用程序接口API訪問記錄，生成樣本數據，所述樣本數據包括以時間和API訪問量為維度的所述樣本客戶端在所述預設時間段內的API訪問二維圖；

基于所述樣本數據和預先為所述樣本數據標注的網絡爬蟲分類標志，對網絡爬蟲識別模型進行訓練。

第三方面，提供一種防止網絡爬蟲竊取隱私數據的裝置，包括：

記錄提取模塊，從目標客戶端的網絡流量數據中提取所述目標客戶端在預設時間段內的應用程序接口API訪問記錄；

圖像生成模塊，基于所述目標客戶端在所述預設時間段內的應用程序接口API訪問記錄，生成待識別數據，所述待識別數據包括以時間和API訪問量為維度的所述目標客戶端在所述預設時間段內的API訪問二維圖；

爬蟲識別模塊，將所述待識別數據輸入至網絡爬蟲識別模型，以得到所述目標客戶端的網絡識別結果，其中，所述網絡爬蟲識別模型是基于樣本數據和所述樣本數據的網絡爬蟲分類標簽訓練得到的，所述樣本數據包括以時間和API訪問量為維度的所述樣本用戶在所述預設時間段內的API訪問二維圖；