[發明專利]一種大數據防爬蟲處理方法及云平臺系統

有效

• 申請號: 202110306214.1
• 申請日: 2021-03-23
• 公開（公告）號: CN112866295B
• 公開（公告）日: 2021-10-01
• 發明（設計）人: 黃超
• 申請（專利權）人: 上海新諍信知識產權服務股份有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;G06N3/04;G06N3/08
• 代理公司: 北京酷愛智慧知識產權代理有限公司 11514
• 代理人: 王海文

本發明涉及區塊鏈大數據處理技術領域，具體涉及一種大數據防爬蟲處理方法及云平臺系統。本發明由于分別在大數據云服務器側以及大數據業務用戶終端側部署了實時網絡爬蟲監測網絡，且不同的實時網絡爬蟲監測網絡是基于初始業務操作數據集、初始業務響應數據集以及設定網絡訓練條件訓練得到的，因而能夠通過兩個不同的實時網絡爬蟲監測網絡將不同大數據業務用戶終端的業務操作和業務響應考慮在內，不僅可以確保大數據業務用戶終端對待監測業務互動事項的準確的網絡爬蟲監測，還能夠確保針對網絡爬蟲監測所確定的待監測業務互動事項的網絡爬蟲防護策略的爬蟲防護性能，提高網絡爬蟲監測和防護的效率和可信度。

技術領域

本發明涉及區塊鏈大數據處理技術領域，具體涉及一種大數據防爬蟲處理方法及云平臺系統。

背景技術

網絡爬蟲（web crawler）也叫做網絡機器人，可以代替人們自動地在互聯網中進行數據信息的采集與整理。在大數據時代，信息的采集是一項重要的工作，如果單純靠人力進行信息采集，不僅低效繁瑣，搜集的成本也會提高。

此時，我們可以使用網絡爬蟲對數據信息進行自動采集，比如應用于搜索引擎中對站點進行爬取收錄，應用于數據分析與挖掘中對數據進行采集，應用于金融分析中對金融數據進行采集，除此之外，還可以將網絡爬蟲應用于輿情監測與分析、目標客戶數據的收集等各個領域。

在一些大數據云業務互動中，用戶并不希望自己的相關數據被非法的網絡爬蟲所爬取，因此需要在一定情況下實現區塊鏈大數據防爬蟲處理。區塊鏈技術因其具有去中心化和可追溯的特性，使得數據處理的安全性得到極大的提升，因而，被廣泛應用在大數據安全防爬蟲領域上。然而相關的區塊鏈大數據防爬蟲處理技術存在監測防護效率差和可信度低下的技術問題。

發明內容

有鑒于此，本發明實施例提供了一種大數據防爬蟲處理方法及云平臺系統。

本發明實施例提供了一種大數據防爬蟲處理方法，應用于與大數據業務用戶終端通信的大數據云服務器，所述方法包括：

獲得初始業務操作數據集以及初始業務響應數據集；

利用所述初始業務操作數據集訓練設定業務操作識別網絡，得到完成訓練的業務操作識別網絡；通過所述完成訓練的業務操作識別網絡對所述初始業務響應數據集進行業務操作識別，得到初始業務畫像數據集；

利用所述初始業務畫像數據集訓練設定的針對大數據云服務器的實時網絡爬蟲監測網絡，得到完成訓練的針對大數據云服務器的實時網絡爬蟲監測網絡；

基于設定網絡訓練條件以及所述完成訓練的針對大數據云服務器的實時網絡爬蟲監測網絡訓練設定的針對大數據業務用戶終端的實時網絡爬蟲監測網絡，得到完成訓練的針對大數據業務用戶終端的實時網絡爬蟲監測網絡；

將完成訓練的針對大數據業務用戶終端的實時網絡爬蟲監測網絡下發至所述大數據業務用戶終端，通過所述大數據業務用戶終端以及所述完成訓練的針對大數據業務用戶終端的實時網絡爬蟲監測網絡對待監測業務互動事項進行網絡爬蟲監測得到網絡爬蟲監測結果，并基于所述網絡爬蟲監測結果確定所述待監測業務互動事項的網絡爬蟲防護策略。

在一種可替換的實施方式中，利用所述初始業務畫像數據集訓練設定的針對大數據云服務器的實時網絡爬蟲監測網絡，得到完成訓練的針對大數據云服務器的實時網絡爬蟲監測網絡，包括：

利用所述初始業務畫像數據集對設定的針對大數據云服務器的實時網絡爬蟲監測網絡進行循環迭代訓練，在利用第y次訓練之后的針對大數據云服務器的實時網絡爬蟲監測網絡對測試業務數據集進行網絡爬蟲監測所得到的網絡爬蟲監測的識別準確率大于設定識別準確率的情況下，將第y次訓練之后的針對大數據云服務器的實時網絡爬蟲監測網絡確定為完成訓練的針對大數據云服務器的實時網絡爬蟲監測網絡；其中，y為正整數。