[發明專利]一種確定網絡爬蟲的方法及服務器

有效

• 申請號: 201711191680.X
• 申請日: 2017-11-24
• 公開（公告）號: CN107943949B
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 吳其楊;劉豹;孫振江;丁偉
• 申請（專利權）人: 廈門集微科技有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/953;G06F16/9535;G06F16/955
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;李相雨

本發明實施例提供一種確定網絡爬蟲的方法及服務器，所述方法包括：獲取用戶終端發送的訪問信息；根據所述訪問信息和第一預設規則，為所述用戶終端分配目標用戶界面，所述目標用戶界面包括已更改的指定標簽；若所述用戶終端在讀取已更改的指定標簽后繼續訪問指定的訪問地址，獲取所述訪問地址的訪問次數，根據所述訪問次數和第二預設規則，確定所述用戶終端是否為網絡爬蟲。所述服務器執行上述方法。本發明實施例提供的確定網絡爬蟲的方法及服務器，使用戶終端讀取已更改的指定標簽，并根據獲取到的用戶終端繼續對指定的訪問地址的訪問次數，能夠準確確定用戶終端是否為網絡爬蟲，進而保護真實數據的安全。

技術領域

本發明實施例涉及網絡數據安全技術領域，具體涉及一種確定網絡爬蟲的方法及服務器。

背景技術

當前互聯網中充斥著各種各樣的網絡爬蟲，無時無刻地盜取服務器中的數據。

現有技術中，一種方法通過獲取單位時間內網絡爬蟲的訪問次數，對訪問次數較多的疑似網絡爬蟲的訪問權限進行限制；另一種方法通過某種算法來識別非瀏覽請求，進而通過限制非瀏覽請求的用戶終端的訪問權限，來保證數據不被非法獲取。但是對于第一種方法：訪問次數的閾值難以合理設定，有時會影響正常用戶的訪問，例如：在網絡情況不好時，正常用戶多次點擊造成的單位時間內的多次訪問。對于第二種方法：由于模擬瀏覽技術的發展，例如：selenium、phantomjs，也造成識別網絡爬蟲不夠準確的問題。

因此，如何避免上述方法的缺陷，并能夠準確確定用戶終端是否為網絡爬蟲，進而保護數據的安全，成為亟須解決的問題。

發明內容

針對現有技術存在的問題，本發明實施例提供一種確定網絡爬蟲的方法及服務器。

第一方面，本發明實施例提供一種確定網絡爬蟲的方法，所述方法包括：

獲取用戶終端發送的訪問信息；

根據所述訪問信息和第一預設規則，為所述用戶終端分配目標用戶界面，所述目標用戶界面包括已更改的指定標簽；

若所述用戶終端在讀取已更改的指定標簽后繼續訪問指定的訪問地址，獲取所述訪問地址的訪問次數，根據所述訪問次數和第二預設規則，確定所述用戶終端是否為網絡爬蟲。

第二方面，本發明實施例提供一種確定網絡爬蟲的服務器，所述服務器包括：

獲取模塊，用于獲取用戶終端發送的訪問信息；

分配模塊，用于根據所述訪問信息和第一預設規則，為所述用戶終端分配目標用戶界面，所述目標用戶界面包括已更改的指定標簽；

確定模塊，用于若判斷獲知所述用戶終端在讀取已更改的指定標簽后繼續訪問指定的訪問地址，獲取所述訪問地址的訪問次數，根據所述訪問次數和第二預設規則，確定所述用戶終端是否為網絡爬蟲。

第三方面，本發明實施例提供另一種確定網絡爬蟲的服務器，包括：處理器、存儲器和總線，其中，

所述處理器和所述存儲器通過所述總線完成相互間的通信；

所述存儲器存儲有可被所述處理器執行的程序指令，所述處理器調用所述程序指令能夠執行如下方法：

獲取用戶終端發送的訪問信息；

根據所述訪問信息和第一預設規則，為所述用戶終端分配目標用戶界面，所述目標用戶界面包括已更改的指定標簽；

若所述用戶終端在讀取已更改的指定標簽后繼續訪問指定的訪問地址，獲取所述訪問地址的訪問次數，根據所述訪問次數和第二預設規則，確定所述用戶終端是否為網絡爬蟲。

第四方面，本發明實施例提供一種非暫態計算機可讀存儲介質，包括：