[發明專利]一種分級校驗防爬蟲的方法、裝置、設備及存儲介質

在審

• 申請號: 202210165100.4
• 申請日: 2022-02-17
• 公開（公告）號: CN114553541A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 王玨;朱亮
• 申請（專利權）人: 蘇州良醫匯網絡科技有限公司
• 主分類號: H04L9/40
• 分類號: H04L9/40;G06F16/951;G06N3/04
• 代理公司: 蘇州市中南偉業知識產權代理事務所(普通合伙) 32257
• 代理人: 王廣浩

1.一種分級校驗防爬蟲方法，其特征在于，包括：

接受用戶請求，獲取橫向時間訪問數據；

利用所述橫向時間訪問數據統計得到橫向時間訪問次數；

利用所述橫向時間訪問次數計算風險系數；

判斷所述風險系數是否在預設校驗異常范圍內；

若所述風險系數在所述預設校驗異常范圍內，則根據所述風險系數進行風險值評估，判斷用戶請求風險分級，所述用戶請求風險分級包括低風險、中風險、高風險；

當所述用戶請求風險分級為高風險時，進行登錄攔截校驗，當所述用戶請求風險分級為中風險時，進行驗證碼校驗，當所述用戶請求風險分級為低風險時，則允許請求，返回數據并存儲至數據庫；

若所述登錄攔截校驗或所述驗證碼校驗失敗，則判定為爬蟲，封禁ip，若所述登錄成功或所述驗證碼校驗成功，則允許請求并將所述風險系數清零。

2.根據權利要求1所述的分級校驗防爬蟲方法，其特征在于，所述利用所述橫向時間訪問數據統計得到橫向時間訪問次數包括：

將所述橫向時間訪問數據存儲至數據庫并設置過期時間為預設時長；

利用所述橫向時間訪問數據的唯一標識key統計橫向時間訪問次數，所述橫向時間訪問次數為同一時間內用戶并發的重復行為，所述橫向時間訪問數據的唯一標識key包含ip和訪問端信息。

3.根據權利要求2所述的分級校驗防爬蟲方法，其特征在于，所述唯一標識key為目標url和當前時間minute的Md5加密key。

4.根據權利要求1所述的分級校驗防爬蟲方法，其特征在于，所述利用所述橫向時間訪問次數計算風險系數包括：

所述風險系數score計算規則為：

score＝d+c/r+m

其中，c為所述用戶的橫向時間訪問次數，r為請求閾值系數，m為根據用戶行為風險預設的不同分數，d為根據兩次相同訪問時間間隔預設的分數,Aⁿ為在每次用戶操作時，采用預先訓練好的RNN+SoftMax模型選取預先定義的分值數組中的一個分值，并對每次操作選取的數值進行累加得到的分數：

Aⁿ＝tanh(Wα×A^n-1+Wβ×Tⁿ+Basic)

其中，n為循環迭代次數，Wα為m*n矩陣，Wβ為m*n矩陣，T為矩陣第一列，Basic為m*1矩陣,m為常量；

所述RNN+SoftMax模型的的損失函數為：

其中，N為樣本數，M為類別數，Yic為真實數據概率，Pic屬于類別為i的預測概率,x為修正參數。

5.根據權利要求1所述的分級校驗防爬蟲方法，其特征在于，所述判斷所述風險系數是否在預設的校驗異常范圍內包括：

若所述風險系數不在所述預設校驗異常范圍內，則判斷所述橫向時間訪問次數是否超過訪問次數上限，若超過所述訪問次數上限，則判定為爬蟲；

若所述橫向時間訪問次數未超過所述訪問次數上限，且所述橫向時間訪問數據的唯一標識key存在合法前置訪問，則允許用戶請求，正常返回數據并存儲至數據庫。

6.根據權利要求1所述的分級校驗防爬蟲方法，其特征在于，所述若所述風險系數在所述預設校驗異常范圍內，則根據所述風險系數進行風險值評估，判斷用戶請求風險分級，所述用戶請求風險分級包括低風險、中風險、高風險包括：

所述預設校驗異常范圍劃分為預設低風險范圍、預設中風險范圍、預設高風險范圍；

若所述用戶的橫向時間訪問次數未超過訪問次數上限，若所述橫向時間訪問數據的唯一標識key不存在合法前置訪問，且所述風險系數在所述預設低風險范圍內，則判定為所述低風險；

若所述用戶的橫向時間訪問次數未超過所述訪問次數上限時，且所述橫向時間訪問數據的唯一標識key存在合法前置訪問，且所述風險系數在所述預設中風險范圍內，則判定為所述中風險；

若所述用戶的橫向時間訪問次數未超過所述訪問次數上限時，但所述橫向時間訪問數據的唯一標識key不存在合法前置訪問，且所述風險系數在所述預設高風險范圍內，則判定為所述高風險。