[發明專利]大流量數據處理方法、裝置、計算設備及存儲介質

在審

• 申請號: 201711498056.4
• 申請日: 2017-12-30
• 公開（公告）號: CN109995834A
• 公開（公告）日: 2019-07-09
• 發明（設計）人: 劉曉斌
• 申請（專利權）人: 中國移動通信集團貴州有限公司;中國移動通信集團公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24;G06K9/62
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 彭瓊

本發明實施例公開了一種大流量數據處理方法、裝置、計算設備及存儲介質，方法包括：基于用戶歷史訪問日志，對于各IP，分別統計預定歷史時間段內各子時間段訪問所述IP的手機號數量；計算各子時間段訪問各IP手機號數量的方差，將方差大于第一預定閾值的作為待觀察IP；基于每個待觀察IP下手機號與訪問時間的相關系數以及/或者登陸成功率，識別作弊用戶。通過上述方案，能夠實時發現作弊用戶，提高用戶訂單的處理效率，以及提升用戶的訪問速度。

技術領域

本發明涉及互聯網業務支撐技術領域，尤其涉及一種大流量數據處理方法、裝置、計算設備及存儲介質。

背景技術

目前互聯網營銷手段，不論是團購、秒殺、抽獎，或是其它的優惠活動，都存在資源是有限而需求是無限的共同點，都會面臨的高并發和大流量的用戶訪問請求。往往此類活動是短期，用戶的訪問流量和并發數將是平時的成千上萬倍，任何一個生產系統不可能為了一個短期活動儲備這么多服務器、網絡資源。對于網絡、中間件、數據庫、應用來說，這一個巨大的挑戰。

目前針對高并發大流量的處理方案有：實時處理方式，用戶所有請求全部進入web服務器，用戶的流量控制和并發控制交由web中間件進行處理。這種方式易出現因網絡堵塞、系統資源瞬時占用過高、系統阻塞、系統掛死等問題。異步處理方式，系統只負責收集用戶請求，用戶請求收集上來后，另外一個進程隊列負責處理商品資源的訂購處理。這種方式一定程度上減少了系統峰值資源的消耗，減少了頁面響應緩慢、報錯的機率。但效率非常低，用戶等待時間過長，易造成暗箱操作的不良用戶感知，網絡堵塞仍無法解決。

以上兩種方案都無法對作弊請求進行處理。

發明內容

由于現有技術處理大流量數據無法對作弊請求進行處理，本發明實施例提供了一種大流量數據處理方法、裝置、計算設備及存儲介質，能夠實時發現作弊用戶，提高用戶訂單的處理效率，以及提升用戶的訪問速度。

第一方面，本發明實施例提供了一種大流量數據處理方法，方法包括：

基于用戶歷史訪問日志，對于各IP，分別統計預定歷史時間段內各子時間段訪問所述IP的手機號數量；

計算各子時間段訪問各IP手機號數量的方差，將方差大于第一預定閾值的作為待觀察IP；

基于每個待觀察IP下手機號與訪問時間的相關系數以及/或者登陸成功率，識別作弊用戶。

第二方面，本發明實施例提供了一種大流量數據處理裝置，裝置包括：統計模塊、計算模塊和識別模塊。

統計模塊可以基于用戶歷史訪問日志，對于各IP，分別統計預定歷史時間段內各子時間段訪問所述IP的手機號數量。

計算模塊可以計算各子時間段訪問各IP手機號數量的方差，將方差大于第一預定閾值的作為待觀察IP。

識別模塊可以基于每個待觀察IP下手機號與訪問時間的相關系數以及/或者登陸成功率，識別作弊用戶。

第三方面，本發明實施例提供了一種計算設備，包括：至少一個處理器、至少一個存儲器以及存儲在存儲器中的計算機程序指令，當計算機程序指令被處理器執行時實現如上述實施方式中第一方面的方法。

第四方面，本發明實施例提供了一種計算機可讀存儲介質，其上存儲有計算機程序指令，當計算機程序指令被處理器執行時實現如上述實施方式中第一方面的方法。

本發明實施例提供的大流量數據處理方法、裝置、計算設備及存儲介質，通過算法度量，能夠實時發現作弊用戶，通過分布式消息隊列處理機制，提高了用戶訂單的處理效率，以及通過動態資源和靜態資源分離部署，提升了用戶的訪問速度。

附圖說明