[發明專利]大流量數據處理方法、裝置、計算設備及存儲介質

在審

• 申請號: 201711498056.4
• 申請日: 2017-12-30
• 公開（公告）號: CN109995834A
• 公開（公告）日: 2019-07-09
• 發明（設計）人: 劉曉斌
• 申請（專利權）人: 中國移動通信集團貴州有限公司;中國移動通信集團公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24;G06K9/62
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 彭瓊

1.一種大流量數據處理方法，其特征在于，所述方法包括：

基于用戶歷史訪問日志，對于各IP，分別統計預定歷史時間段內各子時間段訪問所述IP的手機號數量；

計算各子時間段訪問各IP手機號數量的方差，將所述方差大于第一預定閾值的作為待觀察IP；

基于每個所述待觀察IP下手機號與訪問時間的相關系數以及/或者登陸成功率，識別作弊用戶。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

將所述作弊用戶列入黑名單；

當用戶請求訪問時，判斷用戶是否在所述黑名單中。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

計算所述預定歷史時間段內訪問待觀察IP的手機號及其訪問時間之間的皮爾遜相關系數，作為所述待觀察IP下手機號與訪問時間的相關系數，

其中，將所述相關系數大于第二閾值的所述待觀察IP用戶視為作弊用戶。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

通過k-均值聚類算法，對所述預定歷史時間段內登陸次數較大的IP的成功率進行聚類，確定第三閾值，

其中，將登陸成功率大于所述第三閾值的所述待觀察IP用戶視為作弊用戶。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：

使用一致性哈希算法對用戶訪問請求進行分布式緩存隊列分配。

6.根據權利要求5所述的方法，其特征在于，所述使用一致性哈希算法用戶訪問請求進行分布式緩存隊列分配，包括：

使用一致性哈希算法基于用戶的手機號碼獲取哈希值；

基于所述哈希值和服務器的計算節點個數，得到對應于所述手機號碼的計算節點；

將所述用戶的手機號碼放入與所述計算節點對應的緩存隊列，其中所述緩存隊列的個數與所述計算節點個數相同。

7.根據權利要求6所述的方法，其特征在于，所述使用一致性哈希算法對用戶訪問請求進行分布式緩存隊列分配之后，還包括：

監控各緩存隊列中的隊列數據積壓量；

當所述緩存隊列中的隊列數據積壓量達到預定數量時，對所述緩存隊列和所述計算節點進行健康性檢查。

8.根據權利要求1所述的方法，其特征在于，所述方法還包括：

基于預設規則庫，將開發人員上傳的部署包區分為動態資源和靜態資源；

對靜態資源和動態資源分離資源部署接口，重新打包，形成新的部署資源；

基于所述新的部署資源，按照預定規則庫，加工所述靜態資源，壓縮成新的部署包；

根據所述部署包的類型將動態資源和靜態資源分別部署到動態服務器和靜態服務器。

9.根據權利要求8所述的方法，其特征在于，所述將開發人員上傳的部署包區分為動態資源和靜態資源，包括：

將涉及與后臺服務交互的模塊作為動態資源，其余的作為靜態資源。

10.根據權利要求8所述的方法，其特征在于，所述根據所述部署包的類型分別部署到動態服務器和靜態服務器，包括：

通過CDN服務器對靜態資源進行部署；

所述CDN服務器的域名服務系統根據用戶所在域名的ISP、地理位置，為用戶分配服務器IP地址。

11.一種大流量數據處理裝置，其特征在于，所述裝置包括：

統計模塊，用于基于用戶歷史訪問日志，對于各IP，分別統計預定歷史時間段內各子時間段訪問所述IP的手機號數量；

計算模塊，用于計算各子時間段訪問各IP手機號數量的方差，將所述方差大于第一預定閾值的作為待觀察IP；

識別模塊，用于基于每個所述待觀察IP下手機號與訪問時間的相關系數以及/或者登陸成功率，識別作弊用戶。