[發明專利]一種數據處理方法、裝置、系統、服務器及可讀存儲介質

有效

• 申請號: 201811284562.8
• 申請日: 2018-10-31
• 公開（公告）號: CN111131074B
• 公開（公告）日: 2023-04-11
• 發明（設計）人: 池偉;曾英佩;王國棟;田永興;陳遠發
• 申請（專利權）人: 中移（杭州）信息技術有限公司;中國移動通信集團有限公司
• 主分類號: H04L49/90
• 分類號: H04L49/90;H04L45/74
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 郭潤湘

本發明公開了一種數據處理方法、裝置、系統、服務器及可讀存儲介質，該方法包括：接收上網流量數據包，獲取發送所述上網流量數據包的網關路由器的標識信息；根據預先初始化的每個內存隊列及所述標識信息，確定所述標識信息對應的目標內存隊列；將所述上網流量數據包存入所述目標內存隊列，并采用所述目標內存隊列對應的單線程處理所述上網流量數據包。本發明中服務器將接收到的上網流量數據包存入對應的目標內存隊列中，并采用目標內存隊列對應的單線程處理該上網流量數據，避免了多線程處理數據的時效性無法保證，保證了發往下游業務系統的數據包的有序性，從而保證了下游業務系統能夠準確分析出用戶上網行為。

技術領域

本發明涉及網絡技術領域，尤其涉及一種數據處理方法、裝置、系統、服務器及可讀存儲介質。

背景技術

用戶終端通過WiFi與網關路由器連接，期間產生的上網流量數據的數據包會通過網關上的插件以UDP的形式發往遠程服務器的UDP?SERVER上，即網關路由器實時通過UDP的形式上報用戶終端的上網流量數據的數據包，數據包的內容是二層數據包前面加上pcap包格式的頭，通過UDP?SERVER接收處理，UDP?SERVER將數據包進行處理發往下游業務系統，下游業務系統可以根據用戶完整有序的上網流量數據，準確分析出一個用戶完整的上網行為。

UDP?SERVER通常會通過異步的形式對數據包進行處理，即通常會采用UDP?SERVER中的多線程進行處理，如圖1所示的數據傳輸架構中僅存在一個UDP?SERVER，客戶端1、客戶端2及客戶端M可以分別理解為網關路由器1，網關路由器2及網關路由器M，客戶端1、客戶端2及客戶端M分別將用戶終端的上網流量數據即數據包發送給對應的UDP?SERVER，UDPSERVER將數據存入本地的內存隊列，內存隊列解耦，然后啟動一個線程池，通過后臺多線程包括線程1、線程2及線程N采用異步非阻塞的方式從內存隊列中取出數據進行業務處理，然后將數據包發往下游業務系統。

采用圖1所示的數據傳輸架構，同一網關路由器的上網流量數據會被該一個UDPSERVER中的多個線程并發處理，但是由于多線程在處理數據包時處理完成的前后順序無法保證，因此可能導致發送給下游業務系統的上網流量數據為亂序。并且在圖1的基礎上增加多個UDP?SERVER，即如果UDP?SERVER為集群部署，則同一網關路由器的上網流量數據可能會被轉發到多臺UDP?SERVER中，而多臺UDP?SERVER中的多個線程的并發處理更加無法保證數據的時序性。

綜上所述，現有技術中多個發送方并發地發送數據，能夠保證UDP?SERVER中多個線程并發地從同一個內存隊列中取數據，可以保證多個線程取數據的時序性，但是由于在高并發下，多個線程會并發地搶占該隊列中的數據，每個數據包只能被處理一次，由于每個線程處理的時效性無法保證，有可能先拿到數據的線程，后處理完成，這就導致發往下游業務系統的數據出現了亂序，下游業務系統無法通過亂序的數據包分析出正確的用戶上網行為，甚至有可能造成分析錯誤。

發明內容

本發明提供了一種數據處理方法、裝置、系統、服務器及可讀存儲介質，用以解決現有技術中多線程處理數據的時效性無法保證，導致下游業務系統無法正確分析出用戶上網行為的問題。

本發明提供了一種數據處理方法，應用于服務器，該方法包括：

接收上網流量數據包，獲取發送所述上網流量數據包的網關路由器的標識信息；

根據預先初始化的每個內存隊列及所述標識信息，確定所述標識信息對應的目標內存隊列；

將所述上網流量數據包存入所述目標內存隊列，并采用所述目標內存隊列對應的單線程處理所述上網流量數據包。

進一步地，所述網關路由器的標識信息包括媒體訪問控制MAC地址和/或互聯網協議IP地址。

進一步地，如果所述網關路由器的標識信息包括MAC地址，所述根據預先初始化的每個內存隊列及所述標識信息，確定所述標識信息對應的目標內存隊列包括：