[發明專利]數據處理方法及其系統

有效

• 申請號: 201711101175.1
• 申請日: 2017-11-09
• 公開（公告）號: CN110019087B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 袁建軍;劉業輝;王彥明
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/22;G06F16/23;G06F16/2455;G06F16/955
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 鄢功軍

1.一種數據處理方法，包括：

實時獲取用戶訪問應用程序而產生的流量數據；

利用storm程序按照預定規則對實時獲取的流量數據進行實時處理，得到處理后的流量數據；

將所述處理后的流量數據作為即時流量數據；

從redis緩存中獲取與所述即時流量數據屬于同一會話的歷史流量數據；

將所述即時流量數據和與所述即時流量數據屬于同一會話的歷史流量數據進行排序；以及

根據排序結果將所述即時流量數據統計到流量寬表中的相應衍生字段中，以使所述流量寬表中同時存儲有所述用戶訪問所述應用程序而產生的歷史流量數據和即時流量數據；

其中，所述流量寬表中還包括關聯字段，所述關聯字段是將所述流量寬表與商品維表、分類維表進行關聯后生成的；

按照預定時間間隔將所述流量寬表寫入分布式文件系統，其中，所述預定時間間隔為分鐘級別的；

在Hive數據庫集群中創建與所述分布式文件系統中的所述流量寬表關聯的外部表；

通過所述外部表對所述應用程序上產生的流量數據進行實時查詢；

其中，實時獲取用戶訪問應用程序而產生的流量數據包括：

獲取所述用戶訪問至少一個應用程序而產生的日志信息；

將所述日志信息輸入kafka消息隊列中，以使所述kafka消息隊列對所述日志信息進行實時分類處理；以及

基于所述kafka消息隊列對所述日志信息的實時分類結果，獲取所述用戶訪問所述至少一個應用程序中的每個應用程序而產生的流量數據。

2.根據權利要求1所述的方法，其中，按照預定規則對實時獲取的流量數據進行實時處理，得到處理后的流量數據包括：

按照所述預定規則對所述實時獲取的流量數據進行數據清洗和/或數據格式轉換和/或衍生字段處理，以得到所述處理后的流量數據。

3.根據權利要求1或2所述的方法，其中，按照預定規則對實時獲取的流量數據進行實時處理，得到處理后的流量數據包括：

檢測是否具備對所述應用程序的流量數據進行處理的權限；以及

如果具備對所述應用程序的流量數據進行處理的權限，則按照所述預定規則對所述實時獲取的流量數據進行實時處理，得到所述處理后的流量數據。

4.一種數據處理系統，包括：

獲取模塊，用于實時獲取用戶訪問應用程序而產生的流量數據；

第一處理模塊，用于利用storm程序按照預定規則對實時獲取的流量數據進行實時處理，得到處理后的流量數據；

第二處理模塊，用于將所述處理后的流量數據作為即時流量數據；以及

更新模塊，用于基于所述即時流量數據實時更新流量寬表，以使所述流量寬表中同時存儲有所述用戶訪問所述應用程序而產生的歷史流量數據和即時流量數據，

寫入模塊，用于按照預定時間間隔將所述流量寬表寫入分布式文件系統，其中，所述預定時間間隔為分鐘級別的；

創建模塊，用于在Hive數據庫集群中創建與所述分布式文件系統中的所述流量寬表關聯的外部表；

查詢模塊，用于通過所述外部表對所述應用程序上產生的流量數據進行實時查詢；

其中，所述更新模塊包括：

第三獲取單元，用于從redis緩存中獲取與所述即時流量數據屬于同一會話的歷史流量數據；

排序單元，用于將所述即時流量數據和與所述即時流量數據屬于同一會話的歷史流量數據進行排序；以及

統計單元，用于根據排序結果將所述即時流量數據統計到所述流量寬表中的相應衍生字段中，其中，所述流量寬表中還包括關聯字段，所述關聯字段是將所述流量寬表與商品維表、分類維表進行關聯后生成的；

其中，所述獲取模塊包括：

第一獲取單元，用于獲取所述用戶訪問至少一個應用程序而產生的日志信息；

輸入單元，用于將所述日志信息輸入kafka消息隊列中，以使所述kafka消息隊列對所述日志信息進行實時分類處理；以及

第二獲取單元，用于基于所述kafka消息隊列對所述日志信息的實時分類結果，獲取所述用戶訪問所述至少一個應用程序中的每個應用程序而產生的流量數據。