[發(fā)明專利]數(shù)據(jù)處理方法及其系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201711101175.1
• 申請(qǐng)日: 2017-11-09
• 公開（公告）號(hào): CN110019087B
• 公開（公告）日: 2022-04-12
• 發(fā)明（設(shè)計(jì)）人: 袁建軍;劉業(yè)輝;王彥明
• 申請(qǐng)（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06F16/182
• 分類號(hào): G06F16/182;G06F16/22;G06F16/23;G06F16/2455;G06F16/955
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 鄢功軍

本公開提供了一種數(shù)據(jù)處理方法，包括：實(shí)時(shí)獲取用戶訪問應(yīng)用程序而產(chǎn)生的流量數(shù)據(jù)；按照預(yù)定規(guī)則對(duì)實(shí)時(shí)獲取的流量數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，得到處理后的流量數(shù)據(jù)；將處理后的流量數(shù)據(jù)作為即時(shí)流量數(shù)據(jù)；以及基于即時(shí)流量數(shù)據(jù)實(shí)時(shí)更新流量寬表，以使流量寬表中同時(shí)存儲(chǔ)有用戶訪問應(yīng)用程序而產(chǎn)生的歷史流量數(shù)據(jù)和即時(shí)流量數(shù)據(jù)。本公開還提供了一種數(shù)據(jù)處理系統(tǒng)、計(jì)算機(jī)系統(tǒng)和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

技術(shù)領(lǐng)域

本公開涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，更具體地，涉及一種數(shù)據(jù)處理方法、數(shù)據(jù)處理系統(tǒng)、計(jì)算機(jī)系統(tǒng)和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，用戶越來越依賴于互聯(lián)網(wǎng)以實(shí)現(xiàn)各種目的。因此，在不同的平臺(tái)上時(shí)刻都在產(chǎn)生著流量數(shù)據(jù)，例如，用戶訪問網(wǎng)站時(shí)會(huì)產(chǎn)生瀏覽日志和點(diǎn)擊日志等等，這種日志一旦產(chǎn)生就無法修改，也不能刪除。在相關(guān)技術(shù)中，一般會(huì)將流量數(shù)據(jù)以流量寬表的形式存儲(chǔ)在數(shù)據(jù)庫中。

在實(shí)現(xiàn)本公開構(gòu)思的過程中，發(fā)明人發(fā)現(xiàn)相關(guān)技術(shù)中至少存在如下問題：

查詢數(shù)據(jù)庫中存儲(chǔ)的流量寬表，只能查詢歷史流量數(shù)據(jù)，無法查詢實(shí)時(shí)流量數(shù)據(jù)(即當(dāng)前時(shí)刻產(chǎn)生的流量數(shù)據(jù))。

發(fā)明內(nèi)容

有鑒于此，本公開提供了一種用于實(shí)時(shí)查詢流量數(shù)據(jù)的數(shù)據(jù)處理方法和數(shù)據(jù)處理系統(tǒng)。

本公開的一個(gè)方面提供了一種數(shù)據(jù)處理方法，包括實(shí)時(shí)獲取用戶訪問應(yīng)用程序而產(chǎn)生的流量數(shù)據(jù)；按照預(yù)定規(guī)則對(duì)實(shí)時(shí)獲取的流量數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，得到處理后的流量數(shù)據(jù)；將上述處理后的流量數(shù)據(jù)作為即時(shí)流量數(shù)據(jù)；以及基于上述即時(shí)流量數(shù)據(jù)實(shí)時(shí)更新流量寬表，以使上述流量寬表中同時(shí)存儲(chǔ)有上述用戶訪問上述應(yīng)用程序而產(chǎn)生的歷史流量數(shù)據(jù)和即時(shí)流量數(shù)據(jù)。

根據(jù)本公開的實(shí)施例，實(shí)時(shí)獲取用戶訪問應(yīng)用程序而產(chǎn)生的流量數(shù)據(jù)包括獲取上述用戶訪問至少一個(gè)應(yīng)用程序而產(chǎn)生的日志信息；將上述日志信息輸入kafka消息隊(duì)列中，以使上述kafka消息隊(duì)列對(duì)上述日志信息進(jìn)行實(shí)時(shí)分類處理；以及基于上述kafka消息隊(duì)列對(duì)上述日志信息的實(shí)時(shí)分類結(jié)果，獲取上述用戶訪問上述至少一個(gè)應(yīng)用程序中的每個(gè)應(yīng)用程序而產(chǎn)生的流量數(shù)據(jù)。

根據(jù)本公開的實(shí)施例，按照預(yù)定規(guī)則對(duì)實(shí)時(shí)獲取的流量數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，得到處理后的流量數(shù)據(jù)包括：按照上述預(yù)定規(guī)則對(duì)上述實(shí)時(shí)獲取的流量數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和/或數(shù)據(jù)格式轉(zhuǎn)換和/或衍生字段處理，以得到上述處理后的流量數(shù)據(jù)。

根據(jù)本公開的實(shí)施例，按照預(yù)定規(guī)則對(duì)實(shí)時(shí)獲取的流量數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，得到處理后的流量數(shù)據(jù)包括：檢測(cè)是否具備對(duì)上述應(yīng)用程序的流量數(shù)據(jù)進(jìn)行處理的權(quán)限；以及如果具備對(duì)上述應(yīng)用程序的流量數(shù)據(jù)進(jìn)行處理的權(quán)限，則按照上述預(yù)定規(guī)則對(duì)上述實(shí)時(shí)獲取的流量數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，得到上述處理后的流量數(shù)據(jù)。

根據(jù)本公開的實(shí)施例，基于上述即時(shí)流量數(shù)據(jù)實(shí)時(shí)更新流量寬表包括從redis緩存中獲取與上述即時(shí)流量數(shù)據(jù)屬于同一會(huì)話的歷史流量數(shù)據(jù)；將上述即時(shí)流量數(shù)據(jù)和與上述即時(shí)流量數(shù)據(jù)屬于同一會(huì)話的歷史流量數(shù)據(jù)進(jìn)行排序；以及根據(jù)排序結(jié)果將上述即時(shí)流量數(shù)據(jù)統(tǒng)計(jì)到上述流量寬表中的相應(yīng)衍生字段中。

根據(jù)本公開的實(shí)施例，上述方法還包括按照預(yù)定時(shí)間間隔將上述流量寬表寫入分布式文件系統(tǒng)；在Hive數(shù)據(jù)庫集群中創(chuàng)建與上述分布式文件系統(tǒng)中的上述流量寬表關(guān)聯(lián)的外部表；以及通過上述外部表對(duì)上述應(yīng)用程序上產(chǎn)生的流量數(shù)據(jù)進(jìn)行實(shí)時(shí)查詢。

本公開的另一個(gè)方面提供了一種數(shù)據(jù)處理系統(tǒng)，包括獲取模塊、第一處理模塊、第二處理模塊和更新模塊。獲取模塊用于實(shí)時(shí)獲取用戶訪問應(yīng)用程序而產(chǎn)生的流量數(shù)據(jù)；第一處理模塊用于按照預(yù)定規(guī)則對(duì)實(shí)時(shí)獲取的流量數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，得到處理后的流量數(shù)據(jù)；第二處理模塊用于將上述處理后的流量數(shù)據(jù)作為即時(shí)流量數(shù)據(jù)；以及更新模塊用于基于上述即時(shí)流量數(shù)據(jù)實(shí)時(shí)更新流量寬表，以使上述流量寬表中同時(shí)存儲(chǔ)有上述用戶訪問上述應(yīng)用程序而產(chǎn)生的歷史流量數(shù)據(jù)和即時(shí)流量數(shù)據(jù)。