[發明專利]數據監控處理方法及設備

有效

• 申請號: 201310017893.6
• 申請日: 2013-01-17
• 公開（公告）號: CN103942197B
• 公開（公告）日: 2018-06-26
• 發明（設計）人: 周躦;初敏;趙斌強
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L12/26
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 許志勇

本申請提供一種數據監控處理方法及數據監控處理設備。該數據監控處理方法，所述方法包括：接收來自用戶端的實時的原始數據；按照預定規則分發所述原始數據；對所述分發的數據分別按照統一配置進行對應的在線多維度處理；保存所述處理的結果。根據本申請，能夠實現易擴展性、實時性以及高度可配置性。

技術領域

本申請涉及數據處理技術領域，尤其涉及一種數據監控處理方法及設備。

背景技術

近年來，移動互聯網市場規模高速成長，移動互聯網在互聯網經濟中的占比也快速上升。移動終端和操作系統的激烈競爭推動了智能手機的普及，移動應用開發技術也隨之迅速發展，傳統互聯網企業移動化的意愿也不斷增強，大批應用開發者涌入這個市場，在應用模式和商業模式上不斷探索、創新。對于應用開發者來說，想在這個激烈競爭的市場中快速占取一席之地的關鍵因素之一，就是要及時了解自己產品的市場反映、用戶的使用習慣及反饋以及在同行業中的競爭水平，以便及時做出調整和反映。而采集數據、處理數據和計算指標對開發者來說，往往是費時費力的，很難保證足夠的投入。針對移動應用開發者的需求，提供一系列有針對性的分析工具，讓開發者無需在采集、處理數據上花費精力，同時從第一天起就能實時監控應用的各項指標，通過對數據進行分析，更有針對性的改進、優化產品和運營策略。而在數據監控處理過程中，當服務器接收到各類原始數據時，需要將原始的異構的數據轉換成結構化數據，然后根據整個系統的需要，實時地對海量的原始數據進行計算，并將其加工為滿足計算需求的各類指標數據。而在整個過程中，需要實現一套在線的數據監控處理系統。

對于很多產品，用戶為了希望盡早了解自己的產品的使用情況并及時發現和解決問題而收集到各種各樣的使用數據。當用戶收集到原始數據后，需要從多個維度對數據進行實時分析，計算出不同的測度指標，并從數據中提取相應規律，從而針對性地做出決策。

傳統的在線計算處理，往往針對特定的產品來設計特定的處理方案。當需求發生變化或者面對一個全新產品時，就需要對處理方案進行大量改動，甚至重新做出一套新方案。這會嚴重影響新產品的開發周期，導致系統缺乏高度可配置性。

對于數據處理系統來說，需要滿足以下幾點需求：（1）在系統的輸入是來自于手機用戶的各類行為數據的情況下，由于手機終端用戶的規模，系統的輸入必然是巨大的，所以必須能夠滿足在大量數據基礎之上的計算處理需求，這就要求系統具有易擴展性。（2）用戶往往希望盡早了解自己的產品的使用情況，及時發現和解決問題，因此，計算結果的實時性也是系統必須滿足的要求。（3）用戶的計算處理需求是多種多樣的，對于不同的應用場景，用戶通常有著不同的需求，這就使得系統必須能夠快速靈活地響應用戶的計算需求，因此，系統必須具有高度的可配置性。

發明內容

本申請的主要目的在于提供一種數據監控處理方法及數據監控處理設備，以解決現有技術存在的數據處理系統不能同時滿足易擴展性、實時性以及高度可配置性的問題，其中：

本申請的一個方面，提供一種數據監控處理方法，所述方法包括：接收來自用戶端的實時的原始數據；按照預定規則分發所述原始數據；對所述分發的數據分別按照統一配置進行對應的在線多維度處理；保存所述處理的結果。

根據本申請的實施例，在所述方法中，所述按照預定規則分發所述原始數據的步驟包括按照用戶端的ID對所述原始數據進行分發、根據數據中的匹配特征串進行分發、按照數據的屬性特征進行分發、以及按照數據的行為特征進行分發中的任意一種分發方式。

根據本申請的實施例，在所述方法中，所述對所述分發的數據分別按照統一配置進行對應的在線多維度處理的步驟包括：對所述分發的數據進行結構化處理，生成結構化數據；讀取配置文件中的多組配置參數以及所述結構化數據，生成對應的多個計算單元；以及用所述多個計算單元分別基于所述結構化數據進行計算。

根據本申請的實施例，在所述方法中，所述生成計算單元的步驟包括生成樹的處理和生成葉子的處理。