[發(fā)明專利]一種信息處理的方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201610041735.8
• 申請日: 2016-01-21
• 公開（公告）號: CN106992872B
• 公開（公告）日: 2020-05-12
• 發(fā)明（設計）人: 鄧展成
• 申請（專利權）人: 中國移動通信集團公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04W24/00
• 代理公司: 北京派特恩知識產(chǎn)權代理有限公司 11270
• 代理人: 張振偉;張穎玲

本發(fā)明實施例公開了一種信息處理的方法和系統(tǒng)，該方法可以包括：獲取待處理的移動網(wǎng)絡日志數(shù)據(jù)；根據(jù)已注冊的實時處理模型實例對所述待處理的移動網(wǎng)絡日志數(shù)據(jù)進行實時處理，獲取實時處理結果；根據(jù)已注冊的離線處理模型實例對所述待處理的移動網(wǎng)絡日志數(shù)據(jù)，并結合所述中間數(shù)據(jù)進行預設的數(shù)據(jù)挖掘處理，獲取離線處理結果；按照應用程序編程接口API的調用策略將所述實時處理結果和/或所述離線處理結果進行返回。能夠將針對移動網(wǎng)絡的DPI日志數(shù)據(jù)所進行的離線計算和實時計算進行結合，并且提高了對計算模型擴充的靈活度。

技術領域

本發(fā)明涉及大數(shù)據(jù)處理技術領域，尤其涉及一種信息處理的方法和系統(tǒng)。

背景技術

隨著移動互聯(lián)網(wǎng)的不斷發(fā)展，每天在運營商的管道上都會產(chǎn)生大量的各類移動網(wǎng)絡的深層報文檢測(DPI，Deep Packet Inspect)日志。這些DPI日志不僅包括了用戶的通話記錄，還包括用戶對移動網(wǎng)絡的使用日志；因此，這些DPI日志具有數(shù)據(jù)量大，實時性高等特點。這些日志蘊含著用戶的使用習慣及需求信息，合理的對這些日志數(shù)據(jù)進行分析和挖掘能夠為用戶提供精細化及個性化服務提供良好的數(shù)據(jù)基礎。

針對DPI日志數(shù)據(jù)量大，實時性高等特點，目前對移動網(wǎng)絡的DPI日志進行分析和數(shù)據(jù)挖掘的系統(tǒng)，通常采用基于Twitter所提出的Lambda架構思想，該架構下把針對日志文件進行離線計算和實時計算統(tǒng)一起來。離線計算與實時計算分成了兩個部分(即兩種數(shù)據(jù)處理框架)進行實現(xiàn)：離線計算使用的是基于Hadoop MapReduce框架的離線處理平臺，實時計算使用的是基于storm框架的實時處理平臺，從而導致了兩種數(shù)據(jù)處理框架的分離和孤立。

而且，由于兩種孤立的數(shù)據(jù)處理框架，就使得Lambda架構對于計算模型是固定，當需要對計算模型進行擴充時，例如：離線計算模型中有MapReduce模型和BSP模型，HadoopMapreduce框架只支持MapReduce模型，如果對于某個特定的計算模型需要在BSP模型中運行，還需要在Lambda架構中開發(fā)出一個BSP系統(tǒng)并且單獨運行，同樣，對于實時計算模型也類似。因此，當前的Lambda架構無法靈活地對計算模型進行擴充。

發(fā)明內容

為解決上述技術問題，本發(fā)明實施例期望提供一種信息處理的方法和系統(tǒng)，能夠將針對移動網(wǎng)絡的DPI日志數(shù)據(jù)所進行的離線計算和實時計算進行結合，并且提高了對計算模型擴充的靈活度。

本發(fā)明的技術方案是這樣實現(xiàn)的：

第一方面，本發(fā)明實施例提供了一種信息處理的方法，所述方法包括：

獲取待處理的移動網(wǎng)絡日志數(shù)據(jù)；

根據(jù)已注冊的實時處理模型實例對所述待處理的移動網(wǎng)絡日志數(shù)據(jù)進行實時處理，獲取實時處理結果；其中，所述實時處理結果包括：最終數(shù)據(jù)和/或中間數(shù)據(jù)；

根據(jù)已注冊的離線處理模型實例對所述待處理的移動網(wǎng)絡日志數(shù)據(jù)，并結合所述中間數(shù)據(jù)進行預設的數(shù)據(jù)挖掘處理，獲取離線處理結果；

按照應用程序編程接口API的調用策略將所述實時處理結果和/或所述離線處理結果進行返回。

在上述方案中，所述方法還包括：

對待注冊的實時處理模型進行驗證；

將驗證通過的實時處理模型進行初始化；

為初始化成功的實時處理模型建立對應的實時處理模型實例。

在上述方案中，所述方法還包括：

對待注冊的離線處理模型進行驗證；

將驗證通過的離線處理模型進行初始化；

為初始化成功的離線處理模型建立對應的離線處理模型實例。

在上述方案中，獲取待處理的移動網(wǎng)絡日志數(shù)據(jù)，具體包括：