[發(fā)明專利]一種基于網(wǎng)絡(luò)信令記錄的實(shí)時(shí)處理保障方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201610764635.8
• 申請(qǐng)日: 2016-08-30
• 公開(kāi)（公告）號(hào): CN106326461B
• 公開(kāi)（公告）日: 2019-07-30
• 發(fā)明（設(shè)計(jì)）人: 婁瑤佳;蔡蓉;楊燕翊;虞馳;卞臻;毛廣;段建平
• 申請(qǐng)（專利權(quán)）人: 杭州東方通信軟件技術(shù)有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27;H04L29/08
• 代理公司: 北京億騰知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11309
• 代理人: 陳霽

本發(fā)明公開(kāi)了一種基于網(wǎng)絡(luò)信令記錄的實(shí)時(shí)處理保障方法及系統(tǒng)，本方案通過(guò)對(duì)海量網(wǎng)絡(luò)信令數(shù)據(jù)進(jìn)行過(guò)濾、小區(qū)維度分組、分多種統(tǒng)計(jì)維度、多種時(shí)間粒度計(jì)算用戶數(shù)指標(biāo)和各種業(yè)務(wù)量指標(biāo)、按小區(qū)維度合并、按鍵key分組、按鍵key合并、分布式緩存的實(shí)時(shí)處理后，實(shí)現(xiàn)了對(duì)多種維度下的用戶數(shù)指標(biāo)和各種業(yè)務(wù)量指標(biāo)的實(shí)時(shí)統(tǒng)計(jì)分析，從而快速有效的發(fā)掘網(wǎng)絡(luò)信令數(shù)據(jù)中的價(jià)值，快速的發(fā)現(xiàn)問(wèn)題、定位問(wèn)題。解決了現(xiàn)階段采用傳統(tǒng)方式無(wú)法對(duì)海量信令數(shù)據(jù)實(shí)時(shí)有效的分析的問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)處理領(lǐng)域，尤其涉及一種基于網(wǎng)絡(luò)信令記錄的實(shí)時(shí)處理保障方法及系統(tǒng)。

背景技術(shù)

近年，隨著通信技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)逐漸改變著人類的生產(chǎn)生活方式，人們對(duì)網(wǎng)絡(luò)的依賴程度越來(lái)越高。對(duì)電信運(yùn)營(yíng)商而言，終端產(chǎn)生的信令數(shù)據(jù)規(guī)模也越來(lái)越大。數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)帶來(lái)了進(jìn)一步的挑戰(zhàn)。如何快速有效的發(fā)現(xiàn)網(wǎng)絡(luò)信令數(shù)據(jù)中所蘊(yùn)含的價(jià)值，成為了電信運(yùn)營(yíng)商亟待解決的問(wèn)題。

隨著信令數(shù)據(jù)規(guī)模越來(lái)越大，傳統(tǒng)的數(shù)據(jù)處理模式暴露出了很多問(wèn)題：

首先，采用傳統(tǒng)的集中存儲(chǔ)和集中計(jì)算的方式已經(jīng)無(wú)法滿足日益增長(zhǎng)的海量數(shù)據(jù)所帶來(lái)的挑戰(zhàn)；

其次，傳統(tǒng)數(shù)據(jù)庫(kù)讀寫性能已無(wú)法滿足大數(shù)據(jù)的存儲(chǔ)和分析要求；

第三，傳統(tǒng)的離線分析技術(shù)處理時(shí)延比較大，無(wú)法及時(shí)有效的挖掘和利用數(shù)據(jù)中蘊(yùn)含的價(jià)值，無(wú)法及時(shí)定位問(wèn)題、調(diào)整資源配置，使數(shù)據(jù)失去了時(shí)效性。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于網(wǎng)絡(luò)信令記錄的實(shí)時(shí)處理保障方法及系統(tǒng)，解決現(xiàn)有技術(shù)無(wú)法滿足對(duì)海量網(wǎng)絡(luò)信令數(shù)據(jù)的實(shí)時(shí)分析處理的問(wèn)題。

為了實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于網(wǎng)絡(luò)信令記錄的實(shí)時(shí)處理保障方法，包括以下步驟：

采集網(wǎng)絡(luò)信令數(shù)據(jù)；

將所述網(wǎng)絡(luò)信令數(shù)據(jù)按多種維度進(jìn)行分組；

將所述分組后的網(wǎng)絡(luò)信令數(shù)據(jù)按多種維度和多種時(shí)間粒度進(jìn)行實(shí)時(shí)指標(biāo)計(jì)算；

讀取分布式緩存中與所述計(jì)算后的實(shí)時(shí)指標(biāo)維度相匹配的數(shù)據(jù)進(jìn)行增量合并；

將所述實(shí)時(shí)指標(biāo)按鍵key進(jìn)行分組；

讀取分布式緩存中與所述分組后的實(shí)時(shí)指標(biāo)鍵key相同的數(shù)據(jù)進(jìn)行增量合并。

所述多種維度包括全網(wǎng)、地市、小區(qū)、網(wǎng)元、設(shè)備和熱點(diǎn)中的一個(gè)或多個(gè)。

所述多種時(shí)間粒度包括分1分鐘、5分鐘和1小時(shí)的一個(gè)或多個(gè)。

所述將所述分組后的網(wǎng)絡(luò)信令數(shù)據(jù)按多種維度和多種時(shí)間粒度進(jìn)行實(shí)時(shí)指標(biāo)計(jì)算步驟，包括：

根據(jù)指標(biāo)算法，采用分布式流計(jì)算系統(tǒng)計(jì)算各類實(shí)時(shí)指標(biāo)的值；

將計(jì)算得到的所述實(shí)時(shí)指標(biāo)生成鍵值對(duì)key-value形式的數(shù)據(jù)；

將鍵key相同的所述實(shí)時(shí)指標(biāo)的值value進(jìn)行緩沖合并。

所述實(shí)時(shí)指標(biāo)包括：用戶數(shù)指標(biāo)；所述將所述分組后的網(wǎng)絡(luò)信令數(shù)據(jù)按多種維度和多種時(shí)間粒度進(jìn)行實(shí)時(shí)指標(biāo)計(jì)算步驟，包括：

先對(duì)用戶IMSI號(hào)碼反轉(zhuǎn)，并對(duì)反轉(zhuǎn)的IMSI號(hào)碼計(jì)算哈希值；取哈希值的前8個(gè)字節(jié)，并用HyperLogLog算法對(duì)用戶數(shù)進(jìn)行去重統(tǒng)計(jì)，得到用戶數(shù)指標(biāo)的值。

所述將所述網(wǎng)絡(luò)信令數(shù)據(jù)按多種維度進(jìn)行分組步驟，包括：按小區(qū)維度分組。

所述鍵key為維度標(biāo)識(shí)、維度、時(shí)間粒度、時(shí)間的組合。

所述讀取分布式緩存中與所述計(jì)算后的實(shí)時(shí)指標(biāo)相匹配的數(shù)據(jù)進(jìn)行增量合并步驟，包括：