[發明專利]一種基于網絡信令記錄的實時處理保障方法及系統

有效

• 申請號: 201610764635.8
• 申請日: 2016-08-30
• 公開（公告）號: CN106326461B
• 公開（公告）日: 2019-07-30
• 發明（設計）人: 婁瑤佳;蔡蓉;楊燕翊;虞馳;卞臻;毛廣;段建平
• 申請（專利權）人: 杭州東方通信軟件技術有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;H04L29/08
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽

1.一種基于網絡信令記錄的實時處理保障方法，其特征在于，包括以下步驟：

采集網絡信令數據；

將所述網絡信令數據按多種維度進行分組；

將所述分組后的網絡信令數據按多種維度和多種時間粒度進行實時指標計算；所述實時指標包括用戶數指標；根據指標算法，采用分布式流計算系統計算各類實時指標的值，將計算得到的所述實時指標生成鍵值對key-value形式的數據，將鍵key相同的所述實時指標的值value進行緩沖合并；先對用戶IMSI號碼反轉，并對反轉的IMSI號碼計算哈希值，取哈希值的前8個字節，并用HyperLogLog算法對用戶數進行去重統計，得到用戶數指標的值；

讀取分布式緩存中與所述計算后的實時指標維度相匹配的數據進行增量合并；

將所述實時指標按鍵key進行分組；

讀取分布式緩存中與所述分組后的實時指標鍵key相同的數據進行增量合并。

2.根據權利要求1所述的方法，其特征在于，所述多種維度包括全網、地市、小區、網元、設備和熱點中的一個或多個。

3.根據權利要求1所述的方法，其特征在于，所述多種時間粒度包括分1分鐘、5分鐘和1小時的一個或多個。

4.根據權利要求1所述的方法，其特征在于，所述將所述網絡信令數據按多種維度進行分組步驟，包括：按小區維度分組。

5.根據權利要求1所述的方法，其特征在于，所述鍵key為維度標識、維度、時間粒度、時間的組合。

6.根據權利要求1所述的方法，其特征在于，所述讀取分布式緩存中與所述計算后的實時指標相匹配的數據進行增量合并步驟，包括：

微批量讀取分布式緩存中與所述計算后的實時指標小區維度相同的數據進行增量合并。

7.根據權利要求1所述的方法，其特征在于，所述讀取分布式緩存中與所述分組后的實時指標鍵key相同的數據進行增量合并，包括：

微批量讀取分布式緩存中與所述分組后的實時指標鍵key相同的數據進行增量合并。

8.根據權利要求1所述的方法，其特征在于，所述實時指標還包括業務量指標；所述業務量指標包括流量、http成功率、http時延。

9.根據權利要求1所述的方法，其特征在于，在執行所述將所述網絡信令數據按多種維度進行分組步驟前，根據數據類型，過濾所述網絡信令數據中的無用字段。

10.根據權利要求1所述的方法，其特征在于，所述采集網絡信令數據步驟，包括：

基于消息通知機制，采集網絡信令數據。

11.根據權利要求1所述的方法，其特征在于，

將所述讀取分布式緩存中與所述計算后的實時指標維度相匹配的數據進行增量合并步驟和所述讀取分布式緩存中與所述分組后的實時指標鍵key相同的數據進行增量合并步驟所得到的數據合并結果，均以異步微批量的方式寫入分布式緩存中；外部應用可隨時的從分布式緩存中讀取所述合并的結果數據，進行包括實時性能預警、區域場景保障、實時人流監控的分析和使用。

12.一種基于網絡信令的實時處理保障系統，其特征在于，包括：數據采集模塊、第一分組模塊、計算模塊、第一合并模塊、第二分組模塊、第二合并模塊、分布式緩存模塊；

所述數據采集模塊，用于采集網絡信令數據；

所述第一分組模塊，用于將所述網絡信令數據按多種維度分組；

所述計算模塊，用于將所述分組后的網絡信令數據按多種維度和多種時間粒度進行實時指標計算；所述實時指標包括用戶數指標；根據指標算法，采用分布式流計算系統計算各類實時指標的值，將計算得到的所述實時指標生成鍵值對key-value形式的數據，將鍵key相同的所述實時指標的值value進行緩沖合并；先對用戶IMSI號碼反轉，并對反轉的IMSI號碼計算哈希值，取哈希值的前8個字節，并用HyperLogLog算法對用戶數進行去重統計，得到用戶數指標的值；

所述第一合并模塊，用于讀取分布式緩存中與所述計算后的實時指標維度相匹配的數據進行增量合并；

所述第二分組模塊，用于將所述實時指標按鍵key進行分組；

所述第二合并模塊，用于讀取分布式緩存中與所述分組后的實時指標鍵key相同的數據進行增量合并；

所述分布式緩存模塊，用于緩存所述增量合并的數據結果。