[發明專利]一種數據通信業務質量監控的方法及大數據系統

有效

• 申請號: 201710373959.3
• 申請日: 2017-05-24
• 公開（公告）號: CN108964957B
• 公開（公告）日: 2022-08-02
• 發明（設計）人: 周悅來
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: H04L41/069
• 分類號: H04L41/069;H04L41/0631;H04L41/0677;G06F16/14;G06F16/182;G06F16/2458
• 代理公司: 北京天昊聯合知識產權代理有限公司 11112
• 代理人: 姜春咸;馮建基

本發明公開了一種數據通信業務質量監控的方法及大數據系統，其方法包括kafka producers實時的將網元上的日志發送到大數據，大數據kafka集群的brokers收到日志數據后，然后啟動spark streaming任務調用kafka consumer處理日志數據。將日志處理結果和統計結果實時寫入Elasticsearch中。同時將部分實時統計結果寫入到hdfs中，后面進行離線的天、月統計時讀取hdfs上的數據，再將統計結果寫入到Elasticsearch中。在入庫完成后，對關鍵性的指標進行實時的監控和判斷，當發現關鍵性指標出現異動時，及時向運維人員發出預警提示，以便故障在未出現或者出現之初就得到人為的干預排除。

技術領域

本發明涉及移動融合技術領域，特別涉及一種數據通信業務質量監控的方法及大數據系統。

背景技術

隨著社交網絡化的逐步擴大和深入，運營商也著力推出基于移動終端的社交平臺，隨著用戶量的增加，業務規模的不斷擴大，RCS(Rich Communication Suite，富通信套件)組網中網元的數量越來越多，眾多相互關系的網元給人工維護增加難度，無法及時對潛在的風險進行預警，或者對已出現的故障進行快速定位。一旦出現故障或者故障得不到快速定位解決，將會嚴重的影響用戶的觀感和使用。

發明內容

根據本發明實施例提供的方案解決的技術問題是無法及時對潛在的風險進行預警，或者對已出現的故障進行快速定位。

根據本發明實施例提供的一種數據通信業務質量監控的方法，包括：

大數據系統通過對各個網元的話單日志服務器發送的日志數據進行日志處理，得到各網元的日志處理結果和日志統計結果；

大數據系統根據所得到的各網元日志處理結果和日志統計結果對該網元日志的關鍵性指標數據進行業務質量監控，判斷所述網元日志的關鍵性指標數據是否存在風險；

若判斷所述網元日志關鍵性指標數據存在風險，則大數據系統向運維人員發出數據通信業務質量的預警提示。

優選地，部署在每個網元的話單日志服務器中kafka producers模塊收集所在網元的日志數據，并將其進行編碼后發送到所述大數據系統的brokers模塊。

優選地，所述brokers模塊收到來自各個網元編碼后的日志數據后，保存所述各網元編碼后的日志數據，并啟動所述大數據系統的spark streaming任務調用kafkaconsumer模塊。

優選地，所述kafka consumer模塊被調用后，提取所述brokers模塊保存的各網元編碼后的日志數據，并對所述日志數據解碼后進行日志處理，得到各網元的日志處理結果和日志統計結果。

優選地，所述kafka consumer模塊將所得到的各網元的日志處理結果和日志統計結果發送到所述大數據系統的Elasticsearch模塊，同時將各網元的日志統計結果發送到所述大數據系統的HDFS(HadoopDistributed File System，分布式文件系統)模塊，以便需要進行各網元的離線日志統計時，讀取并統計所述HDFS模塊中各網元的日志統計結果，得到各網元的離線日志統計結果，并將其發送到所述Elasticsearch模塊。

優選地，所述大數據系統的Websphere應用服務器WAS模塊通過讀取所述Elasticsearch模塊中各網元的日志處理結果和日志統計結果，對該網元日志的關鍵性指標數據進行業務質量監控，判斷所述網元日志的關鍵性指標數據是否存在風險，并在判斷所述網元日志關鍵性指標數據存在風險時向運維人員發出數據通信業務質量的預警提示。