[發明專利]數據處理、存儲、查詢方法和數據處理系統

在審

• 申請號: 201710372179.7
• 申請日: 2017-05-23
• 公開（公告）號: CN106998276A
• 公開（公告）日: 2017-08-01
• 發明（設計）人: 卞臻;許明;鄭波;翟建桐
• 申請（專利權）人: 杭州東方通信軟件技術有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L29/08;H04W24/08
• 代理公司: 北京億騰知識產權代理事務所11309
• 代理人: 陳霽

技術領域

本發明涉及數據處理技術領域，尤其涉及一種數據處理、存儲、查詢方法和數據處理系統。

背景技術

隨著智能手機的普及，更多的人習慣使用移動網絡，而花在移動網絡上的平均時間呈逐年遞升趨勢，在此環境下，運營商為了更好的對用戶提供服務，及時發現網絡中的問題，保證用戶使用感知，對全網進行了DPI采集。DPI數據的產生讓數據規模也越來越大，在數據采集、數據處理、數據存儲帶來了進一步的挑戰。

在實現本發明過程中，發明人發現現有技術中存在以下問題：隨著DPI數據規模越來越大，傳統的數據處理模式已經無法滿足日益增長的海量數據所帶來的挑戰，無法滿足大數據的存儲和分析要求。

發明內容

本發明實施例提供一種數據處理、存儲、查詢方法和數據處理系統，以解決傳統的數據處理模式已經無法滿足日益增長的海量數據所帶來的挑戰，無法滿足大數據的存儲和分析要求的問題。

第一方面，本發明實施例提供一種數據處理方法，包括：通過消息通知機制采集網絡信令數據；按照維度將所述網絡信令數據進行分組以及進行指標計算；將所述網絡信令數據對應的指標計算結果發送給共享服務器。

可選地，所述指標計算包括：用戶指標的計算和/或業務量指標的計算。

可選地，所述業務量指標至少包括以下之一：流量、http成功率和http時延。

可選地，所述按照維度將所述網絡信令數據進行分組以及進行指標計算，包括：基于指標算法確定所述網絡信令數據的類型以及確定所述網絡信令數據中的數據字段；將所述數據字段按照第一維度進行分組；將分組后的所述數據字段按照第二維度和/或時間粒度進行指標計算。

可選地，所述第一維度包括：小區；所述第二維度至少包括以下之一：全網、地市、小區、網元、IP地址、設備和熱點；所述時間粒度至少包括以下之一：15min、60min和24h。

可選地，所述進行指標計算，包括：計算流量的指標值；和/或，計算http成功率的指標值；和/或，計算http時延的指標值。

第二方面，本發明實施例提供一種數據存儲方法，包括：采集網絡信令數據；按照分布KEY規則確定用戶的KEY值；按照所述KEY值將所述網絡信令數據存儲于所述分布式文件系統。

可選地，所述KEY至少包括以下之一：用戶號碼、XDR類型、時間的組合。

第三方面，本發明實施例提供一種數據查詢方法，包括：調用系統接口，獲取用戶輸入的KEY值；根據所述號碼/或時間段返回相應的XDR記錄；其中，所述KEY值包括用戶的號碼和/或時間時段。

第四方面，本發明實施例提供一種數據處理系統，包括：采集模塊，用于通過消息通知機制采集網絡信令數據；計算模塊，用于按照維度將所述網絡信令數據進行分組以及進行指標計算；發布模塊，用于將所述網絡信令數據對應的指標計算結果發送給共享服務器；加載模塊，用于按照分布KEY規則確定用戶的KEY值；按照所述KEY值將所述網絡信令數據存儲于所述分布式文件系統；查詢模塊，用于調用系統接口，獲取用戶輸入的KEY值；根據所述號碼/或時間段返回相應的XDR記錄。

本發明實施提供的數據處理方案，通過消息通知機制采集網絡信令數據，按照維度將網絡信令數據進行分組以及進行指標計算，將網絡信令數據對應的指標計算結果發送給共享服務器；可實時定向采集網絡信令數據，后續過濾分組步驟，可降低序列化開銷和網絡開銷，將計算結果存儲于共享服務器可以供第三方系統讀取使用。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹。顯而易見地，下面附圖中反映的僅僅是本發明的一部分實施例，對于本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得本發明的其他實施方式。而所有這些實施例或實施方式都在本發明的保護范圍之內。

圖1為本發明實施例提供的一種數據處理方法的流程圖；

圖2為本發明實施例提供的一種數據處理方法中一種可選方案的流程圖；

圖3為本發明實施例提供的一種數據存儲方法的流程圖；

圖4為本發明實施例提供的一種數據查詢方法的流程圖；

圖5為本發明實施例提供的一種數據處理系統的結構示意圖。

具體實施方式