[發明專利]一種流量數據篩選方法和裝置

在審

• 申請號: 201310700077.5
• 申請日: 2013-12-18
• 公開（公告）號: CN104734894A
• 公開（公告）日: 2015-06-24
• 發明（設計）人: 包靜;包嘉琪;張錦;李岳峰;林禮虎;何帆;王臣京
• 申請（專利權）人: 中國移動通信集團甘肅有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L12/24
• 代理公司: 北京中譽威圣知識產權代理有限公司 11279
• 代理人: 郭振興;叢芳

技術領域

本發明涉及通信領域中數據統計技術領域，具體地，涉及流量數據篩選的方法和裝置。

背景技術

如圖1所示，現網用戶GPRS話單生成機制為：用戶上網過程中，由SGSN、GGSN設備生成S-CDR和G-CDR原始話單，內容包含用戶手機號、IMSI、IMEI、SGSN、GGSN信息、網絡標識、運營商標識、上網開始結束時間、時長、流量、位置（初始小區）等內容。原始話單經CG進行格式轉換及部分話單合并后，送至BOSS（Business?Operation?Support?System，業務運營支撐系統）進行計費。話單生成門限一般設置為流量達到2M或上網時長達到15分鐘。

目前GPRS話單內容中，缺少用戶訪問的網址Url、分級鏈接、網頁流媒體信息，無法區分顯示P2P、即時通信類業務類型，無法基于話單進行精準的用戶行為分析。

目前GPRS話單中位置信息不準確，所記錄的小區信息為用戶發起業務時所處的小區，無法展現切換后的小區信息。

各專業系統相互獨立，分散管理，支撐、網管、客服等系統各自獨立建設，無底層統一數據源，造成端到端業務質量、用戶行為、業務類型等現有數據沒有有效整合，影響流量運營支撐。

流量數據篩選系統具有領先清晰的架構：流量數據篩選系統分為適配和xDR預處理子系統、分布式計算子系統、實時處理子系統、詳單存儲與查詢子系統、數據模型分析子系統、服務精細化平臺、扇區與流量區域熱點地圖、應用識別/分類特征庫、網址識別/分類特征庫、心跳機制負反饋粗細跟蹤深度包檢測、應用軟件心跳機制流量分析數據質量檢驗字典庫、Web應用子系統和系統管理子系統。

發明內容

本發明是為了克服現有技術中對各應用軟件心跳機制流量數據缺乏有效篩選的缺陷，根據本發明的一個方面，提出一種流量數據篩選方法。

根據本發明實施例的流量數據篩選方法，包括：

依靠探針通過分析端口獲取各應用軟件心跳機制流量數據，獲取流量數據的標簽數據；

根據標簽數據對流量數據進行半監督聚類處理后送入數據倉庫；

將數據倉庫內的各種數據實體映射成虛擬數據層中的表，進行數據加工整合。

本發明是為了克服現有技術中對各應用軟件心跳機制流量數據缺乏有效篩選的缺陷，根據本發明的一個方面，提出一種流量數據篩選裝置。

根據本發明實施例的流量數據篩選方法，包括：

數據獲取模塊，用于依靠探針通過分析端口獲取各應用軟件心跳機制流量數據，獲取流量數據的標簽數據；

數據處理模塊，用于根據標簽數據對所述流量數據進行半監督聚類處理后送入數據倉庫；

映射整合模塊，用于將數據倉庫內的各種數據實體映射成虛擬數據層中的表，進行數據加工整合。

本發明的流量數據篩選方法和裝置，對基于心跳機制的各應用進行數據選取、數據集成、數據整理和數據規約，提高了各應用軟件心跳機制流量數據篩選的有效性，為后續的流量數據分析提供了可靠保障。

本發明的其它特征和優點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發明而了解。本發明的目的和其他優點可通過在所寫的說明書、權利要求書、以及附圖中所特別指出的結構來實現和獲得。

下面通過附圖和實施例，對本發明的技術方案做進一步的詳細描述。

附圖說明

附圖用來提供對本發明的進一步理解，并且構成說明書的一部分，與本發明的實施例一起用于解釋本發明，并不構成對本發明的限制。在附圖中：

圖1為現有技術中現網用戶GPRS上網話單生成機制示意圖；

圖2為本發明流量數據篩選系統示意圖；

圖3為本發明靜態基線與動態基線的比較示意圖；

圖4為本發明本發明為基于DFI和DPI的的應用軟件心跳機制流量分析裝置的結構示意圖；

圖5為本發明流量識別順序的結構示意圖；

圖6為本發明心跳機制流量識別模塊的具體功能分解圖；

圖7為本發明流量數據篩選裝置的結構示意圖。

具體實施方式

下面結合附圖，對本發明的具體實施方式進行詳細描述，但應當理解本發明的保護范圍并不受具體實施方式的限制。