[發明專利]基于云計算的數據分析系統SRC

無效

• 申請號: 201210422274.0
• 申請日: 2012-10-29
• 公開（公告）號: CN103793204A
• 公開（公告）日: 2014-05-14
• 發明（設計）人: 朱志國
• 申請（專利權）人: 順軟科技發展（大連）有限公司
• 主分類號: G06F9/38
• 分類號: G06F9/38
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 李洪福

技術領域

本發明涉及一種基于云計算的數據分析系統SRC。

背景技術

隨著互聯網業務的深入發展，特別是移動互聯網時代的到來，流量激增對運營商的傳統管道模式運營提出了新的挑戰，2012年我國移動互聯網用戶將達到5.2億，年復合增長率超過35%，并由此帶動數據流量的大規模增長，這種基于數據流量的新應用和新模式對運營商的運營能力提出了挑戰。如何在提升管道寬帶能力的同時提升網絡智能性，進而提升管道承載能力和管道價值，是擺在運營商面前的急迫問題。

發明內容

本發明針對以上問題的提出，而研制一種基于云計算的數據分析系統SRC。本發明采用的技術手段如下：

一種基于云計算的數據分析系統SRC，其特征在于包括如下系統：

（1）數據采集子系統：此子系統的工作主要由部署在城域網骨干層的DPI設備完成；DPI設備首先按照一定比例采集捕捉到的IP數據包，并拆包提取、檢驗數據是否為分析范圍數據；如果數據符合提取條件，DPI設備將該數據包信息按照規定的格式保存到一條信息記錄當中，當提取并生成的記錄達到一定數量時，DPI設備將這些記錄按照預定義命名規則保存到寬帶日志文件中；

（2）數據下載子系統：由于數據采集子系統與應用訪問子系統通常部署在不同的機房或者不同地域，需要由數據下載子系統按照固定的周期將數據采集子系統生成的日志文件下載到SRC分析系統數據存儲平臺；SRC系統采用FTP方式每天定時下載采集子系統生成的日志數據并保存到SRC系統存儲平臺的HDFS中；

（3）ETL子系統：此子系統為SRC功能模塊的中樞，經過數據預處理、數據轉換、數據清洗處理以及結果轉存等步驟將大量原始日志數據轉換為供應用子系統使用的精簡有效數據，最終將精簡處理結果轉存到MySQL數據當中；在實現過程中ETL子系統通過調用Cloudbase數據倉庫接口，大大簡化了實現ETL功能程序的復雜度；

Cloudbase是運行在Hadoop上的數據倉庫軟件，可以輕易地使用SQL語句對存儲在Hadoop?HDFS中的資料進行分析，分析的主要任務是剔除無效數據，并根據有效記錄的關鍵字段進行有效記錄合并；每次利用Cloudbase進行SQL語言查詢時，Cloudbase會將SQL語句轉換為MapReduce分布式并行計算任務來執行，采用MapReduce并行計算處理方式一方面克服了單機硬件配置的瓶頸，另一方面大大提高了系統處理能力，縮短了處理時間；

（4）應用子系統：應用子系統就是為最終用戶提供各種寬帶分析功能的訪問層，包括電子渠道分析、電子渠道對比、3G移動業務分析、報表查詢搜索等功能模塊，主要負責提供友好的用戶訪問界面與處理業務功能訪問請求，并將用戶請求處理結果呈現給最終用戶；

（5）系統管理子系統：包括用戶管理、權限管理、數據管理以及系統監控模塊；其中數據管理功能實現對HDFS中日志數據和MySQL數據庫中精簡數據及挖掘數據的管理；

（6）數據訪問接口層：主要是提供訪問CloudBase倉庫、Mysql數據庫以及ETL程序簡單調用的抽象接口；借助對數據庫、數據倉庫中數據表的Select、Insert、Update、Delete等基本操作的封裝，為上層應用子系統應用業務邏輯控制模塊提供簡單調用，從而降低應用子系統訪問數據以及調用ETL子系統的復雜度。

系統每天凌晨自動下載電信公司機房DPI設備采集的日志數據，ETL子系統數據處理任務由3臺Hadoop集群完成，系統每小時能夠處理原始數據量大約為4.2GB，經過數據預處理、抽取、清洗工作流程后得到的有效數據為200MB左右，壓縮比可達1/200；由于SRC基于Hadoop并行分布式處理平臺構建，因此可以快速實現在線橫向擴展，而完成此項工作原有系統處理能力為2GB/h，同時系統無法實現實時的橫向擴展；最終電信企業網絡管理員或者其他電子渠道經驗者用戶可以通過瀏覽器訪問系統，獲取寬帶用戶訪問網上營業廳等電子渠道的統計分析結果，系統同時提供PDF文件下載功能，方便用戶獲取、打印統計報表；由于Hadoop具有較為靈活的伸縮性，當需要處理的原始數據迅速增加時，系統可以快速擴展Hadoop集群節點數量，提高系統處理能力；同時當處理任務較少時，也可以即時減少Hadoop系統工作節點，因此系統具有較為靈活的擴展性能。