[發明專利]一種同時支持離線數據和實時在線數據的大數據處理解決系統

在審

• 申請號: 201610005212.8
• 申請日: 2016-01-05
• 公開（公告）號: CN105677836A
• 公開（公告）日: 2016-06-15
• 發明（設計）人: 許丹霞;劉寅;汪偉;鄭宇
• 申請（專利權）人: 北京匯商融通信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京迎碩知識產權代理事務所(普通合伙) 11512
• 代理人: 呂良;張群峰

1.一種同時支持離線數據和實時在線數據的大數據處理系統， 其特征在于包括數據采集模塊、預處理模塊、分布式存儲模塊、分布 式實時流計算模塊、離線數據處理模塊、數據庫、數據綜合分析查詢 模塊、綜合展示模塊和統一配置中心；

其中：

數據采集模塊用于從統一配置中心讀取配置信息，根據該配置信 息讀取關系型數據庫中的數據，并將該數據導入分布式文件存儲模 塊；接收應用集群發出的處理請求，將接收到的請求數據直接提供給 分布式實時流計算模塊；將應用集群日志文件傳送到本地磁盤進行存 儲備份；

數據預處理模塊用于從統一配置中心讀取配置信息，讀取本地磁 盤存儲的應用的日志文件，對日志文件數據進行預處理后存入本地磁 盤，并上傳預處理之后的日志文件數據到分布式存儲模塊；

分布式存儲模塊用于存儲海量數據；

分布式實時流計算模塊用于從數據采集模塊讀取數據，并讀取統 一配置中心的配置信息，根據該配置信息對從數據采集模塊讀取的數 據進行實時計算，將計算結果存儲到數據庫中；

離線數據處理模塊用于處理分布式存儲模塊中存儲的數據，將各 個指標計算完成后寫入數據庫；

數據庫用于存儲數據；

數據綜合分析查詢模塊用于訪問數據庫，并提供各種指標查詢接 口；

綜合展示模塊用于基于web容器提供查詢服務，實現分析結果可 視化；

統一配置中心用于對應用集群進行配置。

2.根據權利要求1所述的大數據處理系統，其特征在于：數據采 集模塊包括消息中間件模塊，該消息中間件模塊接收應用集群發出的 處理請求，接收到的請求數據直接提供給分布式實時流計算模塊；該 消息中間件模塊還將應用集群日志文件傳送到本地磁盤進行存儲備 份。

3.根據權利要求1所述的大數據處理系統，其特征在于：數據 預處理模塊對數據進行預處理包括對數據進行清洗、規約，壓縮處理 相同類別的數據。

4.根據權利要求1所述的大數據處理系統，其特征在于：分布 式存儲模塊包括：存儲節點、節點性能評估模塊；

其中：

(1)節點性能評估模塊對應用集群中各個服務器的性能進行評 估，生成一個動態的節點性能基準文件，該文件根據需求定期更新； 對集群中節點服務器性能評估包括服務器的CPU處理能力、內存性 能、磁盤I/O性能和網絡I/O性能；

(2)當用戶上傳文件時，節點性能評估模塊先計算存儲節點的 性能數值與所有節點性能數值總和的比例值，再根據該比例的值來確 定該節點可以存儲的數據大小占集群總存儲數據大小的比例。

5.一種同時支持離線數據和實時在線數據的大數據處理方法， 其特征在于包括：

從統一配置中心讀取配置信息，根據該配置信息讀取關系型數據 庫中的數據，并將該數據導入分布式文件存儲模塊；接收應用集群發 出的處理請求，將接收到的請求數據直接提供給分布式實時流計算模 塊；將應用集群日志文件傳送到本地磁盤進行存儲備份；

從統一配置中心讀取配置信息，讀取本地磁盤存儲的應用的日志 文件，對日志文件數據進行預處理后存入本地磁盤，并上傳預處理之 后的日志文件數據到分布式文件存儲模塊；

從數據采集模塊讀取數據，并讀取統一配置中心的配置信息，根 據該配置信息對從數據采集模塊讀取的數據進行實時計算，將計算結 果存儲到數據庫中；離線數據處理模塊用于處理分布式文件存儲模塊 中存儲的數據，將各個指標計算完成后寫入數據庫。

6.根據權利要求5所述的大數據處理方法，其特征在于：對數據 進行預處理包括對數據進行清洗、規約，壓縮處理相同類別的數據。