[發(fā)明專利]一種同時(shí)支持離線數(shù)據(jù)和實(shí)時(shí)在線數(shù)據(jù)的大數(shù)據(jù)處理解決系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201610005212.8
• 申請(qǐng)日: 2016-01-05
• 公開（公告）號(hào): CN105677836A
• 公開（公告）日: 2016-06-15
• 發(fā)明（設(shè)計(jì)）人: 許丹霞;劉寅;汪偉;鄭宇
• 申請(qǐng)（專利權(quán)）人: 北京匯商融通信息技術(shù)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京迎碩知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11512
• 代理人: 呂良;張群峰

技術(shù)領(lǐng)域

本發(fā)明涉及一種大數(shù)據(jù)處理解決方案，特別是一種同時(shí)支持離線 數(shù)據(jù)和實(shí)時(shí)在線數(shù)據(jù)的完整的大數(shù)據(jù)處理解決系統(tǒng)。

背景技術(shù)

隨著技術(shù)的發(fā)展，人們?cè)絹碓叫枰獦?gòu)建復(fù)雜和低延遲的處理系 統(tǒng)。他們所能使用的兩個(gè)工具都不能完全解決問題：用于處理歷史數(shù) 據(jù)的可擴(kuò)展的高延遲批處理系統(tǒng)，和無法再處理結(jié)果的低延遲流式處 理系統(tǒng)。但將這兩個(gè)工具連在一起，就可以構(gòu)建可用的解決方案。

Hadoop框架帶來了批量數(shù)據(jù)處理，但是網(wǎng)絡(luò)規(guī)模大數(shù)據(jù)的實(shí)時(shí) 處理仍然是一個(gè)挑戰(zhàn)。有很多技術(shù)可以用來建立這樣一個(gè)完整的數(shù) 據(jù)處理系統(tǒng)，但要選擇合適的工具并且編排使用它們卻是復(fù)雜和艱巨 的。

發(fā)明內(nèi)容

基于以上情況，本發(fā)明提出了一種同時(shí)支持離線數(shù)據(jù)和實(shí)時(shí)在線 數(shù)據(jù)的完整的大數(shù)據(jù)處理解決方案。其中包括：

一、一個(gè)可配置的能夠采集多種數(shù)據(jù)來源的數(shù)據(jù)采集模塊，并引 入了分布式故障檢測(cè)機(jī)制，來提高數(shù)據(jù)采集的穩(wěn)定性和可靠性。

二、一個(gè)可配置的數(shù)據(jù)預(yù)處理模塊，可以從統(tǒng)一配置中心讀取配 置信息加載相應(yīng)的處理程序。

三、一個(gè)改進(jìn)算法的分布式文件存儲(chǔ)模塊，提出一種對(duì)節(jié)點(diǎn)性能 的評(píng)估方法，對(duì)HDFS存儲(chǔ)算法進(jìn)行改進(jìn)，使其能更加快速、高效、 準(zhǔn)確地完成海量數(shù)據(jù)的存儲(chǔ)工作。

四、一個(gè)高性能的實(shí)時(shí)數(shù)據(jù)處理模塊，采用Strom分布式流式處 理框架，處理海量實(shí)時(shí)數(shù)據(jù)，并將計(jì)算結(jié)果實(shí)時(shí)存入數(shù)據(jù)庫(kù)中。

五、一個(gè)高性能的離線數(shù)據(jù)處理模塊，采用HadoopMapReduce 編程模型，并提出了一種基于節(jié)點(diǎn)動(dòng)態(tài)性能推斷的任務(wù)分配算法，提 高了離線數(shù)據(jù)處理模塊的性能和穩(wěn)定性。

六、一個(gè)高度定制化的綜合展示模塊，基于web容器提供查詢服 務(wù)，通過ECharts實(shí)現(xiàn)分析結(jié)果可視化，用戶可通過拖拽自定義布局， 定制個(gè)性化的展示頁面，圖表之間支持聯(lián)動(dòng)和鉆取。并提供界面對(duì)統(tǒng) 一配置中心進(jìn)行維護(hù)。

為實(shí)現(xiàn)本發(fā)明之目的，采用以下技術(shù)方案予以實(shí)現(xiàn)：

一種同時(shí)支持離線數(shù)據(jù)和實(shí)時(shí)在線數(shù)據(jù)的大數(shù)據(jù)處理系統(tǒng)，包 括：

數(shù)據(jù)采集模塊、預(yù)處理模塊、分布式存儲(chǔ)模塊、分布式實(shí)時(shí)流計(jì) 算模塊、離線數(shù)據(jù)處理模塊、數(shù)據(jù)庫(kù)、數(shù)據(jù)綜合分析查詢模塊、綜合 展示模塊和統(tǒng)一配置中心；

其中：

數(shù)據(jù)采集模塊用于從統(tǒng)一配置中心讀取配置信息，根據(jù)該配置信 息讀取關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)，并將該數(shù)據(jù)導(dǎo)入分布式文件存儲(chǔ)模 塊，接收應(yīng)用集群發(fā)出的處理請(qǐng)求，將接收到的請(qǐng)求數(shù)據(jù)直接提供給 分布式實(shí)時(shí)流計(jì)算模塊，將應(yīng)用集群日志文件傳送到本地磁盤進(jìn)行存 儲(chǔ)備份；

數(shù)據(jù)預(yù)處理模塊用于從統(tǒng)一配置中心讀取配置信息，讀取本地磁 盤存儲(chǔ)的應(yīng)用的日志文件，對(duì)數(shù)據(jù)進(jìn)行處理后存入本地磁盤，并上傳 文件到分布式文件存儲(chǔ)模塊；

分布式存儲(chǔ)模塊用于存儲(chǔ)海量數(shù)據(jù)；

分布式實(shí)時(shí)流計(jì)算模塊用于從數(shù)據(jù)采集模塊讀取數(shù)據(jù)，并讀取統(tǒng) 一配置中心的配置信息，進(jìn)行實(shí)時(shí)計(jì)算，將計(jì)算結(jié)果存儲(chǔ)到數(shù)據(jù)庫(kù)中； 離線數(shù)據(jù)處理模塊用于處理分布式文件存儲(chǔ)模塊中存儲(chǔ)的數(shù)據(jù)，將各 個(gè)指標(biāo)計(jì)算完成后寫入數(shù)據(jù)庫(kù)；

數(shù)據(jù)庫(kù)用于存儲(chǔ)數(shù)據(jù)；

數(shù)據(jù)綜合分析查詢模塊用于訪問數(shù)據(jù)庫(kù)，并提供各種指標(biāo)查詢接 口；

綜合展示模塊用于基于web容器提供查詢服務(wù)，實(shí)現(xiàn)分析結(jié)果可 視化；

統(tǒng)一配置中心用于對(duì)應(yīng)用集群進(jìn)行配置。

所述的大數(shù)據(jù)處理系統(tǒng)，優(yōu)選的：數(shù)據(jù)采集模塊包括消息中間件 模塊，該消息中間件模塊接收應(yīng)用集群發(fā)出的處理請(qǐng)求，接收到的數(shù) 據(jù)直接提供給分布式實(shí)時(shí)流計(jì)算模塊；該消息中間件模塊還將應(yīng)用集 群日志文件傳送到本地磁盤進(jìn)行存儲(chǔ)備份。

所述的大數(shù)據(jù)處理系統(tǒng)，優(yōu)選的：數(shù)據(jù)預(yù)處理模塊對(duì)數(shù)據(jù)進(jìn)行預(yù) 處理包括對(duì)數(shù)據(jù)進(jìn)行清洗、規(guī)約，壓縮處理相同類別的數(shù)據(jù)。

所述的大數(shù)據(jù)處理系統(tǒng)，優(yōu)選的分布式文件存儲(chǔ)模塊包括：存儲(chǔ) 節(jié)點(diǎn)、節(jié)點(diǎn)性能評(píng)估模塊；

其中：

(1)節(jié)點(diǎn)性能評(píng)估模塊對(duì)應(yīng)用集群中各個(gè)服務(wù)器的性能進(jìn)行評(píng) 估，生成一個(gè)動(dòng)態(tài)的節(jié)點(diǎn)性能基準(zhǔn)文件，該文件根據(jù)需求定期更新； 對(duì)集群中節(jié)點(diǎn)服務(wù)器性能評(píng)估包括服務(wù)器的CPU處理能力、內(nèi)存性能 和磁盤I/O性能；