[發(fā)明專利]可動(dòng)態(tài)配置的大數(shù)據(jù)分析系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201510577285.X
• 申請(qǐng)日: 2015-09-11
• 公開(kāi)（公告）號(hào): CN105279603B
• 公開(kāi)（公告）日: 2020-02-07
• 發(fā)明（設(shè)計(jì)）人: 肖如良;彭行雄;丘志鵬;倪友聰;杜欣;蔡聲鎮(zhèn)
• 申請(qǐng)（專利權(quán)）人: 福建師范大學(xué)
• 主分類號(hào): G06Q10/06
• 分類號(hào): G06Q10/06;G06F16/2458
• 代理公司: 35214 福州市博深專利事務(wù)所(普通合伙)
• 代理人: 林志崢

本發(fā)明公開(kāi)了一種可動(dòng)態(tài)配置的大數(shù)據(jù)分析系統(tǒng)與方法，所述系統(tǒng)包括實(shí)時(shí)數(shù)據(jù)存儲(chǔ)管理模塊、實(shí)時(shí)流分析計(jì)算模塊、離線分析模塊、可視化模塊等四大模塊，每一個(gè)模塊中都設(shè)計(jì)了至少一個(gè)可進(jìn)行動(dòng)態(tài)配置管理的組件，如數(shù)據(jù)管理配置組件、實(shí)時(shí)流分析計(jì)算配置組件、離線分析計(jì)算配置組件、動(dòng)態(tài)配置組件。本發(fā)明還提出了一種大數(shù)據(jù)分析系統(tǒng)的動(dòng)態(tài)配置方法，設(shè)計(jì)了各組成模塊的數(shù)據(jù)結(jié)構(gòu)及消息結(jié)構(gòu)，通過(guò)動(dòng)態(tài)配置管理器中的警示數(shù)據(jù)結(jié)構(gòu)的狀態(tài)信息驅(qū)動(dòng)系統(tǒng)的動(dòng)態(tài)配置，提出了警示冗余度的計(jì)算方法及動(dòng)態(tài)配置方法，通過(guò)上述方式，本發(fā)明能夠使系統(tǒng)運(yùn)行于一個(gè)高效率的大數(shù)據(jù)分析計(jì)算水平，有效地解決了大數(shù)據(jù)分析平臺(tái)管理的優(yōu)化過(guò)程。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)分析應(yīng)用領(lǐng)域，尤其是涉及一種可動(dòng)態(tài)配置的大數(shù)據(jù)分析系統(tǒng)及方法。

背景技術(shù)

現(xiàn)在的商務(wù)智能系統(tǒng)、決策支持系統(tǒng)等日益要求支持大數(shù)據(jù)集成與分析，由于大數(shù)據(jù)分析計(jì)算的數(shù)據(jù)量大、過(guò)程復(fù)雜、處理時(shí)間長(zhǎng)，因而大數(shù)據(jù)分析及應(yīng)用也正面臨著一種新的挑戰(zhàn)：系統(tǒng)必須具有高可靠性，要求軟件系統(tǒng)對(duì)變化具有自適應(yīng)性，這些系統(tǒng)需要具有在不中斷系統(tǒng)服務(wù)前提下更新配置的能力，容錯(cuò)管理問(wèn)題，如何在更新失敗的情況下處理異常，使系統(tǒng)保持正常穩(wěn)定的運(yùn)行。即動(dòng)態(tài)配置技術(shù)是實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)軟件自適應(yīng)可靠性的一種重要手段。

早期的大數(shù)據(jù)并行處理框架Hadoop受限于單點(diǎn)故障及計(jì)算模式相對(duì)單一，Hadoop2.0引入YARN這一通用資源管理系統(tǒng)，提升了系統(tǒng)可靠性和整個(gè)集群的資源利用率，使其成為可以運(yùn)行包括實(shí)時(shí)流處理框架Storm、Spark等多種大數(shù)據(jù)處理框架及編程模式，但提高大數(shù)據(jù)分析應(yīng)用系統(tǒng)的容錯(cuò)能力，進(jìn)一步使系統(tǒng)具有好的可靠性仍然是一個(gè)難題。

當(dāng)前正廣泛興起的大數(shù)據(jù)引擎Spark技術(shù)最初由UC Berkeley大學(xué)的AMPLab實(shí)驗(yàn)室開(kāi)發(fā)，現(xiàn)在是由Apache基金管理的開(kāi)源項(xiàng)目。Spark的目標(biāo)是滿足絕大多數(shù)據(jù)數(shù)據(jù)處理以及挖掘的應(yīng)用，使數(shù)據(jù)分析程序運(yùn)行的更快，容錯(cuò)性更好的一種通用的支持內(nèi)存計(jì)算的模型。Spark引入了彈性分布式數(shù)據(jù)集(Resilient Distributed DataSets)RDD模型，以充分利用內(nèi)存資源提升計(jì)算效率。與其它的大數(shù)據(jù)處理框架不同的是，Spark可以在Shark、MLlib、GraphX和Spark Streaming的基礎(chǔ)上利用一個(gè)引擎高效的處理從ETL到SQL到機(jī)器學(xué)習(xí)再到流數(shù)據(jù)的處理。使用Spark加Spark Streaming(或Shark,B1inkDB)用于實(shí)時(shí)和批處理；使用Spark Streaming加MLlib用于流處理和機(jī)器學(xué)習(xí)；使用Spark加GraphX用于圖流水線等。但這種新的實(shí)時(shí)性流計(jì)算框架盡管實(shí)時(shí)性能與容錯(cuò)性能得到了大的改善，但系統(tǒng)的高可靠性與高可用性仍然是一個(gè)挑戰(zhàn)性問(wèn)題。

隨著大數(shù)據(jù)平臺(tái)中分布式系統(tǒng)規(guī)模越來(lái)越龐大、行為越來(lái)越復(fù)雜，系統(tǒng)中出現(xiàn)的各種故障也呈指數(shù)級(jí)增長(zhǎng)，給工業(yè)界、政府部門帶來(lái)非常嚴(yán)重的危害和損失，系統(tǒng)一旦發(fā)生停機(jī)事件，將會(huì)帶來(lái)巨大損失和困擾，因此這些大數(shù)據(jù)分析系統(tǒng)需要具有在不中斷系統(tǒng)服務(wù)前提下具有自動(dòng)配置的能力，以提高系統(tǒng)的可靠性，增強(qiáng)系統(tǒng)風(fēng)險(xiǎn)控制能力，提高軟件平臺(tái)的整體運(yùn)行效率。針對(duì)相關(guān)技術(shù)中的問(wèn)題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是：提供用于大數(shù)據(jù)分析計(jì)算運(yùn)行期的動(dòng)態(tài)優(yōu)化配置，以提高系統(tǒng)的可靠性，增強(qiáng)風(fēng)險(xiǎn)控制能力。

為了解決上述技術(shù)問(wèn)題，本發(fā)明采用的技術(shù)方案為：提供一種可動(dòng)態(tài)配置的大數(shù)據(jù)分析系統(tǒng)，包括：

實(shí)時(shí)數(shù)據(jù)存儲(chǔ)管理模塊，用于在分布式服務(wù)集群中獲取實(shí)時(shí)流數(shù)據(jù)，并動(dòng)態(tài)配置相關(guān)控制參數(shù)，并存儲(chǔ)；

實(shí)時(shí)流分析計(jì)算模塊，用于統(tǒng)計(jì)分析實(shí)時(shí)數(shù)據(jù)，獲得實(shí)時(shí)計(jì)算結(jié)果，并對(duì)實(shí)時(shí)分析算法負(fù)載進(jìn)行任務(wù)調(diào)整；

離線分析模塊，用于統(tǒng)計(jì)分析離線數(shù)據(jù)，獲得離線計(jì)算結(jié)果，并對(duì)離線分析算法負(fù)載進(jìn)行任務(wù)調(diào)整；