[發(fā)明專利]一種云計(jì)算環(huán)境下的大數(shù)據(jù)存儲(chǔ)和處理平臺(tái)及處理方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710964272.7
• 申請(qǐng)日: 2017-10-17
• 公開（公告）號(hào): CN107943555B
• 公開（公告）日: 2021-11-23
• 發(fā)明（設(shè)計(jì)）人: 何克晶;曾巧巧
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06F9/455
• 分類號(hào): G06F9/455;G06F9/50
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 李斌

本發(fā)明公開了一種云計(jì)算環(huán)境下的大數(shù)據(jù)存儲(chǔ)和處理平臺(tái)及處理方法，平臺(tái)包括：集群計(jì)算框架，用于對(duì)用戶提交的作業(yè)針對(duì)不同的業(yè)務(wù)處理需求處理操作；集群資源管理器，用于負(fù)責(zé)管理及調(diào)度集群資源和作業(yè)；存儲(chǔ)系統(tǒng)，用于負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)管理；彈性集群管理中心，用于負(fù)責(zé)接收用戶的請(qǐng)求、管理用戶提交的工作流、監(jiān)控集群和作業(yè)的執(zhí)行狀況、管理集群的配置信息、引導(dǎo)集群和應(yīng)用程序框架以及保證整個(gè)集群的運(yùn)行的可靠性；應(yīng)用程序框架，用于構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)、為大型數(shù)據(jù)集提供更高層次的抽象處理以及準(zhǔn)實(shí)時(shí)處理；本發(fā)明能夠提供各種數(shù)據(jù)處理業(yè)務(wù)場(chǎng)景需求的解決方案，相比傳統(tǒng)的數(shù)據(jù)存儲(chǔ)、處理方式，更高效、更可靠、更靈活、更簡(jiǎn)易、更安全且更經(jīng)濟(jì)。

技術(shù)領(lǐng)域

本發(fā)明涉及云計(jì)算環(huán)境下的大數(shù)據(jù)存儲(chǔ)及處理的技術(shù)領(lǐng)域，更具體地說，涉及一種云計(jì)算環(huán)境下的大數(shù)據(jù)存儲(chǔ)和處理平臺(tái)及處理方法。

背景技術(shù)

云計(jì)算與大數(shù)據(jù)的迅速發(fā)展孵化了一批云服務(wù)商。而根據(jù)他們提供的服務(wù)類型，可以將云服務(wù)分為三個(gè)層面，IaaS(Infrastructure as a Service)、PaaS(Platform as aService)以及SaaS(Software as a Service)。針對(duì)PaaS(平臺(tái)即服務(wù))它包括離線數(shù)據(jù)處理、海量數(shù)據(jù)在線服務(wù)等應(yīng)用場(chǎng)景。它允許用戶按需靈活創(chuàng)建云端集群以及快速簡(jiǎn)易地使用數(shù)據(jù)存儲(chǔ)及處理服務(wù)，主要包括自定義集群軟硬件基礎(chǔ)設(shè)施、豐富的集群作業(yè)類型，也可以定制集群作業(yè)的執(zhí)行策略。通過將業(yè)務(wù)集群托管到云端，可以簡(jiǎn)化集群的部署、管理及監(jiān)控，也能夠提高集群的可擴(kuò)展性、可靠性以及安全性，還能夠降低企業(yè)的成本。針對(duì)云計(jì)算環(huán)境下資源的彈性供給以及不同類型的數(shù)據(jù)存儲(chǔ)及處理需求，構(gòu)建一個(gè)基于云計(jì)算的并提供各種不同的數(shù)據(jù)存儲(chǔ)服務(wù)以及處理轉(zhuǎn)換分析服務(wù)的大數(shù)據(jù)平臺(tái)是當(dāng)下云服務(wù)商亟需探索研究的內(nèi)容。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種云計(jì)算環(huán)境下的大數(shù)據(jù)存儲(chǔ)和處理平臺(tái)及處理方法，實(shí)現(xiàn)針對(duì)離線數(shù)據(jù)處理、實(shí)時(shí)數(shù)據(jù)處理以及交互式查詢的統(tǒng)一存儲(chǔ)、處理。

為了達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案：

本發(fā)明提供了一種云計(jì)算環(huán)境下的大數(shù)據(jù)存儲(chǔ)和處理平臺(tái)，包括：集群計(jì)算框架、集群資源管理器、存儲(chǔ)系統(tǒng)、彈性集群管理中心，以及應(yīng)用程序框架，

所述集群計(jì)算框架，用于對(duì)用戶提交的作業(yè)針對(duì)不同的業(yè)務(wù)處理需求進(jìn)行批處理、流式處理以及交互式處理操作；

所述集群資源管理器，用于負(fù)責(zé)管理及調(diào)度集群資源和作業(yè)；

所述存儲(chǔ)系統(tǒng)，用于負(fù)責(zé)輸入數(shù)據(jù)集、處理結(jié)果及日志信息的存儲(chǔ)管理；

所述彈性集群管理中心，用于負(fù)責(zé)接收用戶的請(qǐng)求、管理用戶提交的工作流、監(jiān)控集群和作業(yè)的執(zhí)行狀況、管理集群的配置信息、引導(dǎo)集群和應(yīng)用程序框架以及保證整個(gè)集群的運(yùn)行是可靠的；

所述應(yīng)用程序框架，用于構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)、為大型數(shù)據(jù)集提供更高層次的抽象處理以及準(zhǔn)實(shí)時(shí)處理；

所述彈性集群管理中心包括用戶請(qǐng)求處理器、集群配置管理器、集群引導(dǎo)管理器、作業(yè)流程管理器、集群狀態(tài)監(jiān)視器、以及集群管理控制器6個(gè)模塊；

所述用戶請(qǐng)求處理器，用于負(fù)責(zé)接收來自管理客戶端、管理接口以及管理命令行用戶的請(qǐng)求，并將它轉(zhuǎn)發(fā)給相應(yīng)組成部分；

所述集群配置管理器，用于負(fù)責(zé)管理集群的配置信息，包括集群虛擬機(jī)配置信息、作業(yè)配置信息、集群運(yùn)行策略、以及作業(yè)執(zhí)行策略；

所述集群引導(dǎo)管理器，用于負(fù)責(zé)集群虛擬機(jī)以及計(jì)算框架的啟動(dòng)及關(guān)閉，以及其它應(yīng)用程序的引導(dǎo)操作，另外，集群引導(dǎo)管理器也負(fù)責(zé)調(diào)用集群資源重分配的接口；

所述作業(yè)流程管理器，用于負(fù)責(zé)根據(jù)用戶提交到集群配置管理器的作業(yè)相關(guān)配置來對(duì)整個(gè)作業(yè)流進(jìn)行管理與監(jiān)控；