[發(fā)明專利]一種基于Alluxio的大數(shù)據(jù)作業(yè)運(yùn)行方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202111092499.X
• 申請日: 2021-09-17
• 公開（公告）號: CN113806090B
• 公開（公告）日: 2023-05-26
• 發(fā)明（設(shè)計）人: 黃林;余波;謝冬鳴;林健
• 申請（專利權(quán)）人: 東云睿連（武漢）計算技術(shù)有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/54
• 代理公司: 武漢智正誠專利代理事務(wù)所(普通合伙) 42278
• 代理人: 李衛(wèi)

本申請公開了一種基于Alluxio的大數(shù)據(jù)作業(yè)運(yùn)行系統(tǒng)和方法，通過基于大數(shù)據(jù)框架的應(yīng)用系統(tǒng)向容器化的存儲訪問控制系統(tǒng)發(fā)出訪問存儲的請求；存儲訪問控制系統(tǒng)解析請求中請求參數(shù)，并下發(fā)至容器化的Alluxio系統(tǒng)；Alluxio系統(tǒng)根據(jù)請求參數(shù)獲取對應(yīng)的數(shù)據(jù)元信息并返回至存儲訪問控制系統(tǒng)；存儲訪問控制系統(tǒng)接收對應(yīng)的數(shù)據(jù)元信息并返回至應(yīng)用系統(tǒng)；應(yīng)用系統(tǒng)根據(jù)對應(yīng)數(shù)據(jù)元信息完成對同一節(jié)點(diǎn)上Alluxio系統(tǒng)Worker組件中數(shù)據(jù)操作，從而實(shí)現(xiàn)了基于大數(shù)據(jù)框架的存儲與計算分離，通過直接操作與應(yīng)用系統(tǒng)同一節(jié)點(diǎn)上容器化的Alluxio系統(tǒng)中的Worker組件緩存中的數(shù)據(jù)，避免了訪問存儲空間帶來的網(wǎng)絡(luò)性能損耗。

技術(shù)領(lǐng)域

本申請涉及大數(shù)據(jù)技術(shù)領(lǐng)域，尤其涉及一種基于Alluxio的大數(shù)據(jù)作業(yè)運(yùn)行方法和系統(tǒng)。

背景技術(shù)

隨著計算機(jī)技術(shù)的發(fā)展，大數(shù)據(jù)計算已經(jīng)在各行各業(yè)得到了廣泛的應(yīng)用。在傳統(tǒng)大數(shù)據(jù)應(yīng)用場景中，一般都采用存儲計算耦合的架構(gòu)，將計算和存儲放在一起，從而實(shí)現(xiàn)全量數(shù)據(jù)的計算與匯總處理。

在傳統(tǒng)的單一類型計算的大數(shù)據(jù)應(yīng)用場景中，傳統(tǒng)的存儲計算耦合的架構(gòu)有其合理性，然而，在數(shù)字經(jīng)濟(jì)時代，數(shù)據(jù)驅(qū)動體驗(yàn)，數(shù)據(jù)驅(qū)動決策，數(shù)據(jù)驅(qū)動流程的多場景互動結(jié)合應(yīng)用的時代需求背景下，對于大數(shù)據(jù)計算的性能上的要求也在快速提高，傳統(tǒng)的大數(shù)據(jù)計算架構(gòu)在性能上的瓶頸已經(jīng)突顯出來。因此，如何進(jìn)一步提高大數(shù)據(jù)計算架構(gòu)的性能是我們丞待解決的問題。

上述內(nèi)容僅用于輔助理解本申請的技術(shù)方案，并不代表承認(rèn)上述內(nèi)容是現(xiàn)有技術(shù)。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題，本申請?zhí)岢隽艘环N基于Alluxio的大數(shù)據(jù)作業(yè)運(yùn)行方法和系統(tǒng)。在該方法中，通過將基于大數(shù)據(jù)框架的作業(yè)運(yùn)行環(huán)境分為存儲集群和計算集群，分別使用容器化部署，并在數(shù)據(jù)通信層使用三網(wǎng)絡(luò)平面，將計算進(jìn)程之間的通信與計算進(jìn)程及存儲服務(wù)之間的通信隔離，進(jìn)而避免了兩者之間的干擾，提升了網(wǎng)絡(luò)性能，Alluxio系統(tǒng)以容器化方式部署在計算集群上，其中Alluxio系統(tǒng)的Master容器和容器編排引擎(如Kubernetes)的Master組件部署在同一節(jié)點(diǎn)上，容器編排引擎的每個node節(jié)點(diǎn)上都部署一個Alluxio系統(tǒng)的Worker容器，在用戶下達(dá)計算指令時，容器化的基于大數(shù)據(jù)框架的應(yīng)用系統(tǒng)向容器化的存儲訪問控制系統(tǒng)直接發(fā)出訪問存儲的請求，容器化的存儲訪問控制系統(tǒng)通過解析請求中的請求參數(shù)，獲取請求的作業(yè)類型(創(chuàng)建數(shù)據(jù)、讀取數(shù)據(jù)、更新數(shù)據(jù)和刪除數(shù)據(jù))，并將處理之后的請求發(fā)送給容器化的Alluxio系統(tǒng)，容器化的Alluxio系統(tǒng)中Master節(jié)點(diǎn)根據(jù)信息比對，查找容器化的Alluxio系統(tǒng)中Worker節(jié)點(diǎn)中的緩存數(shù)據(jù)分片，生成對應(yīng)的數(shù)據(jù)元信息，并將數(shù)據(jù)元信息返回至容器化的存儲訪問控制系統(tǒng)，容器化的存儲訪問控制系統(tǒng)再將接收到的數(shù)據(jù)元信息返回至容器化的基于大數(shù)據(jù)框架的應(yīng)用系統(tǒng)，從而實(shí)現(xiàn)了基于大數(shù)據(jù)框架的作業(yè)存儲與計算分離，通過將存儲放到不同的集群上，避免了存儲網(wǎng)絡(luò)帶來的網(wǎng)絡(luò)性能損失，同時提升了計算集群上的資源利用率，進(jìn)而提高了存儲訪問性能和作業(yè)計算的性能。