[發(fā)明專利]一種利用云原生資源的數(shù)據(jù)湖構(gòu)建方法

有效

• 申請?zhí)枺?/td>: 202310083078.3
• 申請日: 2023-02-08
• 公開（公告）號: CN115809149B
• 公開（公告）日: 2023-04-28
• 發(fā)明（設(shè)計）人: 鄂海紅;魏文定;宋美娜;姚欽鋒;王紅熳;劉鐘允;王浩田
• 申請（專利權(quán)）人: 北京郵電大學(xué);四方聯(lián)盟（北京）科技發(fā)展有限公司;姚欽鋒
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/455
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 劉海蓮

本發(fā)明提出一種利用云原生資源的數(shù)據(jù)湖構(gòu)建方法，包括，構(gòu)建數(shù)據(jù)源及數(shù)據(jù)源表、數(shù)據(jù)湖數(shù)據(jù)目錄；配置入湖任務(wù)，根據(jù)數(shù)據(jù)源表以及數(shù)據(jù)湖數(shù)據(jù)目錄生成入湖任務(wù)參數(shù)，將入湖任務(wù)以及入湖任務(wù)參數(shù)提交至服務(wù)應(yīng)用中心；通過服務(wù)應(yīng)用中心將所述入湖任務(wù)以及入湖任務(wù)參數(shù)轉(zhuǎn)發(fā)至任務(wù)調(diào)度中心入湖隊列，在計算資源狀態(tài)處于空閑時，將入湖任務(wù)以及入湖任務(wù)參數(shù)轉(zhuǎn)發(fā)至資源調(diào)度中心；通過資源調(diào)度中心解析入湖任務(wù)參數(shù)，獲取數(shù)據(jù)源及數(shù)據(jù)源表，對數(shù)據(jù)源及數(shù)據(jù)源表做映射獲取數(shù)據(jù)源元數(shù)據(jù)信息和中間表元數(shù)據(jù)信息，生成抽象語法樹，并基于抽象語法樹生成任務(wù)計劃，根據(jù)任務(wù)計劃調(diào)度計算資源在對應(yīng)數(shù)據(jù)湖數(shù)據(jù)目錄執(zhí)行數(shù)據(jù)寫入任務(wù)，完成數(shù)據(jù)湖的構(gòu)建。

技術(shù)領(lǐng)域

本發(fā)明屬于大數(shù)據(jù)技術(shù)領(lǐng)域。

背景技術(shù)

隨著5G、大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等新興技術(shù)的不斷發(fā)展，數(shù)據(jù)呈現(xiàn)出爆炸性增長，越來越多的大數(shù)據(jù)產(chǎn)品出現(xiàn)，數(shù)據(jù)湖技術(shù)成為其中的代表，數(shù)據(jù)湖是一種大型數(shù)據(jù)存儲和處理引擎，支持存儲結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)等不同類型數(shù)據(jù)，同時可實現(xiàn)不同類型海量數(shù)據(jù)的并行存取、處理、分析和傳輸，但數(shù)據(jù)湖在構(gòu)建過程中存在著組件多、部署難度高、效率低、機器成本和維護成本比較高等問題。

云原生應(yīng)用也就是面向“云”而設(shè)計的應(yīng)用，在使用云原生技術(shù)后，開發(fā)者無需考慮底層的技術(shù)實現(xiàn)，可以充分發(fā)揮云平臺的彈性和分布式優(yōu)勢，實現(xiàn)快速部署、按需伸縮、不停機交付等。

云原生數(shù)據(jù)湖是基于云環(huán)境構(gòu)建的低成本大數(shù)據(jù)解決方案，對于存儲，云原生數(shù)據(jù)湖采用對象存儲或HDFS，實現(xiàn)了容量按需擴容和更低的價格，同時云上統(tǒng)一存儲也簡化了之后數(shù)據(jù)調(diào)用的復(fù)雜度；對于計算，云原生數(shù)據(jù)湖采用計算存儲分離的架構(gòu)，讓計算節(jié)點彈性伸縮，避免了存算需求不同造成的浪費，利用云原生應(yīng)用彈性伸縮和自動化部署，充分利用云資源實現(xiàn)在最少的空間里做最大的事。

發(fā)明內(nèi)容

本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。

為此，本發(fā)明的目的在于提出一種利用云原生資源的數(shù)據(jù)湖構(gòu)建方法，用于基于云環(huán)境低成本云構(gòu)建云原生數(shù)據(jù)湖。

為達上述目的，本發(fā)明第一方面實施例提出了一種利用云原生資源的數(shù)據(jù)湖構(gòu)建方法，包括：

構(gòu)建數(shù)據(jù)源及數(shù)據(jù)源表、數(shù)據(jù)湖數(shù)據(jù)目錄，所述數(shù)據(jù)湖數(shù)據(jù)目錄用于保存數(shù)據(jù)湖表以及對象存儲或HDFS的文件路徑；

配置入湖任務(wù)，根據(jù)所述數(shù)據(jù)源表以及數(shù)據(jù)湖數(shù)據(jù)目錄生成入湖任務(wù)參數(shù)，將所述入湖任務(wù)以及入湖任務(wù)參數(shù)提交至服務(wù)應(yīng)用中心；

通過所述服務(wù)應(yīng)用中心將所述入湖任務(wù)以及入湖任務(wù)參數(shù)轉(zhuǎn)發(fā)至任務(wù)調(diào)度中心入湖隊列，在計算資源狀態(tài)處于空閑時，將所述入湖任務(wù)以及入湖任務(wù)參數(shù)轉(zhuǎn)發(fā)至資源調(diào)度中心；

通過所述資源調(diào)度中心解析所述入湖任務(wù)參數(shù)，獲取所述數(shù)據(jù)源及數(shù)據(jù)源表，對所述數(shù)據(jù)源及數(shù)據(jù)源表做映射獲取數(shù)據(jù)源元數(shù)據(jù)信息和中間表元數(shù)據(jù)信息，生成抽象語法樹，并基于所述抽象語法樹生成任務(wù)計劃，根據(jù)所述任務(wù)計劃調(diào)度計算資源在對應(yīng)數(shù)據(jù)湖數(shù)據(jù)目錄執(zhí)行數(shù)據(jù)寫入任務(wù)，完成數(shù)據(jù)湖的構(gòu)建。

另外，根據(jù)本發(fā)明上述實施例的一種利用云原生資源的數(shù)據(jù)湖構(gòu)建方法還可以具有以下附加的技術(shù)特征：

進一步地，在本發(fā)明的一個實施例中，在構(gòu)建數(shù)據(jù)源及數(shù)據(jù)源表、數(shù)據(jù)湖數(shù)據(jù)目錄之前，還包括：

在云原生資源上部署數(shù)據(jù)湖，其中，所述云原生資源包括存儲資源和計算資源。

進一步地，在本發(fā)明的一個實施例中，還包括：

構(gòu)建存儲資源和計算資源，其中，所述構(gòu)建所述存儲資源的流程包括，

創(chuàng)建s_configmap?構(gòu)建對象存儲配置文件；

編寫store_template.yaml創(chuàng)建s_deployment，并由s_deployment創(chuàng)建對象存儲容器；