[發明專利]一種利用云原生資源的數據湖構建方法

有效

• 申請號: 202310083078.3
• 申請日: 2023-02-08
• 公開（公告）號: CN115809149B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 鄂海紅;魏文定;宋美娜;姚欽鋒;王紅熳;劉鐘允;王浩田
• 申請（專利權）人: 北京郵電大學;四方聯盟（北京）科技發展有限公司;姚欽鋒
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/455
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 劉海蓮

1.一種利用云原生資源的數據湖構建方法，其特征在于，包括以下步驟：

構建數據源及數據源表、數據湖數據目錄，所述數據湖數據目錄用于保存數據湖表以及對象存儲或HDFS的文件路徑；

配置入湖任務，根據所述數據源表以及數據湖數據目錄生成入湖任務參數，將所述入湖任務以及入湖任務參數提交至服務應用中心；

通過所述服務應用中心將所述入湖任務以及入湖任務參數轉發至任務調度中心入湖隊列，在計算資源狀態處于空閑時，將所述入湖任務以及入湖任務參數轉發至資源調度中心；

通過所述資源調度中心解析所述入湖任務參數，獲取所述數據源及數據源表，對所述數據源及數據源表做映射獲取數據源元數據信息和中間表元數據信息，生成抽象語法樹，并基于所述抽象語法樹生成任務計劃，根據所述任務計劃調度計算資源在對應數據湖數據目錄執行數據寫入任務，完成數據湖的構建；

其中，在構建數據源及數據源表、數據湖數據目錄之前，還包括：

在云原生資源上部署數據湖，其中，所述云原生資源包括存儲資源和計算資源；具體包括：

構建存儲資源和計算資源，其中，所述構建所述存儲資源的流程包括，

創建s_configmap?構建對象存儲配置文件；

編寫store_template.yaml創建s_deployment，并由s_deployment創建對象存儲容器；

構建s_service為對象存儲提供對外連接服務；

所述構建所述計算資源的流程包括，

創建c_configmap構建計算資源配置文件；

編寫computer_template.yaml創建c_deployment，并由c_deployment創建計算資源容器；

構建c_service為計算資源集群提供對外連接服務；

所述構建所述計算資源的流程還包括，通過計算資源彈性伸縮策略避免計算資源過載。

2.根據權利要求1所述的方法，其特征在于，所述構建數據源及數據源表，包括：

接收用戶從UI界面輸入的包括外部數據源的IP地址、端口號、用戶名和密碼的源鏈接信息，生成數據源信息；

存放所述數據源信息，將所述數據源信息與元數據中間表存儲路徑對應；

對所述數據源信息進行劃分，指定所述數據源信息輸出目錄。

3.根據權利要求1所述的方法，其特征在于，所述在計算資源狀態處于空閑時，將所述入湖任務以及入湖任務參數轉發至資源調度中心，包括：

當所述入湖任務到達所述入湖隊列隊首時，若存在計算資源狀態處于空閑時，接受Master?Tasker調度，將所述入湖任務以及入湖任務參數轉發至資源調度中心；其中，所述Master?Tasker用于從云原生資源管理中心獲取計算資源狀態，當計算資源空閑，采取FIFO策略從任務隊列中獲取任務并提交至資源調度中心。

4.根據權利要求1所述的方法，其特征在于，還包括：

通過Metrics?Server收集每一個工作節點memory的cpu占比metrics，將所述metrics匯報給Autoscaler?Server，通過所述Autoscaler?Server根據度量所述metrics是否在閥值區間控制計算資源數量。

5.根據權利要求1所述的方法，其特征在于，在根據所述任務計劃調度計算資源在對應數據湖數據目錄執行數據寫入任務之后，還包括：

通過資源調度中心向服務應用中心匯報執行結果，通過服務應用中心將所述執行結果遞交至前端顯示輸出。