[發明專利]元數據管理系統、用戶集群創建方法、裝置、設備和介質

有效

• 申請號: 201810413388.6
• 申請日: 2018-05-03
• 公開（公告）號: CN110457307B
• 公開（公告）日: 2023-10-24
• 發明（設計）人: 黃梅龍
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/27
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 彭瓊

本申請實施例公開了一種元數據管理系統、用戶集群創建方法、裝置、設備和介質，用以實現用戶集群中元數據的持久化保存，同時實現單個用戶集群中計算與存儲分離、同一用戶創建的多個用戶集群之間元數據共享。所述元數據管理系統，包括：多個用戶集群；元數據數據庫集群，獨立于所述多個用戶集群部署，并與所述多個用戶集群進行通信，用于存儲所述多個用戶集群的元數據；元數據管理平臺，與所述元數據數據庫集群進行通信，用于管理所述多個用戶集群的元數據。

技術領域

本申請涉及計算機技術領域，尤其涉及一種元數據管理系統、用戶集群創建方法、裝置、設備和介質。

背景技術

海杜普(Hadoop)是一種分布式大數據開發平臺，如圖1所示，其由Hadoop分布式文件系統(Hadoop Distributed File System，HDFS)、MapReduce、HBase、Pig、Hive、Sqoop和ZooKeeper等成員組成。其中，HDFS具有高容錯性的特點，是適合超大數據集的應用程序；MapReduce是一種編程模型，用于大規模數據集的并行運算；HBase是一個開源的基于列存儲模型的分布式數據庫；Pig是一個基于Hadoop的大規模數據分析平臺，為復雜的海量數據并行計算提供簡單的操作和編程接口；Hive是基于Hadoop的工具，用于提供完整的SQL查詢，并可以將SQL語句轉換為MapReduce任務進行運行；Sqoop是一種開源工具，主要用于在Hive與數據庫之間進行數據傳遞；ZooKeeper是高效的、可拓展的協調系統，用于存儲和協調關鍵共享狀態。

在計算Hadoop作業過程中，需要對數據文件進行讀寫操作，這些數據文件通常存儲在HDFS中，這些數據文件的描述信息通過Hive的元存儲(metastore)服務管理并記錄在元數據庫中。Hadoop作業運行期間通過與metastore服務進行交互，獲取數據文件的描述信息。如圖2所示，Hadoop作業運行期間，Hadoop服務與metastore服務進行交互，從元數據庫中獲取數據文件的描述信息。

目前，用戶集群的metastore服務和元數據存儲所使用的元數據庫，都是在用戶集群的內部環境中。每個集群有自己的元數據庫，且各個集群的元數據庫是相互獨立的。舉例來說，如圖3所示，用戶A創建有用戶集群1和用戶集群2，用戶集群1的集群內部包括元數據庫1，用戶集群1中數據文件的描述信息存儲在元數據庫1中，用戶集群2的集群內部包括元數據庫2，用戶集群2中數據文件的描述信息存儲在元數據庫2中，元數據庫1與元數據庫2相互獨立。用戶B創建有用戶集群3，用戶集群3的集群內部包括元數據庫3，用戶集群3中數據文件的描述信息存儲在元數據庫3中，元數據庫3與元數據庫1、元數據庫2相互獨立。

上述元數據管理方案，對于單個Hadoop用戶集群，是沒有問題的，但是這種元數據管理方案并不能滿足彈性Hadoop云平臺的需求。具體來說，彈性Hadoop云平臺提供彈性的按需服務，用戶可以隨時創建用戶集群進行計算，并在計算完成之后釋放創建的用戶集群。在彈性Hadoop云平臺中，若采用上述元數據管理方案，則用戶集群中的元數據無法進行持久化保存，而且用戶集群的元數據存儲在用戶集群內部，未實現計算和存儲分離，不利于同一個用戶在多個用戶集群之間進行元數據共享。

申請內容

本申請實施例提供了一種元數據管理系統、用戶集群創建方法、裝置、設備和計算機可讀存儲介質，用以實現用戶集群中元數據的持久化保存，同時實現單個用戶集群中計算與存儲分離、同一用戶創建的多個用戶集群之間元數據共享。

根據本申請實施例的第一方面，提供一種元數據管理系統，包括：

多個用戶集群；

元數據數據庫集群，獨立于所述多個用戶集群部署，并與所述多個用戶集群進行通信，用于存儲所述多個用戶集群的元數據；

元數據管理平臺，與所述元數據數據庫集群進行通信，用于管理所述多個用戶集群的元數據。