[發明專利]基于Hadoop集群的數據集市管理系統及其使用方法

在審

• 申請號: 201710854312.2
• 申請日: 2017-09-20
• 公開（公告）號: CN107729394A
• 公開（公告）日: 2018-02-23
• 發明（設計）人: 王霞;袁征;馮玉敏;胡帥;張睿;孫榮章;孫志梅;馬澤國;王瑤;陳倩倩;李寬
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中原信達知識產權代理有限責任公司11219
• 代理人: 張一軍,姜勁

1.基于Hadoop集群的數據集市管理系統，其特征在于，包括：

集群管理子系統；

數據管理子系統；

權限管理子系統；

訪問接口子系統；

其中，

所述集群管理子系統用于獲取所述數據集市的配置信息，以及將所述配置信息同步至所述權限管理子系統；

所述集群管理子系統還用于獲取所述數據集市的元數據信息，以及將所述元數據信息同步至所述數據管理子系統，所述數據管理子系統再將所述元數據信息同步至所述權限管理子系統；

所述數據管理子系統用于獲取所述數據集市的元數據的變更信息，所述數據管理子系統再將所述元數據的變更信息同步至所述權限管理子系統；

所述訪問接口子系統用于接收訪問請求，從所述權限管理子系統獲取對應的權限，并且根據所述請求和所述權限確定對所述訪問請求的響應。

2.根據權利要求1所述的系統，其特征在于，所述數據集市管理系統還包括：

消息服務子系統，用于將所述數據集市的元數據的變更信息同步至所述數據管理子系統；

其中所述消息服務子系統包括：

存儲單元，用于保存所述數據集市的元數據的信息；

日志單元，用于保存所述存儲單元中數據變更的信息；

訂閱單元，用于實時獲取并保存所述日志單元中的信息；

任務單元，用于將所述訂閱單元中保存的信息轉換為元數據的變更信息，并將該信息同步至所述數據管理子系統。

3.根據權利要求1所述的系統，其特征在于，所述集群管理子系統通過超文本傳輸協議類型的接口獲取所述數據集市的配置信息。

4.根據權利要求2所述的系統，其特征在于，所述訂閱單元通過配置實時采集任務獲取所述日志單元中的信息，并保存該信息用于消息訂閱。

5.根據權利要求2所述的系統，其特征在于，所述任務單元通過建立流處理任務將所述訂閱單元中保存的信息轉換為元數據的變更信息，并將該信息同步至所述數據管理子系統。

6.使用基于Hadoop集群的數據集市管理系統訪問數據集市的方法，其特征在于，包括：

集群管理子系統獲取所述數據集市的配置信息，以及將所述配置信息同步至權限管理子系統；

所述集群管理子系統獲取所述數據集市的元數據信息，以及將所述元數據信息同步至數據管理子系統，所述數據管理子系統再將所述元數據信息同步至所述權限管理子系統；

所述數據管理子系統獲取所述數據集市的元數據的變更信息，所述數據管理子系統再將所述元數據的變更信息同步至所述權限管理子系統；

訪問接口子系統接收訪問請求，從所述權限管理子系統獲取對應的權限，并且根據所述請求和所述權限確定對所述訪問請求的響應。

7.根據權利要求6所述的方法，其特征在于，所述方法還包括：所述數據集市管理系統中的消息服務子系統將所述數據集市的元數據的變更信息同步至所述數據管理子系統；

其中，所述消息服務子系統中的存儲單元保存所述數據集市的元數據的信息；

所述消息服務子系統中的日志單元保存所述存儲單元中數據變更的信息；

所述消息服務子系統中的訂閱單元實時獲取并保存所述日志單元中的信息；

所述消息服務子系統中的任務單元將所述訂閱單元中保存的信息轉換為元數據的變更信息，并將該信息同步至所述數據管理子系統。

8.根據權利要求6所述的方法，其特征在于，所述集群管理子系統通過超文本傳輸協議類型的接口獲取所述數據集市的配置信息。

9.根據權利要求7所述的方法，其特征在于，所述訂閱單元通過配置實時采集任務獲取所述日志單元中的信息，并保存該信息用于消息訂閱。

10.根據權利要求7所述的方法，其特征在于，所述任務單元通過建立流處理任務將所述訂閱單元中保存的信息轉換為元數據的變更信息，并將該信息同步至所述數據管理子系統。

11.一種使用基于Hadoop集群的數據集市管理系統訪問數據集市的電子設備，其特征在于，包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如權利要求6-10中任一所述的方法。

12.一種計算機可讀介質，其上存儲有計算機程序，其特征在于，所述程序被處理器執行時實現如權利要求6-10中任一所述的方法。