[發明專利]基于Hadoop集群的數據集市管理系統及其使用方法

在審

• 申請號: 201710854312.2
• 申請日: 2017-09-20
• 公開（公告）號: CN107729394A
• 公開（公告）日: 2018-02-23
• 發明（設計）人: 王霞;袁征;馮玉敏;胡帥;張睿;孫榮章;孫志梅;馬澤國;王瑤;陳倩倩;李寬
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中原信達知識產權代理有限責任公司11219
• 代理人: 張一軍,姜勁

技術領域

本發明涉及計算機技術領域，尤其涉及一種基于Hadoop集群的數據集市管理系統及其使用方法、電子設備和計算機可讀介質。

背景技術

隨著企業業務的擴展，運營管理和生產過程中會產生大量的數據，而能否高效快速地對這些數據進行分析和計算直接影響到大數據在應用中的價值和作用。大數據管理的方式之一是使用基于Hadoop集群技術(Hadoop是一種分布式系統基礎架構，可用于實現分布式文件系統，Hadoop集群就是將大量的數據分布到不同的機器上進行處理)建立數據集市或數據倉庫來對數據進行管理，其中，數據市集一般指小型的分析型數據庫，為了對從各種繁雜業務中抽象出來的分析主題(如用戶、成本、商品等)進行分析而建立，具有很高的集成性。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：

數據集市缺乏有效管理，對其進行訪問等操作時，需要去數據庫底層獲取數據集市的配置信息，過程繁瑣耗時；數據集市的元數據信息管理薄弱，時效性差；用戶對數據庫進行訪問時操作路徑過長，降低了數據的使用效率，數據集市欠缺集數據管理、數據計算和元數據管理于一體的自動化管理系統，使用戶能夠快速高效的從數據集市中查詢所需數據。

發明內容

有鑒于此，本發明實施例提供一種基于Hadoop集群的數據集市管理系統，能夠對基于Hadoop集群的數據集市進行數據管理、數據計算和元數據管理于一體的自動化管理，降低運維成本，使用戶能夠快速高效的從數據集市中查詢所需數據。

為實現上述目的，根據本發明實施例的一個方面，提供了一種基于Hadoop集群的數據集市管理系統，包括：集群管理子系統；數據管理子系統；權限管理子系統；訪問接口子系統；其中，所述集群管理子系統用于獲取所述數據集市的配置信息，以及將所述配置信息同步至所述權限管理子系統；所述集群管理子系統還用于獲取所述數據集市的元數據信息，以及將所述元數據信息同步至所述數據管理子系統，所述數據管理子系統再將所述元數據信息同步至所述權限管理子系統；所述數據管理子系統用于獲取所述數據集市的元數據的變更信息，所述數據管理子系統再將所述元數據的變更信息同步至所述權限管理子系統；所述訪問接口子系統用于接收訪問請求，從所述權限管理子系統獲取對應的權限，并且根據所述請求和所述權限確定對所述訪問請求的響應。

可選地，所述數據集市管理系統還包括：消息服務子系統，用于將所述數據集市的元數據的變更信息同步至所述數據管理子系統；其中所述消息服務子系統包括：存儲單元，用于保存所述數據集市的元數據的信息；日志單元，用于保存所述存儲單元中數據變更的信息；訂閱單元，用于實時獲取并保存所述日志單元中的信息；任務單元，用于將所述訂閱單元中保存的信息轉換為元數據的變更信息，并將該信息同步至所述數據管理子系統。

可選地，所述集群管理子系統通過超文本傳輸協議類型的接口獲取所述數據集市的配置信息。

可選地，所述訂閱單元通過配置實時采集任務實時獲取所述日志單元中的信息，并保存該信息用于消息訂閱。

可選地，所述任務單元通過建立流處理任務將所述訂閱單元中保存的信息轉換為元數據的變更信息，并將該信息同步至所述數據管理子系統。

為實現上述目的，根據本發明實施例的另一個方面，提供了一種使用基于Hadoop集群的數據集市管理系統訪問數據集市的方法，包括：集群管理子系統獲取所述數據集市的配置信息，以及將配置信息同步至所述權限管理子系統中；所述集群管理子系統獲取所述數據集市的元數據信息，以及將所述元數據信息同步至數據管理子系統，所述數據管理子系統再將所述元數據信息同步至所述權限管理子系統；所述數據管理子系統獲取所述數據集市的元數據的變更信息，所述數據管理子系統再將所述元數據的變更信息同步至所述權限管理子系統；訪問接口子系統接收訪問請求，從所述權限管理子系統獲取對應的權限，并且根據所述請求和所述權限確定對所述訪問請求的響應。

可選地，所述方法還包括：所述數據集市管理系統中的消息服務子系統將所述數據集市的元數據的變更信息同步至所述數據管理子系統；其中，所述消息服務子系統中的存儲單元保存所述數據集市的元數據的信息；所述消息服務子系統中的日志單元保存所述存儲單元中數據變更的信息；所述消息服務子系統中的訂閱單元實時獲取并保存所述日志單元中的信息；所述消息服務子系統中的任務單元將所述訂閱單元中保存的信息轉換為元數據的變更信息，并將該信息同步至所述數據管理子系統。

可選地，所述集群管理子系統通過超文本傳輸協議類型的接口獲取所述數據集市的配置信息。