[發明專利]數據倉庫和數據集市的管理方法及裝置

有效

• 申請號: 201710437789.0
• 申請日: 2017-06-12
• 公開（公告）號: CN109033113B
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 楊澤森
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/28
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 袁禮君;姜怡

本公開涉及一種數據倉庫和數據集市的管理方法及裝置。該數據倉庫和數據集市的管理方法包括：將數據源的生產數據抽取加工到Hadoop集群環境，在數據倉庫集群中將數據按照第一數據存儲架構存儲；在所述Hadoop集群環境中，根據業務劃分或者組織架構，創建相應的Hadoop集群用戶；每個Hadoop集群用戶下在數據集市集群上按照第二數據存儲架構加工自身的數據模型，所述數據集市集群的數據來源于所述數據倉庫集群。

技術領域

本公開涉及數據處理相關技術領域，尤其涉及一種數據倉庫和數據集市的管理方法及裝置、計算機可讀介質、電子設備。

背景技術

當前隨著各行業業務創新與發展，尤其是互聯網、金融、通信等行業，其數據類型、數據量、計算量出現爆發式增長。大數據與云服務技術此時應運而生。在大數據環境下，經常采用Hadoop與Yarn結合來實現集群搭建以及集群資源控制，在此基礎上實現企業數據倉庫和數據集市，以支持企業決策支持和系統生產。

傳統行業或部分互聯網、金融行業采用關系數據庫或大數據集群實現EDW(Enterprise Data Warehouse，數據倉庫)數據存儲。但是采用關系數據庫的方法無法達到大數據量、高并發的高效性能。而采用大數據集群的方法其存儲數據架構往往采用傳統BI(Business Intelligence)建設時的形式，即只創建一個集群業務系統用戶或者集群用戶，通過表名稱來區分不同的數據層級/數據層次架構或無規則存儲數據。此種形式在大數據集群環境下混亂且不利于分布式數據管理，已經達不到業務發展和數據管理的需要?，F有技術做數據倉庫和數據集市的時候，模型和存儲沒有統一的管理方法，也沒有實現數據倉庫和數據集市的獨立應用。

即現有技術存在以下缺點：

1)不利于數據權限管控；

2)不利于業務拆分或擴展；

3)不利于集群數據遷移；

4)一個業務用戶場景下并發訪問對集群壓力大。

因此，需要一種新的數據倉庫和數據集市的管理方法及裝置。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本公開的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

本公開的目的在于提供一種數據倉庫和數據集市的管理方法及裝置、計算機可讀介質、電子設備，進而至少在一定程度上克服由于相關技術的限制和缺陷而導致的一個或者多個問題。

本公開的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本公開的實踐而習得。

根據本公開的一個方面，提供一種數據倉庫和數據集市的管理方法，包括：將數據源的生產數據抽取加工到Hadoop集群環境，在數據倉庫集群中將數據按照第一數據存儲架構存儲；在所述Hadoop集群環境中，根據業務劃分或者組織架構，創建相應的Hadoop集群用戶；每個Hadoop集群用戶下在數據集市集群上按照第二數據存儲架構加工自身的數據模型，所述數據集市集群的數據來源于所述數據倉庫集群。

在本公開的一種示例性實施例中，所述第一數據存儲架構包括多個數據層次，所述多個數據層次包括數據緩沖層、基礎數據層、通用數據層、聚合數據層、應用數據層、維度層、臨時層和開發層。

在本公開的一種示例性實施例中，所述第二數據存儲架構包括多個數據層次，所述多個數據層次包括基礎數據層、通用數據層、聚合數據層、應用數據層、維度層、集市維度層、臨時層和開發層。

在本公開的一種示例性實施例中，每一個數據層次對應Hive的一個庫，每個庫在Hadoop HDFS上均對應一個分布式文件目錄。