[發明專利]數據倉庫和數據集市的管理方法及裝置

有效

• 申請號: 201710437789.0
• 申請日: 2017-06-12
• 公開（公告）號: CN109033113B
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 楊澤森
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/28
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 袁禮君;姜怡

1.一種數據倉庫和數據集市的管理方法，其特征在于，包括：

將數據源的生產數據抽取加工到Hadoop集群環境，在數據倉庫集群中將數據按照第一數據存儲架構存儲；

在所述Hadoop集群環境中，根據業務劃分或者組織架構，創建相應的Hadoop集群用戶；

每個Hadoop集群用戶下在數據集市集群上按照第二數據存儲架構加工自身的數據模型，所述數據集市集群的數據來源于所述數據倉庫集群，數據模型所描述的內容有三部分：數據結構、數據操作和數據約束，

所述第二數據存儲架構包括多個數據層次，所述多個數據層次包括基礎數據層、通用數據層、聚合數據層、應用數據層、維度層、集市維度層、臨時層和開發層。

2.根據權利要求1所述的數據倉庫和數據集市的管理方法，其特征在于，所述第一數據存儲架構包括多個數據層次，所述多個數據層次包括數據緩沖層、基礎數據層、通用數據層、聚合數據層、應用數據層、維度層、臨時層和開發層。

3.根據權利要求1所述的數據倉庫和數據集市的管理方法，其特征在于，每一個數據層次對應Hive的一個庫，每個庫在Hadoop HDFS上均對應一個分布式文件目錄。

4.根據權利要求3所述的數據倉庫和數據集市的管理方法，其特征在于，所述數據倉庫集群與所述數據集市集群的HDFS存儲架構包括HDFS命名空間、Hadoop集群用戶、Hive庫和模型表名；其中，

所述HDFS命名空間用于實現對不同業務分類的存儲劃分；

所述Hadoop集群用戶用于實現管理HDFS目錄權限；

對不同的所述Hadoop集群用戶部署不同的Hive庫，每個Hive庫均會指向一個HDFS文件目錄來保存其庫下每個表的數據文件；

所述模型表名對應的模型表是Hive庫中實現統計分析的模型，其在創建時數據會存儲在對應的HDFS存儲目錄下。

5.根據權利要求4所述的數據倉庫和數據集市的管理方法，其特征在在于，所述方法還包括：對各數據層次的模型表名實現規范管理。

6.根據權利要求5所述的數據倉庫和數據集市的管理方法，其特征在于，所述對各數據層次的模型表名實現規范管理包括：

緩存數據層表名為BDM加源庫名稱加源表名；

基礎數據層表名為FDM加源庫名稱加源表名加加載策略；

通用數據層表名為GDM加主題前綴加主體；

聚合數據層表名為ADM加主題英文簡稱加主體加后綴；

應用數據層表名為APP加主題英文簡稱加主體加后綴；

臨時層表名為TMP加業務含義的表名；

維度層表名為DIM加業務含義的表名；

開發層表名為DEV加業務含義的表名；

集市維度層表名為DIM加業務含義的表名。

7.根據權利要求6所述的數據倉庫和數據集市的管理方法，其特征在于，所述方法還包括：在所述數據集市集群中的子公司、業務條線或者部門能夠創建自己獨有的數據層次來實現特殊數據的存儲。

8.一種數據倉庫和數據集市的管理裝置，其特征在于，包括：

數據倉庫數據存儲模塊，用于將數據源的生產數據抽取加工到Hadoop集群環境，在數據倉庫集群中將數據按照第一數據存儲架構存儲；

集群用戶創建模塊，用于在所述Hadoop集群環境中，根據業務劃分或者組織架構，創建相應的Hadoop集群用戶；

數據集群數據存儲模塊，用于每個Hadoop集群用戶下在數據集市集群上按照第二數據存儲架構加工自身的數據模型，所述數據集市集群的數據來源于所述數據倉庫集群，數據模型所描述的內容有三部分：數據結構、數據操作和數據約束，

所述第二數據存儲架構包括多個數據層次，所述多個數據層次包括基礎數據層、通用數據層、聚合數據層、應用數據層、維度層、集市維度層、臨時層和開發層。