[發明專利]用于電網數據的統一數據源管理系統及方法

在審

• 申請號: 202011276961.7
• 申請日: 2020-11-16
• 公開（公告）號: CN112527856A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 馮歆堯;彭澤武;謝瀚陽;梁盈威
• 申請（專利權）人: 廣東電網有限責任公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/28;G06Q50/06
• 代理公司: 北京聿華聯合知識產權代理有限公司 11611
• 代理人: 張文娟

1.一種用于電網數據的統一數據源管理系統，其特征在于，所述統一數據源管理系統以分布式文件系統為存儲，通過Hive和Hawq引擎對外提供上層應用且根據業務場景自動適配讀取不同數據源，該系統包括：

統一寫數據模塊，其從數據導出節點將數據寫入到HDFS文件，創建與該HDFS文件相關聯的Hive表結構和Hawq表結構，以及這兩種表結構的關聯信息和用戶的表權限；

統一讀數據模塊，其預先為每個用戶創建統一的數據源，并授權給用戶相關庫的表權限，根據業務場景自動適配進行Hive數據庫和Hawq數據庫的切換；

統一權限管控模塊，其在進行數據寫入和讀出時，判別當前用戶是否具有表權限。

2.根據權利要求1所述的統一數據源管理系統，其特征在于，

所述統一寫數據模塊，其在創建Hive表結構和Hawq表結構的關聯信息時，配置Hawq++數據源和Hive數據源的對應關系、Hawq++表名和Hive表名的適配關系、以及表字段類型的適配關系。

3.根據權利要求2所述的統一數據源管理系統，其特征在于，

所述統一讀數據模塊，其在根據業務場景自動適配進行Hive數據庫和Hawq數據庫的切換時，根據預先配置好的Hawq++數據源和Hive數據源的對應關系、Hawq++表名和Hive表名的適配關系、以及表字段類型的適配關系進行數據庫切換。

4.根據權利要求1～3中任一項所述的統一數據源管理系統，其特征在于，

所述業務場景包括SQL統計分析場景和數據挖掘場景；

進一步，所述統一讀數據模塊，其在SQL統計分析場景中，選擇配置好的作為統一數據源的Hawq++數據源，進行SQL代碼編寫；若是數據挖掘場景中，則選擇配置好的Hawq++數據源，在讀取的時候，自動切換成為讀取Hive表的數據。

5.一種用于電網數據的統一數據源管理方法，其特征在于，在該方法中以分布式文件系統為存儲，通過Hive和Hawq引擎對外提供上層應用且根據業務場景自動適配讀取不同數據源，該方法包括：

統一寫數據步驟，從數據導出節點將數據寫入到HDFS文件，創建與該HDFS文件相關聯的Hive表結構和Hawq表結構，以及這兩種表結構的關聯信息和用戶的表權限；

統一讀數據步驟，預先為每個用戶創建統一的數據源，并授權給用戶相關庫的表權限，根據業務場景自動適配進行Hive數據庫和Hawq數據庫的切換；

統一權限管控步驟，在進行數據寫入和讀出時，判別當前用戶是否具有表權限。

6.根據權利要求1所述的統一數據源管理方法，其特征在于，

在所述統一寫數據中，在創建Hive表結構和Hawq表結構的關聯信息時，配置Hawq++數據源和Hive數據源的對應關系、Hawq++表名和Hive表名的適配關系、以及表字段類型的適配關系。

7.根據權利要求6所述的統一數據源管理方法，其特征在于，

在統一讀數據步驟中，在根據業務場景自動適配進行Hive數據庫和Hawq數據庫的切換時，根據預先配置好的Hawq++數據源和Hive數據源的對應關系、Hawq++表名和Hive表名的適配關系、以及表字段類型的適配關系進行數據庫切換。

8.根據權利要求5～7中任一項所述的統一數據源管理方法，其特征在于，

所述業務場景包括SQL統計分析場景和數據挖掘場景；

進一步，在所述統一讀數據中，若在SQL統計分析場景中，選擇配置好的作為統一數據源的Hawq++數據源，進行SQL代碼編寫；若是數據挖掘場景中，則選擇配置好的Hawq++數據源，在讀取的時候，自動切換成為讀取Hive表的數據。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現權利要求5至8任一所述方法的步驟。

10.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現權利要求5至8任一所述方法的步驟。