[發明專利]一種切合電力客服業務的數據倉庫系統及其構建方法

有效

• 申請號: 201811513234.0
• 申請日: 2018-12-11
• 公開（公告）號: CN109669934B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 張旭坤;蔣元晨;張弦;徐雨申
• 申請（專利權）人: 江蘇瑞中數據股份有限公司;南瑞集團有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2458;G06F16/25;G06F16/28
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 顏盈靜

1.一種切合電力客服業務的數據倉庫系統，其特征在于：基于GBase?8a?MPP?Cluster數據庫作為數據倉庫底層組件，包括明細數據層、輕度匯總層、中度匯總層；

所述明細數據層，用于為數據倉庫提供基礎數據；所述基礎數據為將業務數據進行清洗、歸類、結構化和規范化得到的結構化數據，將結構化數據進行主題域劃分，并保存在對應的主題域下；

所述輕度匯總層，用于存儲標準關系模式的輕度匯總層數據，所述標準關系模式的輕度匯總層數據為按照業務應用要求對明細數據層的結構化數據進行整合和字段的標準化得到；

所述中度匯總層，用于將標準關系模式的輕度匯總層數據向適合數據倉庫處理的星型模型或雪花型模型的數據格式進行轉換；

其中，所述的將標準關系模式的輕度匯總層數據向適合數據倉庫處理的星型模型或雪花型模型的數據格式進行轉換，包括：

按照日期、地域、行業進行數據分解；

按照各主題分析使用要求，對不同操作型數據進行數據集成；

根據某一屬性或某一維度，進行數據匯總；

對數據進行預算與推導，預算與推導結果作為數據倉庫的字段進行存儲；

對于來自不同數據源的數據進行翻譯和格式化處理；

對于各種關聯對象數據直交性地分片在各個節點上的場景，采用靜態Hash的JOIN查詢在兩個大表之間進行JOIN查詢，將標準關系模式的輕度匯總層數據與主數據關聯生成寬表；

對于各種關聯數據往往非直交性地分片在各個節點上的場景，采用動態Hash的JOIN查詢，通過對數據進行最小限的動態Hash重分布，對不同屬性分片的兩個大表進行關聯；

對于將大表與小表進行關聯運算的場景，采用大小表間的JOIN查詢對大小表進行關聯；

對于對各種匯總、聚集結果的多維分析和維度關聯分析場景，第一階段，在各節點并行執行分組和聚合運算，將各節點的第一階段中間結果在各節點間進行Hash重分布；第二階段，在各節點并行對重分布后的中間結果進行分組和聚合運算。

2.根據權利要求1所述的一種切合電力客服業務的數據倉庫系統，其特征在于：根據可適用場景數量不同將輕度匯總層、中度匯總層中的匯總數據區分別分為通用輕度匯總區、私有輕度匯總區、通用中度匯總區和私有中度匯總區；

在輕度匯總層中，通用輕度匯總區為可同時適用于多個場景同時使用的匯總數據區，私有輕度匯總區為用于單個特殊場景獨立使用的匯總數據區；

在中度匯總層中，通用中度匯總區為可同時適用于多個場景同時使用的匯總數據區，私有中度匯總區為用于單個特殊場景獨立使用的匯總數據區。

3.根據權利要求1所述的一種切合電力客服業務的數據倉庫系統，其特征在于：輕度匯總層中的整合包括：通過多表關聯運算，將分散到多個表的某一主題的屬性整合到一張表中。