[發明專利]一種基于水電企業業務數據的大數據融合系統及方法

在審

• 申請號: 201711138975.0
• 申請日: 2017-11-16
• 公開（公告）號: CN110019209A
• 公開（公告）日: 2019-07-16
• 發明（設計）人: 閻峻;曹旭;李耕賾;傅嘉輝
• 申請（專利權）人: 國網新源控股有限公司;國家電網公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25;G06F16/27;G06Q50/06
• 代理公司: 北京連城創新知識產權代理有限公司 11254
• 代理人: 劉伍堂

本發明提供一種基于水電企業業務數據的大數據融合系統，包括TSDB時序數據庫、KingbaseDB數據庫、Redis內存數據庫和Hadoop大數據平臺。本發明還提供一種應用大數據融合系統的方法。本發明提供的基于水電企業業務數據的大數據融合系統及方法，優化數據存儲空間占用，數據存取速度快及數據查詢操作方便；通過關系型數據引擎和非關系型數據引擎的融合，在后臺數據分開存儲的情形下，提供面向業務應用的統一數據訪問接口，從而簡化業務系統的開發；有效的整合水電企業各類數據資源，打通數據之間的壁壘。

技術領域

本發明屬于大數據處理技術領域，具體涉及一種基于水電企業業務數據的大數據融合系統及方法。

背景技術

隨著數字信息化時代的迅猛發展，全球的數字信息資源正進入到一個前所未有的快速增長期電力大數據是能源變革中電力工業技術革新的必然過程，電力大數據不僅僅是技術進步，更是涉及整個電力系統在大數據時代下發展理念、管理體制和技術路線等方面的重大變革，是下一代智能化電力系統在大數據時代下價值形態的躍升。

目前，水電及相關企業經過多年的信息化建設，各類數據資源已初具規模，但上述企業的企業級數據中心的數據一般采用分散的模式，存儲空間占用較大，數據存取速度慢及數據查詢操作復雜等，無法滿足未來企業效率提升、能力轉型等方面的數據支撐需求。為了應對大數據時代帶來的機遇與挑戰，同時也是為了應對未來市場環境下，國家電力體制改革的要求，如何設計一種數據采集、整合、存儲的大數據融合系統來解決企業級數據中心的數據集中問題，成為本領域亟待解決的難題。

發明內容

為了解決上述問題，本發明的目的在于提供一種基于水電企業業務數據的大數據融合系統及方法，其優化數據存儲空間占用，數據存取速度快及數據查詢操作方便；提供面向業務應用的統一數據訪問接口，從而簡化業務系統的開發；有效的整合水電企業各類數據資源，打通數據之間的壁壘。

為了實現上述目的，本發明采用的技術方案為：

一種基于水電企業業務數據的大數據融合系統，包括TSDB時序數據庫、KingbaseDB數據庫、Redis內存數據庫和Hadoop大數據平臺；所述TSDB時序數據庫用于非結構化數據的數據接入；所述KingbaseDB數據庫用于結構化數據和經所述TSDB時序數據庫輸入的部分非結構化數據的緩存，并進行深度匯總、計算，將數據傳輸到所述Redis內存數據庫；所述Redis內存數據庫將數據進行存儲，保留一定時間，并對歷史數據進行二次加工。

進一步地，還包括Oracle結構化數據庫，所述Oracle結構化數據庫用于存儲結構化數據，并進行后續的批處理。

進一步地，還包括協同模塊，所述協同模塊用于執行標準SQL語句，提供統一的SQL引擎。

進一步地，還包括與KingbaseDB關系數據庫進行數據操作的分布式關系數據庫和監控平臺。

進一步地，所述存儲采用基于哈希的數據分布，數據及其備份通過一致性哈希算法被均勻地分布在所有存儲節點構成的數據存儲集群上。

進一步地，所述結構化數據包括ERP、規劃計劃、電子商務平臺、水電生產管理信息系統的交易數據中的一種或幾種。

進一步地，所述非結構化數據包括設備運行數據、傳感器數據和外部社交數據中一種或多種。

本發明還提供一種應用上述基于水電企業業務數據的大數據融合系統的方法，具體步驟為：

1）將結構化數據通過數據同步、抽取、轉換、加載方式進入Oracle結構化數據庫存儲，以及進行后續的批處理；

2）將非結構化數據，采用流式處理進入TSDB時序數據庫；

3）Kingbase關系數據庫將結構化數據和部分非結構化數據緩存，進行深度匯總、計算，將數據送到Redis內存數據庫；