[發明專利]一種基于水電企業業務數據的大數據融合系統及方法

在審

• 申請號: 201711138975.0
• 申請日: 2017-11-16
• 公開（公告）號: CN110019209A
• 公開（公告）日: 2019-07-16
• 發明（設計）人: 閻峻;曹旭;李耕賾;傅嘉輝
• 申請（專利權）人: 國網新源控股有限公司;國家電網公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25;G06F16/27;G06Q50/06
• 代理公司: 北京連城創新知識產權代理有限公司 11254
• 代理人: 劉伍堂

1.一種基于水電企業業務數據的大數據融合系統，包括TSDB時序數據庫、KingbaseDB數據庫、Redis內存數據庫和Hadoop大數據平臺；所述TSDB時序數據庫用于非結構化數據的數據接入；所述KingbaseDB數據庫用于結構化數據和經所述TSDB時序數據庫輸入的部分非結構化數據的緩存，并進行深度匯總、計算，將數據傳輸到所述Redis內存數據庫；所述Redis內存數據庫將數據進行存儲，保留一定時間，并對歷史數據進行二次加工。

2.根據權利要求1所述的大數據融合系統，其特征在于，還包括Oracle結構化數據庫，所述Oracle結構化數據庫用于存儲結構化數據，并進行后續的批處理。

3.根據權利要求2所述的大數據融合系統，其特征在于，還包括協同模塊，所述協同模塊用于執行標準SQL語句，提供統一的SQL引擎。

4.根據權利要求3所述的大數據融合系統，其特征在于，還包括與KingbaseDB關系數據庫進行數據操作的分布式關系數據庫和監控平臺。

5.根據權利要求1所述的大數據融合系統，其特征在于，所述存儲采用基于哈希的數據分布，數據及其備份通過一致性哈希算法被均勻地分布在所有存儲節點構成的數據存儲集群上。

6.根據權利要求5所述的大數據融合系統，其特征在于，所述結構化數據包括ERP、規劃計劃、電子商務平臺、水電生產管理信息系統的交易數據中的一種或幾種。

7.根據權利要求6所述的大數據融合系統，其特征在于，所述非結構化數據包括設備運行數據、傳感器數據和外部社交數據中一種或多種。

8.一種應用根據權利要求1-7中任一項所述基于水電企業業務數據的大數據融合系統的方法，其特征在于，具體步驟為：

1）將結構化數據通過數據同步、抽取、轉換、加載方式進入Oracle結構化數據庫存儲，以及進行后續的批處理；

2）將非結構化數據，采用流式處理進入TSDB時序數據庫；

3）Kingbase關系數據庫將結構化數據和部分非結構化數據緩存，進行深度匯總、計算，將數據送到Redis內存數據庫；

4）Redis內存數據庫采用基于哈希的數據分布，數據及其備份通過一致性哈希算法被均勻地分布在所有存儲節點構成的數據存儲集群上進行存儲，并保留一定時間；在所述Redis內存數據庫內對歷史數據進行二次加工；

5）經過數據整合和處理后，為最終用戶輸出分析和預測報告。

9.根據權利要求8所述的方法，其特征在于，所述流式處理的具體數據接入為：

a.拉取與推送解耦，數據預取、隊列暫存、拉取與發送并行；

b.任務分割即大任務分解成小任務，小任務水平擴展；

c.任務標準化即每個任務承載固定的流量，流量增加則增加任務數量；

d.調度、平衡和壓榨機器性能多措并舉，減少延時，達到實時接入。

10.根據權利要求9所述的方法，其特征在于，所述非結構化數據每次更新，不覆蓋原來的版本，生成一個新的版本，數據的新舊版本通過時間戳區分；結構化數據更新操作時數據被直接覆蓋。