[發明專利]一種海量數據平臺與大數據平臺融合方法

有效

• 申請號: 201810496314.3
• 申請日: 2018-05-22
• 公開（公告）號: CN108959369B
• 公開（公告）日: 2021-11-30
• 發明（設計）人: 韓嘉佳;猶鋒;周升;張曉曉;倪陽旦;張珂珩;孫歆;張高坤;李景;李賢慧;戴樺;李沁園;汪自翔;呂磅;李霽遠;王劉旺
• 申請（專利權）人: 國網浙江省電力有限公司電力科學研究院;國網浙江省電力有限公司;江蘇瑞中數據股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/25;G06F16/22;G06Q50/06
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 張弛

本發明公開了一種海量數據平臺與大數據平臺融合方法，該平臺包括數據采集層、數據緩存層和數據存儲層；該融合方法包括：數據采集層采用分布式消息隊列Kafka機制，實現測點數據傳輸；數據緩存層采用REDIS鍵值型內存數據庫，實現用戶即席查詢需求；數據存儲層采用HBASE列式存儲，結合測點數據時序特征，對測點數據特征進行列式存儲，本發明提出的海量數據平臺與大數據平臺融合方法，實現了海量平臺與大數據平臺最佳融合，通過統一技術路線、統一技術支持、明確職責分工，實現大數據應用服務平臺化，全面支撐各專業大數據應用需求，解決公司各專業的大數據應用需求，保障數據和業務的連續性。

技術領域

本發明涉及電網數據分析領域，具體是涉及一種海量數據平臺與大數據平臺融合方法。

背景技術

經過國網SG186工程、SG-ERP的建設，目前已建成結構化、非結構化、海量歷史/準實時、電網空間地理信息四類數據中心平臺，有效支撐企業數據共享融合分析決策系統建設。

盡管現有數據中心有效支撐分析決策應用建設，但隨著公司各業務系統數據量不斷增大，以及數據價值挖掘需求的增長，針對平臺需要在橫向擴展、實時快速處理能力方面進一步提升，針對應用功能建設需要在跨業務/部門分析能力方面需進一步優化。

目前公司海量、多樣的數據資源為數據深層次分析提供了良好條件，可圍繞電網生產、經營管理、優質服務業務需求等相關業務研究創新應用，同時開展數據處理性能提升、數據價值挖掘、將數據轉變為資產等工作，通過應用大數據技術，挖掘海量數據信息價值，可有效解決現有核心業務系統數據處理效率低、分析能力弱等問題。目前的行業內各專業均有大數據應用需求、大數據解決方案和產品路線眾多，從一體化企業級信息系統的角度出發，亟需構建統一平臺，以避免重復建設。

發明內容

為解決現有技術的不足，本發明的目的在于提出一種海量數據平臺與大數據平臺融合方法。該方法實現了兩個平臺的最優融合，通過統一技術路線、統一技術支持、明確職責分工，實現大數據應用服務平臺化，全面支撐各專業大數據應用需求，解決了公司各專業的大數據應用需求，保障了數據和業務的連續性。

為了實現上述目標，本發明采用如下的技術方案：一種海量數據平臺與大數據平臺融合方法，所述大數據平臺包括數據采集層、數據緩存層和數據存儲層；所述融合方法包括：

數據采集層采用分布式消息隊列Kafka機制，實現海量數據平臺的測點數據與大數據平臺的傳輸；

數據緩存層采用REDIS鍵值型內存數據庫，存儲海量數據平臺的測點數據，實現應用端數據查詢和數據寫入需求；

數據存儲層采用HBASE列式存儲，結合測點數據時序特征，對測點數據特征進行列式存儲。

優選地，所述數據采集層包括實時數據處理模塊，所述數據采集方法包括：

對所述測點ID哈希，將測點數據均勻地分發到相應的消息隊列；

所述消息隊列中的數據量達到第一閥值或者達到預定時間后，向實時數據處理模塊發布；

實時數據處理模塊讀取數據后，存入數據緩存層，并寫入數據存儲層，同時提供數據實時查詢模塊。

優選地，所述實時數據處理模塊向用戶提供數據查詢接口，所述數據查詢方法包括：用戶查詢實時數據時，通過實時數據查詢模塊在數據緩存層REDIS中進行查詢，判斷數據緩存層REDIS是否存有數據，如果有，則返回查詢結果，如果沒有，則進入到數據存儲層HBASE中查詢并返回查詢結果。

優選地，所述融合方法包括將海量數據平臺數據庫中的測點信息遷移到大數據平臺關系庫中。

優選地，所述遷移方法包括將海量平臺數據庫中的測點信息的ID保留到海量平臺數據庫中，在大數據平臺關系庫的測點信息表中，重新生成ID。