[發明專利]大數據管理系統

在審

• 申請號: 201310611002.X
• 申請日: 2013-11-26
• 公開（公告）號: CN103617231A
• 公開（公告）日: 2014-03-05
• 發明（設計）人: 喻宜;呂志來;齊國印;張東;王云鵬;劉永銀;張學深;李海
• 申請（專利權）人: 國家電網公司;北京許繼電氣有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京立成智業專利代理事務所(普通合伙) 11310
• 代理人: 李想

技術領域

本發明涉及海量數據元管理及處理領域，尤其涉及一種大數據管理系統。

背景技術

大數據(big?data)，或稱巨量資料，指的是所涉及的資料量規模巨大到無法透過目前主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業經營決策更積極目的的資訊。

云計算技術的飛速發展對大數據管理提出更高的要求，尤其是面向生產領域的數據中心，數據量已經超億點規模，且存貯量占比很大部分是實時和準實時生產過程數據。

現有技術無法在數據點容量和系統響應速度方面達到要求。

發明內容

本發明要解決的技術問題是，針對現有技術的不足，提供一種大數據管理系統，在數據點容量和系統響應速度方面更好的滿足用戶需求。

根據本發明一個方面，提供一種大數據管理系統，總體上采用分布式架構，包括：本地數據服務器，提供本地集群數據庫，本地集群數據庫采用雙機和磁盤陣列組成高可用集群；主體數據服務器，提供集群代理服務，集群代理服務是本地集群數據庫的數據訪問代理服務。

可選的，大數據管理系統還包括：一個或多個客戶端，適于通過訪問所述集群代理服務來確定是否有權限訪問目標數據點并獲取目標數據點所屬的本地集群數據庫的位置信息，還適于直接訪問該位置信息對應的本地集群數據庫。

可選的，本地數據服務器還適于提供前置通用數據網關，通過統一的數據采集接口采集數據點的數據，并保存到所述本地集群數據庫中。

可選的，大數據管理系統還包括：應用運行平臺，適于基于對集群代理服務的訪問，來對所獲取的數據進行實時頁面展示、趨勢分析、報表瀏覽，以及基于所獲取的數據進行報警處理以及控制邏輯執行操作；其中，集群代理服務還適于提供本地集群數據庫上的數據統一訪問接口層。

可選的，本地集群數據庫包括實時數據庫和關系數據庫；實時數據庫適于存儲和檢索連續變化的過程數據；關系數據庫適于處理關系類型數據。

可選的，所述實時數據庫位于實時數據庫服務器；前置通用數據網關提供數據緩存功能，實時數據庫停機或網絡中斷時，前置通用數據網關將數據緩存，等實時數據庫服務器工作正常或網絡連通后，自動將緩存的數據發送到實時數據庫服務器。

本發明公開的實施方式與現有技術相比，還具有如下優點：

（1）采用分布式高可用集群架構解決系統管理超大規模數據能力；

（2）采用本地實時數據庫解決高頻率數據采樣處理能力。

附圖說明

圖1是根據本發明一個實施例提供的大數據管理系統的簡單結構圖；

圖2是根據本發明一個實施例提供的客戶端訪問數據方法流程圖；

圖3是根據本發明一個實施例提供的大數據管理系統的詳細結構圖。

具體實施方式

為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖，對本發明進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并不用于限定本發明。

發明人經研究發現：分布式處理架構盡管具備很大的靈活性和降低系統硬件成本優勢，但普遍存在數據版本容易出現不一致問題、數據難以備份問題、對病毒比較敏感和數據管理復雜問題。采用折中處理方式的分布式高可用集群架構可以有效解決集中和分散的各自缺點，均衡利用各自優點來解決分布式數據處理問題。

實時數據庫（RTDB－Real?Time?DataBase）是數據庫系統發展的一個重要的分支。經過十多年的飛速發展，實時數據庫今天已經廣泛應用于電力、鋼鐵、石油、石化、交通、航空、水利、環保等重要行業和領域。從功能上看，實時數據庫不僅包括實時數據存儲及事務處理，通常還包括實時數據采集與監視、歷史數據管理及實時歷史數據的分析與展現。

發明人經研究還發現：根據生產時序數據的特點，利用實時數據庫，在保證數據精度的情況下，可以快速高效的對數據進行采集、壓縮、存儲和訪問。

根據本發明一個實施例，提供一種大數據管理系統，架構如附圖1所示，總體上采用分布式架構，包括：

本地數據服務器，提供本地集群數據庫；

主體數據服務器，提供集群代理服務。

其中，本地集群數據庫采用雙機和磁盤陣列組成高可用集群方案，保證本地集群數據庫的高可用性。同時可以通過在線增加本地集群數據庫節點來實現整個大數據管理系統的動態平滑擴容，總體處理能力在一定范圍內隨內部節點機的數量呈幾近線性增長，從而實現了系統的超大規模數據處理能力。