[發明專利]分布式實時數據庫的存儲系統

有效

• 申請號: 201610174008.9
• 申請日: 2016-03-24
• 公開（公告）號: CN107229639B
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 鮑遠松;黃明;萬英杰;沈春鋒;史寧;紀娣芳
• 申請（專利權）人: 上海寶信軟件股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/182
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 郭國中

本發明提供了一種分布式實時數據庫的存儲系統，包括：分布式數據網關模塊：用于數據的接收與查詢代理；分布式消息隊列模塊：用于通過分布式消息隊列實現數據的發布與訂閱；分布式實時流計算服務模塊：用于基于storm實時流計算框架，實現消息訂閱服務、內存快照存儲服務以及持久化存儲服務；分布式緩存服務模塊：用于通過分布式緩存存儲數據快照；分布式存儲服務模塊：通過Nosql數據庫HBase進行分布式存儲服務，通過分布式搜索引擎Solr實現數據的檢索。本發明有效地提升企業的智能化和信息化水平，并利用大數據技術挖掘潛在的數據價值，為企業的轉型發展提供堅實的數據基礎。

技術領域

本發明涉及分布式實時數據庫，具體地，涉及分布式實時數據庫的存儲系統的架構。本發明能夠廣泛應用于工業大數據存儲。

背景技術

伴隨著工業4.0的持續推進，工業設備的智能化以及企業的信息化改造將快速推進，由此也帶來了數據的爆發式增長，對傳統的實時數據庫在點數規模、數據分布、可靠性、擴展性等多個方面提出了巨大挑戰。對比研究目前國際領先的實時數據庫產品PI、PHD，發現這些產品在面對工業大數據時都具有如下的局限性：

(1)數據存儲服務未能實現分布式架構，當單機服務異常時將導致服務不可用，無法提供檢索和存儲功能；

(2)數據存儲無副本機制，數據的安全性需要用戶自己備份，無法保證在磁盤損壞時所有的數據擁有可靠的備份；

(3)缺乏靈活的動態擴展能力，當存儲性能或者存儲容量達到瓶頸時難以做到動態的水平擴展；

(4)數據檢索能力有限，僅僅支持按照時間戳的檢索條件，對于按值范圍或者模糊檢索不支持；

(5)計算能力有限，僅僅能夠根據其提供的有限的計算方法進行計算，無法有效地利大數據分布式計算技術實現對海量數據的計算分析

經檢索，發現如下相關檢索結果。

相關檢索結果1：

申請號：CN201410144241.3 名稱：一種適用于電力系統的分布式實時數據庫管理系統及實現方法

摘要：該專利文獻公開了一種適用于電力系統的實時數據庫管理系統及實現方法，屬于數據庫技術領域。本發明的實時數據庫管理系統包括服務端、實時數據庫端和客戶端，并利用文件映射、實例ID、版本號、客戶端緩存等機制來實現實時數 據庫的分布式管理。本發明實現了多個數據庫實例的透明化，讓客戶對多個數據庫實例的訪問視同為對單個實例的訪問。本發明有利于數據庫全省集中式部署，同時便于全省統一數據規劃、數據模型和數據標準，還能滿足現有及未來數據接入需求。

技術要點比較：該專利文獻給出了利用hash算法實現數據的分布式存儲，但是對于數據的一致性、可靠性、安全性和擴展性沒有給出具體的技術方案。本發明不僅給出了高擴展性的分布式架構，而且解決了高可用、數據安全和整體系統的彈性擴展問題，該專利文獻只是本發明分布式存儲服務數據分片存儲的一個子集。

相關檢索結果2：

申請號：201110286149.7 名稱：分布式實時數據庫數據層次索引方法

摘要：該專利文獻屬于分布式實時數據庫領域，提供了一種分布式環境下的實時數據庫層次索引方法，該方法在實現實時數據庫分布式的條件下，將數據存儲服務器對應哈希鍵值，并首尾相連構成環形哈希空間，并建立數據層次索引方法，保證了實時數據庫數據的高效存儲和檢索。

技術要點比較：該專利文獻給出了分布式實時數據庫的檢索技術方案，但并未給出在分布式環境下索引數據本身的安全可靠的分布式存儲方案，未能徹底解決分布式實時數據庫面臨的數據一致性和安全性挑戰。

相關檢索結果3：

科技論文：名稱：基于云技術的分布式實時數據庫高性能數據存儲檢索機制的研究，錢益舟，2012年《浙江大學》