[發明專利]一種實時數據庫的分布式的存儲方法

有效

• 申請號: 201510413518.2
• 申請日: 2015-07-14
• 公開（公告）號: CN105095421A
• 公開（公告）日: 2015-11-25
• 發明（設計）人: 張迎;金舒;劉元;殷俊;范永林;張鐵男;薛亮
• 申請（專利權）人: 南京國電南自美卓控制系統有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

技術領域

本發明涉及一種實時數據庫的分布式的存儲方法，特別是涉及一種在綜合監控系統中存儲歷史數據用的實時數據庫的分布式的存儲方法，屬于實時數據庫存儲技術領域。

背景技術

目前，很多領域采用的綜合監控系統的實時數據是使用關系數據庫來存儲。然而在很多應用場景需要處理海量并發、高頻捕捉的時序數據，關系數據庫越來越難以適應和滿足綜合監控系統對歷史數據存儲處理的需求。

以關系數據庫為代表的傳統數據庫的設計目標是維護數據的正確性、保證系統的低代價和提供友好的用戶接口。這種數據庫系統對傳統的商務和事務型應用是有效、成功的，但對于綜合監控系統等新領域所使用的實時數據和實時事務的應用要求難以勝任。

“點時序”數據，主要由軌道交通、電力、化工煤炭、廣域通訊等行業中各種類型的實時監測、檢查、控制與分析設備所采集或產生的數據，“點時序”嚴重相關聯的鍵值對，是綜合監控系統的實時數據的典型數據；其中數據點與時間戳共同作為鍵，并與某種特定類型的數值有強對應關系；數值的類型可以是布爾型開關值、整型值、短文本值、浮點型值、雙精度浮點型值等基本數據類型。即，一般采集的某一實時數據為某一數據點在某一時刻的值(可表示為V＝f(P，T)，其中V表示采集到的實時值，P為測點ID或者名稱，T為時間，f記為映射關系)，“點時序”數據并發量大(發生數據的測點數量多)、高頻(每一測點每一時段可產生多個數據)、時間依賴與測點依賴(每一條數據均要求對應唯一的時間與唯一的測點)、海量信息(系統每天產生的高并發高頻數據可達幾十個G容量)，是綜合監控系統的實時數據的基本特點。基于上述特點，僅靠關系數據庫無法滿足對這些工業采集數據的高效存儲與處理，必須使用新型高效的存儲方法對上述點時序相關數據進行存儲和處理。

發明內容

為了解決上述技術問題，本發明提供了一種實時數據庫的分布式的存儲方法。

為了達到上述目的，本發明所采用的技術方案是：

一種實時數據庫的分布式的存儲方法，當寫入數據時，數據分為多級存儲，將數據按照死區閥值壓縮的方式先寫入固定大小的微內存組件中；所述微內存組件包括兩組交替輪換的內存空間，每組內存空間是磁盤文件緩存在內存中的映射，該映射的目標載體為固態硬盤；

當作為磁盤文件的映射被填滿時，將此內存區按照磁盤映射的方式寫入固態硬盤；

當固態硬盤每隔一段時間或者存儲了一定量的數據時，將固態硬盤存儲的數據文件歸并為若干新的數據文件，存入容量在1T～10T的硬盤，同時組織建立多級數據索引；

當存儲系統中的測點并發數量超過預期處理能力或者每秒產生數據總量超過預期處理能力時，可通過增加數據計算節點，分布式擴展數據存儲；

當多節點分布式存儲數據時，通過訂閱/分發模式進行調度；不同的計算節點間也通過訂閱/分發模式同步文件外部索引數據，并建立系統級外部索引。

死區閥值壓縮的方式為有損壓縮，具體過程如下：在一個固定死區范圍內變化的數據波動將被忽略，直至數據的變化超出設定的死區范圍，該數據變化將被記錄在微內存組件中，并重新設定死區范圍。

內存緩存映射的文件大小設置為1K～1M。

歸并文件的過程中，數據需要經過無損壓縮。

新的數據文件的開始部分包含文件的內部索引；新的數據文件結構化存儲，結構化存儲的路徑為文件的外部索引。

內部索引為文件內部鏈表式索引；外部索引存儲在關系數據庫中。

分布式存儲數據根據計算節點劃分并發的測點的依據為二維度聯合限制，即單個計算節點接收的并發測點數量限制與數據總流量限制同時滿足。

單個計算節點接收的并發測點數量限制為最多50000～500000點數據并發；單個計算節點接收的數據總流量限制在每秒鐘100～150兆。