[發(fā)明專利]一種實時數(shù)據(jù)庫的分布式的存儲方法

有效

• 申請?zhí)枺?/td>: 201510413518.2
• 申請日: 2015-07-14
• 公開（公告）號: CN105095421A
• 公開（公告）日: 2015-11-25
• 發(fā)明（設(shè)計）人: 張迎;金舒;劉元;殷俊;范永林;張鐵男;薛亮
• 申請（專利權(quán)）人: 南京國電南自美卓控制系統(tǒng)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 南京縱橫知識產(chǎn)權(quán)代理有限公司 32224
• 代理人: 董建林

1.一種實時數(shù)據(jù)庫的分布式的存儲方法，其特征在于：當(dāng)寫入數(shù)據(jù)時，數(shù)據(jù)分為多級存儲，將數(shù)據(jù)按照死區(qū)閥值壓縮的方式先寫入固定大小的微內(nèi)存組件中；所述微內(nèi)存組件包括兩組交替輪換的內(nèi)存空間，每組內(nèi)存空間是磁盤文件緩存在內(nèi)存中的映射，該映射的目標(biāo)載體為固態(tài)硬盤；

當(dāng)作為磁盤文件的映射被填滿時，將此內(nèi)存區(qū)按照磁盤映射的方式寫入固態(tài)硬盤；

當(dāng)固態(tài)硬盤每隔一段時間或者存儲了一定量的數(shù)據(jù)時，將固態(tài)硬盤存儲的數(shù)據(jù)文件歸并為若干新的數(shù)據(jù)文件，存入容量在1T~10T的硬盤，同時組織建立多級數(shù)據(jù)索引；

當(dāng)存儲系統(tǒng)中的測點并發(fā)數(shù)量超過預(yù)期處理能力或者每秒產(chǎn)生數(shù)據(jù)總量超過預(yù)期處理能力時，可通過增加數(shù)據(jù)計算節(jié)點，分布式擴展數(shù)據(jù)存儲；

當(dāng)多節(jié)點分布式存儲數(shù)據(jù)時，通過訂閱/分發(fā)模式進行調(diào)度；不同的計算節(jié)點間也通過訂閱/分發(fā)模式同步文件外部索引數(shù)據(jù)，并建立系統(tǒng)級外部索引。

2.根據(jù)權(quán)利要求1所述的一種實時數(shù)據(jù)庫的分布式的存儲方法，其特征在于：死區(qū)閥值壓縮的方式為有損壓縮，

具體過程如下：

在一個固定死區(qū)范圍內(nèi)變化的數(shù)據(jù)波動將被忽略，直至數(shù)據(jù)的變化超出設(shè)定的死區(qū)范圍，該數(shù)據(jù)變化將被記錄在微內(nèi)存組件中，并重新設(shè)定死區(qū)范圍。

3.根據(jù)權(quán)利要求1所述的一種實時數(shù)據(jù)庫的分布式的存儲方法，其特征在于：內(nèi)存緩存映射的文件大小設(shè)置為1K～1M。

4.根據(jù)權(quán)利要求1所述的一種實時數(shù)據(jù)庫的分布式的存儲方法，其特征在于：歸并文件的過程中，數(shù)據(jù)需要經(jīng)過無損壓縮。

5.根據(jù)權(quán)利要求1所述的一種實時數(shù)據(jù)庫的分布式的存儲方法，其特征在于：新的數(shù)據(jù)文件的開始部分包含文件的內(nèi)部索引；新的數(shù)據(jù)文件結(jié)構(gòu)化存儲，結(jié)構(gòu)化存儲的路徑為文件的外部索引。

6.根據(jù)權(quán)利要求5所述的一種實時數(shù)據(jù)庫的分布式的存儲方法，其特征在于：內(nèi)部索引為文件內(nèi)部鏈表式索引；外部索引存儲在關(guān)系數(shù)據(jù)庫中。

7.根據(jù)權(quán)利要求1所述的一種實時數(shù)據(jù)庫的分布式的存儲方法，其特征在于：分布式存儲數(shù)據(jù)根據(jù)計算節(jié)點劃分并發(fā)的測點的依據(jù)為二維度聯(lián)合限制，即單個計算節(jié)點接收的并發(fā)測點數(shù)量限制與數(shù)據(jù)總流量限制同時滿足。

8.根據(jù)權(quán)利要求7所述的一種實時數(shù)據(jù)庫的分布式的存儲方法，其特征在于：單個計算節(jié)點接收的并發(fā)測點數(shù)量限制為50000~500000點數(shù)據(jù)并發(fā)；單個計算節(jié)點接收的數(shù)據(jù)總流量限制在每秒鐘100~150兆。