[發(fā)明專利]構(gòu)建PostgreSQL數(shù)據(jù)庫(kù)下處理時(shí)序數(shù)據(jù)的方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910869189.0
• 申請(qǐng)日: 2019-09-16
• 公開（公告）號(hào): CN110765201A
• 公開（公告）日: 2020-02-07
• 發(fā)明（設(shè)計(jì)）人: 繆燕;王偉;權(quán)超
• 申請(qǐng)（專利權(quán)）人: 北京許繼電氣有限公司;國(guó)家電網(wǎng)有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27;G06F16/22;G06F16/2458;G06F16/25;G06F16/28
• 代理公司: 11310 北京立成智業(yè)專利代理事務(wù)所(普通合伙)
• 代理人: 張江涵

本發(fā)明提供一種構(gòu)建在PostgreSQL數(shù)據(jù)庫(kù)下處理時(shí)序數(shù)據(jù)的方法，方法包括：在確定要處理時(shí)序數(shù)據(jù)的關(guān)系數(shù)據(jù)庫(kù)PostgreSQL中創(chuàng)建時(shí)序數(shù)據(jù)處理插件；當(dāng)所述數(shù)據(jù)庫(kù)發(fā)生數(shù)據(jù)導(dǎo)入操作時(shí)，對(duì)數(shù)據(jù)進(jìn)行分片存儲(chǔ)；自動(dòng)對(duì)存儲(chǔ)數(shù)據(jù)進(jìn)行水平擴(kuò)展；允許高效地編寫并批量插入到一批小數(shù)量的數(shù)據(jù)庫(kù)中。利用時(shí)序數(shù)據(jù)負(fù)載在最近時(shí)間間隔的優(yōu)勢(shì)，為橫跨服務(wù)器或磁盤進(jìn)行并行寫入以進(jìn)一步支持高速的數(shù)據(jù)寫入；為最近的時(shí)間間隔交換索引到磁盤中。

技術(shù)領(lǐng)域

本發(fā)明屬于信息技術(shù)領(lǐng)域，一種構(gòu)建PostgreSQL數(shù)據(jù)庫(kù)下處理時(shí)序數(shù)據(jù)的方法和系統(tǒng)。

背景技術(shù)

隨著信息技術(shù)在廣泛的運(yùn)用，時(shí)序數(shù)據(jù)出現(xiàn)在越來越多的場(chǎng)景，比如監(jiān)控和運(yùn)維、水文監(jiān)控、工廠的設(shè)備監(jiān)控、國(guó)家安全相關(guān)的數(shù)據(jù)監(jiān)控、通訊監(jiān)控、金融行業(yè)指標(biāo)數(shù)據(jù)、傳感器數(shù)據(jù)、應(yīng)用程序使用數(shù)據(jù)等。通常這些數(shù)據(jù)有數(shù)據(jù)量大、復(fù)雜性高的特性；這就意味著，存儲(chǔ)時(shí)間序列數(shù)據(jù)需要同時(shí)滿足規(guī)模和復(fù)雜查詢兩方面的要求。現(xiàn)有關(guān)系數(shù)據(jù)庫(kù)，很難同時(shí)實(shí)現(xiàn)這兩個(gè)屬性。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中存在關(guān)系數(shù)據(jù)庫(kù)無法處理時(shí)序數(shù)據(jù)的問題，本發(fā)明要解決的技術(shù)問題是提供一種構(gòu)建在PostgreSQL數(shù)據(jù)庫(kù)下處理時(shí)序數(shù)據(jù)的方法和系統(tǒng)，以增加關(guān)系數(shù)據(jù)庫(kù)的功能。

為了解決上述問題，本發(fā)明實(shí)施例提出了一種構(gòu)建PostgreSQL數(shù)據(jù)庫(kù)下處理時(shí)序數(shù)據(jù)的方法，包括：

在確定要處理時(shí)序數(shù)據(jù)的關(guān)系數(shù)據(jù)庫(kù)PostgreSQL中，通過SQL語句創(chuàng)建時(shí)序數(shù)據(jù)擴(kuò)展；

當(dāng)所述數(shù)據(jù)庫(kù)發(fā)生數(shù)據(jù)導(dǎo)入操作時(shí)，自動(dòng)按時(shí)間和空間對(duì)數(shù)據(jù)進(jìn)行分片存儲(chǔ)；自動(dòng)將hypertable分割成塊，一個(gè)塊對(duì)應(yīng)著一個(gè)根據(jù)指定時(shí)間間隔和此分區(qū)鍵的區(qū)域確定的二維空間；其中一個(gè)單一的數(shù)據(jù)庫(kù)部署包括一個(gè)或多個(gè)hypertable，且每個(gè)hypertable的表結(jié)構(gòu)相同或不同；

根據(jù)表大小和時(shí)間，自動(dòng)執(zhí)行時(shí)空分區(qū)對(duì)表進(jìn)行分區(qū)，完成水平擴(kuò)展；

對(duì)數(shù)據(jù)插入自動(dòng)進(jìn)行批量提交；且擴(kuò)展設(shè)計(jì)充分利用了時(shí)序數(shù)據(jù)負(fù)載在最近時(shí)間間隔的優(yōu)勢(shì)，為橫跨服務(wù)器或磁盤進(jìn)行并行寫入以進(jìn)一步支持高速的數(shù)據(jù)寫入；

為最近的時(shí)間間隔交換索引到磁盤中；此處索引的創(chuàng)建涉及數(shù)據(jù)類型，繼承PostgreSQL數(shù)據(jù)庫(kù)所支持的數(shù)據(jù)類型創(chuàng)建索引，從傳統(tǒng)的文本或者數(shù)值列，到專業(yè)的數(shù)組數(shù)據(jù)類型或者GIS列；

對(duì)相同分區(qū)鍵的條目具有完整的事務(wù)支持，在一個(gè)監(jiān)視程序中，確保每一個(gè)設(shè)備底層具有事務(wù)性語義，以使涉及到多個(gè)獨(dú)立傳感器指標(biāo)的多設(shè)備測(cè)量值被原子性的插入；

且數(shù)據(jù)寫入延遲，配置延遲回填后不超過一個(gè)塊的尺寸限制，以使預(yù)定數(shù)量的延時(shí)數(shù)據(jù)可以被插入。

進(jìn)一步的，所述hypertable表自動(dòng)地被放置在某一個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)中，或是被復(fù)制到多個(gè)節(jié)點(diǎn)。

為了解決上述問題，本發(fā)明還提出了一種構(gòu)建PostgreSQL數(shù)據(jù)庫(kù)下處理時(shí)序數(shù)據(jù)的系統(tǒng)，用于對(duì)互為備份的兩個(gè)或多個(gè)數(shù)據(jù)庫(kù)進(jìn)行同步，包括：用于存儲(chǔ)至少一個(gè)指令的內(nèi)存，用于執(zhí)行這些指令的處理器，其中所述指令用于執(zhí)行以下操作：

在確定要處理時(shí)序數(shù)據(jù)的關(guān)系數(shù)據(jù)庫(kù)PostgreSQL中，通過SQL語句創(chuàng)建時(shí)序數(shù)據(jù)擴(kuò)展；

當(dāng)所述數(shù)據(jù)庫(kù)發(fā)生數(shù)據(jù)導(dǎo)入操作時(shí)，自動(dòng)按時(shí)間和空間對(duì)數(shù)據(jù)進(jìn)行分片存儲(chǔ)；自動(dòng)將hypertable分割成塊，一個(gè)塊對(duì)應(yīng)著一個(gè)根據(jù)指定時(shí)間間隔和此分區(qū)鍵的區(qū)域確定的二維空間；其中一個(gè)單一的數(shù)據(jù)庫(kù)部署包括一個(gè)或多個(gè)hypertable，且每個(gè)hypertable的表結(jié)構(gòu)相同或不同；

根據(jù)表大小和時(shí)間，自動(dòng)執(zhí)行時(shí)空分區(qū)對(duì)表進(jìn)行分區(qū)，完成水平擴(kuò)展；