[發(fā)明專(zhuān)利]一種用于電網(wǎng)WAMS系統(tǒng)的時(shí)序數(shù)據(jù)存儲(chǔ)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201611265625.6
• 申請(qǐng)日: 2016-12-30
• 公開(kāi)（公告）號(hào): CN106844555A
• 公開(kāi)（公告）日: 2017-06-13
• 發(fā)明（設(shè)計(jì)）人: 鄭曉露;周淳;朱恒;卜蕓
• 申請(qǐng)（專(zhuān)利權(quán)）人: 江蘇瑞中數(shù)據(jù)股份有限公司
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30
• 代理公司: 南京知識(shí)律師事務(wù)所32207
• 代理人: 劉豐

技術(shù)領(lǐng)域

本發(fā)明屬于電網(wǎng)廣域監(jiān)測(cè)及時(shí)序數(shù)據(jù)處理技術(shù)領(lǐng)域，具體是涉及一種用于電網(wǎng)WAMS系統(tǒng)的時(shí)序數(shù)據(jù)存儲(chǔ)方法。

背景技術(shù)

電網(wǎng)廣域監(jiān)測(cè)系統(tǒng)(Wide Area Measurement System，簡(jiǎn)稱(chēng)WAMS系統(tǒng))，通過(guò)布局全網(wǎng)關(guān)鍵測(cè)點(diǎn)的同步相角測(cè)量單元(PMU)，實(shí)現(xiàn)對(duì)電網(wǎng)主要數(shù)據(jù)的實(shí)時(shí)高速率采集，并將采集的數(shù)據(jù)存儲(chǔ)在廣域監(jiān)測(cè)主站系統(tǒng)中的時(shí)序數(shù)據(jù)庫(kù)中，從而提供對(duì)電網(wǎng)正常運(yùn)行與事故擾動(dòng)情況下的實(shí)時(shí)監(jiān)測(cè)、分析計(jì)算、故障繁衍等。

目前WAMS系統(tǒng)發(fā)展的主要趨勢(shì)為：(1)監(jiān)測(cè)節(jié)點(diǎn)數(shù)量越來(lái)越多，由早期的幾千測(cè)點(diǎn)已擴(kuò)展至幾萬(wàn)點(diǎn)甚至十幾萬(wàn)點(diǎn)；(2)采集頻率越來(lái)越高，目前已支持到最高每秒100幀的采集頻率，并且采集頻率隨著電網(wǎng)負(fù)荷的變化可轉(zhuǎn)變；(3)歷史數(shù)據(jù)量越來(lái)越大，時(shí)序庫(kù)中一般保存的歷史數(shù)據(jù)都是TB級(jí)，對(duì)業(yè)務(wù)的性能沖擊越來(lái)越大。

WAMS系統(tǒng)的這些特性，對(duì)系統(tǒng)中時(shí)序庫(kù)的性能、容量等提出了更高的要求。

發(fā)明內(nèi)容

發(fā)明目的：為了克服現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種用于電網(wǎng)WAMS系統(tǒng)的時(shí)序數(shù)據(jù)存儲(chǔ)方法，該存儲(chǔ)方法具備較高的時(shí)序數(shù)據(jù)寫(xiě)入、查詢(xún)性能，且性能不會(huì)因數(shù)據(jù)規(guī)模擴(kuò)展而降低。

技術(shù)方案：為實(shí)現(xiàn)上述目的，本發(fā)明的一種用于電網(wǎng)WAMS系統(tǒng)的時(shí)序數(shù)據(jù)存儲(chǔ)方法，提供測(cè)點(diǎn)ID和時(shí)序數(shù)據(jù)結(jié)合的存儲(chǔ)模型、緩存和文件結(jié)合的雙層存儲(chǔ)架構(gòu)、按小時(shí)獨(dú)立存儲(chǔ)的文件格式以及文件偏移量索引機(jī)制；

其中，測(cè)點(diǎn)ID和時(shí)序數(shù)據(jù)結(jié)合的存儲(chǔ)模型：

存儲(chǔ)模型結(jié)構(gòu)為：<id,timestamp,<value₁,value₂,…,value_n>>，其中id表示該段數(shù)據(jù)對(duì)應(yīng)的測(cè)點(diǎn)ID號(hào)；timestamp表示該段數(shù)據(jù)對(duì)應(yīng)的時(shí)間標(biāo)簽，即對(duì)應(yīng)的秒數(shù)；value₁至value_n表示ID號(hào)為id的測(cè)點(diǎn)在第timestamp秒的n條數(shù)據(jù)；

緩存和文件結(jié)合的雙層存儲(chǔ)架構(gòu)：

緩存結(jié)構(gòu)：在計(jì)算機(jī)內(nèi)存中預(yù)分配的一段物理內(nèi)存內(nèi)，采用二維數(shù)組形式，其中一個(gè)維度表示測(cè)點(diǎn)ID，另外一個(gè)維度表示最新1分鐘的60秒，存儲(chǔ)所有測(cè)點(diǎn)最新1分鐘的數(shù)據(jù)，二維數(shù)組中的每個(gè)存儲(chǔ)單元存儲(chǔ)單個(gè)測(cè)點(diǎn)1秒中的n條數(shù)據(jù)；

文件結(jié)構(gòu)：在文件中存儲(chǔ)所有測(cè)點(diǎn)1個(gè)小時(shí)的數(shù)據(jù)，文件中每個(gè)存儲(chǔ)單元存儲(chǔ)單個(gè)測(cè)點(diǎn)1分鐘的壓縮數(shù)據(jù)塊；

按小時(shí)獨(dú)立存儲(chǔ)的文件格式：設(shè)置若干個(gè)數(shù)據(jù)文件，每個(gè)數(shù)據(jù)文件用于存儲(chǔ)所有測(cè)點(diǎn)1個(gè)小時(shí)的數(shù)據(jù)，不同文件中數(shù)據(jù)時(shí)標(biāo)互相不重復(fù)；

文件偏移量索引機(jī)制：為每個(gè)數(shù)據(jù)文件生成一個(gè)索引文件，即每個(gè)小時(shí)的數(shù)據(jù)均存在對(duì)應(yīng)的索引文件，索引文件采用二維數(shù)組結(jié)構(gòu)，其中一個(gè)維度表示測(cè)點(diǎn)ID，另一個(gè)維度表示每個(gè)小時(shí)的60分鐘，二維數(shù)組中的每個(gè)單元存儲(chǔ)一個(gè)偏移量，該偏移量表示對(duì)應(yīng)測(cè)點(diǎn)ID在60分鐘中某分鐘的數(shù)據(jù)塊；

所述方法包括數(shù)據(jù)寫(xiě)入和數(shù)據(jù)查詢(xún)兩個(gè)階段，所述數(shù)據(jù)寫(xiě)入階段包括以下步驟：

S11接收測(cè)點(diǎn)最新1分鐘中第i秒鐘的時(shí)序數(shù)據(jù)，i＝(0,2,…,59)；

S12根據(jù)測(cè)點(diǎn)ID和第i秒鐘在緩存結(jié)構(gòu)中找到接收數(shù)據(jù)緩存位置；

S13將接收到的時(shí)序數(shù)據(jù)復(fù)制到對(duì)應(yīng)緩存位置中；

S14判斷該測(cè)點(diǎn)數(shù)據(jù)緩存時(shí)間是否超過(guò)1分鐘，如果是則進(jìn)入S15，否則結(jié)束；

S15將緩存結(jié)構(gòu)中該測(cè)點(diǎn)最新1分鐘內(nèi)時(shí)序數(shù)據(jù)壓縮，形成壓縮數(shù)據(jù)塊；

S16根據(jù)測(cè)點(diǎn)ID和最新1分鐘時(shí)間在文件結(jié)構(gòu)中找到寫(xiě)入位置；

S17將該測(cè)點(diǎn)最新1分鐘內(nèi)時(shí)序數(shù)據(jù)壓縮數(shù)據(jù)塊寫(xiě)入到所述步驟S16中寫(xiě)入位置中；

S18將所述步驟S16中寫(xiě)入位置記錄到該數(shù)據(jù)文件對(duì)應(yīng)的索引文件中。

進(jìn)一步地，所述數(shù)據(jù)查詢(xún)階段包括以下步驟：

S21收到查詢(xún)請(qǐng)求，查詢(xún)請(qǐng)求包括測(cè)點(diǎn)ID信息和查詢(xún)時(shí)間段信息；

S22判斷查詢(xún)時(shí)間段是否在緩存中，如果是則進(jìn)入S23，如果不是則進(jìn)入S24；

S23根據(jù)查詢(xún)時(shí)間段從緩存中定位數(shù)據(jù)，返回?cái)?shù)據(jù)結(jié)果，結(jié)束；

S24根據(jù)查詢(xún)開(kāi)始時(shí)間找到歷史數(shù)據(jù)文件，讀取該歷史數(shù)據(jù)文件對(duì)應(yīng)的索引文件；

S25在索引文件中查詢(xún)?cè)摐y(cè)點(diǎn)在該時(shí)間段顯示的分鐘時(shí)間是否有值，如果沒(méi)有值則返回?zé)o值結(jié)束，如果有值則在歷史數(shù)據(jù)文件中根據(jù)測(cè)點(diǎn)ID信息和查詢(xún)時(shí)間段信息讀取數(shù)據(jù)塊；

S26將讀取的數(shù)據(jù)塊解壓縮，返回?cái)?shù)據(jù)結(jié)果，結(jié)束。