[發(fā)明專利]面向電網(wǎng)的SCADA歷史數(shù)據(jù)分布式存儲的實現(xiàn)方法

有效

• 申請?zhí)枺?/td>: 201210409905.5
• 申請日: 2012-10-24
• 公開（公告）號: CN103116595A
• 公開（公告）日: 2013-05-22
• 發(fā)明（設(shè)計）人: 閆湖;李立新;狄方春;袁榮昌;戴嬌;文杰
• 申請（專利權(quán)）人: 中國電力科學(xué)研究院;中國科學(xué)院信息工程研究所;國家電網(wǎng)公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京安博達(dá)知識產(chǎn)權(quán)代理有限公司 11271
• 代理人: 徐國文

技術(shù)領(lǐng)域

本發(fā)明屬于電力系統(tǒng)控制技術(shù)領(lǐng)域，具體涉及一種面向電網(wǎng)的SCADA歷史數(shù)據(jù)分布式存儲的實現(xiàn)方法。

背景技術(shù)

SCADA歷史數(shù)據(jù)來自對SCADA應(yīng)用實時數(shù)據(jù)點的采樣，在電網(wǎng)逐漸連成一體的趨勢下，其電網(wǎng)規(guī)模將越來越大，SCADA歷史數(shù)據(jù)將以指數(shù)級增長從而達(dá)到海量，現(xiàn)有商用關(guān)系庫將無法滿足海量數(shù)據(jù)存儲和高效訪問需求。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)的不足，本發(fā)明提供一種面向電網(wǎng)的SCADA歷史數(shù)據(jù)分布式存儲的實現(xiàn)方法，支持海量scada歷史數(shù)據(jù)的分布式存儲和反向查詢，并且具有良好的擴(kuò)展性。

本發(fā)明提供的面向電網(wǎng)的SCADA歷史數(shù)據(jù)分布式存儲的實現(xiàn)方法，其改進(jìn)之處在于，前置服務(wù)器實時采集電力數(shù)據(jù)，并將數(shù)據(jù)組裝成報文，以消息的形式發(fā)放到總線上；各應(yīng)用服務(wù)器讀取各自訂閱的消息報文，解析得到的數(shù)據(jù)放入實時庫；實時庫的數(shù)據(jù)不斷被刷新，不同業(yè)務(wù)類型的數(shù)據(jù)以不同的采樣頻率批量存入開源分布式數(shù)據(jù)庫。

其中，數(shù)據(jù)以不同的采樣頻率刷入開源分布式數(shù)據(jù)庫時，根據(jù)頻率不同，對應(yīng)開源分布式數(shù)據(jù)庫中的表結(jié)構(gòu)不同。

其中，所述采樣頻率包括分鐘級，其對應(yīng)的表結(jié)構(gòu)形式為：

同一地區(qū)的數(shù)據(jù)放在相鄰行，數(shù)據(jù)按照鍵值對（Rowkey,value）形式存儲；

數(shù)據(jù)表的行關(guān)鍵字為域號、日期和原id；

數(shù)據(jù)表的列族內(nèi)容設(shè)置為hisdata；其中hisdata包括manalog?data、manalogquality、code和name。

其中，所述采樣頻率包括秒級，其對應(yīng)的表結(jié)構(gòu)形式為：

同一地區(qū)的數(shù)據(jù)放在相鄰行，數(shù)據(jù)按照鍵值對（Rowkey,value）形式存儲；

數(shù)據(jù)表的行關(guān)鍵字為域號、日期和原id；

數(shù)據(jù)表的列族內(nèi)容設(shè)置為value。

其中，所述批量存儲數(shù)據(jù)，是通過基于開源分布式數(shù)據(jù)庫接口重新封裝的批量寫接口實現(xiàn)的。

其中，所述反向查詢是通過基于開源分布式數(shù)據(jù)庫接口重新封裝的反向按地區(qū)、按時間查詢接口實現(xiàn)的。

與現(xiàn)有技術(shù)比，本發(fā)明的有益效果為：

1.本發(fā)明實現(xiàn)了不同地區(qū)、不同日期scada歷史數(shù)據(jù)統(tǒng)一存儲；

2.本發(fā)明支持海量scada歷史數(shù)據(jù)的分布式存儲；

3.本發(fā)明大數(shù)據(jù)的快速查詢分析能力；

4.本發(fā)明開源分布式數(shù)據(jù)庫底層是分布式文件系統(tǒng)，數(shù)據(jù)以塊為單位，按一定備份數(shù)目存儲在不同機架上，實現(xiàn)了支持多副本容錯功能。

5.本發(fā)明支持分布式計算；

6.本發(fā)明具有良好的擴(kuò)展性。

附圖說明

圖1為本發(fā)明提供的Hbase表邏輯視圖。

圖2為本發(fā)明提供的SCADA歷史數(shù)據(jù)存儲業(yè)務(wù)流程圖。

具體實施方式

下面結(jié)合附圖對本發(fā)明的具體實施方式作進(jìn)一步的詳細(xì)說明。

面向大電網(wǎng)的SCADA歷史數(shù)據(jù)分布式存儲采用一種分布式的、面向列、高可靠性、高性能、可伸縮、版本化的開源數(shù)據(jù)庫Hbase來存儲SCADA歷史采樣數(shù)據(jù)。SCADA歷史采樣數(shù)據(jù)特征為數(shù)據(jù)量大、帶時標(biāo)，這和HBase分布式存儲、帶時間戳不謀而合。HBase表結(jié)構(gòu)與關(guān)系庫表結(jié)構(gòu)不同，邏輯視圖如圖1所示，雖然Hbase仍以表的形式存儲數(shù)據(jù)，但列劃分為若干個列族(column?family)，表的索引是行關(guān)鍵字，列關(guān)鍵字和時間戳。此外，HBase是不支持SQL語言的，也無批量寫和查詢接口。因此，把SCADA歷史采樣數(shù)據(jù)寫入分布式數(shù)據(jù)庫HBase以及反向查詢必須重新編寫接口。

本實施例的面向電網(wǎng)的SCADA歷史數(shù)據(jù)分布式存儲的實現(xiàn)方法，是指前置服務(wù)器實時采集電力數(shù)據(jù)，并將數(shù)據(jù)組裝成報文，以消息的形式發(fā)放到總線上；各應(yīng)用服務(wù)器讀取各自訂閱的消息報文，解析得到的數(shù)據(jù)放入實時庫；實時庫的數(shù)據(jù)不斷被刷新，不同業(yè)務(wù)類型的數(shù)據(jù)以不同的采樣頻率批量存入開源分布式數(shù)據(jù)庫，如圖2所示。

數(shù)據(jù)以不同的采樣頻率刷入開源分布式數(shù)據(jù)庫時，根據(jù)頻率不同，對應(yīng)開源分布式數(shù)據(jù)庫中的表結(jié)構(gòu)不同。其中：采樣頻率包括分鐘級和秒級；

分鐘級采樣

在原關(guān)系庫中，分鐘級采樣每天會產(chǎn)生三張表：遙測表、遙測質(zhì)量表、遙信表。每個采樣點對應(yīng)歷史庫的一行數(shù)據(jù)，該行數(shù)據(jù)含1442列（24×60=1440）。

表1分鐘級采樣表格模式示意-關(guān)系庫

說明：