[發明專利]一種電能質量海量數據存儲及讀取方法

有效

• 申請號: 201310656313.8
• 申請日: 2013-12-06
• 公開（公告）號: CN103593486B
• 公開（公告）日: 2017-11-21
• 發明（設計）人: 王同勛
• 申請（專利權）人: 國家電網公司;國網智能電網研究院;江蘇省電力公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京安博達知識產權代理有限公司11271
• 代理人: 徐國文

技術領域

本發明屬于電力系統，具體講涉及一種電能質量海量數據存儲及讀取方法。

背景技術

隨著電能質量監測系統發展，監測點規模不斷擴大，監測數據容量越來越大，現有的關系型數據庫無法滿足數量和并發量的增長需求。目前主流的實時數據庫，將數據常駐內存，可實現海量數據的快速訪問。針對電能質量監測數據特點，建立適用于實時數據庫的數據模型和數據處理方法，將提高電能質量監測系統的海量數據處理和高速并發訪問能力。

發明內容

針對現有技術的不足，本發明提供一種電能質量海量數據存儲及讀取方法，本發明適用于實時數據庫管理的電能質量數據存儲及讀取方法，基于鍵值對的電能質量數據存儲方式，適用于電能質量實時數據庫的數據文件管理和內存管理模式，適用于海量電能質量數據存取管理方式。

本發明的目的是采用下述技術方案實現的：

一種電能質量海量數據存儲及讀取方法，其改進之處在于，所述方法包括

（1）將電能質量海量數據采用鍵值對形式存儲；

（2）將鍵值對以序列化的方式存儲在文件中；

（3）實時數據寫入時，根據設備ID定位該監測點數據區，通過指針定位監測數據的相應存儲區；

（4）根據所要獲取數據的指標類別碼，讀取記錄槽中的相應數據。

優選的，所述步驟（1）包括鍵值對數據中，每個鍵對應一個值，將電能質量監測設備ID作為鍵；此設備監測指標的測量值放到值的數據區中。

進一步地，所述設備監測指標的測量值包括電壓偏差、頻率偏差、三相不平衡、電壓波動與閃變、諧波和間諧波。

進一步地，所述每個值區內，監測的測量值按指標類別進行分析和編碼，通過計算偏移量快速定位數據塊。

優選的，所述步驟（3）中指針包括以200毫秒、3秒、1分鐘和10分鐘為數據粒度的四個存儲區。

優選的，所述步驟（3）包括所述實時數據寫入數據帶有時戳，所述時戳與數據區首部的時刻點之差小于10分鐘，則直接由時間差獲得數據區的偏移，可直接將數據寫入內存，同時啟動數據向上的聚合操作；

所述實時數據寫入數據帶有時戳，所述時戳與數據區首部的時刻點之差大于或等于10分鐘，則起動后臺線程，將此段數據區寫入文件。

優選的，所述步驟（4）包括數據的存儲時段按2小時來劃分，每個被劃分出的單元對應文件頭上的某個記錄槽位，所述槽位直接指向文件內的數據塊。

進一步地，所述文件按年目錄組織，對于跨年度的時段則讀取多個目錄內的文件。

與現有技術比，本發明的有益效果為：

本發明針對電能質量監測系統，提出了基于鍵值對的數據模型、存儲管理以及海量數據存取方式。

本發明中鍵值對存儲方式將每個數據文件都切割成數據塊進行存儲，對數據庫中數據訪問都是以數據塊作為最小單位，提高了系統訪問速度。

本發明中數據文件管理和存取方式充分考慮了電能質量數據多指標、多粒度的特點，以及電能質量數據應用需求。

本發明應用于電能質量監測系統，能夠實現大規模數據的存儲和高速并發訪問。

附圖說明

圖1為本發明提供的一種電能質量海量數據存儲及讀取方法中鍵值對存儲方式示意圖。

圖2為本發明提供的一種電能質量海量數據存儲及讀取方法中文件管理方式示意圖。

圖3為本發明提供的一種電能質量海量數據存儲及讀取方法中存儲管理方式示意圖。

圖4為本發明提供的一種電能質量海量數據存儲及讀取方法中電能質量歷史數據讀取方式示意圖。

具體實施方式

下面結合附圖對本發明的具體實施方式作進一步的詳細說明。

1、如圖1所示，本發明將電能質量數據采用鍵值對（key-value）形式存儲，利用鍵值對將各監測點數據封裝為索引節點，按樹或列表的形式來組織索引節點，提高數據查詢速度。

其中，鍵值對數據中，每個鍵（key）對應一個值（value）。鍵為ID，將電能質量監測設備ID作為鍵；此設備所有監測指標的測量值（如，電壓偏差、頻率偏差、三相不平衡、電壓波動與閃變、諧波、間諧波等）都放到值的數據區中。在一個值區內，監測數據按指標類別進行分析和編碼，通過計算偏移量快速定位數據塊。

由于主流實時庫對值只能進行整塊區域的操作，將監測點所有指標的數據集中放入一個鍵值對，內存占用相對較大，為了避免頻繁地讀取整塊值區域，在內存中建立當前值的緩沖區，僅當值區更新到尾部時才啟動對數據庫的寫操作。