[發(fā)明專利]一種適用于截面訪問模式的電網(wǎng)海量時序數(shù)據(jù)存取方法

在審

• 申請?zhí)枺?/td>: 201410567859.0
• 申請日: 2014-10-22
• 公開（公告）號: CN104331432A
• 公開（公告）日: 2015-02-04
• 發(fā)明（設(shè)計）人: 王遠(yuǎn);包建國;袁軍;劉琛;吳善新
• 申請（專利權(quán)）人: 江蘇瑞中數(shù)據(jù)股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 南京知識律師事務(wù)所 32207
• 代理人: 汪旭東

技術(shù)領(lǐng)域

本發(fā)明涉及一種數(shù)據(jù)存取方法，屬于海量數(shù)據(jù)處理、新型數(shù)據(jù)庫技術(shù)領(lǐng)域，特別適用于智能電網(wǎng)領(lǐng)域中海量時序數(shù)據(jù)實(shí)時處理的場景。

背景技術(shù)

隨著智能電網(wǎng)的不斷發(fā)展，數(shù)據(jù)處理規(guī)模日益海量，已經(jīng)出現(xiàn)了數(shù)千萬乃至上億數(shù)據(jù)采集規(guī)模的應(yīng)用需求。以電力系統(tǒng)為例，一方面是測點(diǎn)規(guī)模越來越大，預(yù)計將達(dá)到千萬級甚至億級以上；另一方面是歷史時序數(shù)據(jù)量規(guī)模越來越大，預(yù)計將達(dá)到PB字節(jié)以上。海量信息存儲的方法很多，Oracle和EMC提供了存儲系統(tǒng)及硬件，比較經(jīng)典的是RAC(Real?Application?Cluster)，RAC已經(jīng)在工業(yè)和信息界得到廣泛應(yīng)用。然而這些數(shù)據(jù)庫都是基于關(guān)系和對象模型的，對復(fù)雜數(shù)據(jù)存儲有較好的表現(xiàn)，但是存儲代價以及系統(tǒng)消耗比較大。電網(wǎng)時序數(shù)據(jù)類型單一，是按時間分布的單列數(shù)據(jù)，而分布式列式數(shù)據(jù)庫技術(shù)在處理電網(wǎng)時序數(shù)據(jù)這種單列類型數(shù)據(jù)上比關(guān)系數(shù)據(jù)庫有更好的效率，能夠處理大量的并發(fā)數(shù)據(jù)操作的同時滿足電網(wǎng)時序數(shù)據(jù)實(shí)時性要求。因此引入分布式列式數(shù)據(jù)庫技術(shù)是當(dāng)前解決電網(wǎng)海量時序數(shù)據(jù)實(shí)時處理的有效方法。

構(gòu)建電網(wǎng)時序數(shù)據(jù)的分布式列式數(shù)據(jù)庫系統(tǒng)的設(shè)計關(guān)鍵在于模式設(shè)計，模式設(shè)計的好壞直接影響該系統(tǒng)的插入與查詢性能。模式設(shè)計的出發(fā)點(diǎn)是訪問模式，根據(jù)電網(wǎng)時序數(shù)據(jù)特征，對其訪問模式可歸納為按時間序列方式查詢與按時間截面方式查詢兩種。合理的模式設(shè)計應(yīng)該做到不影響寫入性能的同時兼顧時間序列方式與時間截面方式這兩種查詢性能。對于電網(wǎng)時序數(shù)據(jù)信息存儲，通常設(shè)計上僅僅考慮到時間序列數(shù)據(jù)在物理磁盤上位置相鄰，這樣雖然保證了按時間序列方式查詢的效率，但是并不能解決時間截面查詢場景性能問題。經(jīng)初步檢索，暫未發(fā)現(xiàn)有解決上述問題的相關(guān)專利。

發(fā)明內(nèi)容

為了解決上述問題，實(shí)現(xiàn)在不影響寫入性能的情況下同時兼顧時間序列查詢及時間截面查詢場景下的查詢效率，本發(fā)明提供了一種適用于截面訪問模式的電網(wǎng)海量時序數(shù)據(jù)存取方法，采用如下技術(shù)方案：

根據(jù)電網(wǎng)時序數(shù)據(jù)特征，將一條時序數(shù)據(jù)記錄格式表示為：<metric><timestamp><value><tagk1＝tagv1[tagk2＝tagv2…tagkN＝tagvN]>

其中各項代表的含義：

Metric(量測項，比如溫度，電壓等)；

Timestamp(時間戳，比如UNIX時間戳)；

Value(量測值，比如64位整數(shù)或雙精度浮點(diǎn)值)；

Tags(一組標(biāo)簽，用于標(biāo)識這個數(shù)據(jù)記錄的一組標(biāo)記，每個標(biāo)簽分別由標(biāo)簽鍵(tagk)與標(biāo)簽值(tagv)組成，對于每一個電網(wǎng)時序數(shù)據(jù)記錄，都會有一個標(biāo)簽鍵為device，該標(biāo)簽鍵用來表示電網(wǎng)設(shè)備名稱，比如device＝myammeter，表示該電網(wǎng)設(shè)備為某電流表)。

據(jù)此，在系統(tǒng)中建立三張表，分別為Uid表、Time-series時間序列數(shù)據(jù)表、Time-point時間截面數(shù)據(jù)表，其模式設(shè)計(包括行鍵、列族以及列限定符設(shè)計)如下：

Uid表

該表是time-series與time-point表的輔助表，任一量測項metric以及標(biāo)簽tag在該表中有自己唯一的ID，即UID。Uid表用于管理UID，使用固定4個字節(jié)寬，作為時間序列數(shù)據(jù)表以及截面數(shù)據(jù)表的外鍵聯(lián)系使用。

注冊一個新UID會在該表里添加兩行，一行是從Name映射到UID，另一行從UID映射到Name。這里的Name可以是某量測項(metric)名稱，也可以是某標(biāo)簽鍵(tagk)或者是某標(biāo)簽值(tagv)。

該表的意義在于將字符串類型的測量項名稱以及標(biāo)簽鍵值名稱都統(tǒng)一映射成固定的4個字節(jié)數(shù)組中，這樣一定程度上可以節(jié)省存儲空間，另一方面便于對查詢數(shù)據(jù)進(jìn)行解析。

Time-series時間序列數(shù)據(jù)表

該表存儲時間序列數(shù)據(jù)，用來支持按時間序列方式查詢請求，比如：按照日期范圍和標(biāo)簽進(jìn)行過濾的數(shù)據(jù)查詢。其行鍵布局包含4字節(jié)的量測項UID、4字節(jié)的高序時間戳和各4字節(jié)的標(biāo)簽名ID和標(biāo)簽值ID，row?key格式為：<metric_uid><timestamp_high><tagk1_uid><tagv1_uid>[…<tagkN_uid><tagvN_ui?d>]，列族名設(shè)為t，列限定符由時間戳低序位和掩碼組成，掩碼用于表示量測值數(shù)據(jù)類型及其存儲占用字節(jié)個數(shù)。