[發明專利]一種基于HBase的輸電線路綜合數據存儲方法

在審

• 申請號: 201410454492.1
• 申請日: 2014-09-09
• 公開（公告）號: CN104216989A
• 公開（公告）日: 2014-12-17
• 發明（設計）人: 彭子平;劉波;王干軍;于恒友;陳清江;戴征獻;楊曉勇;郭栩文;王榮鵬;羅應文;聶文翔
• 申請（專利權）人: 廣東電網公司中山供電局;廣州運維電力科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06Q50/06
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 溫旭

1.一種基于HBase的輸電線路綜合數據存儲方法，其特征在于，包括：

采集輸電線路綜合數據，所述輸電線路綜合數據包括結構化數據及非結構化數據；

將所述輸電線路綜合數據進行分類處理，具體地，對采集到的輸電線路綜合數據按照數據的具體內容進行分類處理；

根據分類結果構建HBase表；

將所述HBase表內的輸電線路綜合數據轉換為字節數組；

將所述字節數組按照HBase表格式，依次存儲至HBase分布式數據庫，所述HBase分布式數據庫構建于HDFS上；

所述HBase 表的列定義由多個列族構成，每個列族可以包含多個列，且列可以動態增加；所述HBase表包括關鍵字、時標、元數據，所述時標用于表示元數據的采集時間；所述關鍵字由MAC地址及路號的字符串連接構成，所述MAC地址用于表示采集設備，路號用于表示通道號；

所述HBase分布式數據庫包括RegionServer，所述RegionServer上分布有多個Region，所述Region上分布有多個Store，所述Store由MemSotre及存儲在HDFS上的StoreFile組成，所述MemStore為排序內存緩沖區；字節數組存入所述HBase分布式數據庫時，先存入所述MemStore，當所述MemStore滿載后，形成一個StoreFile文件，當所形成的StoreFile文件數量到達預設閾值時，則觸發合并操作，將多個StoreFile文件合并成一個StoreFile文件，合并過程中進行版本合并及數據刪除；

其中，每個RegjonServer有一個Compact檢查線程周期性的運行，始運行后，Compact檢查線程會詢問所有上線Region的所有Store是否需要合并操作，它會把需要合并的Store列表轉給對應的HRegion去執行合并操作；另外，由MemStore 清空所發起的合并，在向HBase寫數據的時候，當客戶端向Region端插入數據時，Region會判斷當前的MemStore的大小是否大于某個參數值，如果大于，則執行清空操作，將Region上的MemStore中的數據輸出到StoreRles文件里； 而在清空數據時，會先判斷當前的Region是否滿足一定條件從而決定對Region進行合并還是分裂操作。

2.如權利要求1所述的基于HBase的輸電線路綜合數據存儲方法，其特征在于，所述StoreFile文件內的字節數組的存儲通過HFile文件實現，所述字節數組存儲在所述HFile文件之中；

所述HFile文件依次包括Data、Meta、Data Index、Meta Index及Trailer，所述DataIndex記錄了Data的偏移，所述Meta Index記錄了Meta的偏移，所述Trailer包括指向FileInfo的指針、指向Data Index的指針、指向Meta Index的指針。

3.如權利要求1所述的基于HBase的輸電線路綜合數據存儲方法，其特征在于，所述合并操作包括“文件觸發”、“文件選取”、“文件合并”三個階段，所述“文件觸發”階段決定觸發合并的時機與方式，所述“文件選取”階段決定合并文件的選擇，所述“文件合并”決定合并的方式；

所述觸發合并的時機與方式包括客戶端觸發、RegjonServer進行周期檢查時觸發、MemStore清空時觸發。

4.如權利要求1所述的基于HBase的輸電線路綜合數據存儲方法，其特征在于，當單個StoreFile文件的大小超過預設閾值，則觸發分裂操作，并把所述StoreFile文件所處的當前Region分裂為兩個獨立的Region，新形成的兩個Region會被分配到相應的RegionServer上。

5.如權利要求1所述的基于HBase的輸電線路綜合數據存儲方法，其特征在于，所述RegionServer上還分布有一個實現預寫日志的對象HLog；

當字節數組存入MemStore時，同時寫入到所述HLog中，所述HLog定期刪除已持久化到StoreFile中的字節數組所對應的舊文件并滾動出新文件；

當RegionServer意外終止后，則根據所述HLog進行不同Region的字節數組的拆分、重新分配，實現字節數組的恢復。