[發明專利]一種基于HBase的輸電線路綜合數據存儲方法

在審

• 申請號: 201410454492.1
• 申請日: 2014-09-09
• 公開（公告）號: CN104216989A
• 公開（公告）日: 2014-12-17
• 發明（設計）人: 彭子平;劉波;王干軍;于恒友;陳清江;戴征獻;楊曉勇;郭栩文;王榮鵬;羅應文;聶文翔
• 申請（專利權）人: 廣東電網公司中山供電局;廣州運維電力科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06Q50/06
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 溫旭

本發明公開了一種基于HBase的輸電線路綜合數據存儲方法，包括：采集輸電線路綜合數據，所述輸電線路綜合數據包括結構化數據及非結構化數據；將所述輸電線路綜合數據進行分類處理；根據分類結果構建HBase表；將所述HBase表內的輸電線路綜合數據轉換為字節數組；將所述字節數組按照HBase表格式，依次存儲至HBase分布式數據庫，所述HBase分布式數據庫構建于HDFS上。采用本發明，將輸電線路綜合數據與HDFS、HBase相結合，解決了原有數據信息共享性差、信息呈孤島、非結構化數據難以處理等問題。

技術領域

本發明涉及電力信息化技術領域，尤其涉及一種基于HBase的輸電線路綜合數據存儲方法。

背景技術

信息和能源始終是世界關注的兩大焦點話題。隨著電網智能化、信息化、集成化程度的不斷加深和提高，由此產生的大量數據為電網的發展帶來了新的挑戰和機遇。在電力系統的整個生產過程中，包括發、輸、變、配、用、調度、協調等各個環節都伴隨著各種各樣的信息流。輸電線路作為保障電網安全可靠運行的重要組成部分，在實際運行中會產生種類繁多、數量巨大的各類數據，包括線路自身的屬性信息、各種狀態監測數據、投運前離線實驗數據、電網運行數據、地理信息數據、公共安全信息數據、線路自身的運維記錄數據等結構化和非結構化數據。并且隨著測量采集點越來越多，電網運行和設備檢/監測產生的數據量呈指數增長，構成了當今信息學界所關注的大數據。

早在2011年全球知名的咨詢公司麥肯錫發布了一份關于大數據的詳盡報告，就大數據的影響、關鍵技術和應用領域等都做了詳盡的分析，闡明了大數據研究的地位以及蘊含的巨大的社會價值。中國電機工程學會信息化專委會于2013年3月出版發布了《中國電力大數據發展白皮書》，該書對電力大數據的起源、內涵、特征、價值分析、應用前景、發展挑戰、關機技術以及發展策略給出了詳細的解釋和說明。

輸電線路分為架空線和電力電纜兩種。輸電線路分布地域廣、跨度大，與其相關的數據分散、類型繁雜，如：架空線和電纜的生產日期、規格型號、離線實驗、家族缺陷等屬性信息類數據；架空線桿塔坐標、電纜標識球位置坐標、電纜某段敷設方式等地理信息類數據；微氣象、雷擊、覆冰、外力破壞、塔基滑坡等公共安全類數據；導線溫度、弧垂、架空線絕緣子泄漏電流、架空線視頻監測、電纜護層環流等在線監測類數據；線路運行電流值等電網運行類數據；線路的運行維護記錄等運維數據等。輸電線路綜合數據種類繁多并呈現多樣化，數據對實時性的要求也不一致，如線路的運行電流值對于系統的調度影響重大，要求數據實時、一致、準確；而其他類型的數據的如狀態檢測類數據對實時性的要求則較低。因此，有區別的對數據規范化采集管理和科學、有效的處理非常必要。

另一方面，架空線和電纜的架設方式、結構特性、環境影響差別大，導致兩者的數據類型和數據源不盡相同，如：覆冰數據、微氣象、弧垂、視頻監測、絕緣子泄漏電流是架空線才有的數據，而電纜護層環流、電纜敷設方式則是電纜獨有的數據，因此，在數據的采集、清洗、轉換和存儲過程中要區別對待。其中，數據的多源性體現為數據來源于不同的子系統。中山供電局的輸電線路管理水平走在全國的前列，目前，在輸電管理所裝有電纜環流在線檢測系統、電纜可視化子系統、絕緣子泄露電流在線檢測系統、架空線路視頻檢測系統、輸電線路智能故障診斷系統、塔基滑坡災害監測系統、線路弧垂在線監測系統、生產管理信息系統，各類型的數據大部分來源于以上各系統。還有一些如線路的屬性信息是來自生產廠家，線路運行電流值則來自EMS系統。以中山供電局為例，在圖1中給出了輸電線路綜合數據的詳細數據信息。

輸電線路數據的異構性是建立在其復雜性和多源性的基礎之上。復雜性和多源性一定程度上決定了數據內在結構的不同，這些復雜的、多源的數據可以進一步細分為結構化數據和非結構化數據。輸電線路綜合數據中結構化數據與非結構化數據的構成與劃分如圖2所示。

結構化數據是指存儲在關系數據庫中的數據，輸電線路綜合數據中的大部分數據是這種形式，如：微氣象、弧垂、絕緣子泄漏電流、電纜護層環流等，隨著信息技術的發展和智能電網建設的逐步推進，測量采集裝置的增多以及采樣頻率的提高，這部分數據將會很快地增長。