[發明專利]一種基于spark技術的配電網海量數據的處理及分析方法

在審

• 申請號: 202010577545.4
• 申請日: 2020-06-23
• 公開（公告）號: CN111782680A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 黃宸希;韓韜;何鳴一;王智琦;吳雪瓊;孫保華;孫聰聰;馮榮強;趙磊;唐偉;王必恒
• 申請（專利權）人: 國電南瑞南京控制系統有限公司;南瑞集團有限公司;南瑞智能配電技術有限公司;國電南瑞科技股份有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/25;G06F40/154;G06F16/903
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

本發明公開了一種基于spark技術的配電網海量數據的處理及分析方法，包含以下步驟：配電網設備地理信息與拓撲信息文件解析研究；將配電網拓撲數據由半結構化數據轉為結構化數據；配電網拓撲數據構建；基于spark技術對配電網拓撲數據進行分析合并，本發明主要針對配電網的半結構數據提出了一種基于spark技術的配電網海量數據的處理及分析方法，首先將配電網設備地理坐標與拓撲信息(CIM/XML)按照一定的方法進行提取，將提取出的轉化為結構化數據，最后通過spark對配電網拓撲數據進行分析實現數據的快速處理。

技術領域

本發明涉及一種配電網海量數據的處理及分析方法，尤其涉及一種基于spark技術的配電網海量數據的處理及分析方法，屬于電力信息技術領域。

背景技術

近年來隨著計算機技術的發展和普及，信息呈現爆炸式的增長，整個網絡產生了巨大的數據量。大數據時代的到來不僅使人們認識到了數據的重要性，同時也引發了諸多領域的根本變革。在電力行業，隨著智能配電網的建設與發展及支撐其運行的各類智能化的數據采集、傳輸等系統的廣泛應用，配電網的數據資源急速增長，數據呈現出體量大、來源廣、類型多、增長快的特征，給數據的處理帶來了一系列的壓力。如何對配電網中的大量數據進行高效處理一直是人們所關注的重點。

近年來隨著大數據技術的發展，大數據技術被越來越多的應用于不同行業中，在電力行業中配電網數據的處理一般需經過多個步驟，包括：格式轉換、異常數據辨識、數據清洗等過程，大都需要消耗的大量的計算資源。如何利用大數據技術提升運算速度，助力配電網大數據釋放所蘊藏的信息，一直是電力行業亟待解決的問題。

在原先的配電網系統中所導出的標準化電網拓撲CIM和SVG屬于半結構化數據，外部系統平臺和應用軟件對于此類半結構化的數據解析存在較大難度，無法直接基于CIM和SVG完成如潮流計算、可靠性分析等其他應用分析。傳統的CIM和SVG解析大多借助于DOM和SAX等各類專業解析器來分析電網的拓撲關系，存在效率低、無法應對大規模電網拓撲以及難以形成可供離線跨系統平臺應用的結構化拓撲數據。

發明內容

發明目的：本發明的目的為提供一種科學合理、適用性強的基于spark技術的配電網海量數據的處理及分析方法。

技術方案：本發明的基于spark技術的配電網海量數據的處理及分析方法，包含以下步驟：

(1)對配電網設備地理信息與拓撲信息文件使用正則表達式進行信息提取及存儲；

(2)將提取的信息由半結構化數據轉為結構化數據；

(3)對結構化數據進行構建；

(4)基于spark技術對構建的數據進行存儲并轉換為計算機可識別的代碼，進行數據展示。

具體步驟如下：

(1)從非結構化的SVG圖像和半結構化的XML文件中提取配電網設備地理坐標與拓撲信息，信息提取方式如下；

(a)由于SVG和XML文件本質上是由一系列具有一定結構的字符串組成的通過觀察文件中字符串的結構找出其中的格式規律，其格式如圖1所示；

(b)確定需要從文件中提取的內容，將其余與提取內容無關的信息做簡化，可使用正則表達式進行相關信息的提取，如本次實驗以提取地理坐標為目的，可簡化各類設備的描述信息將其抽象為“點”和“線”兩種類型即可，將提取抽來的坐標信息存儲結構化的表格中，可存儲的信息如下：設備ID信息，設備類型，經緯度等信息；

(c)從CIM/XML文件中提取配電網拓撲信息，其格式如圖3所示，拓撲關系分析方法如圖4所示，可提取的信息包括：設備端點，連接點，設備的基本信息等信息。將提取抽來的坐標信息存儲于結構化的表格中，可存儲的信息如下：設備ID信息，所連接節點的編號，電壓等級等信息。