[發明專利]一種基于Spark計算引擎的配電網大數據分區處理方法

有效

• 申請號: 201710938295.0
• 申請日: 2017-10-10
• 公開（公告）號: CN107807961B
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 錢江;宋艷;楊成鋼;蔣瑋;趙漢鷹;林旭義;徐璟;傅穎;吳新華;程翔;陳少波
• 申請（專利權）人: 國網浙江省電力公司麗水供電公司;國家電網公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/2453;G06F16/2458;G06Q50/06
• 代理公司: 杭州杭誠專利事務所有限公司 33109
• 代理人: 尉偉敏

本發明公開了一種基于Spark計算引擎的配電網大數據分區處理方法，按照供電單元格對海量負荷數據進行統計分析，從中提取出對配電網規劃管理有實用價值的電力指標，包括以下步驟：步驟1：搭建配電網大數據處理平臺，以用電信息采集系統、PMS為數據源進行城市負荷分析；步驟2：將數據源中的數據導入Spark成為彈性分布式數據集RDD，對RDD中的城市負荷數據進行預處理；步驟3：按照城市負荷數據中配電變壓器坐標對配電變壓器進行單元格區分；步驟4：根據步驟2和步驟3計算城市負荷指標。

技術領域

本發明涉及采用計算機技術對于配電網大數據進行處理、計算的計算方法，旨在從海量的配網數據中提取出對于配電網規劃、管理有實用價值的電力指標，屬于大數據價值挖掘領域，特別涉及一種基于Spark計算引擎的配電網大數據分區處理方法。

背景技術

隨著國家電網公司建設堅強電網戰略目標的提出，智能用電終端和采集終端數量日益擴大，使得各種類型的電力自動化數據出現幾何級的增長，呈現出“體量大”、“類型多”、“密度低”和“增速快”的典型大數據特征。在配電網的管理與規劃過程中，電力負荷統計指標、電壓分析統計指標等一系列數據可以為配電網發策部門提供電力系統規劃、設計、調度提供決策的依據。國內已有傳統電力系統信息平臺的建設大多采用價格昂貴的大型服務器，存儲采用磁盤陣列，數據庫采用關系數據庫系統，業務應用采用緊密耦合的套裝軟件，導致系統擴展性較差、成本較高，難以適應智能電網對狀態監測數據可靠性和實時性的更高要求。2006年Hadoop分布式計算平臺發布，2009年，伯克利大學提出和發展了Spark計算平臺，在Hadoop分布式計算的基礎上，引入了內存計算，使數據計算速度得到10倍乃至100倍的提升。Hadoop 大數據處理框架可以很好的解決數據量劇增帶來的瓶頸，且具備良好的可靠性和可擴展性、數據處理量大、實時性高、成本低廉等優勢。HDFS(HadoopDistribute File System)是Hadoop上的分布式文件系統。HDFS有著高容錯性的特點，采master/slave 結構，并且用來設計部署在廉價的硬件上。它提供高吞吐量來訪問數據，適合那些大量數據的應用程序。

國內外將大數據技術運用于配電網數據分析的實例并不罕見，但目前使用該架構的程度僅僅停留于對于配電網數據的聚類預測，并未有按照供電單元對配電網數據進行分類規劃統計，提供與用戶有直接關聯的單元格負荷統計分析指標展示服務的先例。

發明內容

發明目的：采用基于MapReduce分布式計算框架的大數據計算平臺，按照供電單元格對海量負荷數據進行統計分析，從中提取出對配電網規劃管理有實用價值的電力指標。

為了實現上述目的，本發明提出了一種基于Spark計算引擎的配電網大數據分區處理方法。一種基于Spark計算引擎的配電網大數據分區處理方法，包括以下步驟：

步驟1：搭建配電網大數據處理平臺，以用電信息采集系統、PMS為數據源進行城市負荷分析；

步驟2：將數據源中的數據導入Spark成為彈性分布式數據集RDD，對RDD 中的城市負荷數據進行預處理；

步驟3：按照城市負荷數據中配電變壓器坐標對配電變壓器進行單元格區分；

步驟4：根據步驟2和步驟3計算城市負荷指標。