[發明專利]一種基于Spark計算引擎的配電網大數據分區處理方法

有效

• 申請號: 201710938295.0
• 申請日: 2017-10-10
• 公開（公告）號: CN107807961B
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 錢江;宋艷;楊成鋼;蔣瑋;趙漢鷹;林旭義;徐璟;傅穎;吳新華;程翔;陳少波
• 申請（專利權）人: 國網浙江省電力公司麗水供電公司;國家電網公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/2453;G06F16/2458;G06Q50/06
• 代理公司: 杭州杭誠專利事務所有限公司 33109
• 代理人: 尉偉敏

1.一種基于Spark計算引擎的配電網大數據分區處理方法，其特征在于，包括以下步驟：

步驟1：搭建配電網大數據處理平臺，以用電信息采集系統、PMS為數據源進行城市負荷分析；

步驟2：將數據源中的數據導入Spark成為彈性分布式數據集RDD，對RDD中的城市負荷數據進行預處理；

步驟3：按照城市負荷數據中配電變壓器坐標對配電變壓器進行單元格區分；

步驟4：根據步驟2和步驟3計算城市負荷指標；

所述步驟4所述城市負荷指標包括：單元格配電變壓器臺數、單元格任意時刻負荷之和、單元格可開放容量、單元格最大負荷以及單元格負荷密度；

所述單元格配電變壓器臺數、單元格任意時刻負荷之和以及單元格最大負荷的計算方法包括：

步驟411：采用Transformation中的join 算子將用電信息采集系統中的配電變壓器數據和PMS系統中的配電變壓器經緯度按照配電變壓器ID進行匹配、合并，得到新的RDD；

步驟412：根據新的RDD中包含的配電變壓器經度和配電變壓器緯度，以單元格邊界為基準對每一臺配電變壓器使用Transformation中的filter算子進行劃分，得到單元格配變數據；

步驟413：對步驟412得到的單元格配變數據采用Action中的count算子返回單元格配電變壓器臺數；

步驟414：對步驟412得到的單元格配變數據采用Action中的collect算子返回包含單元格配電變壓器負荷數據的數據表，對數據表進行求和，以此求出單元格任意時刻的負荷之和；

步驟415：對步驟412得到的單元格配變數據采用Transformation中的map算子得到單臺配變最大負荷數據表，再用Action中的reduce算子對配電變壓器最大負荷進行兩兩比較，最終返回單元格最大負荷；

所述步驟2包括以下步驟：

步驟21：針對配電變壓器負荷數據中的空數據采用拉格朗日插值定理補全，以空數據相鄰的數據構造時間的一次函數，將空數據對應的時間點帶入方程，求解出的值作為空數據的近似值；

步驟22：以配電變壓器ID和日期為關鍵值，對配電變壓器負荷數據進行去重；

步驟23：剔除配電變壓器負荷數據中的異常數據。

2.根據權利要求1所述的一種基于Spark計算引擎的配電網大數據分區處理方法，其特征在于，所述步驟1中所述配電網大數據處理平臺，采用Linux Ubuntu作為操作系統，基于Hadoop和Spark框架，分為數據存儲層，數據管理層和數據計算層；

所述數據存儲層，采用Hadoop框架提供的分布式文件存儲系統實現數據集的離散化存儲和查詢；

所述數據管理層，采用Hadoop的Hive組件，對負荷數據進行數據建表，包括配電變壓器ID、日期、配電變壓器負荷數據、配電變壓器經度、配電變壓器緯度；將分布式文件系統上的非結構化數據集，轉換為結構化的表；以ApacheHadoop為開發工具，對計算任務進行調度，完成HQL語句與集群上的MapReduce作業的轉換；

所述數據計算層采用Apache Spark用于大數據的實時處理，對數據表以RDD的形式進行并行化操作。

3.根據權利要求1所述的一種基于Spark計算引擎的配電網大數據分區處理方法，其特征在于，獲取所述步驟23所述異常數據，包括以下步驟：

步驟231：從數據源中導出配電變壓器負荷數據l₁，l₂，…，l_n，根據公式計算其平均值L，根據公式Vi＝li-L計算殘差Vi；

步驟232：根據公式計算單次測量的標準差σ；

步驟233：對負荷數據的每個元素進行判斷，如果|Vi|＞3σ，則該元素為異常數據。