[發明專利]電力大數據混合計算架構

在審

• 申請號: 201811060313.0
• 申請日: 2018-09-12
• 公開（公告）號: CN109241190A
• 公開（公告）日: 2019-01-18
• 發明（設計）人: 馬曉東;顧楊青;張軍民;何平;李玨;白銳
• 申請（專利權）人: 國網江蘇省電力有限公司蘇州供電分公司;江蘇新智合電力技術有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/215;G06K9/62
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 孫仿衛

本發明涉及一種電力大數據混合計算架構，用于處理包括歷史數據和實時數據的電力大數據，電力大數據混合計算架構包括：批量計算層，批量計算層用于對歷史數據進行并行聚類迭代計算，從而獲得對電力用戶的初始用戶分群情況；實時計算層，實時計算層用于結合初始用戶分群情況對實時數據進行快速聚類迭代計算，從而獲得電力用戶的實時用戶分群情況；服務層，服務層基于批量計算層的并行聚類迭代計算結果獲得批量視圖、基于實時計算層的快速聚類迭代計算結果獲得實時視圖，并對外提供查詢批量視圖和/或實時視圖的查詢接口。本發明解決了并行計算與高延時之間的問題，實現對電力大數據的低延時并行計算。

技術領域

本發明屬于電力信息處理領域，具體涉及一種電力大數據混合計算架構。

背景技術

對于電力大數據的處理，傳統計算架構主要有Hadoop架構、Fourinone架構、Spark架構、Storm架構等。其中，Hadoop架構和Fourinone架構適合處理大規模、高并發的數據計算，但是一次計算所需耗費時間長，高延時限制了其在高實時性大數據應用中的應用。而Spark架構和Storm架構等高實時性的流式計算框架適用于處理高速、大型數據流的分布式實時計算，但其數據結構設計和對象關系不適用于大規模并行計算。

由此可見，需要一種能夠均衡高延時和并行計算之間的問題、適用于電力大數據處理的新型計算架構。

發明內容

本發明的目的是提供一種延時較低、且適用于并行計算，從而解決電力大數據處理過程中所存在問題的電力大數據混合計算架構。

為達到上述目的，本發明采用的技術方案是：

一種電力大數據混合計算架構，用于處理包括歷史數據和實時數據的電力大數據，所述電力大數據混合計算架構包括：

批量計算層，所述批量計算層用于對所述歷史數據進行并行聚類迭代計算，從而獲得對電力用戶的初始用戶分群情況；

實時計算層，所述實時計算層用于結合所述初始用戶分群情況對所述實時數據進行快速聚類迭代計算，從而獲得電力用戶的實時用戶分群情況；

服務層，所述服務層基于所述批量計算層的并行聚類迭代計算結果獲得批量視圖、基于所述實時計算層的快速聚類迭代計算結果獲得實時視圖，并對外提供查詢所述批量視圖和/或所述實時視圖的查詢接口。

所述批量計算層由歷史數據庫中獲得所述歷史數據并存儲，再利用模糊C均值聚類方法對所存儲的所述歷史數據進行并行聚類迭代計算并輸出初步聚類結果，從而基于所述初步聚類結果獲得所述初始用戶分群情況。

所述批量計算層中，確定所述模糊C均值聚類方法中所需的各個聚類和聚類個數c、各個聚類的初始聚類中心以及停止閥ε、迭代次數b后，在所述停止閥ε和迭代次數b的控制下通過以下步驟進行并行聚類迭代計算：

步驟(1)：基于所述初始聚類中心或上一次所述迭代計算獲得的聚類中心，對所述歷史數據構成的集合X＝{x₁,x₂,…,x_n}中的各個對象分布式地求解其對各個聚類的隸屬度

其中，i為聚類編號，μ_ik表征所述集合X中的對象x_k對第i個聚類的隸屬關系，1≤i≤c，1≤k≤n，隸屬度μ_ik的取值范圍為[0，1]，d_ik為所述集合X中的對象x_k到第i個聚類的聚類中心p_i之間的距離，d_jk為所述集合X中的對象x_k到第j個聚類的聚類中心p_i之間的距離，m為平滑因子；

步驟(2)：計算各個聚類的新的聚類中心