[發(fā)明專利]一種基于分布式計算的能源數(shù)據(jù)自動化處理方法

在審

• 申請?zhí)枺?/td>: 202010161552.6
• 申請日: 2020-03-10
• 公開（公告）號: CN111241087A
• 公開（公告）日: 2020-06-05
• 發(fā)明（設計）人: 張立;楊少春;劉萬龍;劉德強;朱傳晶;張海濤;李鵬程
• 申請（專利權）人: 天津市普迅電力信息技術有限公司;國網(wǎng)信息通信產(chǎn)業(yè)集團有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2458;G06F16/25;G06F16/28;G06F16/182;G06Q50/06
• 代理公司: 天津盛理知識產(chǎn)權代理有限公司 12209
• 代理人: 董一寧

1.一種基于分布式計算的能源數(shù)據(jù)自動化處理方法，其特征在于：包括數(shù)據(jù)采集系統(tǒng)、數(shù)據(jù)處理系統(tǒng)和數(shù)據(jù)存儲系統(tǒng)；

所述數(shù)據(jù)采集系統(tǒng)從相應的數(shù)據(jù)庫中采集企業(yè)信息、電能站信息、采集器信息、物理采集點信息、虛擬采集點信息及歷史用電數(shù)據(jù)的原始數(shù)據(jù)；

所述數(shù)據(jù)處理系統(tǒng)采用Spark分布式計算引擎，對所述各原始數(shù)據(jù)首先進行清洗，且將清洗后的原始數(shù)據(jù)作為歷史用電數(shù)據(jù)，然后以清洗后的歷史用電數(shù)據(jù)為基礎，針對各個企業(yè)，以小時、天、月、年、物理采集點、虛擬采集點為維度進行數(shù)據(jù)統(tǒng)計，包括以下操作:①基于歷史用電數(shù)據(jù)，以小時和物理采集點為維度，生成物理采集點小時維度統(tǒng)計結果集；②基于歷史用電數(shù)據(jù)，以企業(yè)為維度，計算各個企業(yè)下所有物理采集點在每個采集時間點上的電量累加值、一天之內(nèi)電量最大值最小值及一天之內(nèi)電量最大值最小值出現(xiàn)時間點；③基于物理采集點小時維度統(tǒng)計結果集，以天為維度，生成物理采集點天維度統(tǒng)計結果集；④基于物理采集點天維度結果集，以月為維度，生成物理采集點月維度統(tǒng)計結果集；⑤基于物理采集點月維度結果集，以年為維度，生成物理采集點年維度統(tǒng)計結果集；⑥基于歷史用電數(shù)據(jù)，按設備屬性或區(qū)域?qū)傩詣澐治锢聿杉c并以四則運算公式將具有相同屬性的物理采集點表達為虛擬采集點，以小時和虛擬采集點為維度，生成虛擬采集點小時維度統(tǒng)計結果集；⑦基于虛擬采集點小時維度結果集，以天為維度，生成虛擬采集點天維度統(tǒng)計結果集；⑧基于虛擬采集點天維度結果集，以月為維度，生成虛擬采集點月維度統(tǒng)計結果集；⑨基于虛擬采集點月維度結果集，以年為維度，生成虛擬采集點年維度統(tǒng)計結果集；

所述數(shù)據(jù)存儲系統(tǒng)將數(shù)據(jù)處理系統(tǒng)生成的各維度結果集均進行保存，提供實時查詢。

2.根據(jù)權利要求1所述的一種基于分布式計算的能源數(shù)據(jù)自動化處理方法，其特征在于：上述數(shù)據(jù)采集系統(tǒng)支持從MySQL、Oracle、MongoDB及PostgreSQL讀取數(shù)據(jù)，根據(jù)配置文件中配置的數(shù)據(jù)庫連接信息，從相應的數(shù)據(jù)源中拉取原始數(shù)據(jù)。

3.根據(jù)權利要求1所述的一種基于分布式計算的能源數(shù)據(jù)自動化處理方法，其特征在于：上述數(shù)據(jù)處理系統(tǒng)對所述各原始數(shù)據(jù)進行清洗的具體方法是：

①對各原始數(shù)據(jù)中的空值、特殊字符、非正常值、格式錯誤的數(shù)據(jù)分別進行處理：空值及非正常值數(shù)據(jù)取近三天數(shù)據(jù)的平均值；對包含非法字符及格式錯誤的數(shù)據(jù)進行過濾處理；

②計算各個采集時間段內(nèi)的增量數(shù)據(jù)，采集點每隔一定時間間隔采集一次用電數(shù)據(jù)，有的數(shù)據(jù)為該時間間隔內(nèi)的增量數(shù)據(jù)，有的數(shù)據(jù)則為歷史累計數(shù)據(jù)，針對累計數(shù)據(jù)需要計算出該間隔內(nèi)的增量數(shù)據(jù)；

③整合企業(yè)信息、電能站信息、采集器信息、采集點信息及用電數(shù)據(jù)作為清洗后的歷史用電數(shù)據(jù)；

④以清洗后的歷史用電數(shù)據(jù)為基礎，針對各個企業(yè)，以小時、天、月、年、物理采集點、虛擬采集點點為維度進行數(shù)據(jù)統(tǒng)計：

a.基于歷史用電數(shù)據(jù)，以小時和物理采集點為維度，計算各個物理采集點每小時內(nèi)電量累計值、電量最大值和最小值平均值、電量最大值和最小值出現(xiàn)的時間點、各相電壓整點瞬時值、各相電壓最大值最小值平均值、各相電壓最大值最小值出現(xiàn)時間點、各相電流整點瞬時值、各相電流最大值最小值平均值、各相電流最大值最小值出現(xiàn)時間點、總無功功率整點瞬時值、總無功功率最大值和最小值的平均值、總無功功率最大值最小值出現(xiàn)時間點、總功率因數(shù)瞬時值、總功率因數(shù)最大值最小值平均值、總功率因數(shù)最大值最小值出現(xiàn)時間點，生成物理采集點小時維度統(tǒng)計結果集；

b,基于歷史用電數(shù)據(jù)，以企業(yè)為維度，計算各個企業(yè)下所有物理采集點在每個采集時間點上的電量累加值、一天之內(nèi)電量最大值最小值及一天之內(nèi)電量最大值最小值出現(xiàn)時間點；

c,基于物理采集點小時維度結果集，以天為維度，計算每一天內(nèi)電量累計值、電量最大值最小值平均值、分季節(jié)和時間段的電量峰平谷值、電量最大值最小值出現(xiàn)時間點、各相電壓最大值最小值平均值、各相電壓最大值最小值出現(xiàn)時間點、各相電流最大值最小值平均值、各相電流最大值最小值出現(xiàn)時間點、總無功功率最大值最小值平均值、總無功功率最大值最小值出現(xiàn)時間點、總功率因數(shù)最大值最小值平均值、總功率因數(shù)最大值最小值出現(xiàn)時間點，生成物理采集點天維度統(tǒng)計結果集；

d,基于物理采集點天維度結果集，以月為維度，計算每月電量累計值、電量最大值最小值平均值、電量最大值最小值出現(xiàn)時間點、各相電壓最大值最小值平均值、各相電壓最大值最小值出現(xiàn)時間點、各相電流最大值最小值平均值、各相電流最大值最小值出現(xiàn)時間點、總無功功率最大值最小值平均值、總無功功率最大值最小值出現(xiàn)時間點、總功率因數(shù)最大值最小值平均值、總功率因數(shù)最大值最小值出現(xiàn)時間點，生成物理采集點月維度統(tǒng)計結果集；

e,基于物理采集點月維度結果集，以年為維度，計算每年電量累計值、電量最大值最小值平均值、電量最大值最小值出現(xiàn)時間點、各相電壓最大值最小值平均值、各相電壓最大值最小值出現(xiàn)時間點、各相電流最大值最小值平均值、各相電流最大值最小值出現(xiàn)時間點、總無功功率最大值最小值平均值、總無功功率最大值最小值出現(xiàn)時間點、總功率因數(shù)最大值最小值平均值、總功率因數(shù)最大值最小值出現(xiàn)時間點，生成物理采集點年維度統(tǒng)計結果集；

f,基于歷史用電數(shù)據(jù)，按設備屬性或區(qū)域?qū)傩詣澐治锢聿杉c并以四則運算公式將具有相同屬性的物理采集點表達為虛擬采集點，以小時和虛擬采集點為維度，計算出各個企業(yè)下所有虛擬采集點每小時內(nèi)電量累計值、電量最大值最小值、電量最大值最小值出現(xiàn)時間點、各相電壓整點瞬時值、各相電壓最大值最小值、各相電壓最大值最小值出現(xiàn)時間點、各相電流整點瞬時值、各相電流最大值最小值、各相電流最大值最小值出現(xiàn)時間點、總無功功率整點瞬時值、總無功功率最大值最小值、總無功功率最大值最小值出現(xiàn)時間點、總功率因數(shù)瞬時值、總功率因數(shù)最大值最小值、總功率因數(shù)最大值最小值出現(xiàn)時間點，生成虛擬采集點小時維度統(tǒng)計結果集；

g,基于虛擬采集點小時維度結果集，以天為維度，計算每一天內(nèi)電量累計值、電量最大值最小值平均值、分季節(jié)和時間段的電量峰平谷值、電量最大值最小值出現(xiàn)時間點、各相電壓最大值最小值平均值、各相電壓最大值最小值出現(xiàn)時間點、各相電流最大值最小值平均值、各相電流最大值最小值出現(xiàn)時間點、總無功功率最大值最小值平均值、總無功功率最大值最小值出現(xiàn)時間點、總功率因數(shù)最大值最小值平均值、總功率因數(shù)最大值最小值出現(xiàn)時間點，生成虛擬采集點天維度統(tǒng)計結果集；

h,基于虛擬采集點天維度結果集，以月為維度，計算每月電量累計值、電量最大值最小值平均值、電量最大值最小值出現(xiàn)時間點、各相電壓最大值最小值平均值、各相電壓最大值最小值出現(xiàn)時間點、各相電流最大值最小值平均值、各相電流最大值最小值出現(xiàn)時間點、總無功功率最大值最小值平均值、總無功功率最大值最小值出現(xiàn)時間點、總功率因數(shù)最大值最小值平均值、總功率因數(shù)最大值最小值出現(xiàn)時間點，生成虛擬采集點月維度統(tǒng)計結果集；

i,基于虛擬采集點月維度結果集，以年為維度，計算每年電量累計值、電量最大值最小值平均值、電量最大值最小值出現(xiàn)時間點、各相電壓最大值最小值平均值、各相電壓最大值最小值出現(xiàn)時間點、各相電流最大值最小值平均值、各相電流最大值最小值出現(xiàn)時間點、總無功功率最大值最小值平均值、總無功功率最大值最小值出現(xiàn)時間點、總功率因數(shù)最大值最小值平均值、總功率因數(shù)最大值最小值出現(xiàn)時間點，生成虛擬采集點年維度統(tǒng)計結果集。

4.根據(jù)權利要求1所述的一種基于分布式計算的能源數(shù)據(jù)自動化處理方法，其特征在于：上述數(shù)據(jù)存儲系統(tǒng)采用HDFS(Hadoop Distributed File System)分布式文件存儲系統(tǒng)，數(shù)據(jù)交互采用基于HDFS的HAWQ SQL(Apache Hadoop Native SQL) 查詢引擎，所述數(shù)據(jù)處理部分生成的各維度結果集均保存在HDFS中，提供實時查詢。