[發(fā)明專利]基于ETL云平臺上傳的海量電力營銷數(shù)據(jù)整合方法

在審

• 申請?zhí)枺?/td>: 201410180132.7
• 申請日: 2014-04-30
• 公開（公告）號: CN103955510A
• 公開（公告）日: 2014-07-30
• 發(fā)明（設(shè)計）人: 何藝;陳俊;劉路;陳勇成;秦麗娟;唐利濤;曾博;張良均;陳俊德;劉名軍;樊哲;鄭宗銳
• 申請（專利權(quán)）人: 廣西電網(wǎng)公司電力科學(xué)研究院;從興技術(shù)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08;G06Q50/06
• 代理公司: 廣西南寧明智專利商標(biāo)代理有限責(zé)任公司 45106
• 代理人: 張智生

技術(shù)領(lǐng)域

本發(fā)明涉及源數(shù)據(jù)的抽取、轉(zhuǎn)換及整合的技術(shù)領(lǐng)域，具體涉及對海量電力營銷數(shù)據(jù)基于ETL云平臺自動上傳到云平臺數(shù)據(jù)存儲系統(tǒng)，實現(xiàn)海量數(shù)據(jù)的快速整合。

技術(shù)背景

目前，地市供電局系統(tǒng)已實現(xiàn)廠站電能量終端、負(fù)控終端、配變終端、低壓集抄終端四個系統(tǒng)的整合使用，實現(xiàn)了廠站計量、專變用戶、配變臺區(qū)、居民小區(qū)的表計數(shù)據(jù)采集，各供電局廠站覆蓋率、負(fù)荷管理終端覆蓋率、配變監(jiān)測計量終端覆蓋率基本達(dá)到100%，低壓居民用戶集抄覆蓋率達(dá)到25%以上，計量自動化系統(tǒng)主站每天采集海量數(shù)據(jù)，通過營銷管理信息系統(tǒng)開發(fā)接口進(jìn)行數(shù)據(jù)共享實現(xiàn)集中抄表、反竊電監(jiān)控、計量故障異常分析等工作。

隨著電力企業(yè)的信息化建設(shè)，也促使了數(shù)據(jù)大量地增長，據(jù)統(tǒng)計，數(shù)據(jù)量每2～3年時間就會成倍增長。各地市供電局建設(shè)規(guī)模數(shù)據(jù)、電量數(shù)據(jù)、負(fù)荷數(shù)據(jù)、線損數(shù)據(jù)、業(yè)務(wù)運(yùn)營數(shù)據(jù)、供電質(zhì)量數(shù)據(jù)等,?這些數(shù)據(jù)量很快從?PB?增長到?EB（1?EB=1?000?PB）的海量數(shù)據(jù)，增長速度越來越快、數(shù)據(jù)量極大；電力數(shù)據(jù)類型眾多，傳統(tǒng)的電力生產(chǎn)主要以結(jié)構(gòu)化數(shù)據(jù)為主，涉及各類電量的測量、流程的記錄和資產(chǎn)的管理等，近幾年視頻、音頻、文本等非結(jié)構(gòu)化數(shù)據(jù)迅速增長，其數(shù)量很快超過結(jié)構(gòu)化數(shù)據(jù)，逐漸成為電力大數(shù)據(jù)的主要組成部分。

由于電力行業(yè)以電力安全生產(chǎn)和滿足社會需要為目標(biāo)，涉及到電力生產(chǎn)、計量計費(fèi)、電力營銷等的數(shù)據(jù)必須準(zhǔn)確無誤，且實時性要求也高。于是，企業(yè)如何通過各種技術(shù)手段，并把數(shù)據(jù)轉(zhuǎn)換為實時的信息、知識，已經(jīng)成了提高電力企業(yè)核心競爭力的主要瓶頸。而ETL則是主要的一個技術(shù)手段。

本發(fā)明是基于ETL云平臺自動上傳技術(shù)，將海量電力營銷數(shù)據(jù)上傳到云平臺數(shù)據(jù)存儲系統(tǒng)，實現(xiàn)海量數(shù)據(jù)的快速整合。首先利用ETL工具，開發(fā)出和業(yè)務(wù)相關(guān)的系列“作業(yè)”。然后通過這一系列的“作業(yè)”把各種平臺的業(yè)務(wù)數(shù)據(jù)經(jīng)過清洗、抽取、轉(zhuǎn)換以及“協(xié)議簇”(彼此相關(guān)聯(lián)的一組協(xié)議)規(guī)則等一系列步驟，生成中間服務(wù)器MS上面的文本文件，這些文本文件即是模型指標(biāo)文本文件，直接可以用在后期云平臺算法建模。最后把中間服務(wù)器MS上面的模型指標(biāo)文本文件按照“協(xié)議簇”規(guī)則上傳到云平臺，完成業(yè)務(wù)數(shù)據(jù)由數(shù)據(jù)庫到云平臺指標(biāo)數(shù)據(jù)的上傳。

發(fā)明內(nèi)容

本發(fā)明的目的是為了解決海量電力營銷數(shù)據(jù)整合難度大這一問題，提供一種基于ETL云平臺上傳的海量電力營銷數(shù)據(jù)整合方法。

為了實現(xiàn)上述目的，本發(fā)明的技術(shù)方案如下：

一種基于ETL云平臺上傳的海量電力營銷數(shù)據(jù)整合方法，它包括若干臺服務(wù)器組成的海量電力營銷數(shù)據(jù)整合平臺，使用ETL工具，其特征在于還包括：

業(yè)務(wù)相關(guān)數(shù)據(jù)模塊、監(jiān)控模塊、ETL作業(yè)流程、協(xié)議簇模塊、中間服務(wù)器數(shù)據(jù)存儲模塊、協(xié)議簇上傳流程和云平臺數(shù)據(jù)存儲系統(tǒng)模塊，其中

實現(xiàn)海量電力營銷數(shù)據(jù)整合包括以下步驟：

1.???數(shù)據(jù)抽取，將存儲在業(yè)務(wù)相關(guān)數(shù)據(jù)庫中的數(shù)據(jù)抽取出來；

2.???數(shù)據(jù)清洗，利用ETL工具可以通過編寫相應(yīng)的作業(yè)Job處理過程對異構(gòu)的業(yè)務(wù)相關(guān)數(shù)據(jù)進(jìn)行統(tǒng)一，即清除不同的數(shù)據(jù)格式；

3.???數(shù)據(jù)返回，進(jìn)行相應(yīng)的處理得到統(tǒng)一的數(shù)據(jù)返回，即為建模階段所使用到的指標(biāo)數(shù)據(jù)；

4.???數(shù)據(jù)轉(zhuǎn)換，進(jìn)行業(yè)務(wù)相關(guān)數(shù)據(jù)上傳數(shù)據(jù)到中間服務(wù)器的傳輸，采用txt格式存儲；

5.???數(shù)據(jù)上傳，掃描中間服務(wù)器固定目錄數(shù)據(jù)自動上傳到云平臺數(shù)據(jù)存儲系統(tǒng)。

本方法通過這一系列的“作業(yè)”把異構(gòu)平臺的業(yè)務(wù)相關(guān)數(shù)據(jù)中的經(jīng)過抽取、清洗、轉(zhuǎn)換等一系列步驟，生成中間服務(wù)器MS上面的文本文件，這些文本文件是模型指標(biāo)文本文件，直接可以用在后期云平臺算法建模。接著把中間服務(wù)器MS上面的模型指標(biāo)文本文件按照自定義“規(guī)則”上傳到云平臺，完成由業(yè)務(wù)相關(guān)數(shù)據(jù)到云平臺指標(biāo)數(shù)據(jù)的上傳。其帶來的有益效果是有益效果：實現(xiàn)了對海量電力營銷數(shù)據(jù)的快速整合，對數(shù)據(jù)做標(biāo)準(zhǔn)化定義，實現(xiàn)統(tǒng)一的編碼、統(tǒng)一的分類和組織。標(biāo)準(zhǔn)化定義的內(nèi)容包括：標(biāo)準(zhǔn)代碼統(tǒng)一、業(yè)務(wù)術(shù)語統(tǒng)一。

附圖說明：

圖1?為本發(fā)明的結(jié)構(gòu)示意圖；

圖2?為ETL作業(yè)流程圖；

圖3為MS云平臺上傳作業(yè)示意圖。

具體實施方式

下面結(jié)合附圖，對本發(fā)明的技術(shù)方案作進(jìn)一步具體的說明。