[發(fā)明專利]基于ETL云平臺(tái)上傳的海量電力營(yíng)銷數(shù)據(jù)整合方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201410180132.7
• 申請(qǐng)日: 2014-04-30
• 公開（公告）號(hào): CN103955510A
• 公開（公告）日: 2014-07-30
• 發(fā)明（設(shè)計(jì)）人: 何藝;陳俊;劉路;陳勇成;秦麗娟;唐利濤;曾博;張良均;陳俊德;劉名軍;樊哲;鄭宗銳
• 申請(qǐng)（專利權(quán)）人: 廣西電網(wǎng)公司電力科學(xué)研究院;從興技術(shù)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;H04L29/08;G06Q50/06
• 代理公司: 廣西南寧明智專利商標(biāo)代理有限責(zé)任公司 45106
• 代理人: 張智生

1.一種基于ETL云平臺(tái)上傳的海量電力營(yíng)銷數(shù)據(jù)整合方法，它包括若干臺(tái)服務(wù)器組成的海量電力營(yíng)銷數(shù)據(jù)整合平臺(tái)，使用ETL工具，其特征在于還包括以下步驟：

（1）數(shù)據(jù)抽取，將存儲(chǔ)在業(yè)務(wù)相關(guān)數(shù)據(jù)庫(kù)中的數(shù)據(jù)抽取出來；

（2）數(shù)據(jù)清洗，利用ETL工具可以通過編寫相應(yīng)的作業(yè)Job處理過程對(duì)異構(gòu)的業(yè)務(wù)相關(guān)數(shù)據(jù)進(jìn)行統(tǒng)一，即清除不同的數(shù)據(jù)格式；

（3）數(shù)據(jù)返回，進(jìn)行相應(yīng)的處理得到統(tǒng)一的數(shù)據(jù)返回，即為建模階段所使用到的指標(biāo)數(shù)據(jù)；

（4）數(shù)據(jù)轉(zhuǎn)換，進(jìn)行業(yè)務(wù)相關(guān)數(shù)據(jù)上傳數(shù)據(jù)到中間服務(wù)器的傳輸，采用txt格式存儲(chǔ)；

（5）數(shù)據(jù)上傳，掃描中間服務(wù)器固定目錄數(shù)據(jù)自動(dòng)上傳到云平臺(tái)數(shù)據(jù)存儲(chǔ)系統(tǒng)。

2.根據(jù)權(quán)利要求1所述的整合方法，其特征在于還包括：

業(yè)務(wù)相關(guān)數(shù)據(jù)模塊、監(jiān)控模塊、ETL作業(yè)流程、協(xié)議簇模塊、中間服務(wù)器數(shù)據(jù)存儲(chǔ)模塊、協(xié)議簇上傳流程和云平臺(tái)數(shù)據(jù)存儲(chǔ)系統(tǒng)模塊，其中

所述的業(yè)務(wù)相關(guān)數(shù)據(jù)模塊是各省市數(shù)據(jù)庫(kù)服務(wù)器模塊；

所述的監(jiān)控模塊主要由作業(yè)監(jiān)控以及平臺(tái)服務(wù)器監(jiān)控組成；

所述的ETL作業(yè)流程是指進(jìn)行相應(yīng)的Job處理過程；

所述的協(xié)議簇模塊包括數(shù)據(jù)清理規(guī)則、數(shù)據(jù)上傳約束、數(shù)據(jù)處理規(guī)則、作業(yè)邏輯規(guī)則；

所述的中間服務(wù)器數(shù)據(jù)存儲(chǔ)模塊是指將ETL系列作業(yè)將業(yè)務(wù)相關(guān)數(shù)據(jù)上傳到中間服務(wù)器MS，并采用txt格式存儲(chǔ)；

所述的協(xié)議簇上傳流程是指中間服務(wù)器MS上面的模型指標(biāo)文本文件按照“協(xié)議簇”規(guī)則上傳到云平臺(tái)；

所述的云平臺(tái)數(shù)據(jù)存儲(chǔ)系統(tǒng)模塊主要由HDFS文件系統(tǒng)以及在其上構(gòu)建的Hive和HBase數(shù)據(jù)庫(kù)。

3.根據(jù)權(quán)利要求1?或2?所述的整合方法其具體步驟如下：

（1）MS-云平臺(tái)上傳作業(yè)啟動(dòng)后，首先掃描中間服務(wù)器固定目錄的所有文件，把文件總個(gè)數(shù)FileCounts寫入云平臺(tái)元數(shù)據(jù)中，同時(shí)在云平臺(tái)元數(shù)據(jù)中初始化一個(gè)全局文件個(gè)數(shù)變量FileCount，初始值為0；

（2）中間服務(wù)器MS中的每類指標(biāo)文件每次上傳占用一個(gè)上傳通道，正常情況下，每次上傳的同時(shí)，在上傳元數(shù)據(jù)中記錄上傳文件的相應(yīng)信息；上傳完成后，上傳元數(shù)據(jù)中的全局文件個(gè)數(shù)變量自增1；

（3）每個(gè)文件上傳之前，都會(huì)經(jīng)過檢查模塊，檢查模塊使用“協(xié)議簇”的規(guī)則來對(duì)文件進(jìn)行檢查；

檢測(cè)模塊的一般流程：首先比較云平臺(tái)元數(shù)據(jù)中的文件總個(gè)數(shù)FileCounts和全局文件個(gè)數(shù)變量FileCount做比較，如果相等，則退出MS-云平臺(tái)上傳作業(yè)；否則，在云平臺(tái)元數(shù)據(jù)中查找要上傳的文件，看是否有相應(yīng)的信息；若沒有，則可以分配一個(gè)上傳通道，開始文件上傳；文件上傳的過程中會(huì)進(jìn)行任務(wù)監(jiān)控，任務(wù)監(jiān)控模塊監(jiān)控任務(wù)的執(zhí)行情況，同時(shí)寫入日志；

（4）若檢測(cè)模塊檢測(cè)到文件上傳過程中出現(xiàn)異常，就會(huì)進(jìn)行異常處理；異常處理是在監(jiān)控模塊中進(jìn)行操作的，除了記錄必要的日志信息，同時(shí)還會(huì)存儲(chǔ)相應(yīng)的“當(dāng)前環(huán)境”，用于恢復(fù)異常前的環(huán)境信息；異常處理不會(huì)對(duì)當(dāng)前云平臺(tái)元數(shù)據(jù)中的數(shù)據(jù)進(jìn)行修改；那么在云平臺(tái)元數(shù)據(jù)中就會(huì)存儲(chǔ)了已經(jīng)上傳的部分文件信息，不會(huì)對(duì)其進(jìn)行再次操作；同時(shí)會(huì)再次發(fā)送一個(gè)含有異常碼的上傳文件的消息；

（5）每次文件上傳，并不知道該文件是否是上傳中斷或者是未上傳完成，并不會(huì)出現(xiàn)文件已經(jīng)上傳了的情況，因?yàn)橹挥性谑状螁?dòng)MS-云平臺(tái)上傳作業(yè)以及異常重啟的時(shí)候才會(huì)發(fā)送文件上傳的指令，所以在步驟（3）的時(shí)候如果檢測(cè)到有文件的信息，那么就會(huì)啟動(dòng)斷點(diǎn)續(xù)傳的功能，繼續(xù)上傳中斷的上傳任務(wù)；

（6）MS-云平臺(tái)作業(yè)退出口在第（3）步。

4.根據(jù)權(quán)利要求1所述的整合系統(tǒng)，其特征在于括：

所述的監(jiān)控模塊對(duì)ETL系列作業(yè)與協(xié)議簇上傳流程進(jìn)行監(jiān)控管理。

5.根據(jù)權(quán)利要求1?所述的整合系統(tǒng)，其特征在于：?

所述協(xié)議簇模塊對(duì)ETL系列作業(yè)具有約束作用，對(duì)協(xié)議簇上傳流程有指導(dǎo)作用。