[發(fā)明專利]一種電力行業(yè)大數(shù)據(jù)動態(tài)文本交換格式管理方法

有效

• 申請?zhí)枺?/td>: 201510401443.6
• 申請日: 2015-07-10
• 公開（公告）號: CN104992379A
• 公開（公告）日: 2015-10-21
• 發(fā)明（設(shè)計）人: 李飛;陳朝銀;張翔;晏正騰;楊建;王鵬;周永吉
• 申請（專利權(quán)）人: 貴州廣思信息網(wǎng)絡(luò)有限公司
• 主分類號: G06Q50/06
• 分類號: G06Q50/06;G06F17/30
• 代理公司: 貴陽中新專利商標(biāo)事務(wù)所 52100
• 代理人: 李亮;劉楠

技術(shù)領(lǐng)域

本發(fā)明涉及一種電力行業(yè)大數(shù)據(jù)動態(tài)文本交換格式管理方法，屬于電力技術(shù)領(lǐng)域。

背景技術(shù)

在對電力行業(yè)大數(shù)據(jù)進行挖掘分析的過程中，經(jīng)常會遇到要在各種數(shù)據(jù)格式之間進行轉(zhuǎn)換，有些時候為了得到比較高的效率和處理性能，數(shù)據(jù)分析過程中的大量中間緩存格式是非標(biāo)準(zhǔn)結(jié)構(gòu)的自定義格式。我們不得進行大量的重復(fù)性的數(shù)據(jù)格式轉(zhuǎn)換工作,大部分情況下而格式轉(zhuǎn)換工作通過直接編碼的方式進行，由于直接編碼轉(zhuǎn)換會導(dǎo)致代碼缺乏標(biāo)準(zhǔn)數(shù)據(jù)與格式強耦合不可重復(fù)利用,這樣就導(dǎo)致了工作效率低下。

發(fā)明內(nèi)容

本發(fā)明的目的是：針對現(xiàn)有技術(shù)的上的缺陷，提供一種電力行業(yè)大數(shù)據(jù)動態(tài)文本交換格式管理方法，用于解決不能數(shù)據(jù)交換過程中動態(tài)靈活處理數(shù)據(jù)交換格式的難點，以克服現(xiàn)有技術(shù)的不足。

本發(fā)明的技術(shù)方案

一種電力行業(yè)大數(shù)據(jù)動態(tài)文本交換格式管理方法，該方法包括以下步驟，

步驟1：分析數(shù)據(jù)結(jié)構(gòu)，分析需要用于數(shù)據(jù)交換的電力行業(yè)數(shù)據(jù)進行數(shù)據(jù)結(jié)構(gòu)分析，生成數(shù)據(jù)模型；

???????步驟2：編寫數(shù)據(jù)格式規(guī)則，通過Velocity語法編寫符合實際需求的定義的靈活的數(shù)據(jù)傳輸交換格式，并生成數(shù)據(jù)格式交換模板；

???????步驟3：編寫加載類，利用Java語言編寫數(shù)據(jù)模型加載類以及數(shù)據(jù)格式規(guī)則加載類兩個類；

步驟4：利用Java語言并采用Velocity模板引擎編寫數(shù)據(jù)驅(qū)動類，將步驟3中的兩個加載類的輸出結(jié)果作為數(shù)據(jù)驅(qū)動類的輸入，通過驅(qū)動類生成最終的動態(tài)文本交換格式。

前述的電力行業(yè)大數(shù)據(jù)動態(tài)文本交換格式管理方法中，所述步驟1（分析數(shù)據(jù)結(jié)構(gòu)）包括以下子步驟：

??????S1.1：從電力營銷系統(tǒng)、計量自動化系統(tǒng)、電網(wǎng)GIS空間信息服務(wù)平臺等抽取文本類型的數(shù)據(jù)到電網(wǎng)行業(yè)Hadoop大數(shù)據(jù)平臺的HDFS文件系統(tǒng)上；

??????S1.2：分析抽取到Hadoop大數(shù)據(jù)處理平臺上的文本數(shù)據(jù)，通過將原有的數(shù)據(jù)結(jié)構(gòu)進行精簡適合于數(shù)據(jù)挖掘的簡單結(jié)構(gòu)保存于hive數(shù)據(jù)倉庫之中；

??????S1.3：通過編寫MapReduce、Spark任務(wù)、Storm流處理任務(wù)等手段操作hive數(shù)據(jù)倉庫生成數(shù)據(jù)模型，并將輸出結(jié)果以hdfs上帶有特定特定列式結(jié)構(gòu)的數(shù)據(jù)模型；

S1.4：通過編寫MapReduce、Spark任務(wù)、Storm流處理任務(wù)等手段操作hive數(shù)據(jù)倉庫生成數(shù)據(jù)模型，并將輸出結(jié)果以hdfs上帶有特定列式結(jié)構(gòu)的數(shù)據(jù)模型。

前述的電力行業(yè)大數(shù)據(jù)動態(tài)文本交換格式管理方法中，所述步驟2（編寫數(shù)據(jù)格式規(guī)則）包括以下子步驟：

??????S2.1：根據(jù)步驟1的數(shù)據(jù)模型，編寫數(shù)據(jù)格式模板，該模板包含最終數(shù)據(jù)交換格式的基本格式。

??????S2.2：將步驟S2.1中數(shù)據(jù)格式模板的基本模板中需要用數(shù)據(jù)填充的部分使用Velocity語法用占位符號進行修改，形成帶有基本數(shù)據(jù)結(jié)構(gòu)的格式模板；

??????S2.3：將步驟S2.2中的編寫的模板進一步修改，將帶有數(shù)據(jù)集合的模板區(qū)塊使用Velocity條件控制、循環(huán)語法進行控制輸出，形成數(shù)據(jù)格式模板；

??????S2.4：將步驟S2.3中的編寫的模板首行之前增加額外一行頭信息，該部分按順序用“，”號分割，包含如下順序的信息；

1、??數(shù)據(jù)模型文件hdfs地址；

2、??數(shù)據(jù)模型加載類名稱全路徑；

3、??數(shù)據(jù)格式規(guī)則加載類全路徑；

S2.5：將步驟S2.4中的編寫的模板保存在hdfs上。

前述的電力行業(yè)大數(shù)據(jù)動態(tài)文本交換格式管理方法中，步驟S2.1中數(shù)據(jù)交換格式根據(jù)使用者對數(shù)據(jù)交換格式的實際需求，將數(shù)據(jù)交換格式定義為xml、json、csv等行業(yè)標(biāo)準(zhǔn)格式或定義成非標(biāo)準(zhǔn)格式。

前述的電力行業(yè)大數(shù)據(jù)動態(tài)文本交換格式管理方法中，所述步驟3（編寫加載類）利用Java語言編寫數(shù)據(jù)模型加載類以及數(shù)據(jù)格式規(guī)則加載類兩個類，包括以下子步驟：

???????S3.1：編寫數(shù)據(jù)模型加載類，該類包含的功能特征是：

???????1）讀取hdfs文件系統(tǒng)上的數(shù)據(jù)模型文件；

???????2）遍歷數(shù)據(jù)模型列式結(jié)構(gòu)；

???????3）生成用于填充數(shù)據(jù)規(guī)則模板的Java數(shù)據(jù)對象模型；

???????S3.2：數(shù)據(jù)格式規(guī)則加載類，該類包含的功能特征是：

???????1）讀取hdfs數(shù)據(jù)格式規(guī)則模板文件；