[發(fā)明專利]一種電力行業(yè)大數(shù)據(jù)動(dòng)態(tài)文本交換格式管理方法

有效

• 申請?zhí)枺?/td>: 201510401443.6
• 申請日: 2015-07-10
• 公開（公告）號: CN104992379A
• 公開（公告）日: 2015-10-21
• 發(fā)明（設(shè)計(jì)）人: 李飛;陳朝銀;張翔;晏正騰;楊建;王鵬;周永吉
• 申請（專利權(quán)）人: 貴州廣思信息網(wǎng)絡(luò)有限公司
• 主分類號: G06Q50/06
• 分類號: G06Q50/06;G06F17/30
• 代理公司: 貴陽中新專利商標(biāo)事務(wù)所 52100
• 代理人: 李亮;劉楠

技術(shù)領(lǐng)域

本發(fā)明涉及一種電力行業(yè)大數(shù)據(jù)動(dòng)態(tài)文本交換格式管理方法，屬于電力技術(shù)領(lǐng)域。

背景技術(shù)

在對電力行業(yè)大數(shù)據(jù)進(jìn)行挖掘分析的過程中，經(jīng)常會(huì)遇到要在各種數(shù)據(jù)格式之間進(jìn)行轉(zhuǎn)換，有些時(shí)候?yàn)榱说玫奖容^高的效率和處理性能，數(shù)據(jù)分析過程中的大量中間緩存格式是非標(biāo)準(zhǔn)結(jié)構(gòu)的自定義格式。我們不得進(jìn)行大量的重復(fù)性的數(shù)據(jù)格式轉(zhuǎn)換工作,大部分情況下而格式轉(zhuǎn)換工作通過直接編碼的方式進(jìn)行，由于直接編碼轉(zhuǎn)換會(huì)導(dǎo)致代碼缺乏標(biāo)準(zhǔn)數(shù)據(jù)與格式強(qiáng)耦合不可重復(fù)利用,這樣就導(dǎo)致了工作效率低下。

發(fā)明內(nèi)容

本發(fā)明的目的是：針對現(xiàn)有技術(shù)的上的缺陷，提供一種電力行業(yè)大數(shù)據(jù)動(dòng)態(tài)文本交換格式管理方法，用于解決不能數(shù)據(jù)交換過程中動(dòng)態(tài)靈活處理數(shù)據(jù)交換格式的難點(diǎn)，以克服現(xiàn)有技術(shù)的不足。

本發(fā)明的技術(shù)方案

一種電力行業(yè)大數(shù)據(jù)動(dòng)態(tài)文本交換格式管理方法，該方法包括以下步驟，

步驟1：分析數(shù)據(jù)結(jié)構(gòu)，分析需要用于數(shù)據(jù)交換的電力行業(yè)數(shù)據(jù)進(jìn)行數(shù)據(jù)結(jié)構(gòu)分析，生成數(shù)據(jù)模型；

???????步驟2：編寫數(shù)據(jù)格式規(guī)則，通過Velocity語法編寫符合實(shí)際需求的定義的靈活的數(shù)據(jù)傳輸交換格式，并生成數(shù)據(jù)格式交換模板；

???????步驟3：編寫加載類，利用Java語言編寫數(shù)據(jù)模型加載類以及數(shù)據(jù)格式規(guī)則加載類兩個(gè)類；

步驟4：利用Java語言并采用Velocity模板引擎編寫數(shù)據(jù)驅(qū)動(dòng)類，將步驟3中的兩個(gè)加載類的輸出結(jié)果作為數(shù)據(jù)驅(qū)動(dòng)類的輸入，通過驅(qū)動(dòng)類生成最終的動(dòng)態(tài)文本交換格式。

前述的電力行業(yè)大數(shù)據(jù)動(dòng)態(tài)文本交換格式管理方法中，所述步驟1（分析數(shù)據(jù)結(jié)構(gòu)）包括以下子步驟：

??????S1.1：從電力營銷系統(tǒng)、計(jì)量自動(dòng)化系統(tǒng)、電網(wǎng)GIS空間信息服務(wù)平臺等抽取文本類型的數(shù)據(jù)到電網(wǎng)行業(yè)Hadoop大數(shù)據(jù)平臺的HDFS文件系統(tǒng)上；

??????S1.2：分析抽取到Hadoop大數(shù)據(jù)處理平臺上的文本數(shù)據(jù)，通過將原有的數(shù)據(jù)結(jié)構(gòu)進(jìn)行精簡適合于數(shù)據(jù)挖掘的簡單結(jié)構(gòu)保存于hive數(shù)據(jù)倉庫之中；

??????S1.3：通過編寫MapReduce、Spark任務(wù)、Storm流處理任務(wù)等手段操作hive數(shù)據(jù)倉庫生成數(shù)據(jù)模型，并將輸出結(jié)果以hdfs上帶有特定特定列式結(jié)構(gòu)的數(shù)據(jù)模型；

S1.4：通過編寫MapReduce、Spark任務(wù)、Storm流處理任務(wù)等手段操作hive數(shù)據(jù)倉庫生成數(shù)據(jù)模型，并將輸出結(jié)果以hdfs上帶有特定列式結(jié)構(gòu)的數(shù)據(jù)模型。

前述的電力行業(yè)大數(shù)據(jù)動(dòng)態(tài)文本交換格式管理方法中，所述步驟2（編寫數(shù)據(jù)格式規(guī)則）包括以下子步驟：

??????S2.1：根據(jù)步驟1的數(shù)據(jù)模型，編寫數(shù)據(jù)格式模板，該模板包含最終數(shù)據(jù)交換格式的基本格式。

??????S2.2：將步驟S2.1中數(shù)據(jù)格式模板的基本模板中需要用數(shù)據(jù)填充的部分使用Velocity語法用占位符號進(jìn)行修改，形成帶有基本數(shù)據(jù)結(jié)構(gòu)的格式模板；

??????S2.3：將步驟S2.2中的編寫的模板進(jìn)一步修改，將帶有數(shù)據(jù)集合的模板區(qū)塊使用Velocity條件控制、循環(huán)語法進(jìn)行控制輸出，形成數(shù)據(jù)格式模板；

??????S2.4：將步驟S2.3中的編寫的模板首行之前增加額外一行頭信息，該部分按順序用“，”號分割，包含如下順序的信息；

1、??數(shù)據(jù)模型文件hdfs地址；

2、??數(shù)據(jù)模型加載類名稱全路徑；

3、??數(shù)據(jù)格式規(guī)則加載類全路徑；

S2.5：將步驟S2.4中的編寫的模板保存在hdfs上。

前述的電力行業(yè)大數(shù)據(jù)動(dòng)態(tài)文本交換格式管理方法中，步驟S2.1中數(shù)據(jù)交換格式根據(jù)使用者對數(shù)據(jù)交換格式的實(shí)際需求，將數(shù)據(jù)交換格式定義為xml、json、csv等行業(yè)標(biāo)準(zhǔn)格式或定義成非標(biāo)準(zhǔn)格式。

前述的電力行業(yè)大數(shù)據(jù)動(dòng)態(tài)文本交換格式管理方法中，所述步驟3（編寫加載類）利用Java語言編寫數(shù)據(jù)模型加載類以及數(shù)據(jù)格式規(guī)則加載類兩個(gè)類，包括以下子步驟：

???????S3.1：編寫數(shù)據(jù)模型加載類，該類包含的功能特征是：

???????1）讀取hdfs文件系統(tǒng)上的數(shù)據(jù)模型文件；

???????2）遍歷數(shù)據(jù)模型列式結(jié)構(gòu)；

???????3）生成用于填充數(shù)據(jù)規(guī)則模板的Java數(shù)據(jù)對象模型；

???????S3.2：數(shù)據(jù)格式規(guī)則加載類，該類包含的功能特征是：

???????1）讀取hdfs數(shù)據(jù)格式規(guī)則模板文件；