[發(fā)明專利]一種電力行業(yè)大數(shù)據(jù)動(dòng)態(tài)文本交換格式管理方法有效
| 申請?zhí)枺?/td> | 201510401443.6 | 申請日: | 2015-07-10 |
| 公開(公告)號: | CN104992379A | 公開(公告)日: | 2015-10-21 |
| 發(fā)明(設(shè)計(jì))人: | 李飛;陳朝銀;張翔;晏正騰;楊建;王鵬;周永吉 | 申請(專利權(quán))人: | 貴州廣思信息網(wǎng)絡(luò)有限公司 |
| 主分類號: | G06Q50/06 | 分類號: | G06Q50/06;G06F17/30 |
| 代理公司: | 貴陽中新專利商標(biāo)事務(wù)所 52100 | 代理人: | 李亮;劉楠 |
| 地址: | 550001 貴州省貴*** | 國省代碼: | 貴州;52 |
| 權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | 一種 電力行業(yè) 數(shù)據(jù) 動(dòng)態(tài) 文本 交換 格式 管理 方法 | ||
技術(shù)領(lǐng)域
本發(fā)明涉及一種電力行業(yè)大數(shù)據(jù)動(dòng)態(tài)文本交換格式管理方法,屬于電力技術(shù)領(lǐng)域。
背景技術(shù)
在對電力行業(yè)大數(shù)據(jù)進(jìn)行挖掘分析的過程中,經(jīng)常會(huì)遇到要在各種數(shù)據(jù)格式之間進(jìn)行轉(zhuǎn)換,有些時(shí)候?yàn)榱说玫奖容^高的效率和處理性能,數(shù)據(jù)分析過程中的大量中間緩存格式是非標(biāo)準(zhǔn)結(jié)構(gòu)的自定義格式。我們不得進(jìn)行大量的重復(fù)性的數(shù)據(jù)格式轉(zhuǎn)換工作,大部分情況下而格式轉(zhuǎn)換工作通過直接編碼的方式進(jìn)行,由于直接編碼轉(zhuǎn)換會(huì)導(dǎo)致代碼缺乏標(biāo)準(zhǔn)數(shù)據(jù)與格式強(qiáng)耦合不可重復(fù)利用,這樣就導(dǎo)致了工作效率低下。
發(fā)明內(nèi)容
本發(fā)明的目的是:針對現(xiàn)有技術(shù)的上的缺陷,提供一種電力行業(yè)大數(shù)據(jù)動(dòng)態(tài)文本交換格式管理方法,用于解決不能數(shù)據(jù)交換過程中動(dòng)態(tài)靈活處理數(shù)據(jù)交換格式的難點(diǎn),以克服現(xiàn)有技術(shù)的不足。
本發(fā)明的技術(shù)方案
一種電力行業(yè)大數(shù)據(jù)動(dòng)態(tài)文本交換格式管理方法,該方法包括以下步驟,
步驟1:分析數(shù)據(jù)結(jié)構(gòu),分析需要用于數(shù)據(jù)交換的電力行業(yè)數(shù)據(jù)進(jìn)行數(shù)據(jù)結(jié)構(gòu)分析,生成數(shù)據(jù)模型;
???????步驟2:編寫數(shù)據(jù)格式規(guī)則,通過Velocity語法編寫符合實(shí)際需求的定義的靈活的數(shù)據(jù)傳輸交換格式,并生成數(shù)據(jù)格式交換模板;
???????步驟3:編寫加載類,利用Java語言編寫數(shù)據(jù)模型加載類以及數(shù)據(jù)格式規(guī)則加載類兩個(gè)類;
步驟4:利用Java語言并采用Velocity模板引擎編寫數(shù)據(jù)驅(qū)動(dòng)類,將步驟3中的兩個(gè)加載類的輸出結(jié)果作為數(shù)據(jù)驅(qū)動(dòng)類的輸入,通過驅(qū)動(dòng)類生成最終的動(dòng)態(tài)文本交換格式。
前述的電力行業(yè)大數(shù)據(jù)動(dòng)態(tài)文本交換格式管理方法中,所述步驟1(分析數(shù)據(jù)結(jié)構(gòu))包括以下子步驟:
??????S1.1:從電力營銷系統(tǒng)、計(jì)量自動(dòng)化系統(tǒng)、電網(wǎng)GIS空間信息服務(wù)平臺等抽取文本類型的數(shù)據(jù)到電網(wǎng)行業(yè)Hadoop大數(shù)據(jù)平臺的HDFS文件系統(tǒng)上;
??????S1.2:分析抽取到Hadoop大數(shù)據(jù)處理平臺上的文本數(shù)據(jù),通過將原有的數(shù)據(jù)結(jié)構(gòu)進(jìn)行精簡適合于數(shù)據(jù)挖掘的簡單結(jié)構(gòu)保存于hive數(shù)據(jù)倉庫之中;
??????S1.3:通過編寫MapReduce、Spark任務(wù)、Storm流處理任務(wù)等手段操作hive數(shù)據(jù)倉庫生成數(shù)據(jù)模型,并將輸出結(jié)果以hdfs上帶有特定特定列式結(jié)構(gòu)的數(shù)據(jù)模型;
S1.4:通過編寫MapReduce、Spark任務(wù)、Storm流處理任務(wù)等手段操作hive數(shù)據(jù)倉庫生成數(shù)據(jù)模型,并將輸出結(jié)果以hdfs上帶有特定列式結(jié)構(gòu)的數(shù)據(jù)模型。
前述的電力行業(yè)大數(shù)據(jù)動(dòng)態(tài)文本交換格式管理方法中,所述步驟2(編寫數(shù)據(jù)格式規(guī)則)包括以下子步驟:
??????S2.1:根據(jù)步驟1的數(shù)據(jù)模型,編寫數(shù)據(jù)格式模板,該模板包含最終數(shù)據(jù)交換格式的基本格式。
??????S2.2:將步驟S2.1中數(shù)據(jù)格式模板的基本模板中需要用數(shù)據(jù)填充的部分使用Velocity語法用占位符號進(jìn)行修改,形成帶有基本數(shù)據(jù)結(jié)構(gòu)的格式模板;
??????S2.3:將步驟S2.2中的編寫的模板進(jìn)一步修改,將帶有數(shù)據(jù)集合的模板區(qū)塊使用Velocity條件控制、循環(huán)語法進(jìn)行控制輸出,形成數(shù)據(jù)格式模板;
??????S2.4:將步驟S2.3中的編寫的模板首行之前增加額外一行頭信息,該部分按順序用“,”號分割,包含如下順序的信息;
1、??數(shù)據(jù)模型文件hdfs地址;
2、??數(shù)據(jù)模型加載類名稱全路徑;
3、??數(shù)據(jù)格式規(guī)則加載類全路徑;
S2.5:將步驟S2.4中的編寫的模板保存在hdfs上。
前述的電力行業(yè)大數(shù)據(jù)動(dòng)態(tài)文本交換格式管理方法中,步驟S2.1中數(shù)據(jù)交換格式根據(jù)使用者對數(shù)據(jù)交換格式的實(shí)際需求,將數(shù)據(jù)交換格式定義為xml、json、csv等行業(yè)標(biāo)準(zhǔn)格式或定義成非標(biāo)準(zhǔn)格式。
前述的電力行業(yè)大數(shù)據(jù)動(dòng)態(tài)文本交換格式管理方法中,所述步驟3(編寫加載類)利用Java語言編寫數(shù)據(jù)模型加載類以及數(shù)據(jù)格式規(guī)則加載類兩個(gè)類,包括以下子步驟:
???????S3.1:編寫數(shù)據(jù)模型加載類,該類包含的功能特征是:
???????1)讀取hdfs文件系統(tǒng)上的數(shù)據(jù)模型文件;
???????2)遍歷數(shù)據(jù)模型列式結(jié)構(gòu);
???????3)生成用于填充數(shù)據(jù)規(guī)則模板的Java數(shù)據(jù)對象模型;
???????S3.2:數(shù)據(jù)格式規(guī)則加載類,該類包含的功能特征是:
???????1)讀取hdfs數(shù)據(jù)格式規(guī)則模板文件;
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于貴州廣思信息網(wǎng)絡(luò)有限公司,未經(jīng)貴州廣思信息網(wǎng)絡(luò)有限公司許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請聯(lián)系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201510401443.6/2.html,轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 同類專利
- 專利分類
G06Q 專門適用于行政、商業(yè)、金融、管理、監(jiān)督或預(yù)測目的的數(shù)據(jù)處理系統(tǒng)或方法;其他類目不包含的專門適用于行政、商業(yè)、金融、管理、監(jiān)督或預(yù)測目的的處理系統(tǒng)或方法
G06Q50-00 專門適用于特定經(jīng)營部門的系統(tǒng)或方法,例如公用事業(yè)或旅游
G06Q50-02 .農(nóng)業(yè);漁業(yè);礦業(yè)
G06Q50-04 .制造業(yè)
G06Q50-06 .電力、天然氣或水供應(yīng)
G06Q50-08 .建筑
G06Q50-10 .服務(wù)
- 一種基于行業(yè)協(xié)同和供需側(cè)響應(yīng)的電力預(yù)警指數(shù)構(gòu)建方法
- 一種能夠提高預(yù)測精度的電力行業(yè)負(fù)荷預(yù)測方法
- 一種電力行業(yè)數(shù)據(jù)采集和傳輸系統(tǒng)
- 基于AHP模糊綜合評價(jià)模型的科技成果市場價(jià)值評估方法
- 基于直覺模糊層次分析模型的科技成果效益評估方法
- 基于主題聚類的電力輿情摘要提取優(yōu)化方法及系統(tǒng)
- 一種電力行業(yè)自助終端
- 一種智能問答方法和系統(tǒng)
- 新能源電力行業(yè)應(yīng)用的創(chuàng)建方法及裝置
- 電力行業(yè)負(fù)荷分類計(jì)算方法及其跟蹤分析方法
- 數(shù)據(jù)顯示系統(tǒng)、數(shù)據(jù)中繼設(shè)備、數(shù)據(jù)中繼方法、數(shù)據(jù)系統(tǒng)、接收設(shè)備和數(shù)據(jù)讀取方法
- 數(shù)據(jù)記錄方法、數(shù)據(jù)記錄裝置、數(shù)據(jù)記錄媒體、數(shù)據(jù)重播方法和數(shù)據(jù)重播裝置
- 數(shù)據(jù)發(fā)送方法、數(shù)據(jù)發(fā)送系統(tǒng)、數(shù)據(jù)發(fā)送裝置以及數(shù)據(jù)結(jié)構(gòu)
- 數(shù)據(jù)顯示系統(tǒng)、數(shù)據(jù)中繼設(shè)備、數(shù)據(jù)中繼方法及數(shù)據(jù)系統(tǒng)
- 數(shù)據(jù)嵌入裝置、數(shù)據(jù)嵌入方法、數(shù)據(jù)提取裝置及數(shù)據(jù)提取方法
- 數(shù)據(jù)管理裝置、數(shù)據(jù)編輯裝置、數(shù)據(jù)閱覽裝置、數(shù)據(jù)管理方法、數(shù)據(jù)編輯方法以及數(shù)據(jù)閱覽方法
- 數(shù)據(jù)發(fā)送和數(shù)據(jù)接收設(shè)備、數(shù)據(jù)發(fā)送和數(shù)據(jù)接收方法
- 數(shù)據(jù)發(fā)送裝置、數(shù)據(jù)接收裝置、數(shù)據(jù)收發(fā)系統(tǒng)、數(shù)據(jù)發(fā)送方法、數(shù)據(jù)接收方法和數(shù)據(jù)收發(fā)方法
- 數(shù)據(jù)發(fā)送方法、數(shù)據(jù)再現(xiàn)方法、數(shù)據(jù)發(fā)送裝置及數(shù)據(jù)再現(xiàn)裝置
- 數(shù)據(jù)發(fā)送方法、數(shù)據(jù)再現(xiàn)方法、數(shù)據(jù)發(fā)送裝置及數(shù)據(jù)再現(xiàn)裝置
- 動(dòng)態(tài)矢量譯碼方法和動(dòng)態(tài)矢量譯碼裝置
- 動(dòng)態(tài)口令的顯示方法及動(dòng)態(tài)令牌
- 動(dòng)態(tài)庫管理方法和裝置
- 動(dòng)態(tài)令牌的身份認(rèn)證方法及裝置
- 令牌、動(dòng)態(tài)口令生成方法、動(dòng)態(tài)口令認(rèn)證方法及系統(tǒng)
- 一種動(dòng)態(tài)模糊控制系統(tǒng)
- 一種基于動(dòng)態(tài)信號的POS機(jī)和安全保護(hù)方法
- 圖像動(dòng)態(tài)展示的方法、裝置、系統(tǒng)及介質(zhì)
- 一種基于POS機(jī)聚合碼功能分離顯示動(dòng)態(tài)聚合碼的系統(tǒng)
- 基于動(dòng)態(tài)口令的身份認(rèn)證方法、裝置和動(dòng)態(tài)令牌
- 文本匹配方法及裝置
- 互聯(lián)網(wǎng)金融非顯性廣告識別方法及裝置
- 文本結(jié)論智能推薦方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)
- 文本檢索方法、裝置及設(shè)備、文本檢索模型的訓(xùn)練方法
- 基于級連模式的文本匹配方法及裝置
- 一種文本關(guān)系提取方法、裝置及電子設(shè)備
- 文本的標(biāo)準(zhǔn)化處理方法、裝置、電子設(shè)備及計(jì)算機(jī)介質(zhì)
- 文本標(biāo)簽確定方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)
- 文本圖像合成方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)
- 文本生成方法、裝置和電子設(shè)備





