[發明專利]一種電力行業大數據動態文本交換格式管理方法

有效

• 申請號: 201510401443.6
• 申請日: 2015-07-10
• 公開（公告）號: CN104992379A
• 公開（公告）日: 2015-10-21
• 發明（設計）人: 李飛;陳朝銀;張翔;晏正騰;楊建;王鵬;周永吉
• 申請（專利權）人: 貴州廣思信息網絡有限公司
• 主分類號: G06Q50/06
• 分類號: G06Q50/06;G06F17/30
• 代理公司: 貴陽中新專利商標事務所 52100
• 代理人: 李亮;劉楠

1.一種電力行業大數據動態文本交換格式管理方法，其特征在于：該方法包括以下步驟，

步驟1：分析數據結構，分析需要用于數據交換的電力行業數據進行數據結構分析，生成數據模型；

???????步驟2：編寫數據格式規則，通過Velocity語法編寫符合實際需求的定義的靈活的數據傳輸交換格式，并生成數據格式交換模板；

???????步驟3：編寫加載類，利用Java語言編寫數據模型加載類以及數據格式規則加載類兩個類；

步驟4：利用Java語言并采用Velocity模板引擎編寫數據驅動類，將步驟3中的兩個加載類的輸出結果作為數據驅動類的輸入，通過驅動類生成最終的動態文本交換格式。

2.根據權利要求1所述的電力行業大數據動態文本交換格式管理方法，其特征在于：

???????所述步驟1包括以下子步驟：

???????S1.1：從電力營銷系統、計量自動化系統、電網GIS空間信息服務平臺等抽取文本類型的數據到電網行業Hadoop大數據平臺的HDFS文件系統上；

???????S1.2：分析抽取到Hadoop大數據處理平臺上的文本數據，通過將原有的數據結構進行精簡適合于數據挖掘的簡單結構保存于hive數據倉庫之中；

???????S1.3：通過編寫MapReduce、Spark任務、Storm流處理任務等手段操作hive數據倉庫生成數據模型，并將輸出結果以hdfs上帶有特定特定列式結構的數據模型；

S1.4：通過編寫MapReduce、Spark任務、Storm流處理任務等手段操作hive數據倉庫生成數據模型，并將輸出結果以hdfs上帶有特定列式結構的數據模型。

3.根據權利要求1所述電力行業大數據動態文本交換格式管理方法，其特征在于：

所述步驟2包括以下子步驟：

???????S2.1：根據步驟1的數據模型，編寫數據格式模板，該模板包含最終數據交換格式的基本格式；

???????S2.2：將步驟S2.1中數據格式模板的基本模板中需要用數據填充的部分使用Velocity語法用占位符號進行修改，形成帶有基本數據結構的格式模板；

???????S2.3：將步驟S2.2中的編寫的模板進一步修改，將帶有數據集合的模板區塊使用Velocity條件控制、循環語法進行控制輸出，形成數據格式模板；

???????S2.4：將步驟S2.3中的編寫的模板首行之前增加額外一行頭信息，該部分按順序用“，”號分割，包含如下順序的信息；

數據模型文件hdfs地址；

數據模型加載類名稱全路徑；

數據格式規則加載類全路徑；

S2.5：將步驟S2.4中的編寫的模板保存在hdfs上。

4.根據權利要求3所述電力行業大數據動態文本交換格式管理方法，其特征在于：步驟S2.1中數據交換格式根據使用者對數據交換格式的實際需求，將數據交換格式定義為xml、json、csv等行業標準格式或定義成非標準格式。

5.根據權利要求1所述電力行業大數據動態文本交換格式管理方法，其特征在于：

所述步驟3利用Java語言編寫數據模型加載類以及數據格式規則加載類兩個類，包括以下子步驟：

????????S3.1：編寫數據模型加載類，該類包含的功能特征是：

????????1）讀取hdfs文件系統上的數據模型文件；

????????2）遍歷數據模型列式結構；

????????3）生成用于填充數據規則模板的Java數據對象模型；

????????S3.2：數據格式規則加載類，該類包含的功能特征是：

????????1）讀取hdfs數據格式規則模板文件；

????????2）解析數據格式規則模板，將頭信息以及數據格式信息分離；

????????3）生成頭信息Java對象；

4）生成數據格式模板的Java映射對象。

6.根據權利要求1所述電力行業大數據動態文本交換格式管理方法，其特征在于：

所述步驟4包括以下子步驟：

????????S4.1：根據步驟3的輸出的Java數據對象、頭信息Java對象、數據格式模板Java映射對象做為數據驅動類的輸入參數傳入數據驅動類；

????????S4.2：根據步驟S4.1數據驅動類將組合并整理以上輸入參數形成統一的Java數據對象模型以及模板文件描述對象；

????????S4.3：數據驅動類調用Velocity模板引擎的相應模板生成方法，生成最終符合需求的數據結構文本；

S4.4：數據驅動類輸出的結果可以根據需求放置于hdfs、數據庫、本地文件系統上，也可以作為輸入源直接輸出至下一個MapReduce任務、Spark任務、Storm流任務中去。