[發明專利]一種智能配用電大數據應用系統數據集市建立方法

在審

• 申請號: 201810426004.4
• 申請日: 2018-05-07
• 公開（公告）號: CN108959356A
• 公開（公告）日: 2018-12-07
• 發明（設計）人: 張婷;馬翔;邵嗣楊;衣然;張奕楠
• 申請（專利權）人: 國網上海市電力公司;國電南瑞南京控制系統有限公司;國電南瑞科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

1.一種智能配用電大數據應用系統數據集市建立方法，其特征在于：

將基礎數據通過數據分析和挖掘，建成數據集市，為各個應用模塊提供應用數據；數據集市基于數據處理為核心，進行數據采集、數據存儲、數據清洗和數據分析，實現數據分析結果可視化展示。

2.根據權利要求1所述的一種智能配用電大數據應用系統數據集市建立方法，其特征在于，具體包括以下步驟：

步驟1，數據采集：通過接口方式和采集入庫方式對源數據進行數據采集；

步驟2，數據存儲：通過解析提取后進行格式統一的存儲；

步驟3，數據清洗；數據清洗基于線性插值或者均值替換方法，對數據的缺失、異常、重復和噪音進行清洗處理；

步驟4，數據分析：基于大數據平臺和相應的機器學習庫，對數據進行分析；

步驟5，數據展示：基于B/S的結構實現。

3.根據權利要求2所述的一種智能配用電大數據應用系統數據集市建立方法，其特征在于：

接口方式和采集入庫方式具體包括：

對于新建設或能夠進行改造的外接系統，通過向外接系統提供數據接口的方式，由外接系統在產生數據時自動推送，分別提供HTTP，Web Service和FTP數據接口；對于不能進行改造的系統，通過采集入庫方式，根據目標提供的方式實時或按周期對目標數據進行讀取。

4.根據權利要求2所述的一種智能配用電大數據應用系統數據集市建立方法，其特征在于：

步驟2，具體包括以下步驟：

201)存儲結構選型和信息模型建立

存儲組件包括hive、habase、elastic search和holodesk；

202)SQL結構優化：基于業務邏輯，對sql進行邏輯簡化；

sql語句的優化包括邏輯優化和結構優化；

邏輯優化基于業務邏輯的基礎上，對sql進行邏輯簡化；

203)索引優化

建立全文索引，支持全文模糊收索以及多字段的組合索引；對于hbase表，通過行鍵，將需要篩選的屬性都設置到行鍵中，當行鍵并不能滿足所有的需求，建立二級索引來實現需求；holodesk表支持全局索引，在篩選的列上建立全局索引來增加檢索性能。

5.根據權利要求2所述的一種智能配用電大數據應用系統數據集市建立方法，其特征在于：

數據分析基于依托大數據平臺和機器學習庫，對數據進行分析；

數據分析分別采用了hive、discover、matlab和spark平臺。

6.根據權利要求2所述的一種智能配用電大數據應用系統數據集市建立方法，其特征在于：

數據展示是對分析得到的結果，進行圖形化的展示，數據展示采用B/S的結構實現；服務端采用控制層、業務層和數據持久層的三層結構實現。

7.根據權利要求1所述的一種智能配用電大數據應用系統數據集市建立方法，其特征在于：

數據采集過程中，對于電網拓撲數據基于拓撲數據解析(CIM數據解析)，采用分布式解析和sax解析相結合的方法，進行數據采集優化，具體包括以下步驟：

1)分揀數據：

對于做完數據預處理的數據文件進行分揀，將大文件提取出來做離線解析；對于小文件，采用單行壓縮的方式，上傳到hdfs，采用hive的自定義udtf進行解析，將解析的結果進行合并得到最終解析結果；

2)大文件解析：采用sax解析方式，通過逐行讀取xml文件進行解析；

3)小文件解析：將進行單行縮后的小文件上傳到hdfs，通過hive外表導入數據庫，基于hive的自定義udtf函數進行解析。