[發明專利]一種基于大數據的電力企業財務數據管理系統

在審

• 申請號: 201911112859.0
• 申請日: 2019-11-14
• 公開（公告）號: CN110838055A
• 公開（公告）日: 2020-02-25
• 發明（設計）人: 郭琳;張媛;王新;白雪;張奇;劉倩;王輝;孫偉亮;于涵;閆麗娜;齊建威
• 申請（專利權）人: 國網河北省電力有限公司滄州供電分公司;國家電網有限公司;國網河北省電力有限公司
• 主分類號: G06Q40/00
• 分類號: G06Q40/00;G06F16/27;G06F16/28;G06F16/26;G06K9/62
• 代理公司: 石家莊新世紀專利商標事務所有限公司 13100
• 代理人: 張杰;徐瑞豐

1.一種基于大數據的電力企業財務數據管理系統，其特征在于：該系統總體架構分為五層：數據來源層，數據存儲層，大數據并行處理層，大數據并行分析層及數據可視化層；

數據來源層提供內部數據和外部數據，數據存儲層對數據進行存儲，大數據并行處理層對數據進行分類處理，大數據并行分析層對處理后的數據進行分析并進行行為預測，數據可視化層將所得數據以圖表、網絡圖方式進行分析后數據可視化。

2.根據權利要求1所述的一種基于大數據的電力企業財務數據管理系統，其特征在于：所述數據來源層的內部數據來源于四大數據中心的結構化、半結構化、非結構化數據和財務信息數據；所述數據來源層的外部數據來源于互聯網、社交及移動外部數據。

3.根據權利要求1所述的一種基于大數據的電力企業財務數據管理系統，其特征在于：所述數據存儲層描述數據存儲方法、數據存儲格式以及數據并行化存儲結構；采用NoSQL數據存儲系統，以 Key-Value 數據格式、面向文檔方式以及圖數據方式進行分布式存儲。

4.根據權利要求1所述的一種基于大數據的電力企業財務數據管理系統，其特征在于：所述大數據并行處理層通過 Map Reduce 計算框架來構建電力大數據并行化分析服務體系，基于 Hadoop分布式處理平臺，利用此平臺對數據進行處理。

5.根據權利要求1所述的一種基于大數據的電力企業財務數據管理系統，其特征在于：所述大數據并行分析層以聚類算法為基礎，分成兩個階段，采用 Canopy 算法和基于蟻群的 K-Means 算法和Map Reduce相結合的方法，對處理后的數據進行大數據分析，并利用分析結果對用戶行為進行預測。

6.根據權利要求3所述的一種基于大數據的電力企業財務數據管理系統，其特征在于：NoSQL 數據存儲系統具有兩種架構：Master-Slave 結構和 P2P 環形結構；

Master-Slave 結構基于水平分區實現數據分布，將 master 節點和 slave 節點的功能分開，由 master 節點維護其管理的 slave節點；

P2P 環形結構的系統無中心節點，各節點平等，基于 Hash 分布數據。

7.根據權利要求4所述的一種基于大數據的電力企業財務數據管理系統，其特征在于：所述大數據并行處理層采用基于Hadoop 和 Hive 以及 HBase 的財務數據預處理平臺；

在此預處理平臺中，實現對數據的清洗、集成和歸約，利用噪聲處理、數據缺失填補以及對數據屬性維度的約簡來進行財務大數據的預處理過程；此方法結合 Hadoop 平臺，通過增添負責預處理任務的監控和控制節點，該節點維護一個預處理的任務列表，并存儲對應的預處理程序和啟動規則。

8.根據權利要求7所述的一種基于大數據的電力企業財務數據管理系統，其特征在于：預處理功能集中于存儲節點上，由特定的主機承擔預處理任務的控制節點，并通過該節點維護預處理系統的運行，預處理程序庫的管理；

Hadoop 分布式處理平臺的底層利用分布式文件系統HDFS 來存儲海量財務結構化數據和非結構化數據，利用 Map Reduce 分布式計算框架實現對海量明細數據的高效處理；

處理之后的結果存儲在 HBase中，其中 HDFS 為 HBase 提供了高可靠性的底層存儲支持，Map Reduce 為 HBase 提供高性能的計算能力，Hive 為 HBase 提供高層語言支持。