[發明專利]一種面向電力大數據的數據庫統一平臺及其讀取方法

有效

• 申請號: 201811203969.3
• 申請日: 2018-10-16
• 公開（公告）號: CN109582717B
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 郭子明;崔燦;閻博;陳振宇;寧文元;李大鵬;穆永錚;張鵬;戚岳;李新鵬;劉蒙;李立新;狄方春;張杰;郭凌旭
• 申請（專利權）人: 中國電力科學研究院有限公司;國家電網有限公司;國網冀北電力有限公司;國網天津市電力公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F21/62;G06Q50/06
• 代理公司: 北京安博達知識產權代理有限公司 11271
• 代理人: 徐國文

1.一種面向電力大數據的數據庫統一平臺的讀取方法，其特征在于：所述數據庫統一平臺包括多個異構的基礎數據庫，多個基礎數據庫包括多種不同類型的數據，所述讀取方法包括：

啟動步驟，用戶訪問數據庫平臺，數據庫平臺啟動；

驗證步驟，數據庫平臺檢驗用戶身份，如果身份驗證通過，則進入下一步驟，如果身份驗證被拒絕，則退出數據庫平臺；

傳遞步驟，接收來自用戶的數據訪問請求，將數據訪問請求中的業務需求轉發至數據訪問組件，數據訪問組件提取業務需求中的傳遞參數，對傳遞參數進行判斷；

跨庫判斷步驟，當判斷結果表明所述業務需求涉及的數據訪問為跨庫數據請求時，令數據訪問組件將業務需求轉發至數據混合處理引擎；

業務統籌步驟，令數據混合處理引擎進行不同類型的跨庫數據的采集、存儲和處理，生成業務數據；

應用服務步驟，對業務數據進行再組織形成特定場景使用的專用數據，并將專用數據形成用戶所需數據的組織形式并返回到前臺展示頁面展示成表格，結合可視化技術提供給用戶；

所述業務統籌步驟，令數據混合處理引擎進行不同類型的跨庫數據的采集、存儲和處理，生成業務數據，具體包括：

數據采集步驟，從各電力業務系統中采集電力數據；

分類存儲步驟，將電力業務系統中采集到的數據分為不同類型，根據不同類型數據的數據特征和業務需求，選擇不同的基礎數據庫進行數據存儲；

數據混合步驟，選擇業務需求所需數據，對一種或多種不同類型的數據進行混合，將一個或多個基礎數據庫中的異構數據導入到集中的數據存儲層，同時協調不同基礎數據庫的數據訪問和不同數據源之間的信息，在數據導入基礎上進行數據清洗和預處理，統一不同類型數據的存儲方式，為下一步計算分析提供數據基礎；

計算分析步驟，對混合存儲的數據進行抽取、加工、融合，根據業務需求，對存儲數據進行計算分析，形成業務數據；

其中，所述分類存儲步驟，將電力業務系統中采集到的數據分為不同類型，根據不同類型數據的數據特征和業務需求，選擇不同的基礎數據庫進行數據存儲，具體包括：

判斷步驟，對于采集的電力數據，首先判斷其數據類型，所述數據類型包括模型數據、運行數據和統計分析數據；

對于模型數據，其數據量相對較少且更新頻率穩定，存儲在關系型數據庫；

對于運行數據，電力系統產生各類運行數據，分為高活躍度數據和低活躍度數據，兩種類型數據采用不同的存儲策略：高活躍度數據為近期運行數據，將其存入MPP數據庫，用于統計、分析、為應用提供數據支撐；低活躍度數據為活躍度較低的歷史運行數據，將其存入Hadoop數據庫，用于基于電網長期的運行規律進行挖掘、分析；

對于統計分析數據，其數據量相對較少、更新頻率較快且對查詢處理實時性要求較高，將其存入MPP數據庫，便于應用查詢與展示；

其中，所述計算分析步驟，對混合存儲的數據進行抽取、加工、融合，具體包括：

數據提取步驟：從一種或多種不同類型的數據中提取業務所需數據；

數據轉換步驟：將一種或多種不同類型的數據按照業務需求，轉換成目的數據存儲層要求的形式，并對數據進行清洗和加工；

數據加載步驟：將轉換后的數據融合裝載到計算分析模塊。

2.根據權利要求1所述的方法，其特征在于，所述數據訪問請求的表現形式為結構化查詢語言。

3.根據權利要求1所述的方法，其特征在于，所述驗證步驟，數據庫平臺檢驗用戶身份，為用戶名和密碼登錄驗證、指紋驗證、面部識別之一。

4.根據權利要求1所述的方法，其特征在于，所述基礎數據庫包括：關系型數據庫、MPP數據庫、Hadoop數據庫。

5.根據權利要求1所述的方法，其特征在于，所述應用服務步驟提供主題查詢、實時關聯查詢、離線數據挖掘、歷史曲線分析、系統管理、連表查詢、報表統計、定時任務調度、數據審計和日志管理功能。

6.如權利要求1所述的面向電力大數據的數據庫統一平臺讀取方法的數據庫統一平臺，其特征在于，該系統包括：基礎數據庫、數據存儲層、數據訪問組件、數據混合處理引擎，用戶訪問所述電力數據庫統一平臺實現如權利要求1-5任一項所述的讀取方法。