[發(fā)明專利]一種面向電力大數(shù)據(jù)的數(shù)據(jù)庫(kù)統(tǒng)一平臺(tái)及其讀取方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811203969.3
• 申請(qǐng)日: 2018-10-16
• 公開(kāi)（公告）號(hào): CN109582717B
• 公開(kāi)（公告）日: 2022-06-07
• 發(fā)明（設(shè)計(jì)）人: 郭子明;崔燦;閻博;陳振宇;寧文元;李大鵬;穆永錚;張鵬;戚岳;李新鵬;劉蒙;李立新;狄方春;張杰;郭凌旭
• 申請(qǐng)（專利權(quán)）人: 中國(guó)電力科學(xué)研究院有限公司;國(guó)家電網(wǎng)有限公司;國(guó)網(wǎng)冀北電力有限公司;國(guó)網(wǎng)天津市電力公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25;G06F21/62;G06Q50/06
• 代理公司: 北京安博達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11271
• 代理人: 徐國(guó)文

一種面向電力大數(shù)據(jù)的數(shù)據(jù)庫(kù)統(tǒng)一平臺(tái)及其讀取方法，包括：?jiǎn)?dòng)；驗(yàn)證：數(shù)據(jù)庫(kù)平臺(tái)檢驗(yàn)用戶身份；傳遞：接收來(lái)自用戶的數(shù)據(jù)訪問(wèn)請(qǐng)求；跨庫(kù)判斷：所述業(yè)務(wù)需求涉及的數(shù)據(jù)訪問(wèn)為跨庫(kù)數(shù)據(jù)請(qǐng)求時(shí)，令數(shù)據(jù)訪問(wèn)組件將業(yè)務(wù)需求轉(zhuǎn)發(fā)至數(shù)據(jù)混合處理引擎；業(yè)務(wù)統(tǒng)籌：令數(shù)據(jù)混合處理引擎進(jìn)行不同類型的跨庫(kù)數(shù)據(jù)的采集、存儲(chǔ)和處理，生成業(yè)務(wù)數(shù)據(jù)；將數(shù)據(jù)形成用戶所需數(shù)據(jù)的組織形式并返回到前臺(tái)展示頁(yè)面展示成表格，結(jié)合可視化技術(shù)提供給用戶。本發(fā)明平臺(tái)，具有速度快、配置靈活、跨數(shù)據(jù)庫(kù)等特點(diǎn)，無(wú)障礙地同時(shí)訪問(wèn)多種數(shù)據(jù)庫(kù)和數(shù)據(jù)類型，同時(shí)為電力數(shù)據(jù)庫(kù)統(tǒng)一平臺(tái)上層業(yè)務(wù)應(yīng)用的快速開(kāi)發(fā)提供了保證，使上層應(yīng)用的設(shè)計(jì)與實(shí)現(xiàn)無(wú)需考慮底層數(shù)據(jù)庫(kù)類型的差異。

技術(shù)領(lǐng)域

本發(fā)明屬于電力自動(dòng)化技術(shù)領(lǐng)域，具體涉及一種面向電力大數(shù)據(jù)的數(shù)據(jù)庫(kù)統(tǒng)一平臺(tái)及其讀取方法。

背景技術(shù)

隨著我國(guó)調(diào)度自動(dòng)化的發(fā)展，電力調(diào)度中心的自動(dòng)化系統(tǒng)也隨之增加。為了促進(jìn)調(diào)度中心各應(yīng)用功能的協(xié)調(diào)運(yùn)轉(zhuǎn)，需要構(gòu)建調(diào)度中心跨越安全分區(qū)的綜合應(yīng)用支撐平臺(tái)，即調(diào)度數(shù)據(jù)服務(wù)平臺(tái)。這個(gè)調(diào)度數(shù)據(jù)服務(wù)平臺(tái)作為整個(gè)調(diào)度中心的模型中心、數(shù)據(jù)中心和圖形中心，將采用商用數(shù)據(jù)進(jìn)行信息的存儲(chǔ)。為屏蔽上層應(yīng)用對(duì)底層數(shù)據(jù)庫(kù)訪問(wèn)的差異，調(diào)度數(shù)據(jù)服務(wù)平臺(tái)需要一套通用的數(shù)據(jù)庫(kù)訪問(wèn)方法來(lái)訪問(wèn)ORACLE、SYBASE、DB2、SQLSERVER、MYSQL等商用數(shù)據(jù)庫(kù)。針對(duì)調(diào)度中心遺留的眾多應(yīng)用系統(tǒng)，調(diào)度數(shù)據(jù)服務(wù)平臺(tái)還需要從這些遺留應(yīng)用中獲取基礎(chǔ)模型信息，因此通用的數(shù)據(jù)訪問(wèn)接口還應(yīng)具有同時(shí)連接多個(gè)異構(gòu)數(shù)據(jù)庫(kù)的能力。

尤其是隨著當(dāng)前計(jì)算機(jī)技術(shù)發(fā)展，對(duì)數(shù)據(jù)庫(kù)訪問(wèn)能力越來(lái)越重要，開(kāi)發(fā)者在實(shí)現(xiàn)某種系統(tǒng)應(yīng)用同時(shí)，必須考慮不同類型的關(guān)系數(shù)據(jù)庫(kù)的部署，以適應(yīng)企業(yè)已有的IT管理架構(gòu)。不同企業(yè)對(duì)數(shù)據(jù)庫(kù)系統(tǒng)的選擇不同，如果一個(gè)應(yīng)用系統(tǒng)強(qiáng)制要求數(shù)據(jù)庫(kù)服務(wù)器類型，有可能需要增加企業(yè)在數(shù)據(jù)庫(kù)服務(wù)器方面的投資，增加數(shù)據(jù)庫(kù)服務(wù)的維護(hù)投入。而如果一個(gè)系統(tǒng)應(yīng)用能夠按照企業(yè)已有的數(shù)據(jù)庫(kù)服務(wù)器進(jìn)行部署，則能夠節(jié)省企業(yè)在數(shù)據(jù)庫(kù)方面的投資，有利于保護(hù)原有投資，簡(jiǎn)化系統(tǒng)部署的方案和成本。這就要求開(kāi)發(fā)者在實(shí)現(xiàn)一個(gè)具體的系統(tǒng)應(yīng)用時(shí)，能夠兼顧不同類型的數(shù)據(jù)庫(kù)及不同類型的數(shù)據(jù)。

因此，開(kāi)發(fā)一套方便的電力數(shù)據(jù)庫(kù)統(tǒng)一平臺(tái)及其數(shù)據(jù)訪問(wèn)的方法是目前電力數(shù)據(jù)管理領(lǐng)域亟待解決的問(wèn)題。

發(fā)明內(nèi)容

現(xiàn)有數(shù)據(jù)庫(kù)種類包括關(guān)系數(shù)據(jù)庫(kù)、列式數(shù)據(jù)庫(kù)、實(shí)時(shí)數(shù)據(jù)庫(kù)和MPP數(shù)據(jù)庫(kù)等，每種數(shù)據(jù)庫(kù)在電力調(diào)控大數(shù)據(jù)的存儲(chǔ)中各有優(yōu)劣。其中，關(guān)系數(shù)據(jù)庫(kù)按照行進(jìn)行存儲(chǔ)，關(guān)系數(shù)據(jù)庫(kù)擅長(zhǎng)隨機(jī)讀操作，不適合用于大數(shù)據(jù)，主要用于數(shù)據(jù)訪問(wèn)的實(shí)時(shí)性不高的場(chǎng)合。列式存儲(chǔ)適合于較低延遲的讀寫訪問(wèn)、高并發(fā)的訪問(wèn)請(qǐng)求。基于列存儲(chǔ)的數(shù)據(jù)存儲(chǔ)與管理裝載速度快、易于壓縮、易于做聚合分析，適宜于大數(shù)據(jù)規(guī)模下的統(tǒng)計(jì)、分析等應(yīng)用功能。列式數(shù)據(jù)庫(kù)按照鍵值對(duì)(Key-Value Pair)進(jìn)行組織、索引和存儲(chǔ)，適合結(jié)構(gòu)復(fù)雜、關(guān)聯(lián)較少的半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)。分布式實(shí)時(shí)數(shù)據(jù)庫(kù)基于內(nèi)存進(jìn)行存儲(chǔ)，支持對(duì)實(shí)時(shí)數(shù)據(jù)的快速存儲(chǔ)和訪問(wèn)，提供高速的本地訪問(wèn)接口、遠(yuǎn)方服務(wù)訪問(wèn)接口，支持?jǐn)?shù)據(jù)關(guān)系描述和檢索，主要用于存儲(chǔ)電網(wǎng)運(yùn)行的實(shí)時(shí)信息。分布式文件系統(tǒng)適合存儲(chǔ)海量非結(jié)構(gòu)化數(shù)據(jù)，即將數(shù)據(jù)存儲(chǔ)在物理上分散的多個(gè)存儲(chǔ)節(jié)點(diǎn)上，統(tǒng)一管理和分配節(jié)點(diǎn)資源。MPP數(shù)據(jù)庫(kù)采用shared nothing架構(gòu)，具備數(shù)據(jù)高效存儲(chǔ)、高并發(fā)查詢功能，具有完全的可伸縮性、高可用、高性能、資源共享等優(yōu)勢(shì)，適用于海量數(shù)據(jù)的統(tǒng)計(jì)分析。

為了克服傳統(tǒng)單一數(shù)據(jù)庫(kù)平臺(tái)在面對(duì)海量多源異構(gòu)數(shù)據(jù)時(shí)的技術(shù)瓶頸，本發(fā)明提出了一種面向電力大數(shù)據(jù)的數(shù)據(jù)庫(kù)統(tǒng)一平臺(tái)的讀取方法，所述電力數(shù)據(jù)庫(kù)統(tǒng)一平臺(tái)包括多個(gè)異構(gòu)的基礎(chǔ)數(shù)據(jù)庫(kù)，多個(gè)基礎(chǔ)數(shù)據(jù)庫(kù)包括多種不同類型的數(shù)據(jù)，所述訪問(wèn)方法包括：

啟動(dòng)步驟，用戶訪問(wèn)數(shù)據(jù)庫(kù)平臺(tái)，數(shù)據(jù)庫(kù)平臺(tái)啟動(dòng)；

驗(yàn)證步驟，數(shù)據(jù)庫(kù)平臺(tái)檢驗(yàn)用戶身份，如果身份驗(yàn)證通過(guò)，則進(jìn)入下一步驟，如果身份驗(yàn)證被拒絕，則退出數(shù)據(jù)庫(kù)平臺(tái)；

傳遞步驟，接收來(lái)自用戶的數(shù)據(jù)訪問(wèn)請(qǐng)求，將數(shù)據(jù)訪問(wèn)請(qǐng)求中的業(yè)務(wù)需求轉(zhuǎn)發(fā)至數(shù)據(jù)訪問(wèn)組件，數(shù)據(jù)訪問(wèn)組件提取業(yè)務(wù)需求中的傳遞參數(shù)，對(duì)傳遞參數(shù)進(jìn)行判斷；