[發(fā)明專利]用于電網(wǎng)數(shù)據(jù)的統(tǒng)一數(shù)據(jù)源管理系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011276961.7
• 申請(qǐng)日: 2020-11-16
• 公開(kāi)（公告）號(hào): CN112527856A
• 公開(kāi)（公告）日: 2021-03-19
• 發(fā)明（設(shè)計(jì)）人: 馮歆堯;彭澤武;謝瀚陽(yáng);梁盈威
• 申請(qǐng)（專利權(quán)）人: 廣東電網(wǎng)有限責(zé)任公司
• 主分類號(hào): G06F16/2458
• 分類號(hào): G06F16/2458;G06F16/28;G06Q50/06
• 代理公司: 北京聿華聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 11611
• 代理人: 張文娟

本發(fā)明公開(kāi)了一種用于電網(wǎng)數(shù)據(jù)的統(tǒng)一數(shù)據(jù)源管理系統(tǒng)和方法，所述統(tǒng)一數(shù)據(jù)源管理系統(tǒng)以分布式文件系統(tǒng)為存儲(chǔ)，通過(guò)Hive和Hawq引擎對(duì)外提供上層應(yīng)用且根據(jù)業(yè)務(wù)場(chǎng)景自動(dòng)適配讀取不同數(shù)據(jù)源，該系統(tǒng)包括：統(tǒng)一寫(xiě)數(shù)據(jù)模塊，其從數(shù)據(jù)導(dǎo)出節(jié)點(diǎn)將數(shù)據(jù)寫(xiě)入到HDFS文件，創(chuàng)建與該HDFS文件相關(guān)聯(lián)的Hive表結(jié)構(gòu)和Hawq表結(jié)構(gòu)，以及這兩種表結(jié)構(gòu)的關(guān)聯(lián)信息和用戶的表權(quán)限；統(tǒng)一讀數(shù)據(jù)模塊，其預(yù)先為每個(gè)用戶創(chuàng)建統(tǒng)一的數(shù)據(jù)源，并授權(quán)給用戶相關(guān)庫(kù)的表權(quán)限，根據(jù)業(yè)務(wù)場(chǎng)景自動(dòng)適配進(jìn)行Hive數(shù)據(jù)庫(kù)和Hawq數(shù)據(jù)庫(kù)的切換；統(tǒng)一權(quán)限管控模塊，其在進(jìn)行數(shù)據(jù)寫(xiě)入和讀出時(shí)，判別當(dāng)前用戶是否具有表權(quán)限。本發(fā)明能夠提高數(shù)據(jù)分析效率、節(jié)約成本。

技術(shù)領(lǐng)域

本發(fā)明涉及電網(wǎng)技術(shù)領(lǐng)域，尤其涉及一種用于電網(wǎng)數(shù)據(jù)的統(tǒng)一數(shù)據(jù)源管理系統(tǒng)及方法。

背景技術(shù)

隨著電網(wǎng)規(guī)模的高速發(fā)展，信息化技術(shù)手段已廣泛應(yīng)用于電網(wǎng)的各個(gè)層面，取得了顯著效果，為滿足國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展的需要，提高客戶服務(wù)質(zhì)量做出了有力支撐。電力企業(yè)的計(jì)量自動(dòng)化、采集系統(tǒng)也在不斷完善普及，從而產(chǎn)生了海量的用電數(shù)據(jù)。

當(dāng)前電網(wǎng)采集的用電數(shù)據(jù)實(shí)時(shí)性高且數(shù)據(jù)量巨大，在大數(shù)據(jù)分析的實(shí)施過(guò)程中，處于上層應(yīng)用的數(shù)據(jù)分析人員并不清楚底層數(shù)據(jù)存儲(chǔ)的邏輯、不同存儲(chǔ)方式及數(shù)據(jù)執(zhí)行引擎的性能，這導(dǎo)致不同的數(shù)據(jù)分析工具之間數(shù)據(jù)的應(yīng)用容易產(chǎn)生沖突，進(jìn)而導(dǎo)致數(shù)據(jù)分析的工作質(zhì)量、效率太低。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題之一是需要提供一種提高數(shù)據(jù)分析效率、節(jié)約成本的用于電網(wǎng)數(shù)據(jù)的統(tǒng)一數(shù)據(jù)源管理系統(tǒng)。

為了解決上述技術(shù)問(wèn)題，本申請(qǐng)的實(shí)施例首先提供了一種用于電網(wǎng)數(shù)據(jù)的統(tǒng)一數(shù)據(jù)源管理系統(tǒng)，所述統(tǒng)一數(shù)據(jù)源管理系統(tǒng)以分布式文件系統(tǒng)為存儲(chǔ)，通過(guò)Hive和Hawq引擎對(duì)外提供上層應(yīng)用且根據(jù)業(yè)務(wù)場(chǎng)景自動(dòng)適配讀取不同數(shù)據(jù)源，該系統(tǒng)包括：統(tǒng)一寫(xiě)數(shù)據(jù)模塊，其從數(shù)據(jù)導(dǎo)出節(jié)點(diǎn)將數(shù)據(jù)寫(xiě)入到HDFS文件，創(chuàng)建與該HDFS文件相關(guān)聯(lián)的Hive表結(jié)構(gòu)和Hawq表結(jié)構(gòu)，以及這兩種表結(jié)構(gòu)的關(guān)聯(lián)信息和用戶的表權(quán)限；統(tǒng)一讀數(shù)據(jù)模塊，其預(yù)先為每個(gè)用戶創(chuàng)建統(tǒng)一的數(shù)據(jù)源，并授權(quán)給用戶相關(guān)庫(kù)的表權(quán)限，根據(jù)業(yè)務(wù)場(chǎng)景自動(dòng)適配進(jìn)行Hive數(shù)據(jù)庫(kù)和Hawq數(shù)據(jù)庫(kù)的切換；統(tǒng)一權(quán)限管控模塊，其在進(jìn)行數(shù)據(jù)寫(xiě)入和讀出時(shí)，判別當(dāng)前用戶是否具有表權(quán)限。

在一個(gè)實(shí)施例中，所述統(tǒng)一寫(xiě)數(shù)據(jù)模塊，其在創(chuàng)建Hive表結(jié)構(gòu)和Hawq表結(jié)構(gòu)的關(guān)聯(lián)信息時(shí)，配置Hawq++數(shù)據(jù)源和Hive數(shù)據(jù)源的對(duì)應(yīng)關(guān)系、Hawq++表名和Hive表名的適配關(guān)系、以及表字段類型的適配關(guān)系。

在一個(gè)實(shí)施例中，所述統(tǒng)一讀數(shù)據(jù)模塊，其在根據(jù)業(yè)務(wù)場(chǎng)景自動(dòng)適配進(jìn)行Hive數(shù)據(jù)庫(kù)和Hawq數(shù)據(jù)庫(kù)的切換時(shí)，根據(jù)預(yù)先配置好的Hawq++數(shù)據(jù)源和Hive數(shù)據(jù)源的對(duì)應(yīng)關(guān)系、Hawq++表名和Hive表名的適配關(guān)系、以及表字段類型的適配關(guān)系進(jìn)行數(shù)據(jù)庫(kù)切換。

在一個(gè)實(shí)施例中，所述業(yè)務(wù)場(chǎng)景包括SQL統(tǒng)計(jì)分析場(chǎng)景和數(shù)據(jù)挖掘場(chǎng)景；

進(jìn)一步，所述統(tǒng)一讀數(shù)據(jù)模塊，其在SQL統(tǒng)計(jì)分析場(chǎng)景中，選擇配置好的作為統(tǒng)一數(shù)據(jù)源的Hawq++數(shù)據(jù)源，進(jìn)行SQL代碼編寫(xiě)；若是數(shù)據(jù)挖掘場(chǎng)景中，則選擇配置好的Hawq++數(shù)據(jù)源，在讀取的時(shí)候，自動(dòng)切換成為讀取Hive表的數(shù)據(jù)。

根據(jù)本發(fā)明的另一方面，還提供了一種用于電網(wǎng)數(shù)據(jù)的統(tǒng)一數(shù)據(jù)源管理方法，在該方法中以分布式文件系統(tǒng)為存儲(chǔ)，通過(guò)Hive和Hawq引擎對(duì)外提供上層應(yīng)用且根據(jù)業(yè)務(wù)場(chǎng)景自動(dòng)適配讀取不同數(shù)據(jù)源，該方法包括：統(tǒng)一寫(xiě)數(shù)據(jù)步驟，從數(shù)據(jù)導(dǎo)出節(jié)點(diǎn)將數(shù)據(jù)寫(xiě)入到HDFS文件，創(chuàng)建與該HDFS文件相關(guān)聯(lián)的Hive表結(jié)構(gòu)和Hawq表結(jié)構(gòu)，以及這兩種表結(jié)構(gòu)的關(guān)聯(lián)信息和用戶的表權(quán)限；統(tǒng)一讀數(shù)據(jù)步驟，預(yù)先為每個(gè)用戶創(chuàng)建統(tǒng)一的數(shù)據(jù)源，并授權(quán)給用戶相關(guān)庫(kù)的表權(quán)限，根據(jù)業(yè)務(wù)場(chǎng)景自動(dòng)適配進(jìn)行Hive數(shù)據(jù)庫(kù)和Hawq數(shù)據(jù)庫(kù)的切換；統(tǒng)一權(quán)限管控步驟，在進(jìn)行數(shù)據(jù)寫(xiě)入和讀出時(shí)，判別當(dāng)前用戶是否具有表權(quán)限。