[發明專利]一種基于關系型數據庫轉存大數據平臺的方法及系統

在審

• 申請號: 201810313923.0
• 申請日: 2018-04-09
• 公開（公告）號: CN108763276A
• 公開（公告）日: 2018-11-06
• 發明（設計）人: 盛萬興;劉海濤;呂廣憲;劉鵬;王猛;陸一鳴;王立巖
• 申請（專利權）人: 中國電力科學研究院有限公司;國家電網公司;國網浙江省電力有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京安博達知識產權代理有限公司 11271
• 代理人: 徐國文

一種基于關系型數據庫轉存大數據平臺的方法及系統，包括：在關系型數據庫文件中抽取待轉存的數據，并轉換為大數據平臺指定的格式文件；如果所述關系型數據庫與大數據平臺在同一個網絡環境中時，將所述指定格式的文件存儲至獲取的分布式文件系統路徑中；否則通過中間媒介將所述指定格式的文件存儲至獲取的分布式文件系統路徑中。本發明從數據庫數據源簡單快速的解析數據到大數據平臺中，與傳統的ETL工具相比，解決了ETL只能轉存關系型數據源和大數據平臺在同一網絡的缺點，從而滿足了不同的網絡環境要求，進而提高了效率。

技術領域

本發明涉及電力系統配電網多種數據源存儲領域，具體涉及一種基于關系型數據庫轉存大數據平臺的方法及系統。

背景技術

在當今數據時代，數據變的越來越重要，普通的關系型數據庫已經不能滿足存儲大量數據的需求，而目前將數據存儲于關系型數據庫已成為一種習慣，但關系型數據庫中的數據不能直接跨平臺在大數據平臺中進行調用，雖然現在已有的將關系型數據庫中的數據轉存到大數據平臺的數據倉庫技術(Extract-Transform-Load，ETL)，用于將數據從來源端經過抽取(extract)、轉換(transform)、加載(load)至目的端的過程。但是它在進行數據轉存的時候，要求關系型數據庫必須跟大數據平臺必須滿足數據倉庫技術設置的條件，然而在正常應用的時候經常會出現關系型數據庫跟大數據平臺不滿足數據倉庫技術設置的條件，因此，數據倉庫技術不能夠很好的滿足實際的需求。

發明內容

為了解決現有技術中所存在的上述不足，本發明提供一種基于關系型數據庫轉存大數據平臺的方法及系統。

本發明提供的技術方案是：一種基于關系型數據庫轉存大數據平臺的方法，包括：

在關系型數據庫文件中抽取待轉存的數據，并轉換為大數據平臺指定的格式文件；

如果所述關系型數據庫與大數據平臺在同一個網絡環境中時，將所述指定格式的文件存儲至獲取的分布式文件系統路徑中；否則通過中間媒介將所述指定格式的文件存儲至獲取的分布式文件系統路徑中。

優選的，所述通過中間媒介將所述指定格式的文件存儲至獲取的分布式文件系統路徑中，包括：

將所述指定格式的文件轉存為中間文件；

將所述中間文件通過轉存方式轉存至獲取的分布式文件系統路徑中。

優選的，所述將所述指定格式的文件轉存為中間文件，包括：

將所述指定格式的文件中每一個表對應生成一個中間文件，并以表名對相應的中間文件進行命名；

基于預先設置的路徑將所有的中間文件進行保存。

優選的，所述將所述中間文件通過轉存方式轉存至獲取的分布式文件系統路徑中，包括：

將所述中間文件通過網絡轉存或移動設備轉存至獲取的分布式文件系統路徑中。

優選的，所述將所述指定格式的文件轉存為中間文件，還包括：

對所述指定格式的文件進行加密轉存為中間文件。

優選的，所述在關系型數據庫文件中抽取待轉存的數據，包括：

將關系型數據庫中需要轉存的多個表轉化為對應的待轉存文件；

基于預先設定的參數獲取需要轉存的數據，并轉換為大數據平臺指定的格式文件；

其中所述預先設定的參數包括：每個待轉存文件中根據關系型數據庫中需要轉存的表的表名和對應表的屬性列名稱。

基于同一發明構思，本發明還提供了一種基于關系型數據庫轉存大數據平臺的系統，包括：