[發明專利]一種基于關系型數據庫轉存大數據平臺的方法及系統

在審

• 申請號: 201810313923.0
• 申請日: 2018-04-09
• 公開（公告）號: CN108763276A
• 公開（公告）日: 2018-11-06
• 發明（設計）人: 盛萬興;劉海濤;呂廣憲;劉鵬;王猛;陸一鳴;王立巖
• 申請（專利權）人: 中國電力科學研究院有限公司;國家電網公司;國網浙江省電力有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京安博達知識產權代理有限公司 11271
• 代理人: 徐國文

1.一種基于關系型數據庫轉存大數據平臺的方法，其特征在于，包括：

在關系型數據庫文件中抽取待轉存的數據，并轉換為大數據平臺指定的格式文件；

如果所述關系型數據庫與大數據平臺在同一個網絡環境中時，將所述指定格式的文件存儲至獲取的分布式文件系統路徑中；否則通過中間媒介將所述指定格式的文件存儲至獲取的分布式文件系統路徑中。

2.如權利要求1所述的方法，其特征在于，所述通過中間媒介將所述指定格式的文件存儲至獲取的分布式文件系統路徑中，包括：

將所述指定格式的文件轉存為中間文件；

將所述中間文件通過轉存方式轉存至獲取的分布式文件系統路徑中。

3.如權利要求2所述的方法，其特征在于，所述將所述指定格式的文件轉存為中間文件，包括：

將所述指定格式的文件中每一個表對應生成一個中間文件，并以表名對相應的中間文件進行命名；

基于預先設置的路徑將所有的中間文件進行保存。

4.如權利要求2所述的方法，其特征在于，所述將所述中間文件通過轉存方式轉存至獲取的分布式文件系統路徑中，包括：

將所述中間文件通過網絡或移動設備轉存至獲取的分布式文件系統路徑中。

5.如權利要求2所述的方法，其特征在于，所述將所述指定格式的文件轉存為中間文件，還包括：

對所述指定格式的文件進行加密轉存為中間文件。

6.如權利要求1所述的方法，其特征在于，所述在關系型數據庫文件中抽取待轉存的數據，并轉換為大數據平臺指定的格式文件，包括：

將關系型數據庫中需要轉存的多個表轉化為對應的待轉存文件；

基于預先設定的參數獲取需要轉存的數據，并轉換為大數據平臺指定的格式文件；

其中所述預先設定的參數包括：每個待轉存文件中根據關系型數據庫中需要轉存的表的表名和對應表的屬性列名稱。

7.一種基于關系型數據庫轉存大數據平臺的系統，其特征在于，包括：

預處理模塊，用于在關系型數據庫文件中抽取待轉存的數據，并轉換為大數據平臺指定的格式文件；

處理方案模塊，用于如果所述關系型數據庫與大數據平臺在同一個網絡環境中時，將所述指定格式的文件存儲至獲取的分布式文件系統路徑中；否則通過中間媒介將所述指定格式的文件存儲至獲取的分布式文件系統路徑中。

8.如權利要求7所述的系統，其特征在于，所述處理方案模塊，包括：

中間子模塊，用于將所述指定格式的文件轉存為中間文件；

轉存子模塊，用于將所述中間文件通過轉存方式轉存至獲取的分布式文件系統路徑中。

9.如權利要求8所述的系統，其特征在于，所述中間子模塊，包括：

中間單元，用于將所述指定格式的文件中每一個表對應生成一個中間文件，并以表名對相應的中間文件進行命名；

保存單元，用于基于預先設置的路徑將所有的中間文件進行保存。

10.如權利要求8所述的系統，其特征在于，所述預處理模塊，包括：

轉化單元，用于將關系型數據庫中需要轉存的多個表轉化為對應的待轉存文件；

獲取單元，用于基于預先設定的參數獲取需要轉存的數據，并轉換為大數據平臺指定的格式文件；其中所述預先設定的參數包括：每個待轉存文件中根據關系型數據庫中需要轉存的表的表名、對應表的屬性列名稱。