[發(fā)明專利]一種大數(shù)據(jù)集群的部署方法、數(shù)據(jù)交互方法及對應裝置

有效

• 申請?zhí)枺?/td>: 201711449035.3
• 申請日: 2017-12-27
• 公開（公告）號: CN109976897B
• 公開（公告）日: 2021-06-22
• 發(fā)明（設計）人: 陳益夢;范鋼;唐晨陽;田宜喜;張玉魁;宋穎
• 申請（專利權(quán)）人: 航天信息股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京同達信恒知識產(chǎn)權(quán)代理有限公司 11291
• 代理人: 黃志華

1.一種大數(shù)據(jù)集群的部署方法，應用于一集群，其特征在于，所述方法包括：

基于獲得的安裝指令，在所述集群本地安裝Greenplum數(shù)據(jù)庫系統(tǒng)和大數(shù)據(jù)計算平臺；

基于獲得的配置指令，確定所述Greenplum數(shù)據(jù)庫系統(tǒng)存儲計算結(jié)果的位置為所述集群本地，以及確定所述大數(shù)據(jù)計算平臺讀取數(shù)據(jù)的位置為所述集群本地，以使得所述Greenplum數(shù)據(jù)庫系統(tǒng)和所述大數(shù)據(jù)計算平臺基于所述集群本地存儲的內(nèi)容實現(xiàn)數(shù)據(jù)共享。

2.如權(quán)利要求1所述的方法，其特征在于，基于獲得的配置指令，確定所述Greenplum數(shù)據(jù)庫系統(tǒng)存儲計算結(jié)果的位置為所述集群本地，以及確定所述大數(shù)據(jù)計算平臺讀取數(shù)據(jù)的位置為所述集群本地，包括：

通過所述Greenplum數(shù)據(jù)庫系統(tǒng)，在所述集群中創(chuàng)建第一數(shù)據(jù)表，并確定所述Greenplum數(shù)據(jù)庫系統(tǒng)從所述第一數(shù)據(jù)表讀取數(shù)據(jù)的方式為與預設存儲格式對應的讀取方式；

確定所述大數(shù)據(jù)計算平臺存儲計算結(jié)果的位置為所述第一數(shù)據(jù)表，以及確定所述大數(shù)據(jù)計算平臺存儲計算結(jié)果的格式為所述預設存儲格式，以使得所述Greenplum數(shù)據(jù)庫系統(tǒng)可以從所述第一數(shù)據(jù)表讀取所述計算結(jié)果進行展示。

3.如權(quán)利要求1所述的方法，其特征在于，基于獲得的配置指令，確定所述Greenplum數(shù)據(jù)庫系統(tǒng)存儲計算結(jié)果的位置為所述集群本地，以及確定所述大數(shù)據(jù)計算平臺讀取數(shù)據(jù)的位置為所述集群本地，包括：

使用所述Greenplum數(shù)據(jù)庫系統(tǒng)中用于創(chuàng)建外部表的語句模式，在所述集群中創(chuàng)建第一數(shù)據(jù)表；

確定所述Greenplum數(shù)據(jù)庫系統(tǒng)使用的集群地址為本地location；

確定所述Greenplum數(shù)據(jù)庫系統(tǒng)讀取數(shù)據(jù)的方式為與預設存儲格式對應的讀取方式；

確定所述大數(shù)據(jù)計算平臺存儲計算結(jié)果的位置為所述第一數(shù)據(jù)表，以及確定所述大數(shù)據(jù)計算平臺存儲計算結(jié)果的格式為所述預設存儲格式，以使得所述Greenplum數(shù)據(jù)庫系統(tǒng)可以從所述第一數(shù)據(jù)表讀取所述計算結(jié)果進行展示。

4.一種大數(shù)據(jù)集群的數(shù)據(jù)交互方法，其特征在于，所述大數(shù)據(jù)集群采用權(quán)利要求1-3中任一項所述的方法進行部署；所述集群中安裝有Greenplum數(shù)據(jù)庫系統(tǒng)和大數(shù)據(jù)計算平臺，所述方法包括：

將所述大數(shù)據(jù)計算平臺的計算結(jié)果以預設存儲格式存儲至第一數(shù)據(jù)表，其中，所述第一數(shù)據(jù)表由所述Greenplum數(shù)據(jù)庫系統(tǒng)在所述集群本地創(chuàng)建；

在需要展示所述計算結(jié)果時，控制所述Greenplum數(shù)據(jù)庫系統(tǒng)以與所述預設存儲格式對應的讀取方式，在所述第一數(shù)據(jù)表中查詢所述計算結(jié)果進行展示。

5.如權(quán)利要求4所述的方法，其特征在于，將所述大數(shù)據(jù)計算平臺的計算結(jié)果以預設存儲格式存儲至第一數(shù)據(jù)表，包括：

判斷所述計算結(jié)果中是否包括不符合所述預設存儲格式的非法字符；

若是，則刪除所述計算結(jié)果中的所述非法字符，并將刪除所述非法字符后的所述計算結(jié)果存儲至所述第一數(shù)據(jù)表。

6.一種大數(shù)據(jù)集群，其特征在于，所述集群包括：

安裝模塊，用于基于獲得的安裝指令，在所述集群本地安裝Greenplum數(shù)據(jù)庫系統(tǒng)和大數(shù)據(jù)計算平臺；

配置模塊，用于基于獲得的配置指令，確定所述Greenplum數(shù)據(jù)庫系統(tǒng)存儲計算結(jié)果的位置為所述集群本地，以及確定所述大數(shù)據(jù)計算平臺讀取數(shù)據(jù)的位置為所述集群本地，以使得所述Greenplum數(shù)據(jù)庫系統(tǒng)和所述大數(shù)據(jù)計算平臺基于所述集群本地存儲的內(nèi)容實現(xiàn)數(shù)據(jù)共享。

7.一種應用于大數(shù)據(jù)集群的數(shù)據(jù)交互裝置，其特征在于，所述大數(shù)據(jù)集群采用權(quán)利要求1-3中任一項所述的方法進行部署；所述裝置包括Greenplum數(shù)據(jù)庫模塊和大數(shù)據(jù)計算模塊，其中：

所述大數(shù)據(jù)計算模塊，用于將自身的計算結(jié)果以預設存儲格式存儲至第一數(shù)據(jù)表，其中，所述第一數(shù)據(jù)表由所述Greenplum數(shù)據(jù)庫模塊在所述集群本地創(chuàng)建；

所述Greenplum數(shù)據(jù)庫模塊，用于在需要展示所述計算結(jié)果時，以與所述預設存儲格式對應的讀取方式，在所述第一數(shù)據(jù)表中查詢所述計算結(jié)果進行展示。