[發明專利]大數據處理框架源數據的統一訪問通道的實現方法

在審

• 申請號: 201810029082.0
• 申請日: 2018-01-12
• 公開（公告）號: CN108256046A
• 公開（公告）日: 2018-07-06
• 發明（設計）人: 卞信銓
• 申請（專利權）人: 福建星瑞格軟件有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 福州市鼓樓區京華專利事務所(普通合伙) 35212
• 代理人: 王美花

1.一種大數據處理框架源數據的統一訪問通道的實現方法，其特征在于：包括：

在任務執行模塊中對接了多種大數據處理框架；并在數據獲取模塊中設置一條統一訪問通道，所述統一訪問通道對接多種數據源通道；

所述任務執行模塊通過大數據處理框架接收任務，然后向所述數據獲取模塊請求源數據；

所述數據獲取模塊收到請求時，由所述統一訪問通道根據所匹配數據源通道訪問源數據存儲介質，獲取源數據供所述任務執行模塊執行任務使用。

2.根據權利要求1所述的一種大數據處理框架源數據的統一訪問通道的實現方法，其特征在于：所述大數據處理框架向所述數據獲取模塊請求源數據時，只需將具體要訪問的RDBMS服務器的IP、用戶名和密碼以及訪問的對象傳入所述統一訪問通道，由所述統一訪問通道根據所匹配數據源通道獲取源數據。

3.根據權利要求2所述的一種大數據處理框架源數據的統一訪問通道的實現方法，其特征在于：傳入所述統一訪問通道的還包括訪問方式，若訪問方式為并行訪問，則所述統一訪問通道提供兩種訪問模式：

(1)提供用于劃分并行的字段，并提供這個字段的最大值、最小值和并行度，并自動劃分并行訪問獲取數據；

(2)提供每個并行進行獲取源數據的謂詞，并自動劃分并行訪問獲取數據。

4.根據權利要求1所述的一種大數據處理框架源數據的統一訪問通道的實現方法，其特征在于：所述任務執行模塊中對接的大數據處理框架包括Spark、Flink、Hive、Pig、GraphLab、Cassandra、MongoDB、Impala、Greenplum、HAWQ、Storm、ElasticSearch、Solr、Hbase、MySQL。

5.根據權利要求1所述的一種大數據處理框架源數據的統一訪問通道的實現方法，其特征在于：所述統一訪問通道對接的數據源通道種類包括JDBC通道、Json通道、TextFile通道、Parquet通道、SequenceFile通道、CSV通道、OrcFile通道、Avro通道以及其他通道。

6.根據權利要求1所述的一種大數據處理框架源數據的統一訪問通道的實現方法，其特征在于：所述任務執行模塊通過大數據處理框架接收任務后，根據大數據處理框架信息和任務信息獲取對應的執行參數，再通過執行參數構建框架的任務上下文，然后在任務上下文中向所述數據獲取模塊請求源數據。

7.根據權利要求1或4所述的一種大數據處理框架源數據的統一訪問通道的實現方法，其特征在于：所述源數據的數據源為大數據存儲框架或者其他存儲框架，還或者為大數據處理框架。