[發明專利]多集群協同數據處理方法、系統、存儲介質及設備

有效

• 申請號: 201710930420.3
• 申請日: 2017-10-09
• 公開（公告）號: CN107679192B
• 公開（公告）日: 2020-09-22
• 發明（設計）人: 楊晨旭;王備;蔡良良;陽維迅
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/25;G06F16/24
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 王濤

1.一種多集群協同數據處理方法，其特征在于，包括：

接收采集數據，并將采集數據轉化為結構化數據；

在Hadoop集群上構建基礎數據共享區，并將結構化數據加載至基礎數據共享區；

根據數據使用場景，利用Hadoop集群、Hadoop聯機處理集群及多個分布式數據庫集群協同處理基礎數據共享區的數據，以提供相應的數據服務，并完成數據處理流程；

其中，根據數據使用場景，利用Hadoop集群、Hadoop聯機處理集群及多個分布式數據庫集群協同處理基礎數據共享區的數據，以提供相應的數據服務，并完成數據處理流程，包括：

對于面向多張大表進行表關聯或交互式查詢的數據訪問的數據使用場景，利用分布式數據庫集群獲取并處理基礎數據共享區的數據，以提供相應的數據訪問服務，并完成數據處理流程；

其中，利用分布式數據庫集群獲取并處理基礎數據共享區的數據，以提供相應的數據訪問服務，包括：

接收來自根據應用場景選定的分布式數據庫集群所對應的客戶端的SQL查詢請求；

選定的分布式數據庫集群的主節點接收并解析SQL查詢請求的SQL語句；

根據解析結果，主節點訪問Hadoop集群的主名稱節點的元數據信息，并獲取相應的數據分布信息；

根據數據分布信息，生成選定的分布式數據庫集群中各數據節點的SQL執行計劃；

主節點將SQL執行計劃分發給選定的分布式數據庫集群的各數據節點。

2.如權利要求1所述的多集群協同數據處理方法，其特征在于，接收采集數據，并將采集數據轉化為結構化數據，包括：

接收結構化的、半結構化的及非結構化的采集數據；

將半結構化的和非結構化的采集數據轉化為結構化的數據，將結構化的采集數據和轉化得到的結構化的數據作為所述結構化數據。

3.如權利要求1所述的多集群協同數據處理方法，其特征在于，在Hadoop集群上構建基礎數據共享區，并將結構化數據加載至基礎數據共享區，包括：

利用Hadoop集群在其存儲區域上構建基礎數據共享區，供Hadoop集群、Hadoop聯機處理集群及多個分布式數據庫集群使用；

按照結構化數據的使用需求，選擇相應的加載算法與保留周期，對結構化數據進行增量數據及存量數據合并，以加載至Hadoop集群的基礎數據共享區。

4.如權利要求1所述的多集群協同數據處理方法，其特征在于，在Hadoop集群上構建基礎數據共享區，并將結構化數據加載至基礎數據共享區，包括：

根據結構化數據的源數據來源方式，利用Hadoop集群在構建的基礎數據共享區中建立相應數據庫；

將結構化數據加載至在基礎數據共享區中建立的相應數據庫中。

5.如權利要求1所述的多集群協同數據處理方法，其特征在于，還包括：

根據預先配置的作業調度信息，判斷是否存在Hadoop集群上運行的批量加工作業配置，如果存在，則對基礎數據共享區的數據運行相應的批量加工處理，計算生成結果數據，并將結果數據存儲至基礎數據共享區。

6.如權利要求1所述的多集群協同數據處理方法，其特征在于，根據數據使用場景，利用Hadoop集群、Hadoop聯機處理集群及多個分布式數據庫集群協同處理基礎數據共享區的數據，以提供相應的數據服務，并完成數據處理流程，包括：

對于高頻、高并發及低延時的聯機數據訪問的數據使用場景，利用Hadoop聯機處理集群獲取并處理基礎數據共享區的數據，以提供相應的數據訪問服務，并完成數據處理流程；

對于無訪問時效要求的數據服務需求的數據使用場景，利用Hadoop集群獲取并處理基礎共享區的數據，以提供相應的數據訪問服務，并完成數據處理流程。