[發明專利]基于SQL的數據處理方法、裝置和設備

在審

• 申請號: 202011610689.1
• 申請日: 2020-12-30
• 公開（公告）號: CN112632170A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 秦瑞
• 申請（專利權）人: 上海中通吉網絡技術有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/28
• 代理公司: 北京細軟智谷知識產權代理有限責任公司 11471
• 代理人: 葛鐘

1.一種基于SQL的數據處理方法，其特征在于，包括：

獲取用戶基于實際需求編寫的抽數SQL，以及，從元數據庫中調取預先創建的Hive表和HBase虛表；其中，所述HBase虛表用于映射HBase實體表；

在Calcite中，結合所述抽數SQL、所述HBase虛表、所述Hive表，生成物理執行計劃，并將所述物理執行計劃發送到Hadoop Yarn；

利用所述Hadoop Yarn調度所述物理執行計劃，讀取所述HBase實體表中的數據寫入所述Hive表中。

2.根據權利要求1所述的基于SQL的數據處理方法，其特征在于，所述在Calcite中，結合所述抽數SQL、所述HBase虛表、所述Hive表，生成物理執行計劃，并將所述物理執行計劃發送到Hadoop Yarn，包括；

在所述Calcite中，結合所述抽數SQL、所述HBase虛表、所述Hive表，生成邏輯執行計劃；

基于所述Calcite中的固定規則和所述Calcite中預先注冊的自定義規則，對所述邏輯執行計劃進行優化；

調用所述Calcite中預先注冊的物理轉換器，將優化后的邏輯執行計劃轉換為所述物理執行計劃。

3.根據權利要求2所述的基于SQL的數據處理方法，其特征在于，所述在所述Calcite中，結合所述抽數SQL、所述HBase虛表、所述Hive表，生成邏輯執行計劃，包括：

在所述Calcite中，基于所述抽數SQL，驗證所述HBase虛表、所述Hive表的基本信息；

驗證通過后，將所述抽數SQL轉換為所述邏輯執行計劃。

4.根據權利要求2所述的基于SQL的數據處理方法，其特征在于，所述方法還包括：

獲取所述用戶基于實際需求編寫的初始自定義規則；

控制所述初始自定義規則繼承RelOptRule類，實現onMatch；

通過實現了RelNode接口的類，將實現onMatch的初始自定義規則注冊到所述Calcite中，得到所述自定義規則。

5.根據權利要求4所述的基于SQL的數據處理方法，其特征在于，所述方法還包括：

獲取初始物理轉換器；

控制所述初始物理轉換器繼承ConverterImpl類，實現EnumerableRel接口；

通過所述實現了RelNode接口的類，將實現了numerableRel接口的初始物理轉換器注冊到所述Calcite中，得到所述物理轉換器。

6.根據權利要求2所述的基于SQL的數據處理方法，其特征在于，所述物理轉換器包括MapReduce物理轉化器，所述物理執行計劃包括MapReduce執行樹；

所述利用所述Hadoop Yarn調度所述物理執行計劃，讀取所述HBase實體表中的數據寫入所述Hive表中，包括：

利用所述Hadoop Yarn調度所述物理執行計劃，獲取所述HBase實體表的快照；

基于所述快照，利用所述Hadoop Yarn調度所述MapReduce執行樹的Mapper讀取所述HBase實體表中的數據；

利用所述Hadoop Yarn調度所述MapReduce執行樹中的Reducer對數據進行處理，并寫入所述Hive表中。

7.一種基于SQL的數據處理裝置，其特征在于，包括：

獲取模塊，用于獲取用戶基于實際需求編寫的抽數SQL，以及，從元數據庫中調取預先創建的Hive表和HBase虛表；其中，所述HBase虛表用于映射HBase實體表；

Calcite模塊，用于在Calcite中，結合所述抽數SQL、所述HBase虛表、所述Hive表，生成物理執行計劃，并將所述物理執行計劃發送到Hadoop Yarn；

物理執行模塊，用于利用所述Hadoop Yarn調度所述物理執行計劃，讀取所述HBase實體表中的數據寫入所述Hive表中。