[發明專利]一種SparkSQL系統中的數據處理方法和裝置

有效

• 申請號: 201611016865.2
• 申請日: 2016-11-18
• 公開（公告）號: CN106844415B
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 李遠策;李振煒
• 申請（專利權）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2455
• 代理公司: 北京恒博知識產權代理有限公司 11528
• 代理人: 范勝祥

1.一種SparkSQL系統中的數據處理方法，其中，該方法包括：

當接收到對SparkSQL系統中的數據表的查詢請求時，判斷該請求是否命中聚合查詢預處理任務的列；

如果命中，則將所述查詢請求發送至聯機分析處理OLAP引擎，接收所述OLAP引擎返回的聚合查詢結果；

如果未命中，則調用SparkSQL系統的SQL查詢模塊完成本次查詢請求；

該方法還包括：

為SparkSQL系統中的數據表的指定列建立聚合查詢預處理任務，以使所述OLAP引擎根據所述聚合查詢預處理任務，獲取所述數據表的數據，對所述數據表的指定列進行聚合查詢，得到聚合查詢結果；所述為SparkSQL系統中的數據表的指定列建立聚合查詢預處理任務包括：

當所述數據表的指定列的數據發生改變時，將增量數據以數據流方式推送至所述OLAP引擎，

和/或，

記錄聚合查詢預處理任務執行的時間點，在接收到所述OLAP引擎發送的數據獲取請求時，將所述數據表的全部數據，或所述數據表自上一記錄的時間點開始，因指定列的數據改變產生的增量數據返回給所述OLAP引擎。

2.如權利要求1所述的方法，其中，所述為SparkSQL系統中的數據表的指定列建立聚合查詢預處理任務包括：

選定所述OLAP引擎中的至少一種聚合查詢方法，和/或自定義至少一種聚合查詢方法。

3.如權利要求1所述的方法，其中，所述判斷該請求是否命中聚合查詢預處理任務的列包括：

從所述查詢請求中解析出待查詢的表名和列名；

根據所述待查詢的表名，判斷相應的數據表是否存在與待查詢的列名對應的聚合查詢預處理任務，若存在則判斷為命中，若不存在則判斷為未命中。

4.如權利要求3所述的方法，其中，所述從所述查詢請求中解析出待查詢的表名和列名包括：

從所述查詢請求中解析出類型為聚合查詢請求的子請求；

從所述子請求中解析出待查詢的表名和列名。

5.如權利要求3所述的方法，其中，所述為SparkSQL系統中的數據表的指定列建立聚合查詢預處理任務還包括：

在該數據表的表結構中標識聚合查詢預處理任務的列；

所述根據所述待查詢的表名，判斷相應的數據表是否存在與待查詢的列名對應的聚合查詢預處理任務包括：

根據所述待查詢的表名，從相應數據表的表結構中讀取該數據表的聚合查詢預處理任務的列，根據所述待查詢的列名判斷所述表結構中是否存在與該列名對應的聚合查詢預處理任務。

6.一種SparkSQL系統中的數據處理方法，其中，該方法包括：

接收為SparkSQL系統中的數據表的指定列建立的聚合查詢預處理任務；

根據所述聚合查詢預處理任務，獲取所述數據表的數據并對所述數據表的指定列進行聚合查詢，得到聚合查詢結果；

接收對SparkSQL系統中的數據表的查詢請求，根據該請求查找相應的聚合查詢結果；

將查找到的聚合查詢結果返回給所述請求的發送方；

所述根據所述聚合查詢預處理任務，獲取所述數據表的數據并對所述數據表的指定列進行聚合查詢，得到聚合查詢結果包括：

接收以數據流方式推送的，當所述數據表的指定列的數據發生改變時產生的增量數據，和/或，在聚合查詢預處理任務執行的時間點發送數據獲取請求，接收返回的所述數據表的全部數據，或所述數據表自上一次任務執行的時間點開始，因指定列的數據改變產生的增量數據；

根據已接收到的所述數據表的最新數據，對數據表的指定列進行聚合查詢，得到聚合查詢結果。

7.如權利要求6所述的方法，其中，根據所述聚合查詢預處理任務，獲取所述數據表的數據并對所述數據表的指定列進行聚合查詢，得到聚合查詢結果包括：

根據選定的至少一種聚合查詢方法，和/或自定義的至少一種聚合查詢方法，利用獲取的所述數據表的數據，對所述數據表的指定列進行聚合查詢，得到聚合查詢結果。