[發明專利]一種SparkSQL系統中的數據處理方法和裝置

在審

• 申請號: 201611028735.0
• 申請日: 2016-11-18
• 公開（公告）號: CN106599062A
• 公開（公告）日: 2017-04-26
• 發明（設計）人: 李遠策;李振煒;白泉;王鋒;武志剛
• 申請（專利權）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京市隆安律師事務所11323
• 代理人: 權鮮枝,何立春

1.一種SparkSQL系統中的數據處理方法，其中，該方法包括：

為SparkSQL系統中的數據表的指定列建立索引；

當接收到對數據表的查詢請求時，判斷該請求是否命中具有索引的列；

如果命中，則使用命中的列的索引完成本次查詢請求；

如果未命中，則通過遍歷所述查詢請求對應的數據表完成本次查詢請求。

2.如權利要求1所述的方法，其中，所述為SparkSQL系統中的數據表的指定列建立索引包括：

為數據表的指定列建立JSON格式的索引，所述索引包括：索引號和數據位置標識。

3.如權利要求2所述的方法，其中，

所述索引號包括：指定列的列名、該條索引對應的列值；

所述數據位置標識包括：該數據表的存儲路徑、該條索引對應的數據在該數據表中的偏移量。

4.如權利要求2或3所述的方法，其中，所述為SparkSQL系統中的數據表的指定列建立索引還包括：

將建立的索引保存在指定搜索服務器的文件系統中。

5.如權利要求4所述的方法，其中，所述使用命中的列的索引完成本次查詢請求包括：

將所述查詢請求發送至所述指定搜索服務器，接收所述指定搜索服務器返回的查詢結果；其中，所述查詢結果為空，或者為一個或多個數據位置標識；

當所述查詢結果不為空時，根據所述指定搜索服務器返回的一個或多個數據位置標識，從數據表中讀取與相應數據位置標識匹配的數據。

6.如權利要求1-5中任一項所述的方法，其中，所述判斷該請求是否命中具有索引的列包括：

從所述查詢請求中解析出待查詢的表名和列名；

根據所述待查詢的表名，判斷相應的數據表是否存在與待查詢的列名對應的索引，若存在則判斷為命中，若不存在則判斷為未命中。

7.如權利要求6所述的方法，其中，所述為SparkSQL系統中的數據表的指定列建立索引還包括：

在該數據表的表結構中標識已建立索引的列；

所述根據所述待查詢的表名，判斷相應的數據表是否存在與待查詢的列名對應的索引包括：

根據所述待查詢的表名，從相應數據表的表結構中讀取該數據表已建立的索引的列，根據所述待查詢的列名判斷所述表結構中是否存在與該列名對應的索引。

8.一種SparkSQL系統中的數據處理裝置，其中，該裝置包括：

索引建立單元，適于為SparkSQL系統中的數據表的指定列建立索引；

請求處理單元，適于在接收到對數據表的查詢請求時，判斷該請求是否命中具有索引的列；如果命中，則使用命中的列的索引完成本次查詢請求；如果未命中，則通過遍歷所述查詢請求對應的數據表完成本次查詢請求。

9.如權利要求8所述的裝置，其中，

所述索引建立單元，適于為數據表的指定列建立JSON格式的索引，所述索引包括：索引號和數據位置標識。

10.如權利要求9所述的裝置，其中，

所述索引號包括：指定列的列名、該條索引對應的列值；

所述數據位置標識包括：該數據表的存儲路徑、該條索引對應的數據在該數據表中的偏移量。