[發明專利]一種數據處理方法及裝置

在審

• 申請號: 201610490911.6
• 申請日: 2016-06-28
• 公開（公告）號: CN107545005A
• 公開（公告）日: 2018-01-05
• 發明（設計）人: 蔣文
• 申請（專利權）人: 華為軟件技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同達信恒知識產權代理有限公司11291
• 代理人: 馮艷蓮

1.一種數據處理方法，其特征在于，包括：

第一節點服務器接收到數據處理指令后，根據所述數據處理指令生成查詢計劃，并將所述查詢計劃發送至至少一個第二節點服務器，所述查詢計劃用于指示所述第一節點服務器以及所述至少一個第二節點服務器對待處理數據的進行處理；

所述第一節點服務器根據所述查詢計劃，確定所述待處理數據所處的至少一個數據源，并從所述至少一個數據源中獲取所述待處理數據；

所述第一節點服務器獲取所述待處理數據的分布規則，并按照所述分布規則，對所述待處理數據進行拆分，生成多個部分待處理數據；以及將所述多個部分待處理數據分布至所述第一節點服務器和所述至少一個第二節點服務器中；

所述第一節點服務器根據所述查詢計劃以及分布至自身的部分待處理數據，生成第一運算結果；

所述第一節點服務器獲取所述至少一個第二節點服務器中每個第二節點服務器的第二運算結果，其中，任意一個第二節點服務器的第二運算結果為所述第二節點服務器根據所述查詢計劃以及分布至所述第二節點服務器的部分待處理數據生成的；

所述第一節點服務器根據所述第一運算結果和所述每個第二節點服務器的第二運算結果，確定所述數據處理指令對應的運算結果。

2.如權利要求1所述的方法，其特征在于，所述第一節點服務器根據所述查詢計劃，確定所述待處理數據所處的至少一個數據源，包括：

所述第一節點服務器獲取所述查詢計劃中包括的所述至少一個數據源的標識；

所述第一節點服務器根據所述至少一個數據源的標識，確定對應的所述至少一個數據源。

3.如權利要求1或2所述的方法，其特征在于，所述第一節點服務器從所述至少一個數據源中獲取所述待處理數據，包括：

所述第一節點服務器根據存儲的元數據連接所述至少一個數據源，所述元數據包括所述至少一個數據源的連接信息；

所述第一節點服務器根據所述查詢計劃，獲取所述至少一個數據源中的所述待處理數據。

4.如權利要求3所述的方法，其特征在于，所述第一節點服務器根據所述查詢計劃，獲取所述至少一個數據源中的所述待處理數據，包括：

所述第一節點服務器獲取所述查詢計劃中包括的所述待處理數據的描述信息；

所述第一節點服務器根據所述待處理數據的描述信息，從所述至少一個數據源中獲取所述待處理數據。

5.如權利要求1-4任一項所述的方法，其特征在于，所述第一節點服務器獲取所述分布規則，包括：

所述第一節點服務器根據所述查詢計劃中包含的關聯條件，生成所述分布規則；或者

所述第一節點服務器獲取存儲的所述分布規則。

6.如權利要求1-5任一項所述的方法，其特征在于，所述第一節點服務器根據所述第一運算結果和所述每個第二節點服務器的第二運算結果，確定所述數據處理指令對應的運算結果，包括：

所述第一節點服務器對所述第一運算結果和所述每個第二節點服務器的第二運算結果進行數據聚合或排序處理，生成所述數據處理指令對應的運算結果。

7.如權利要求1-6任一項所述的方法，其特征在于，所述數據處理指令為結構化查詢語言SQL指令。

8.一種數據處理方法，其特征在于，包括：

第二節點服務器接收第一節點服務器發送的查詢計劃和部分待處理數據；

所述第二節點服務器根據所述查詢計劃以及所述部分待處理數據，生成所述第二運算結果；

所述第二節點服務器將所述第二運算結果發送至所述第一節點服務器。