[發明專利]一種數據處理方法及裝置

在審

• 申請號: 201610490911.6
• 申請日: 2016-06-28
• 公開（公告）號: CN107545005A
• 公開（公告）日: 2018-01-05
• 發明（設計）人: 蔣文
• 申請（專利權）人: 華為軟件技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同達信恒知識產權代理有限公司11291
• 代理人: 馮艷蓮

技術領域

本發明涉及計算機技術領域，尤其涉及一種數據處理方法及裝置。

背景技術

隨著大數據時代的到來，用戶根據具體應用的需要對數據進行差異化存儲，即將數據存儲到多個不同的數據庫中。由于應用系統建設時的歷史原因，以及數據的特性等，應用系統的數據層中的數據庫類型不同，數據庫的類型可以包括甲骨文(Oracle)數據庫、DB2數據庫，以及非關系型數據庫(NoSQL數據庫)，但是不同數據庫通常會維護在不同實體設備中，這導致對不同數據庫中的數據進行關聯計算時，計算效率太低。

分布式數據庫可以采用多節點存儲和計算技術，使應用系統實現高性能計算成為可能。在采用分布式數據庫中，包括多個安裝有數據庫運行實例的服務器，且每個服務器均連接有磁盤存儲設備，應用系統可以采用哈希算法，將數據分布到所述多個服務器連接的磁盤存儲設備中，其中在每個磁盤存儲設備存儲數據時，只能根據一個鍵值分布。

在所述應用系統在通過所述分布式數據庫進行計算時，每個服務器可以通過結構化查詢語言(Structured Query Language，SQL)指令完成數據的運算操作，然后將各自的運算結果上傳至中心服務器，使中心服務器對多個服務器的運算結果進行數據合并。

由于分布式數據庫中的每個服務器只能對各自連接的磁盤存儲器中的數據進行運算處理，因此，每個服務器在進行計算前，待計算的數據均需要先存儲到各自連接的磁盤存儲器中，因此，整個分布式數據庫的計算能力沒辦法單獨按需要橫向擴展，同時由于數據存儲在磁盤存儲器中，每個服務器的計算能力受限于該磁盤存儲器本身的輸入輸出(Input/Output，I/O)能力，進而導致整個分布式數據系統的計算效率較低。

發明內容

本發明提供一種數據處理方法及裝置，用以解決現有技術中的分布式數據系統計算效率低的問題。

本發明提供的具體技術方案如下：

第一方面，本發明實施例提供了一種數據處理方法，該方法應用于分布式數據系統，該方法包括：

第一節點服務器將接收到的數據處理指令進行解析生成查詢計劃，并將所述查詢計劃分布至至少一個第二節點服務器；所述第一節點服務器根據所述查詢計劃，從所述待處理數據所處的至少一個數據源中獲取所述待處理數據；再按照特定的分布規則，將所述待處理數據拆分為多個部分待處理數據，并將所述多個部分待處理數據分布至所述第一節點服務器和所述至少一個第二節點服務器中；所述第一節點服務器根據所述查詢計劃以及分布至自身的部分待處理數據，生成第一運算結果，以及獲取每個第二節點服務器的第二運算結果；最終，所述第一節點服務器可以根據所述第一運算結果和所述每個第二節點服務器的第二運算結果，確定所述數據處理指令對應的運算結果。其中，所述查詢計劃用于指示所述第一節點服務器以及所述至少一個第二節點服務器對待處理數據的進行處理；任意一個第二節點服務器的第二運算結果為所述第二節點服務器根據所述查詢計劃以及分布至所述第二節點服務器的部分待處理數據生成的。

通過上述方法，節點服務器可以從多個數據源中獲取待處理數據并將所述待處理數據存儲到本地內存中，從而可以實現分布式關聯計算，使節點服務器的計算能力不受限于數據源本身的I/O能力，且該節點服務器針對一個數據處理指令進行數據處理過程中，可以將獲取的待處理數據拆分，并將拆分后的多個部分待處理數據，以及數據處理指令對應的查詢計劃分布至多個節點服務器(包含所述節點服務器)，因此，該方法可以將原來由一個節點服務器處理的待處理數據的計算壓力分解到多個節點服務器上，實現了節點服務器的計算能力的橫向擴展，即實現數據大規模并行處理，并且節點服務器可以從多個數據源中獲取待處理數據并將所述待處理數據存儲到本地內存中，使其計算能力不受限于數據源的I/O能力，提高了分布式數據系統的計算效率。

在一個可能的設計中，所述第一節點服務器在執行根據所述查詢計劃，確定所述待處理數據所處的至少一個數據源時，具體包括以下步驟：首先，獲取所述查詢計劃中包括的所述至少一個數據源的標識；然后，根據所述至少一個數據源的標識，確定對應的所述至少一個數據源。

通過上述方法，所述第一節點服務器可以準確的確定所述查詢計劃對應的待處理數據所處的數據源，從而可以獲取所述待處理數據。