[發明專利]一種數據處理方法及系統

有效

• 申請號: 201480000560.5
• 申請日: 2014-04-04
• 公開（公告）號: CN105210059B
• 公開（公告）日: 2018-12-07
• 發明（設計）人: 李俊;施會華;方帆
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 劉芳

1.一種數據處理方法，其特征在于，包括：

根據獲取的查詢語句形成執行樹，其中，所述執行樹的每個樹節點為一個算子；

遍歷所述執行樹上的算子獲取各所述算子的分配策略，其中，所述分配策略根據設定的分配規則表中各類型的所述算子對應各處理器的性能參數確定，所述處理器包括異構處理器；

根據各所述算子的所述分配策略分別將各所述算子分配到處理器中，以使得所述處理器對分配到的所述算子執行計算；

其中，所述性能參數為性能分，或，所述性能參數為權重值和性能分；其中，所述權重值為所述性能分的權重，是根據影響性能因子確定的，所述影響性能因子為數據量、并行量、硬件型號、網絡速度之中的至少一種。

2.根據權利要求1所述的方法，其特征在于，所述根據獲取的查詢語句形成執行樹之前，還包括：

根據算子的類型得到各類型算子對應各處理器的性能參數；

將各類型算子對應各處理器的性能參數寫入分配規則表，其中，所述算子的類型至少包括選擇、投影和分組。

3.根據權利要求1所述的方法，其特征在于，還包括：

對所述性能分進行動態更新，其中，所述性能分的動態更新為根據一算子在各所述處理器上的運行速度進行歸一化后的數值，更新分配規則表中各所述處理器對應所述算子的性能分。

4.根據權利要求1～3任一項所述的方法，其特征在于，

所述性能參數為所述權重值和所述性能分；

所述分配策略根據設定的分配規則表中各處理器對應各所述算子的性能參數確定包括：

分配策略根據設定的分配規則表中各所述處理器對應各所述算子的權重值和性能分的乘積，將乘積最高的所述權重值和所述性能分對應的處理器確定為所述算子的處理器。

5.根據權利要求1～3任一項所述的方法，其特征在于，所述根據各所述算子的所述分配策略分別將各所述算子分配到處理器中包括：

根據各所述算子的所述分配策略確定為各所述算子分配的所述處理器；

根據各所述處理器的載荷情況和/或各所述算子的可并行情況對為各所述算子分配的處理器進行調整。

6.根據權利要求5所述的方法，其特征在于，所述根據各所述算子的可并行情況對為各所述算子分配的處理器進行調整包括：

各所述算子中有至少兩個算子為可并行計算的算子，則將所述至少兩個算子分配到不同的所述處理器執行計算；或，

各所述算子中有至少兩個算子為串行計算的算子，則將所述至少兩個算子分配到同一個所述處理器執行計算；或，

各所述算子之間無關聯，則將各所述算子分配到不同的所述處理器執行計算。

7.一種數據處理系統，其特征在于，包括：

執行樹構建模塊，用于根據獲取的查詢語句形成執行樹，其中，所述執行樹的每個樹節點為一個算子；

分配模塊，用于遍歷所述執行樹上的算子獲取各所述算子的分配策略，其中，所述分配策略根據設定的分配規則表中各類型的所述算子對應各處理器的性能參數確定，所述處理器包括異構處理器；

執行模塊，用于根據各所述算子的所述分配策略分別將各所述算子分配到處理器中，以使得所述處理器對分配到的所述算子執行計算；

其中，所述性能參數為性能分，或，所述性能參數為權重值和性能分；其中，所述權重值為所述性能分的權重，是根據影響性能因子確定的，所述影響性能因子為數據量、并行量、硬件型號、網絡速度之中的至少一種。

8.根據權利要求7所述的系統，其特征在于，還包括：

獲取模塊，用于根據算子的類型得到各類型算子對應各處理器的性能參數；

分配規則表構建模塊，用于將各類型算子對應各處理器的性能參數寫入分配規則表，其中，所述算子的類型至少包括選擇、投影和分組。