[發明專利]一種數據處理方法及裝置

在審

• 申請號: 201310653385.7
• 申請日: 2013-12-04
• 公開（公告）號: CN104699697A
• 公開（公告）日: 2015-06-10
• 發明（設計）人: 田雷
• 申請（專利權）人: 中國移動通信集團天津有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 張振偉;王黎延

1.一種數據處理方法，該方法應用于服務器中，所述服務器包括兩個以上計算單元；其特征在于，所述方法包括：

接收客戶端發送的第一消息；

對所述第一消息進行解析，得到所述第一消息對應的實體對象；

獲取所述實體對象的相關參數；

基于預先訓練的成本模型以及所述相關參數，計算所述實體對象的處理成本；

根據預設的成本策略解析所述處理成本，并為所述處理成本選擇對應的計算單元；

通過所述處理成本對應的計算單元對所述實體對象進行處理。

2.根據權利要求1所述的數據處理方法，其特征在于，所述兩個以上計算單元至少包括：高性能計算單元、中性能計算單元；所述處理成本至少包括：通過所述高性能計算單元處理的第一處理成本、通過所述中性能計算單元處理的第二處理成本；相應地，

所述根據預設的成本策略解析所述處理成本，并為所述處理成本選擇對應的計算單元；通過所述處理成本對應的計算單元對所述實體對象進行處理；包括：

比較所述第一處理成本與所述第二處理成本，當所述第一處理成本大于或等于所述第二處理成本時，通過所述中性能計算單元處理所述實體對象；

當所述第一處理成本與第二處理成本滿足以下公式時，通過所述高性能計算單元處理所述實體對象；所述公式為：

W1≤τ×W2

其中，W1為第一處理成本；W2為第二處理成本；1≤τ≤1.5。

3.根據權利要求2所述的數據處理方法，其特征在于，所述基于預先訓練的成本模型以及所述相關參數，計算所述實體對象的處理成本，包括：

將所述相關參數帶入至所述高性能計算單元對應的所述成本模型中，計算得到所述實體對象的處理成本，并作為第一處理成本；

將所述相關參數帶入至所述中性能計算單元對應的所述成本模型中，計算得到所述實體對象的處理成本，并作為第二處理成本。

4.根據權利要求2所述的數據處理方法，其特征在于，所述方法還包括：

將所述相關參數帶入至所述高性能計算單元對應的所述成本模型中，計算得到所述實體對象的處理成本，并作為第一成本；

將所述相關參數帶入至所述中性能計算單元對應的所述成本模型中，計算得到所述實體對象的處理成本，并作為第二成本；

當所述實體對象對應的數據量位于所述高性能計算模時，基于預先訓練的成本模型以及所述相關參數，計算所述實體對象對應的數據量從所述高性能計算單元傳輸至所述中性能計算單元的傳輸成本，并作為第三成本；

當所述實體對象對應的數據量位于所述中性能計算單元時，基于預先訓練的成本模型以及所述相關參數，計算所述實體對象對應的數據量從所述中性能計算單元傳輸至所述高性能計算模的傳輸成本，并作為第四成本；

基于所述第一成本以及所述第四成本，確定出第一處理成本；

基于所述第二成本以及所述第三成本，確定出第二處理成本。

5.根據權利要求1至4任一項所述的數據處理方法，其特征在于，所述方法還包括：

針對處理場景、處理數據量以及所述計算單元配置一個以上測試實例；

對所述一個以上測試實例分別進行處理，并獲取所述第一以上測試實例的處理成本；

采用反向傳播BP神經網絡算法，對所述一個以上測試實例的處理成本與相關參數的關系進行訓練以及擬合，得到所述成本模型。

6.根據權利要求1至4任一項所述的數據處理方法，其特征在于，所述實體對象的相關參數至少包括以下信息的其中之一：存儲位置、數據量、維度字段、計算字段。

7.一種數據處理裝置，其特征在于，所述裝置包括兩個以上計算單元；所述系統還包括：接收單元、解析單元、獲取單元、第一處理單元、選擇單元；其中，

所述接收單元，用于接收客戶端發送的第一消息；

所述解析單元，用于對所述第一消息進行解析，得到所述第一消息對應的實體對象；

所述獲取單元，用于獲取所述實體對象的相關參數；

所述第一處理單元，用于基于預先訓練的成本模型以及所述相關參數，計算所述實體對象的處理成本；

所述選擇單元，用于根據預設的成本策略解析所述處理成本，并為所述處理成本選擇對應的計算單元；通知所述處理成本對應的計算單元對所述實體對象進行處理；

所述計算單元，用于收到所述選擇單元的通知后，對所述實體對象進行處理。