[發明專利]一種數據處理方法及裝置

在審

• 申請號: 201310653385.7
• 申請日: 2013-12-04
• 公開（公告）號: CN104699697A
• 公開（公告）日: 2015-06-10
• 發明（設計）人: 田雷
• 申請（專利權）人: 中國移動通信集團天津有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 張振偉;王黎延

技術領域

本發明涉及數據處理技術，尤其涉及一種數據處理方法及裝置。

背景技術

目前的數據查詢系統的架構為客戶端/服務器（C/S，Client/Server）架構或者瀏覽器/服務器（B/S，Browser/Server）架構，其中，服務器處理數據一般有兩種實現形式：

第一種實現形式為單一數據庫形式，即服務器對應的數據庫為單一類型，例如，甲骨文數據庫（oracle）、關系型數據庫管理系統（mysql）等，服務器針對客戶端或者瀏覽器的各種查詢請求都統一在單一的數據庫中進行處理；

第二種實現形式為混搭數據庫形式，即服務器對應的數據庫為混合類型，服務器根據客戶端或者瀏覽器的查詢請求，在不同的數據庫進行相應的處理；例如，關系型數據庫執行結構化數據計算，分布式系統基礎架構（hadoop）處理非結構化數據計算。

為了提高服務器對查詢請求的處理能力，需要對服務器的硬件設備進行擴容，然而，該方式不僅耗費大量的資源，且線性擴容一般只能帶來處理能力的線性增長，服務器的利用率較低，用戶查詢所需的時間仍舊很長，影響用戶的體驗。

發明內容

有鑒于此，本發明的主要目的在于提供一種數據處理方法及裝置，能夠提高服務器的查詢處理能力，有效提高服務器的利用率，提升用戶的查詢體驗。

為達到上述目的，本發明的技術方案是這樣實現的：

一種數據處理方法，該方法應用于服務器中，所述服務器包括兩個以上計算單元；所述方法包括：

接收客戶端發送的第一消息；

對所述第一消息進行解析，得到所述第一消息對應的實體對象；

獲取所述實體對象的相關參數；

基于預先訓練的成本模型以及所述相關參數，計算所述實體對象的處理成本；

根據預設的成本策略解析所述處理成本，并為所述處理成本選擇對應的計算單元；

通過所述處理成本對應的計算單元對所述實體對象進行處理。

優選地，所述兩個以上計算單元至少包括：高性能計算單元、中性能計算單元；所述處理成本至少包括：通過所述高性能計算單元處理的第一處理成本、通過所述中性能計算單元處理的第二處理成本；相應地，

所述根據預設的成本策略解析所述處理成本，并為所述處理成本選擇對應的計算單元；通過所述處理成本對應的計算單元對所述實體對象進行處理；包括：

比較所述第一處理成本與所述第二處理成本，當所述第一處理成本大于或等于所述第二處理成本時，通過所述中性能計算單元處理所述實體對象；

當所述第一處理成本與第二處理成本滿足以下公式時，通過所述高性能計算單元處理所述實體對象；所述公式為：

W1≤τ×W2

其中，W1為第一處理成本；W2為第二處理成本；1≤τ≤1.5。

優選地，所述基于預先訓練的成本模型以及所述相關參數，計算所述實體對象的處理成本，包括：

將所述相關參數帶入至所述高性能計算單元對應的所述成本模型中，計算得到所述實體對象的處理成本，并作為第一處理成本；

將所述相關參數帶入至所述中性能計算單元對應的所述成本模型中，計算得到所述實體對象的處理成本，并作為第二處理成本。

優選地，所述方法還包括：將所述相關參數帶入至所述高性能計算單元對應的所述成本模型中，計算得到所述實體對象的處理成本，并作為第一成本；

將所述相關參數帶入至所述中性能計算單元對應的所述成本模型中，計算得到所述實體對象的處理成本，并作為第二成本；

當所述實體對象對應的數據量位于所述高性能計算模時，基于預先訓練的成本模型以及所述相關參數，計算所述實體對象對應的數據量從所述高性能計算單元傳輸至所述中性能計算單元的傳輸成本，并作為第三成本；

當所述實體對象對應的數據量位于所述中性能計算單元時，基于預先訓練的成本模型以及所述相關參數，計算所述實體對象對應的數據量從所述中性能計算單元傳輸至所述高性能計算模的傳輸成本，并作為第四成本；

基于所述第一成本以及所述第四成本，確定出第一處理成本；

基于所述第二成本以及所述第三成本，確定出第二處理成本。

優選地，所述方法還包括：針對處理場景、處理數據量以及所述計算單元配置一個以上測試實例；

對所述一個以上測試實例分別進行處理，并獲取所述第一以上測試實例的處理成本；

采用反向傳播BP神經網絡算法，對所述一個以上測試實例的處理成本與相關參數的關系進行訓練以及擬合，得到所述成本模型。