[發明專利]一種進行數據處理的方法和裝置

有效

• 申請號: 201680031201.5
• 申請日: 2016-11-30
• 公開（公告）號: CN108463813B
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 常玉立;王海彬;程捷
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F16/245
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 肖慶武

1.一種進行數據處理的方法，其特征在于，所述方法包括：

接收目標業務的數據處理請求，其中，所述數據處理請求的待處理數據包含多個鍵值對；

根據所述目標業務的標識、所述待處理數據的數據量、以及所述待處理數據的鍵的分布情況，確定所述數據處理請求的運行特征值，其中，所述運行特征值包含所述數據處理請求的每個數據處理階段的復雜度，以及所述每個數據處理階段的數據輸出與數據輸入的比值；

根據所述運行特征值，確定所述每個數據處理階段的資源配置參數值。

2.根據權利要求1所述的方法，其特征在于，所述根據所述運行特征值，確定所述每個數據處理階段的資源配置參數值，包括：

根據性能預測模型和所述運行特征值，確定所述每個數據處理階段的資源配置參數值，其中，所述性能預測模型由歷史數據訓練得到。

3.根據權利要求2所述的方法，其特征在于，所述確定所述每個數據處理階段的資源配置參數值之后，所述方法還包括：

根據所述資源配置參數值，運行所述數據處理請求；

統計所述每個數據處理階段的實際運行特征值和實際業務性能值；

根據所述資源配置參數值、所述實際運行特征值和所述實際業務性能值調整所述性能預測模型。

4.根據權利要求2所述的方法，其特征在于，所述方法還包括：

每當接收到數據處理請求時，根據當前的數據處理請求的第一預設資源配置參數值，運行數據處理請求，并統計當前的數據處理請求的第一實際運行特征值、所述第一預設資源配置參數值和第一實際業務性能值；

當接收到的數據處理請求的數目達到第一預設數目時，基于第一預設數目個數據處理請求的實際運行特征值、預設資源配置參數值和實際業務性能值，對預設的性能預測模型基準式進行訓練，得到所述性能預測模型；

將所述性能預測模型進行存儲。

5.根據權利要求4所述的方法，其特征在于，所述將所述性能預測模型進行存儲，包括：

每當接收到數據處理請求時，基于當前的數據處理請求的第二預設資源配置參數值，運行數據處理請求，并統計當前的數據處理請求的第二實際運行特征值和第二實際業務性能值；

根據所述性能預測模型和所述第二實際運行特征值，確定當前的數據處理請求的第三業務性能值；

根據所述第二實際業務性能值和確定出的所述第三業務性能值之間的差值，確定所述性能預測模型的準確度，得到所述當前的數據處理請求下所述性能預測模型的準確度；

當得到所述性能預測模型后接收到的數據處理請求的數目達到第二預設數目時，根據第二預設數目個數據處理請求下所述性能預測模型的準確度，計算所述性能預測模型的平均準確度；

如果所述平均準確度達到預設準確度閾值，則將所述性能預測模型進行存儲。

6.一種服務器，其特征在于，所述服務器包括收發器和處理器，其中：

收發器，用于接收目標業務的數據處理請求，其中，所述數據處理請求的待處理數據包含多個鍵值對；

處理器，用于根據所述目標業務的標識、所述待處理數據的數據量、以及所述待處理數據的鍵的分布情況，確定所述數據處理請求的運行特征值，其中，所述運行特征值包含所述數據處理請求的每個數據處理階段的復雜度，以及所述每個數據處理階段的數據輸出與數據輸入的比值；根據所述運行特征值，確定所述每個數據處理階段的資源配置參數值。

7.根據權利要求6所述的服務器，其特征在于，所述處理器，用于：

根據性能預測模型和所述運行特征值，確定所述每個數據處理階段的資源配置參數值，其中，所述性能預測模型由歷史數據訓練得到。

8.根據權利要求7所述的服務器，其特征在于，所述處理器，還用于：

確定所述每個數據處理階段的資源配置參數值之后，根據所述資源配置參數值，運行所述數據處理請求；

統計所述每個數據處理階段的實際運行特征值和實際業務性能值；

根據所述資源配置參數值、所述實際運行特征值和所述實際業務性能值調整所述性能預測模型。