[發(fā)明專利]一種進(jìn)行數(shù)據(jù)處理的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201680031201.5
• 申請(qǐng)日: 2016-11-30
• 公開（公告）號(hào): CN108463813B
• 公開（公告）日: 2020-12-04
• 發(fā)明（設(shè)計(jì)）人: 常玉立;王海彬;程捷
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06F11/34
• 分類號(hào): G06F11/34;G06F16/245
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 肖慶武

本發(fā)明實(shí)施例公開了一種進(jìn)行數(shù)據(jù)處理的方法和裝置，屬于互聯(lián)網(wǎng)技術(shù)領(lǐng)域。所述方法包括：接收目標(biāo)業(yè)務(wù)的數(shù)據(jù)處理請(qǐng)求，其中，數(shù)據(jù)處理請(qǐng)求的待處理數(shù)據(jù)包含多個(gè)鍵值對(duì)；根據(jù)目標(biāo)業(yè)務(wù)的標(biāo)識(shí)、待處理數(shù)據(jù)的數(shù)據(jù)量、以及待處理數(shù)據(jù)的鍵的分布情況，確定數(shù)據(jù)處理請(qǐng)求的運(yùn)行特征值，其中，運(yùn)行特征包含所述數(shù)據(jù)處理請(qǐng)求的每個(gè)數(shù)據(jù)處理階段的復(fù)雜度，以及每個(gè)數(shù)據(jù)數(shù)據(jù)處理階段的數(shù)據(jù)輸出與數(shù)據(jù)輸入的比值；根據(jù)運(yùn)行特征值，確定每個(gè)數(shù)據(jù)處理階段的資源配置參數(shù)值。本申請(qǐng)通過自動(dòng)計(jì)算該數(shù)據(jù)處理請(qǐng)求的數(shù)據(jù)處理階段的資源配置參數(shù)值，無需運(yùn)行數(shù)據(jù)處理請(qǐng)求前，技術(shù)人員對(duì)多個(gè)資源配置參數(shù)一一輸入其資源配置參數(shù)值，進(jìn)而，可以提高配置效率。

技術(shù)領(lǐng)域

本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，特別涉及一種進(jìn)行數(shù)據(jù)處理的方法和裝置。

背景技術(shù)

為提高數(shù)據(jù)處理的速度，技術(shù)人員往往使用分布式數(shù)據(jù)處理系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行處理，其中，分布式數(shù)據(jù)處理系統(tǒng)可以將數(shù)據(jù)切分為多個(gè)預(yù)設(shè)大小的數(shù)據(jù)塊，并將其存儲(chǔ)到多個(gè)節(jié)點(diǎn)上(其中，分布式數(shù)據(jù)處理系統(tǒng)是包括多個(gè)服務(wù)器的服務(wù)器集群，節(jié)點(diǎn)可以是分布式數(shù)據(jù)處理系統(tǒng)中的一個(gè)服務(wù)器)，每個(gè)節(jié)點(diǎn)可以并行處理其中的一部分?jǐn)?shù)據(jù)。

分布式數(shù)據(jù)處理系統(tǒng)包含很多資源配置參數(shù)，其中，這些資源配置參數(shù)將會(huì)影響分布式數(shù)據(jù)處理系統(tǒng)處理數(shù)據(jù)的效率，這些資源配置參數(shù)可以包含數(shù)據(jù)塊大小、處理數(shù)據(jù)的總進(jìn)程數(shù)、每個(gè)節(jié)點(diǎn)處理數(shù)據(jù)的進(jìn)程數(shù)等等。技術(shù)人員可以在分布式數(shù)據(jù)處理系統(tǒng)執(zhí)行對(duì)應(yīng)某種業(yè)務(wù)的數(shù)據(jù)處理前，根據(jù)自身經(jīng)驗(yàn)對(duì)分布式數(shù)據(jù)處理系統(tǒng)中的各資源配置參數(shù)配置對(duì)應(yīng)該種業(yè)務(wù)的參數(shù)值，進(jìn)而，每當(dāng)分布式數(shù)據(jù)處理系統(tǒng)接收到對(duì)應(yīng)某種業(yè)務(wù)(比如，可以是對(duì)分布式數(shù)據(jù)處理系統(tǒng)中的數(shù)據(jù)進(jìn)行排序，或者，可以是確定分布式數(shù)據(jù)處理系統(tǒng)中的數(shù)據(jù)的最大值)的數(shù)據(jù)處理請(qǐng)求時(shí)，分布式數(shù)據(jù)處理系統(tǒng)可以基于預(yù)先設(shè)置好的資源配置參數(shù)的資源配置參數(shù)值，執(zhí)行該數(shù)據(jù)處理請(qǐng)求對(duì)應(yīng)的處理。

在實(shí)現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)至少存在以下問題：

基于上述處理方式，在分布式數(shù)據(jù)處理系統(tǒng)執(zhí)行數(shù)據(jù)處理前，都需要技術(shù)人員對(duì)資源配置參數(shù)進(jìn)行配置，往往資源配置參數(shù)的數(shù)目比較多，此種情況，需要技術(shù)人員一一對(duì)資源配置參數(shù)進(jìn)行輸入，從而，導(dǎo)致配置效率低。

發(fā)明內(nèi)容

為了實(shí)現(xiàn)提高配置效率的目的，本發(fā)明實(shí)施例提供了一種進(jìn)行數(shù)據(jù)處理的方法和裝置。所述技術(shù)方案如下：

第一方面，提供了一種進(jìn)行數(shù)據(jù)處理的方法，該方法包括：

接收目標(biāo)業(yè)務(wù)的數(shù)據(jù)處理請(qǐng)求，其中，數(shù)據(jù)處理請(qǐng)求的待處理數(shù)據(jù)包含多個(gè)鍵值對(duì)；根據(jù)目標(biāo)業(yè)務(wù)的標(biāo)識(shí)、待處理數(shù)據(jù)的數(shù)據(jù)量、以及待處理數(shù)據(jù)的鍵的分布情況，確定數(shù)據(jù)處理請(qǐng)求的運(yùn)行特征值，其中，運(yùn)行特征值可以包含數(shù)據(jù)處理請(qǐng)求的每個(gè)數(shù)據(jù)處理階段的復(fù)雜度，以及每個(gè)數(shù)據(jù)數(shù)據(jù)處理階段的數(shù)據(jù)輸出與數(shù)據(jù)輸入的比值；進(jìn)而，可以根據(jù)運(yùn)行特征值，確定每個(gè)數(shù)據(jù)處理階段的資源配置參數(shù)值。

本發(fā)明實(shí)施例所示的方案，用戶可以通過控制臺(tái)向服務(wù)器發(fā)送目標(biāo)業(yè)務(wù)的數(shù)據(jù)處理請(qǐng)求，服務(wù)器接收到目標(biāo)業(yè)務(wù)的數(shù)據(jù)處理請(qǐng)求后，可以根據(jù)目標(biāo)業(yè)務(wù)的標(biāo)識(shí)、待處理數(shù)據(jù)的數(shù)據(jù)量和待處理數(shù)據(jù)的鍵的分布情況，確定數(shù)據(jù)處理請(qǐng)求的運(yùn)行特征值，進(jìn)而，根據(jù)確定出的運(yùn)行特征，確定每個(gè)數(shù)據(jù)處理階段的資源配置參數(shù)值。這樣，每當(dāng)接收到數(shù)據(jù)處理請(qǐng)求時(shí)，分布式數(shù)據(jù)處理系統(tǒng)均可自動(dòng)計(jì)算出該數(shù)據(jù)處理請(qǐng)求的每個(gè)數(shù)據(jù)處理階段的資源配置參數(shù)值，無需執(zhí)行數(shù)據(jù)處理前，技術(shù)人員對(duì)多個(gè)資源配置參數(shù)一一輸入其資源配置參數(shù)值，進(jìn)而，可以提高配置效率。

在一種可能的實(shí)現(xiàn)方式中，根據(jù)運(yùn)行特征值，確定每個(gè)數(shù)據(jù)處理階段的資源配置參數(shù)值，包括：根據(jù)性能預(yù)測(cè)模型和運(yùn)行特征值，確定每個(gè)數(shù)據(jù)處理階段的資源配置參數(shù)值，其中，性能預(yù)測(cè)模型由歷史數(shù)據(jù)訓(xùn)練得到。

本發(fā)明實(shí)施例所示的方案，服務(wù)器中可以預(yù)先存儲(chǔ)有性能預(yù)測(cè)模型，當(dāng)服務(wù)器接收到目標(biāo)業(yè)務(wù)的數(shù)據(jù)處理請(qǐng)求后，可以根據(jù)預(yù)先存儲(chǔ)的性能預(yù)測(cè)模型和確定出的運(yùn)行特征值，確定每個(gè)數(shù)據(jù)處理階段的資源配置參數(shù)值。