[發(fā)明專利]優(yōu)化分布式計(jì)算效能的方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201810534334.5
• 申請(qǐng)日: 2018-05-30
• 公開(kāi)（公告）號(hào): CN110554910A
• 公開(kāi)（公告）日: 2019-12-10
• 發(fā)明（設(shè)計(jì)）人: 喬宏明;謝曉軍;胡穎茂;姚文勝;陳春華;李嫚;梁奐;陳泳;丘暉
• 申請(qǐng)（專利權(quán)）人: 中國(guó)電信股份有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50
• 代理公司: 11038 中國(guó)國(guó)際貿(mào)易促進(jìn)委員會(huì)專利商標(biāo)事務(wù)所
• 代理人: 趙倩男

本公開(kāi)提供了一種優(yōu)化分布式計(jì)算效能的方法和裝置，涉及信息技術(shù)領(lǐng)域。該方法包括：獲取用戶提交的目標(biāo)任務(wù)；根據(jù)規(guī)則配置提取目標(biāo)任務(wù)中的任務(wù)特征；根據(jù)任務(wù)特征和當(dāng)前分布式環(huán)境資源數(shù)據(jù)形成校驗(yàn)規(guī)則；根據(jù)校驗(yàn)規(guī)則優(yōu)化目標(biāo)任務(wù)配置參數(shù)，以便根據(jù)優(yōu)化后的目標(biāo)任務(wù)配置參數(shù)執(zhí)行任務(wù)，進(jìn)而能夠在不更改應(yīng)用的前提下提升分布式計(jì)算環(huán)境工作效能。

技術(shù)領(lǐng)域

本公開(kāi)涉及信息技術(shù)領(lǐng)域，尤其涉及一種優(yōu)化分布式計(jì)算效能的方法和裝置。

背景技術(shù)

當(dāng)前，隨著國(guó)內(nèi)去IOE(以IBM小型機(jī)為代表的專用服務(wù)器、以O(shè)racle數(shù)據(jù)庫(kù)為代表的商用關(guān)系型數(shù)據(jù)庫(kù)、以EMC存儲(chǔ)設(shè)備為代表的專用高端存儲(chǔ)設(shè)施)的推進(jìn)，用PC服務(wù)器替換傳統(tǒng)小型機(jī)搭建企業(yè)的IT基礎(chǔ)運(yùn)營(yíng)環(huán)境已經(jīng)成為主流。基于此，分布式計(jì)算技術(shù)在互聯(lián)網(wǎng)行業(yè)和企業(yè)IT系統(tǒng)中也得到了廣泛的應(yīng)用，分布式計(jì)算環(huán)境成為企業(yè)最重要的IT基礎(chǔ)設(shè)施之一。

為適應(yīng)不同特征的分布式計(jì)算任務(wù)，在現(xiàn)有的通用分布式計(jì)算壞境中都提供了一些控制參數(shù)，同時(shí)提供默認(rèn)的參數(shù)數(shù)值，用于控制分布式計(jì)算任務(wù)在環(huán)境中的運(yùn)行；這些參數(shù)配置和分布式計(jì)算任務(wù)的運(yùn)行效能密切相關(guān)，參數(shù)的調(diào)優(yōu)需要分布式任務(wù)的提交者有足夠的經(jīng)驗(yàn)。在實(shí)際使用場(chǎng)景下，相關(guān)任務(wù)在分布式環(huán)境中運(yùn)行時(shí)，與計(jì)算任務(wù)密切相關(guān)參數(shù)配置通常都是采用默認(rèn)參數(shù)配置，這些默認(rèn)配置一般適用于通用場(chǎng)景，不一定符合特定任務(wù)自身的特點(diǎn)，從而會(huì)影響分布式計(jì)算的整體效能。

發(fā)明內(nèi)容

本公開(kāi)要解決的一個(gè)技術(shù)問(wèn)題是提供一種優(yōu)化分布式計(jì)算效能的方法和裝置，能夠提升分布式計(jì)算環(huán)境工作效能。

根據(jù)本公開(kāi)一方面，提出一種優(yōu)化分布式計(jì)算效能的方法，包括：獲取用戶提交的目標(biāo)任務(wù)；根據(jù)規(guī)則配置提取目標(biāo)任務(wù)中的任務(wù)特征；根據(jù)任務(wù)特征和當(dāng)前分布式環(huán)境資源數(shù)據(jù)形成校驗(yàn)規(guī)則；根據(jù)校驗(yàn)規(guī)則優(yōu)化目標(biāo)任務(wù)配置參數(shù)，以便根據(jù)優(yōu)化后的目標(biāo)任務(wù)配置參數(shù)執(zhí)行任務(wù)。

可選地，根據(jù)任務(wù)特征和當(dāng)前分布式環(huán)境資源數(shù)據(jù)形成校驗(yàn)規(guī)則包括：根據(jù)任務(wù)特征和當(dāng)前分布式環(huán)境資源數(shù)據(jù)確定待校對(duì)的目標(biāo)任務(wù)關(guān)鍵參數(shù)以及目標(biāo)任務(wù)關(guān)鍵參數(shù)的建議取值。

可選地，根據(jù)校驗(yàn)規(guī)則優(yōu)化目標(biāo)任務(wù)配置參數(shù)包括：根據(jù)校驗(yàn)規(guī)則優(yōu)化當(dāng)前任務(wù)的配置參數(shù)和當(dāng)前分布式計(jì)算環(huán)境默認(rèn)的配置參數(shù)。

可選地，根據(jù)規(guī)則配置提取目標(biāo)任務(wù)中的任務(wù)特征包括：根據(jù)第一規(guī)則配置確定得到任務(wù)特征需提取的基本信息；根據(jù)第二規(guī)則配置確定獲取基本信息的方式；在獲取基本信息后，分析基本信息得到任務(wù)特征。

可選地，當(dāng)前分布式環(huán)境資源數(shù)據(jù)包括當(dāng)前分布式環(huán)境下可用的各類資源總量以及空余資源總量。

根據(jù)本公開(kāi)的另一方面，還提出一種優(yōu)化分布式計(jì)算效能的裝置，包括：目標(biāo)任務(wù)獲取單元，用于獲取用戶提交的目標(biāo)任務(wù)；任務(wù)特征提取單元，用于根據(jù)規(guī)則配置提取目標(biāo)任務(wù)中的任務(wù)特征；校驗(yàn)規(guī)則形成單元，用于根據(jù)任務(wù)特征和當(dāng)前分布式環(huán)境資源數(shù)據(jù)形成校驗(yàn)規(guī)則；配置參數(shù)優(yōu)化單元，用于根據(jù)校驗(yàn)規(guī)則優(yōu)化目標(biāo)任務(wù)配置參數(shù)，以便根據(jù)優(yōu)化后的目標(biāo)任務(wù)配置參數(shù)執(zhí)行任務(wù)。

可選地，校驗(yàn)規(guī)則形成單元用于根據(jù)任務(wù)特征和當(dāng)前分布式環(huán)境資源數(shù)據(jù)確定待校對(duì)的目標(biāo)任務(wù)關(guān)鍵參數(shù)以及目標(biāo)任務(wù)關(guān)鍵參數(shù)的建議取值。

可選地，配置參數(shù)優(yōu)化單元用于根據(jù)校驗(yàn)規(guī)則優(yōu)化當(dāng)前任務(wù)的配置參數(shù)和當(dāng)前分布式計(jì)算環(huán)境默認(rèn)的配置參數(shù)。

可選地，任務(wù)特征提取單元用于根據(jù)第一規(guī)則配置確定得到任務(wù)特征需提取的基本信息，根據(jù)第二規(guī)則配置確定獲取基本信息的方式，在獲取基本信息后，分析基本信息得到任務(wù)特征。

可選地，當(dāng)前分布式環(huán)境資源數(shù)據(jù)包括當(dāng)前分布式環(huán)境下可用的各類資源總量以及空余資源總量。

根據(jù)本公開(kāi)的另一方面，還提出一種優(yōu)化分布式計(jì)算效能的裝置，包括：存儲(chǔ)器；以及耦接至存儲(chǔ)器的處理器，處理器被配置為基于存儲(chǔ)在存儲(chǔ)器的指令執(zhí)行如上述的優(yōu)化分布式計(jì)算效能的方法。