[發(fā)明專利]一種面向云計(jì)算環(huán)境的數(shù)據(jù)庫配置優(yōu)化方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110006167.9
• 申請(qǐng)日: 2021-01-05
• 公開（公告）號(hào): CN112328332B
• 公開（公告）日: 2021-04-13
• 發(fā)明（設(shè)計(jì)）人: 花磊;趙安全
• 申請(qǐng)（專利權(quán)）人: 蘇州博納訊動(dòng)軟件有限公司
• 主分類號(hào): G06F9/445
• 分類號(hào): G06F9/445;G06F16/21
• 代理公司: 蘇州謹(jǐn)和知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 32295
• 代理人: 葉棟

發(fā)明涉及一種面向云計(jì)算環(huán)境的數(shù)據(jù)庫配置優(yōu)化方法，所述方法包括：根據(jù)各類型數(shù)據(jù)訪問操作的數(shù)量刻畫數(shù)據(jù)庫的負(fù)載特征，使用Markov鏈模型根據(jù)所述負(fù)載特征預(yù)測下個(gè)時(shí)刻數(shù)據(jù)訪問操作的工作負(fù)載；根據(jù)歷史訓(xùn)練數(shù)據(jù)構(gòu)建在預(yù)設(shè)負(fù)載條件下數(shù)據(jù)庫集群的性能模型，通過所述性能模型預(yù)測服務(wù)器集群在預(yù)設(shè)負(fù)載下的性能；將需要重新配置的服務(wù)器分組，根據(jù)所述服務(wù)器集群的吞吐量以及成本條件制定配置計(jì)劃。達(dá)到了可以在可承受虛擬機(jī)租用成本的前提下，最大限度提高集群數(shù)據(jù)庫的性能；同時(shí)，通過采用同構(gòu)節(jié)點(diǎn)分組的方式確定集群數(shù)據(jù)庫中需要重新配置的節(jié)點(diǎn)子集，將相同配置應(yīng)用于相應(yīng)的服務(wù)器分組，有效減少了搜索空間，提升了配置搜索效率。

技術(shù)領(lǐng)域

本發(fā)明涉及一種面向云計(jì)算環(huán)境的數(shù)據(jù)庫配置優(yōu)化方法，屬于軟件技術(shù)領(lǐng)域。

背景技術(shù)

軟件應(yīng)用在云計(jì)算環(huán)境下進(jìn)行部署，降低了服務(wù)提供商對(duì)運(yùn)行基礎(chǔ)架構(gòu)的投資成本，并具有許多運(yùn)營優(yōu)勢(shì)。NoSQL數(shù)據(jù)庫是最典型的基礎(chǔ)軟件，突破了應(yīng)用程序?qū)鹘y(tǒng)數(shù)據(jù)庫訪問方式的限制。流行的NoSQL數(shù)據(jù)庫，如Cassandra、Redis和MongoDB，廣泛用于網(wǎng)絡(luò)服務(wù)、大數(shù)據(jù)服務(wù)和社交媒體平臺(tái)。由于成本約束的原因，面向云計(jì)算環(huán)境的NoSQL數(shù)據(jù)庫性能調(diào)優(yōu)具有挑戰(zhàn)性。首先，NoSQL數(shù)據(jù)庫有許多影響性能的配置參數(shù)，虛擬機(jī)配置和數(shù)據(jù)庫應(yīng)用配置的搜索空間巨大。云服務(wù)提供了許多虛擬機(jī)，其中的處理器類型、內(nèi)核數(shù)量、內(nèi)存大小、存儲(chǔ)、網(wǎng)絡(luò)帶寬等都有所不同，且均會(huì)影響虛擬機(jī)租用成本。在云計(jì)算環(huán)境下，選擇正確的虛擬機(jī)類型和大小對(duì)于實(shí)現(xiàn)最佳性能至關(guān)重要。其次，NoSQL層和虛擬機(jī)層配置之間具有依賴性，需要進(jìn)行聯(lián)合優(yōu)化。過度配置資源會(huì)不必要地增加運(yùn)營及運(yùn)維成本，而過大規(guī)模的虛擬機(jī)并不總能提供更好的性能。第三，云應(yīng)用實(shí)例的工作負(fù)載隨著時(shí)間而變化且不可預(yù)測，需要重新配置。某個(gè)階段工作負(fù)載的最佳數(shù)據(jù)庫配置對(duì)于另一個(gè)階段工作負(fù)載可能會(huì)變得非常差。在運(yùn)行時(shí)更改NoSQL數(shù)據(jù)庫的配置，使用持久存儲(chǔ)有狀態(tài)的數(shù)據(jù)庫會(huì)對(duì)性能產(chǎn)生影響，重新配置服務(wù)器會(huì)導(dǎo)致停機(jī)。因此，對(duì)于快速變化的工作負(fù)載，頻繁重新配置整個(gè)集群可能會(huì)嚴(yán)重降低性能，因此選擇服務(wù)器配置的子集會(huì)最大限度降低對(duì)性能造成的不良影響，從而實(shí)現(xiàn)全局最佳性能。

現(xiàn)有方案中只關(guān)注NoSQL配置調(diào)整，不考慮云虛擬機(jī)配置，也不考慮虛擬機(jī)和NoSQL配置之間的依賴關(guān)系。將NoSQL配置空間和虛擬機(jī)配置空間相結(jié)合會(huì)導(dǎo)致搜索空間大小的大幅增加，并難以提供高效的配置調(diào)整。

發(fā)明內(nèi)容

本發(fā)明的目的：在云計(jì)算環(huán)境下需要同時(shí)調(diào)整虛擬機(jī)和數(shù)據(jù)庫配置參數(shù)的搜索空間巨大，并且負(fù)載變化動(dòng)態(tài)變化會(huì)對(duì)優(yōu)化數(shù)據(jù)庫配置帶來不確定性。本發(fā)明同時(shí)考慮了虛擬機(jī)和數(shù)據(jù)庫的配置參數(shù)，并通過負(fù)載預(yù)測和性能模型預(yù)測負(fù)載變化動(dòng)態(tài)調(diào)整配置參數(shù)。

本發(fā)明的原理：根據(jù)各類型數(shù)據(jù)訪問操作的數(shù)量刻畫數(shù)據(jù)庫的負(fù)載特征，使用Markov鏈模型預(yù)測下個(gè)時(shí)刻數(shù)據(jù)訪問操作的工作負(fù)載狀況，根據(jù)歷史訓(xùn)練數(shù)據(jù)構(gòu)建在預(yù)設(shè)負(fù)載條件下數(shù)據(jù)庫集群的性能模型，預(yù)測服務(wù)器集群在預(yù)設(shè)負(fù)載下的性能表現(xiàn)，將需要重新配置的服務(wù)器分組，制定配置計(jì)劃以達(dá)到在可接受成本約束的條件下，最大化數(shù)據(jù)庫集群的吞吐量。

本發(fā)明技術(shù)解決方案：一種面向云計(jì)算環(huán)境的數(shù)據(jù)庫配置優(yōu)化方法，其特點(diǎn)在于實(shí)現(xiàn)步驟如下：

根據(jù)各類型數(shù)據(jù)訪問操作的數(shù)量刻畫數(shù)據(jù)庫的負(fù)載特征，使用Markov鏈模型根據(jù)所述負(fù)載特征預(yù)測下個(gè)時(shí)刻數(shù)據(jù)訪問操作的工作負(fù)載；

根據(jù)歷史訓(xùn)練數(shù)據(jù)構(gòu)建在預(yù)設(shè)負(fù)載條件下數(shù)據(jù)庫集群的性能模型，通過所述性能模型預(yù)測服務(wù)器集群在預(yù)設(shè)負(fù)載下的性能；

將需要重新配置的服務(wù)器分組，根據(jù)所述服務(wù)器集群的吞吐量以及成本條件制定配置計(jì)劃。

可選的，所述根據(jù)各類型數(shù)據(jù)訪問操作的數(shù)量刻畫數(shù)據(jù)庫的負(fù)載特征，使用Markov鏈模型根據(jù)所述負(fù)載特征預(yù)測下個(gè)時(shí)刻數(shù)據(jù)訪問操作的負(fù)載狀況，包括：