[發(fā)明專利]提高分布式系統(tǒng)性能調(diào)優(yōu)速度的方法

有效

• 申請?zhí)枺?/td>: 200910088225.6
• 申請日: 2009-07-13
• 公開（公告）號: CN101609416A
• 公開（公告）日: 2009-12-23
• 發(fā)明（設(shè)計(jì)）人: 曹軍威;張帆
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06F9/46
• 分類號: G06F9/46;G06N3/02;H04L29/08
• 代理公司: 北京眾合誠成知識產(chǎn)權(quán)代理有限公司
• 代理人: 朱 琨

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)性能優(yōu)化領(lǐng)域，具體屬于三層服務(wù)器(網(wǎng)頁服務(wù)器，應(yīng)用程序服務(wù) 器和數(shù)據(jù)庫服務(wù)器)系統(tǒng)的性能優(yōu)化領(lǐng)域。

背景技術(shù)

隨著在線用戶數(shù)量的不斷增多和用戶對于應(yīng)用需求的不斷提升，給分布式系統(tǒng)性能調(diào) 優(yōu)領(lǐng)域帶來了諸多的挑戰(zhàn)。集群計(jì)算、網(wǎng)格計(jì)算、賽百平臺，都是利用復(fù)雜的分布式系統(tǒng) 來滿足個人、商業(yè)、政府等各領(lǐng)域、各層次的不同需求。如今，被工業(yè)界和學(xué)術(shù)界廣泛推 崇的，致力于完全改變現(xiàn)有的計(jì)算機(jī)運(yùn)行模式的云計(jì)算技術(shù)應(yīng)運(yùn)而生。其核心思想是將數(shù) 據(jù)放在一片巨大的服務(wù)器“云”后臺，前臺的終端用戶只需要一個輕易便捷的瀏覽器即可 隨時(shí)隨地的存取到自己放在“云”后臺的所有資源。技術(shù)思想誕生后，微軟、谷歌、IBM、 亞馬遜等爭相逐鹿，紛紛推出自己的云計(jì)算產(chǎn)品和技術(shù)。在國內(nèi)，中國移動通信研究院也 在研究云計(jì)算下給予手機(jī)訪問的數(shù)據(jù)中心構(gòu)建。縱觀整個技術(shù)的發(fā)展趨勢，大量數(shù)據(jù)中心 的服務(wù)器系統(tǒng)的建立是這些名企在今后市場競爭中最明顯的趨勢。于此同時(shí)，各大商業(yè)網(wǎng) 站，像亞馬遜，ebay和中國的淘寶網(wǎng)等都有自己的服務(wù)器集群系統(tǒng)。系統(tǒng)的性能調(diào)優(yōu)一直 是各大知名企業(yè)、學(xué)術(shù)會議和科研刊物等關(guān)注的話題。

系統(tǒng)調(diào)優(yōu)有軟性和硬性兩個方面。硬性主要在于針對應(yīng)用的具體類型和面對的應(yīng)用規(guī) 模，選擇與其相適應(yīng)的硬件設(shè)備集群系統(tǒng)，在“量”上解決供需矛盾。我們可以很明顯的 看得出來，僅僅靠投入更多的硬件設(shè)備會給企業(yè)帶來巨大的經(jīng)濟(jì)負(fù)擔(dān)，是一種粗放型的提 升性能的方式。并且在很多時(shí)候，系統(tǒng)的性能提升光靠硬件方面的投入收獲系統(tǒng)性能的提 升幅度是比較小的。于是集約型的性能提升方式，即從軟性角度來調(diào)整系統(tǒng)性能成為了現(xiàn) 階段的研究熱點(diǎn)。問題即是，如何在有限資源的情況下，提升系統(tǒng)性能從而滿足用戶需求 是一個更有挑戰(zhàn)的問題。其考察指標(biāo)主要有兩種：

一.系統(tǒng)的平均吞吐率，即單位時(shí)間平均處理請求的數(shù)量。

二.系統(tǒng)的平均響應(yīng)時(shí)間，即平均每個請求的處理時(shí)間。

在軟性調(diào)優(yōu)的研究領(lǐng)域，對于系統(tǒng)配置參數(shù)(如會話時(shí)間，最大線程數(shù)量，最大連接 數(shù)量，緩沖池的大小等)的綜合調(diào)整是其中的之一。主要體現(xiàn)在其操作簡單、成本低廉以 及效果明顯。傳統(tǒng)的硬性調(diào)優(yōu)主要將優(yōu)化參數(shù)的配置設(shè)想成一個黑盒子(Black?Box)的優(yōu)化 問題，然后采用進(jìn)化計(jì)算等方法進(jìn)行調(diào)優(yōu)。最近有學(xué)者提出應(yīng)用爬小山法(Small?Hill Climbing)算法，其充分利用梯度信息和過去的優(yōu)化結(jié)果，仿真結(jié)果明顯優(yōu)于傳統(tǒng)的模擬退 火算法和隨機(jī)迭代搜索算法。也有學(xué)者提出中利用協(xié)方差矩陣算法(Covariance?Matrix Algorithm)，挖掘系統(tǒng)性能時(shí)不僅采用廣度搜索(Exploration)，而且結(jié)合深度搜索 (Exploitation)的方法。測試結(jié)果比爬小山法提升了3％的性能，是目前文獻(xiàn)中出現(xiàn)的前沿 技術(shù)中最行之有效的方法之一。于此同時(shí)，檢查點(diǎn)技術(shù)最近也被提出并且應(yīng)用到系統(tǒng)性能 提升中，其主要是利用記錄每次系統(tǒng)的狀態(tài)來分析系統(tǒng)在這一個“檢查點(diǎn)”時(shí)刻的性能。 以上各類方法各有千秋，均能在一定程度上提升系統(tǒng)的整體性能，共同的不足之處在于其 測量時(shí)間過長。雖然其具備很好的理論基礎(chǔ)與試驗(yàn)價(jià)值，其推廣到商業(yè)中的應(yīng)用價(jià)值卻受 到很大的限制。

面對參數(shù)空間的膨脹以及相當(dāng)長的測試時(shí)間問題，近來也有學(xué)者提出利用預(yù)測系統(tǒng)性 能方式提升系統(tǒng)性能同時(shí)降低仿真時(shí)間。其所給出的試驗(yàn)結(jié)果確實(shí)降低了測量時(shí)間并且提 升了系統(tǒng)性能，但是其給出的實(shí)例中，搜索空間對于離散情形很適用，但是推廣到連續(xù)空 間以后，問題就會凸現(xiàn)出來。因?yàn)槠渌阉骺臻g對于特定的參數(shù)配置是有效的，但是其搜索 能力受到了一定的限制。

在這種應(yīng)用需求下，是否能設(shè)計(jì)出一套系統(tǒng)，既能顯著提升分布式計(jì)算系統(tǒng)的性能， 又不需要大量的測試測量時(shí)間成為當(dāng)前的一個重要議題。

發(fā)明內(nèi)容

本發(fā)明的目的在于為分布式系統(tǒng)性能提升提供了一套行之有效的方法。不僅極大的降 低了響應(yīng)時(shí)間，提高了吞吐率；同時(shí)也能降低調(diào)優(yōu)的時(shí)間。

本發(fā)明的特征在于所述方法是一種包括網(wǎng)頁服務(wù)器，應(yīng)用程序服務(wù)器和數(shù)據(jù)庫服務(wù)器 在內(nèi)的由三層服務(wù)器組成的分布式系統(tǒng)的調(diào)優(yōu)方法。