[發(fā)明專利]一種HBase配置參數(shù)自動調(diào)優(yōu)方法及裝置、用戶設(shè)備

在審

• 申請?zhí)枺?/td>: 201611192297.1
• 申請日: 2016-12-21
• 公開（公告）號: CN108234177A
• 公開（公告）日: 2018-06-29
• 發(fā)明（設(shè)計）人: 熊文;喻之斌;須成忠
• 申請（專利權(quán)）人: 深圳先進技術(shù)研究院
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/08
• 代理公司: 深圳市科進知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44316
• 代理人: 趙勍毅

本發(fā)明公開了一種HBase配置參數(shù)自動調(diào)優(yōu)方法及裝置、用戶設(shè)備，該方法包括：獲取HBase數(shù)據(jù)庫配置參數(shù)后，首先根據(jù)該HBase配置參數(shù)隨機生成多組HBase配置文件，然后模擬負載，并根據(jù)生成的多組HBase配置文件完成相同數(shù)量的參數(shù)配置，生成參數(shù)吞吐矩陣，再根據(jù)該參數(shù)吞吐矩陣構(gòu)建基于隨機森林的性能模型，最后將性能模型輸入遺傳算法，通過遺傳算法的迭代計算獲取最優(yōu)HBase配置參數(shù)?？梢?，實施本發(fā)明實施例，能夠?qū)崿F(xiàn)HBase配置參數(shù)自動調(diào)優(yōu)，不再依賴于實施者的個人能力和經(jīng)驗，大大提高了作業(yè)效率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫領(lǐng)域，尤其涉及一種HBase配置參數(shù)自動調(diào)優(yōu)方法及裝置、用戶設(shè)備。

背景技術(shù)

HBase(Hadoop Database，HBase)數(shù)據(jù)庫是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，利用HBase技術(shù)可在廉價PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。HBase廣泛使用在國內(nèi)外大型互聯(lián)網(wǎng)公司，同時也被很多中小型IT企業(yè)所廣泛采用。

HBase參數(shù)調(diào)優(yōu)是系統(tǒng)部署、運維過程中的一項重要活動。HBase架構(gòu)設(shè)計復(fù)雜，涉及一系列模塊化的組件。這些組件包括負責網(wǎng)絡(luò)通信的遠程過程調(diào)用、緩存和緩沖區(qū)等。這些組件的行為和組件間的交互都由一系列參數(shù)控制。這些參數(shù)影響請求隊列大小，緩存策略和并行程度等，是影響HBase性能的決定性因素。但是，這些參數(shù)的默認值僅僅能夠盡量保證系統(tǒng)的穩(wěn)定運行，遠遠達不到性能優(yōu)化。因此，參數(shù)調(diào)優(yōu)有很大的性能提升空間。

參數(shù)調(diào)優(yōu)能夠提高系統(tǒng)性能，可以減少投資運維成本。例如，對某個特定的HBase應(yīng)用，其設(shè)計吞吐目標是10000操作/秒，默認參數(shù)配置情況下需要30臺服務(wù)器才能夠達到10000操作/秒。但是通過參數(shù)調(diào)優(yōu)，20臺服務(wù)器就能夠達到10000操作/秒。這意味著只需部署20臺服務(wù)器即可滿足應(yīng)用的性能需求，節(jié)約了33％的系統(tǒng)投資成本。

雖然，參數(shù)調(diào)優(yōu)是降低成本的有效途徑，但參數(shù)調(diào)優(yōu)的實施面臨著一系列挑戰(zhàn)如如何克服參數(shù)見的干擾。當前，參數(shù)調(diào)優(yōu)的效果依賴于具體的實施者，經(jīng)驗豐富并且對HBase架構(gòu)有深入理解的工程師能夠達到比較好的效果，但是對于一般技術(shù)背景的工程師，參數(shù)調(diào)優(yōu)的效果往往不佳。并且，手動調(diào)優(yōu)效率低，耗時長。手動調(diào)優(yōu)的方法通常是嘗試一組組不同的參數(shù)值，實際實施過程中，一組組嘗試顯得很不現(xiàn)實。以HBase參考手冊為例，其推薦了超過二十個配置參數(shù)。即使每個參數(shù)只有2個取值，也存在著超過2的20次方個組合。

發(fā)明內(nèi)容

本發(fā)明實施例公開了一種HBase配置參數(shù)自動調(diào)優(yōu)方法及裝置、用戶設(shè)備，實現(xiàn)了HBase配置參數(shù)自動調(diào)優(yōu)，不再依賴于實施者的個人能力和經(jīng)驗。

本發(fā)明實施例第一方面公開一種HBase配置參數(shù)自動調(diào)優(yōu)方法，包括：

獲取HBase(Hadoop Database，HBase)數(shù)據(jù)庫配置參數(shù)，并根據(jù)所述HBase配置參數(shù)隨機生成多組HBase配置文件；

模擬負載，并根據(jù)所述多組HBase配置文件完成相同數(shù)量的參數(shù)配置，生成參數(shù)吞吐矩陣；

根據(jù)所述參數(shù)吞吐矩陣構(gòu)建基于隨機森林的性能模型，所述性能模型以HBase配置參數(shù)為輸入，系統(tǒng)吞吐為輸出；

將所述性能模型輸入遺傳算法，通過遺傳算法的迭代計算獲取最優(yōu)HBase配置參數(shù)。

作為一種可選的實施方式，在本發(fā)明實施例第一方面中，所述方法中，將性能模型輸入遺傳算法，通過遺傳算法的迭代計算獲取最優(yōu)HBase配置參數(shù)的步驟包括：

將第一配置參數(shù)輸入性能模型，然后將所述性能模型輸入遺傳算法計算評估值；

如果所述評估值不是最優(yōu)值，則將第一配置參數(shù)進行雜交和變異后生成第二配置參數(shù)；