[發(fā)明專利]存儲(chǔ)文件高負(fù)載場(chǎng)景模擬方法、系統(tǒng)、終端及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010693926.9
• 申請(qǐng)日: 2020-07-17
• 公開(kāi)（公告）號(hào): CN111966656B
• 公開(kāi)（公告）日: 2022-11-11
• 發(fā)明（設(shè)計(jì)）人: 申勝利
• 申請(qǐng)（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號(hào): G06F16/182
• 分類號(hào): G06F16/182;G06F16/172;G06F16/25;G06F11/36
• 代理公司: 濟(jì)南舜源專利事務(wù)所有限公司 37205
• 代理人: 孫玉營(yíng)

本發(fā)明提供一種存儲(chǔ)文件高負(fù)載場(chǎng)景模擬方法、系統(tǒng)、終端及存儲(chǔ)介質(zhì)，包括：通過(guò)修改服務(wù)端參數(shù)關(guān)閉存儲(chǔ)文件合并功能并增大數(shù)據(jù)寫(xiě)入效率；通過(guò)配置分布式數(shù)據(jù)庫(kù)服務(wù)端集群的端口和日志路徑增加節(jié)點(diǎn)上運(yùn)行的服務(wù)對(duì)象數(shù)量；利用分布式數(shù)據(jù)庫(kù)的壓測(cè)工具將測(cè)試數(shù)據(jù)從客戶端并發(fā)寫(xiě)入分布式數(shù)據(jù)庫(kù)服務(wù)端；在將所述測(cè)試數(shù)據(jù)全部寫(xiě)入分布式數(shù)據(jù)庫(kù)的服務(wù)端之后，刪除增設(shè)的服務(wù)對(duì)象，并監(jiān)控存儲(chǔ)文件負(fù)載情況。本發(fā)明實(shí)現(xiàn)了快速準(zhǔn)備HBase的RegionServer高h(yuǎn)file負(fù)載的情況，大幅減少了準(zhǔn)備測(cè)試環(huán)境的時(shí)間，方便快捷地模擬極端環(huán)境，有利于迅速發(fā)現(xiàn)問(wèn)題及驗(yàn)證，降低了測(cè)試場(chǎng)景復(fù)現(xiàn)的成本。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式存儲(chǔ)技術(shù)領(lǐng)域，具體涉及一種存儲(chǔ)文件高負(fù)載場(chǎng)景模擬方法、系統(tǒng)、終端及存儲(chǔ)介質(zhì)。

背景技術(shù)

HBase是一個(gè)分布式的、面向列的開(kāi)源數(shù)據(jù)庫(kù)。HBase的數(shù)據(jù)通常存儲(chǔ)在HDFS（分布式文件系統(tǒng)）上。HDFS為HBase提供了高可靠性的底層存儲(chǔ)支持。HBase的RegionServer服務(wù)提供具體的數(shù)據(jù)查詢和插入，管理存儲(chǔ)數(shù)據(jù)的region，對(duì)內(nèi)存需求比較高。因此需要對(duì)極端負(fù)載情況進(jìn)行模擬，判斷生產(chǎn)上可能發(fā)生的問(wèn)題。例如，將hbase數(shù)據(jù)目錄設(shè)置為糾刪碼格式，regionserver高h(yuǎn)file負(fù)載時(shí)發(fā)生的內(nèi)存不足宕掉。

然而Hbase現(xiàn)有的入庫(kù)方式要達(dá)到模擬存儲(chǔ)文件HFile高負(fù)載的場(chǎng)景的目的，需要的時(shí)間比較久，不方便進(jìn)行測(cè)試。此外，由于hbase在高負(fù)載情況下，運(yùn)行的現(xiàn)象和低負(fù)載下有很多不一致，生產(chǎn)環(huán)境積累的負(fù)載通常比較高，如果不提高模擬高負(fù)載情況的速度，復(fù)現(xiàn)問(wèn)題需要的代價(jià)就會(huì)比較高。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)的上述不足，本發(fā)明提供一種存儲(chǔ)文件高負(fù)載場(chǎng)景模擬方法、系統(tǒng)、終端及存儲(chǔ)介質(zhì)，以解決上述技術(shù)問(wèn)題。

第一方面，本發(fā)明提供一種存儲(chǔ)文件高負(fù)載場(chǎng)景模擬方法，包括：

通過(guò)修改服務(wù)端參數(shù)關(guān)閉存儲(chǔ)文件合并功能并增大數(shù)據(jù)寫(xiě)入效率；

通過(guò)配置分布式數(shù)據(jù)庫(kù)服務(wù)端集群的端口和日志路徑增加節(jié)點(diǎn)上運(yùn)行的服務(wù)對(duì)象數(shù)量；

利用分布式數(shù)據(jù)庫(kù)的壓測(cè)工具將測(cè)試數(shù)據(jù)從客戶端并發(fā)寫(xiě)入分布式數(shù)據(jù)庫(kù)服務(wù)端；

在將所述測(cè)試數(shù)據(jù)全部寫(xiě)入分布式數(shù)據(jù)庫(kù)的服務(wù)端之后，刪除增設(shè)的服務(wù)對(duì)象，并監(jiān)控存儲(chǔ)文件負(fù)載情況。

進(jìn)一步的，所述通過(guò)修改服務(wù)端參數(shù)關(guān)閉存儲(chǔ)文件合并功能并增大數(shù)據(jù)寫(xiě)入效率，包括：

關(guān)閉分布式文件系統(tǒng)服務(wù)端對(duì)同個(gè)列組下的存儲(chǔ)文件的合并功能；

關(guān)閉分布式文件系統(tǒng)服務(wù)端對(duì)小存儲(chǔ)文件的合并功能；

增大刷寫(xiě)到存儲(chǔ)文件的線程數(shù)；

降低內(nèi)存限額，所述內(nèi)存保存待刷寫(xiě)至存儲(chǔ)文件的數(shù)據(jù)；

增大寫(xiě)緩存比例；

關(guān)閉對(duì)分布式文件系統(tǒng)的分區(qū)的自動(dòng)分裂功能。

進(jìn)一步的，通過(guò)配置分布式數(shù)據(jù)庫(kù)服務(wù)端集群的節(jié)點(diǎn)端口目錄增加節(jié)點(diǎn)上運(yùn)行的服務(wù)對(duì)象數(shù)量，包括：

獲取內(nèi)存可用容量，確認(rèn)所述可用容量不低于預(yù)設(shè)標(biāo)準(zhǔn)容量；

在分布式數(shù)據(jù)庫(kù)服務(wù)端的配置目錄中修改數(shù)據(jù)存儲(chǔ)管理服務(wù)端口和日志路徑。

進(jìn)一步的，所述方法還包括：

獲取分布式數(shù)據(jù)庫(kù)的分區(qū)數(shù)量；

若存儲(chǔ)文件數(shù)量未達(dá)到預(yù)設(shè)數(shù)量閾值，則利用分布式拷貝命令將已經(jīng)寫(xiě)完的表數(shù)據(jù)目錄復(fù)制到臨時(shí)目錄中；

將臨時(shí)目錄批量導(dǎo)入新建表，所述新建表的分區(qū)與現(xiàn)有表相同或僅采用一個(gè)分區(qū)。