[發(fā)明專利]一種分布式存儲(chǔ)分組在線升級(jí)方法、裝置、終端及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211040424.1
• 申請(qǐng)日: 2022-08-29
• 公開（公告）號(hào): CN115344290A
• 公開（公告）日: 2022-11-15
• 發(fā)明（設(shè)計(jì)）人: 劉鑫;孟祥瑞
• 申請(qǐng)（專利權(quán)）人: 濟(jì)南浪潮數(shù)據(jù)技術(shù)有限公司
• 主分類號(hào): G06F8/65
• 分類號(hào): G06F8/65
• 代理公司: 濟(jì)南誠智商標(biāo)專利事務(wù)所有限公司 37105
• 代理人: 李魁峰

本發(fā)明涉及一種分布式存儲(chǔ)分組在線升級(jí)方法、裝置、終端及介質(zhì)。按預(yù)設(shè)的分組規(guī)則將待升級(jí)節(jié)點(diǎn)分組，所述分組規(guī)則使不同分組之間的待升級(jí)節(jié)點(diǎn)不涉及相同的存儲(chǔ)池；為每一個(gè)分組配置一個(gè)升級(jí)線程以控制分組中待升級(jí)節(jié)點(diǎn)的升級(jí)流程，按設(shè)定的第一時(shí)間間隔啟動(dòng)各個(gè)升級(jí)線程，使各分組并發(fā)錯(cuò)時(shí)的進(jìn)行升級(jí)。本發(fā)明多個(gè)分組之間并發(fā)升級(jí)，能夠壓縮在線升級(jí)的總時(shí)長。不同分組之間的待升級(jí)節(jié)點(diǎn)不涉及相同的存儲(chǔ)池，分組中的待升級(jí)節(jié)點(diǎn)逐一按順序升級(jí)時(shí)，對(duì)應(yīng)同一存儲(chǔ)池的待升級(jí)節(jié)點(diǎn)不會(huì)同時(shí)兩個(gè)或多個(gè)升級(jí)，且各個(gè)分組之間的錯(cuò)時(shí)升級(jí)，避免待升級(jí)節(jié)點(diǎn)大規(guī)模同一時(shí)間重啟服務(wù)導(dǎo)致業(yè)務(wù)中斷的情況。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式存儲(chǔ)集群分組在線升級(jí)技術(shù)領(lǐng)域，尤其涉及一種分布式存儲(chǔ)分組在線升級(jí)方法、裝置、終端及介質(zhì)。

背景技術(shù)

分布式存儲(chǔ)裝置具有高擴(kuò)展性的特點(diǎn)，可由若干個(gè)節(jié)點(diǎn)至上千節(jié)點(diǎn)組成。每個(gè)節(jié)點(diǎn)可以包含若干個(gè)存儲(chǔ)設(shè)備，如固態(tài)硬盤、磁盤等。每個(gè)存儲(chǔ)設(shè)備通過一個(gè)OSD服務(wù)進(jìn)程管理。數(shù)據(jù)通過CRUSH算法映射到PG和OSD。PG和OSD可劃分到不同的存儲(chǔ)池。除了OSD服務(wù)，集群還有MON服務(wù)來監(jiān)控集群狀態(tài)，以及保存osdmap等集群元數(shù)據(jù)信息。MON服務(wù)不需要部署到所有節(jié)點(diǎn)，一般需要部署奇數(shù)個(gè)MON服務(wù)。

分布式存儲(chǔ)的在線升級(jí)一般由控制節(jié)點(diǎn)發(fā)出升級(jí)指令到升級(jí)節(jié)點(diǎn)，升級(jí)節(jié)點(diǎn)執(zhí)行新版本的安裝包，替換分布式集群的MON、OSD等服務(wù)的可執(zhí)行文件、相關(guān)庫文件、配置文件等，然后重啟服務(wù)生效。由于在線升級(jí)往往要求業(yè)務(wù)不能中斷，因此每次只升級(jí)一個(gè)節(jié)點(diǎn)。對(duì)于大規(guī)模集群，升級(jí)時(shí)間會(huì)很長。假設(shè)每個(gè)節(jié)點(diǎn)升級(jí)需要10分鐘，對(duì)于100節(jié)點(diǎn)的集群就需要1000分鐘超過16小時(shí)的升級(jí)時(shí)間。這對(duì)于需要將升級(jí)時(shí)間固定到低業(yè)務(wù)時(shí)段的幾小時(shí)的用戶來說是無法接收的。為了優(yōu)化在線升級(jí)的時(shí)長，當(dāng)前方案采取將升級(jí)節(jié)點(diǎn)分組的方式，將處于不同存儲(chǔ)池中互不干擾的節(jié)點(diǎn)分成若干組，每次升級(jí)從每個(gè)組都選取一個(gè)節(jié)點(diǎn)進(jìn)行升級(jí)。然而，當(dāng)前方案在分組劃分較多時(shí)，如存儲(chǔ)池劃分較多，每次會(huì)有多個(gè)節(jié)點(diǎn)同時(shí)升級(jí)。雖然由于這些節(jié)點(diǎn)位于不同的存儲(chǔ)池中，相互之間不會(huì)受到故障域、數(shù)據(jù)重構(gòu)、PG的Peering等制約，但是同時(shí)重啟多個(gè)節(jié)點(diǎn)會(huì)導(dǎo)致OSD向MON上報(bào)大量的消息，這些消息無法及時(shí)處理，會(huì)導(dǎo)致PG在Peering階段卡住，從而影響前端業(yè)務(wù)。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題或者至少部分地解決上述技術(shù)問題，本發(fā)明提供一種分布式存儲(chǔ)分組在線升級(jí)方法、裝置、終端及介質(zhì)。

第一方面，本發(fā)明提供一種分布式存儲(chǔ)分組在線升級(jí)方法，包括：按預(yù)設(shè)的分組規(guī)則將待升級(jí)節(jié)點(diǎn)分組，所述分組規(guī)則使不同分組之間的待升級(jí)節(jié)點(diǎn)不涉及相同的存儲(chǔ)池；

為每一個(gè)分組配置一個(gè)升級(jí)線程以控制分組中待升級(jí)節(jié)點(diǎn)的升級(jí)流程，按設(shè)定的第一時(shí)間間隔啟動(dòng)各個(gè)升級(jí)線程，使各分組并發(fā)錯(cuò)時(shí)的進(jìn)行升級(jí)，避免待升級(jí)節(jié)點(diǎn)大規(guī)模同一時(shí)間重啟服務(wù)。

更進(jìn)一步地，升級(jí)線程通過ssh的方式調(diào)用分組中各待升級(jí)節(jié)點(diǎn)上的升級(jí)腳本，所述升級(jí)腳本執(zhí)行升級(jí)包、驗(yàn)證重啟條件、在重啟條件滿足或者從執(zhí)行升級(jí)包起時(shí)間超出設(shè)定時(shí)間閾值仍未達(dá)到重啟條件則重啟服務(wù)，在重啟服務(wù)后進(jìn)行數(shù)據(jù)重構(gòu)。

更進(jìn)一步地，所述驗(yàn)證重啟條件包括：所述升級(jí)腳本執(zhí)行升級(jí)包后，判斷是否待升級(jí)節(jié)點(diǎn)所有OSD都處于Up階段且無放置組處于peering狀態(tài)，是則，重啟條件滿足并重啟服務(wù)，否則，間隔第二時(shí)間間隔后再次進(jìn)行驗(yàn)證重啟條件，直至執(zhí)行升級(jí)包后時(shí)間達(dá)到設(shè)定時(shí)間閾值或重啟條件滿足終止驗(yàn)證重啟條件。

更進(jìn)一步地，升級(jí)線程遍歷相應(yīng)分組中各個(gè)待升級(jí)節(jié)點(diǎn)，通過ssh的方式調(diào)用被遍歷到的升級(jí)節(jié)點(diǎn)上的升級(jí)腳本，被遍歷到的升級(jí)節(jié)點(diǎn)升級(jí)腳本執(zhí)行完數(shù)據(jù)重構(gòu)后，繼續(xù)遍歷分組中下一待升級(jí)節(jié)點(diǎn)，直至分組遍歷完成。

更進(jìn)一步地，統(tǒng)計(jì)輸出滿足重啟條件重啟服務(wù)和達(dá)到設(shè)定時(shí)間閾值重啟服務(wù)的待升級(jí)節(jié)點(diǎn)并輸出相應(yīng)日志。