[發(fā)明專利]一種針對去中心化架構存儲系統(tǒng)的遷移任務調度方法

有效

• 申請?zhí)枺?/td>: 202011177017.6
• 申請日: 2020-10-28
• 公開（公告）號: CN112433670B
• 公開（公告）日: 2022-02-18
• 發(fā)明（設計）人: 董小社;李博聞;王龍翔;米玨;惠祖明;王宇菲;王強;張興軍;伍衛(wèi)國
• 申請（專利權）人: 西安交通大學
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 高博

本發(fā)明公開了一種針對去中心化架構存儲系統(tǒng)的遷移任務調度方法，對每個遷移任務進行遷移后的數(shù)據(jù)分布進行預估，采集參與遷移硬盤帶寬數(shù)據(jù)，建立基于去中心化架構存儲系統(tǒng)的遷移任務干擾系數(shù)模型；為每個遷移任務建立任務干擾系數(shù)模型，通過觀測硬盤觀測窗口采樣窗口內干擾系數(shù)的平均值，當干擾系數(shù)平均值小于設定閾值時，執(zhí)行數(shù)據(jù)遷移；采集硬盤觀測窗口內帶寬變化調節(jié)遷移任務的速率，對遷移任務干擾系數(shù)模型的遷移帶寬進行分配，實現(xiàn)遷移任務調度。本發(fā)明提高了去中心化架構存儲系統(tǒng)的數(shù)據(jù)遷移速度的同時減少了遷移對于用戶應用的影響。

技術領域

本發(fā)明屬于分布式存儲技術領域，具體涉及一種針對去中心化架構存儲系統(tǒng)的遷移任務調度方法。

背景技術

隨著人類進入了大數(shù)據(jù)時代，數(shù)據(jù)量成爆炸式的增長對存儲系統(tǒng)提出了更高的要求，分布式存儲系統(tǒng)的可擴展性遇到了巨大挑戰(zhàn)，分布式存儲系統(tǒng)的容量不斷擴展，一方面存儲系統(tǒng)需要保證性能的同步提高，另一方面存儲系統(tǒng)還需要保持高可靠性和高可用性。為解決此問題，分布式存儲技術得到了極大的發(fā)展，更多的研究點都集中在了分布式存儲的高性能、高可靠性及高可用性上。

傳統(tǒng)的分布式存儲系統(tǒng)使用中心化的架構，將管理節(jié)點和存儲節(jié)點分開，這樣的架構在存儲節(jié)點有限的時候具有很好的性能。但當面對海量的數(shù)據(jù)存儲請求，中心化的管理節(jié)點將成為分布式存儲系統(tǒng)的性能瓶頸。因為大量的用戶訪問在與存儲節(jié)點建立聯(lián)系前，都需要請求管理節(jié)點查詢數(shù)據(jù)的存儲位置，中心化架構面臨的單點故障和性能瓶頸問題成為了制約中心化架構存儲系統(tǒng)可擴展性的關鍵問題。

去中心化架構存儲系統(tǒng)成為分布式存儲系統(tǒng)發(fā)展的一個趨勢，它在元數(shù)據(jù)管理上通常使用帶權重的哈希算法來確定數(shù)據(jù)放置的位置，當客戶端需要存取數(shù)據(jù)時，只需要在本地運行一遍特定的哈希算法就可以計算得到需要訪問的存儲節(jié)點，之后客戶端可以直接與存儲節(jié)點交互，這樣的方法可以消除元數(shù)據(jù)服務器的性能瓶頸問題。

為滿足海量的數(shù)據(jù)存儲需求，大規(guī)模分布式存儲系統(tǒng)面臨著嚴峻的挑戰(zhàn)，首先是頻繁的硬件故障，其中節(jié)點故障和硬盤故障最為頻繁，嚴重影響分布式存儲系統(tǒng)的可靠性和可用性，當故障發(fā)生時，故障節(jié)點或硬盤中的數(shù)據(jù)需要恢復到存儲系統(tǒng)其它的存儲節(jié)點上，這個恢復過程會觸發(fā)數(shù)據(jù)遷移，數(shù)據(jù)遷移對存儲系統(tǒng)有兩方面影響：一方面數(shù)據(jù)遷移的快慢直接影響存儲系統(tǒng)的可靠性；另一方面，數(shù)據(jù)遷移會和存儲系統(tǒng)中運行的用戶應用的訪問產生資源競爭，這將導致存儲系統(tǒng)的性能下降。

在大規(guī)模存儲集群中，運行著大量的用戶應用，用戶應用造成的負載通常是不均勻的，通常體現(xiàn)在存儲節(jié)點負載的不均衡和存儲設備(硬盤)負載的不均衡，這種不均衡的現(xiàn)象為數(shù)據(jù)遷移任務調度提出了挑戰(zhàn)。

目前國內外分布式存儲系統(tǒng)在單點故障或者業(yè)務需要遷移數(shù)據(jù)時，由于數(shù)據(jù)遷移過程對于存儲系統(tǒng)上用戶應用訪問的影響，往往采取簡單的限速策略，將每個硬盤提供給遷移任務的帶寬設定為固定值。這會導致硬盤帶寬利用率較低，遷移速率較慢，系統(tǒng)的可靠性下降等問題。

發(fā)明內容

本發(fā)明所要解決的技術問題在于針對上述現(xiàn)有技術中的不足，提供一種針對去中心化架構存儲系統(tǒng)的遷移任務調度方法，在確保減少影響用戶應用訪問質量的同時，提高遷移速度。

本發(fā)明采用以下技術方案：

一種針對去中心化架構存儲系統(tǒng)的遷移任務調度方法，包括以下步驟：

S1、預估每個遷移任務結束后的數(shù)據(jù)分布，采集參與遷移硬盤帶寬數(shù)據(jù)，建立基于去中心化架構存儲系統(tǒng)的遷移任務干擾系數(shù)模型；

S2、為每個遷移任務建立步驟S1得到的遷移任務干擾系數(shù)模型，通過觀測硬盤觀測窗口采樣窗口內干擾系數(shù)的平均值，當干擾系數(shù)平均值小于設定閾值時，執(zhí)行數(shù)據(jù)遷移；

S3、采集硬盤觀測窗口內帶寬變化調節(jié)遷移任務的速率，對遷移任務干擾系數(shù)模型的遷移帶寬進行分配，實現(xiàn)遷移任務調度。

具體的，步驟S1具體為：