[發明專利]一種面向突發性負載的選擇性副本實現方法及系統

有效

• 申請號: 201910544859.1
• 申請日: 2019-06-21
• 公開（公告）號: CN110362426B
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 馮丹;蘇毅;施展;陳碩;吳雨桐
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F11/14
• 分類號: G06F11/14
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 曹葆青;李智

本發明公開了一種面向突發性負載的選擇性副本實現方法及系統，屬于云對象存儲領域，包括：存儲服務器接收到訪問請求后，獲得目標數據對象副本所在的目標存儲設備，并確定是否由目標存儲設備服務該訪問請求；若由目標存儲設備服務該訪問請求且其中的副本為基礎副本，則預測目標數據對象是否將被突發訪問；若預測目標數據對象將被突發訪問，則在響應中進行標記；存儲客戶端接收到含標記的響應后，將響應中的數據緩存在本地后再返回給請求發送方，然后獲取一個滿足副本創建條件的存儲設備，獲取成功后將數據遷移至該設備，從而為目標數據對象創建一個新的額外副本。本發明能夠提高云存儲系統處理突發性負載時的資源利用率及系統性能。

技術領域

本發明屬于云對象存儲領域，更具體地，涉及一種面向突發性負載的選擇性副本實現方法及系統。

背景技術

隨著越來越多的應用被部署在云環境中，價格低廉，易于使用的云對象存儲系統(例如，Amazon S3、OpenStack Swift、Microsoft Azure)得到了廣泛使用。數據密集型應用直接使用云對象存儲系統，可以避免在其專用存儲系統(例如，HDFS)中存儲冗余數據所帶來的存儲開銷，也可以避免向其專用存儲系統中導入數據所需要的時間開銷，從而能夠實現對數據更加及時地處理，而且，專用存儲系統相對于云對象存儲系統的性能優勢逐漸減少，因此，眾多數據密集型應用逐漸從使用專用存儲系統，轉變為使用云對象存儲系統。

數據密集型應用產生的數據訪問負載通常存在顯著的偏斜性和突發性。負載的偏斜性是指相同時間段內，不同數據對象被訪問的頻次存在著巨大的差異。負載的突發性是指系統中請求在數據對象上的分布，即每個數據對象被訪問的頻次，在短時間內可能會發生大幅變化。負載的偏斜性會導致系統中存在部分節點被過度使用，同時也存在部分節點時常處于空閑狀態，其中，被過度使用的節點會成為系統的性能瓶頸，而時常處于空閑狀態的節點會造成系統的資源浪費。針對負載的偏斜性，選擇性副本技術被廣泛應用于分布式存儲系統以提高系統整體的性能(提高吞吐量，降低響應延遲)。選擇性副本技術具體通過為不同的數據對象存儲不同數量的副本，并將其各個副本分布在不同的節點上，由此可以有效利用系統中的空閑資源，并實現對系統資源的重新分配。

在云對象存儲系統中，為了充分利用系統中的空閑資源，同樣需要實現選擇性副本。然而，為了適應負載的突發性，需要對系統中數據的副本數量及布局進行頻繁調整，在此過程中，需要在兩個存儲服務器之間執行數據遷移，由于突發性負載具有不可預測性，而且執行數據遷移會因存在較大性能開銷而導致系統性能下降，因此，針對突發性負載，如何有效地實現選擇性副本成為一個亟需解決的問題。

發明內容

針對現有技術的缺陷和改進需求，本發明提供了一種面向突發性負載的選擇性副本實現方法及系統，其目的在于，提高云存儲系統處理突發性負載時的資源利用率及系統性能。

為實現上述目的，按照本發明的第一方面，提供了一種面向突發性負載的選擇性副本實現方法，包括：

(1)存儲客戶端將訪問目標數據對象的訪問請求轉發至存儲服務器；

(2)存儲服務器接收到訪問請求后，獲得存儲有目標數據對象副本的目標存儲設備，并判斷目標數據對象是否存在額外副本，若存在，則轉入步驟(3)；若不存在，則轉入步驟(4)；

(3)根據當前的系統狀態確定服務訪問請求的存儲設備，若為目標存儲設備，則轉入步驟(4)；否則，通知存儲客戶端將訪問請求發送至相應的存儲設備，以由該存儲設備服務訪問請求，操作結束；

(4)從目標存儲設備獲取副本數據以生成訪問請求的響應，并判斷副本類型，若為基礎副本，則轉入步驟(5)；若為額外副本，則轉入步驟(6)；

(5)預測目標數據對象是否將被突發訪問，若是，則在該響應中進行標記，以顯示需要為目標數據對象創建額外副本；若否，則不進行標記；

(6)由存儲服務器將訪問請求的響應返回至存儲客戶端；