[發明專利]存儲系統的IO壓力調度系統

在審

• 申請號: 201911373212.3
• 申請日: 2019-12-27
• 公開（公告）號: CN111208943A
• 公開（公告）日: 2020-05-29
• 發明（設計）人: 呂方川;沈海嘉;吳瑞強;張超
• 申請（專利權）人: 天津中科曙光存儲科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F9/48;G06F9/50
• 代理公司: 北京德恒律治知識產權代理有限公司 11409
• 代理人: 章社杲;盧軍峰

本發明公開了一種存儲系統的IO壓力調度系統，該系統包括：IO接收模塊，用于接收用戶應用發給存儲系統的IO請求；IO緩存模塊，用于將接收到的IO請求暫存到IO處理隊列上；檢測模塊，用于至少檢測IO數據通路上多個模塊的資源使用情況、隊列深度、和帶寬占用情況；IO派發模塊，用于根據檢測模塊檢測到的存儲系統實時的資源使用情況、隊列深度、和帶寬占用情況，對各個IO類型重新分配相應的隊列深度，并且按照重新分配的隊列深度，從IO緩存模塊獲取相應量的IO數據派發到IO數據通路上。

技術領域

本發明涉及數據存儲技術領域，具體來說，涉及一種存儲系統的IO壓力調度系統。

背景技術

近年來，隨著信息技術和人類生產生活交匯融合，全球數據規模急速增長，在醫療、高性能計算、數字媒體等各行各業對大量數據的依賴愈加嚴重，對海量數據的存儲和管理，保證存儲數據的高穩定性、可靠性和高可用性將對提升社會生產力和提高人民生活質量發揮不可替代的重要作用。

在傳統的存儲系統中，為了提升系統的吞吐性能并保證數據一致性，一般采用增加數據的多級緩存、采用多級存儲介質等方式才實現。存儲系統通過分析數據的訪問頻率、保留時間、數據大小等指標，將數據在一定時間內存儲在高速存儲介質(例如SSD、NVDIMM或RAM)中，并且能夠通過多副本的模式，保證數據的可靠，不僅縮短了系統對用戶數據IO的響應時間，同時一定程度上通過緩存層對數據的聚合緩解了存儲系統對低速磁盤的訪問壓力。

通過這樣的機制雖然一定程度上解決了性能的問題，但也對存儲系統的高穩定性和可靠性帶來了諸多問題。現在的存儲系統作為一種底層的基礎設施，被動接受處理用戶應用發起的數據IO，隨著增加緩存、高速存儲介質層等不斷優化，在一些復雜場景或系統壓力較大時，有以下幾個問題：首先，系統壓力大時，IO處理效率降低，由于無法預測用戶使用場景，如果IO數據仍然不斷地進入，造成系統中IO逐漸積累，會不斷加劇系統壓力，使系統長時間無法恢復正常；其次，隨著系統層次的增多，任何一個模塊的異常都會對系統的性能帶來開銷，可能成為系統的性能瓶頸，降級了系統的高穩定性，不能滿足存儲系統服務對IO延時、抖動的要求。

發明內容

針對相關技術中的上述問題，本發明提出一種存儲系統的IO壓力調度系統，能夠解決存儲壓力較大時造成的性能抖動、IO延時不穩定的問題。

本發明的技術方案是這樣實現的：

根據本發明的一個方面，提供了一種存儲系統的IO壓力調度系統，包括：

IO接收模塊，用于接收用戶應用發給存儲系統的IO請求；

IO緩存模塊，用于將接收到的IO請求暫存到IO處理隊列上；

檢測模塊，用于至少檢測IO數據通路上多個模塊的資源使用情況、隊列深度、和帶寬占用情況；

IO派發模塊，用于根據檢測模塊檢測到的存儲系統實時的資源使用情況、隊列深度、和帶寬占用情況，對各個IO類型重新分配相應的隊列深度，并且按照重新分配的隊列深度，從IO緩存模塊獲取相應量的IO數據派發到IO數據通路上。

根據本發明的實施例，存儲系統的IO壓力調度系統，其特征在于，還包括：隊列整理模塊，用于對IO處理隊列上的IO請求重新進行排序，其中，在存儲系統收到IO請求之后，IO派發模塊從IO處理隊列中取出排在隊尾的IO請求并按照檢測模塊計算出的允許隊列深度進行投遞。

根據本發明的實施例，當檢測模塊檢測到多個模塊中的一個模塊的隊列深度小于設定閾值時，則不進行帶寬限制；當檢測模塊檢測到一個模塊的隊列深度大于設定閾值時，則對IO派發模塊的隊列深度進行調整。

根據本發明的實施例，對IO派發模塊的隊列深度進行調整包括：