[發明專利]面向共享式突發數據緩存的基于競爭感知的節點分配方法

在審

• 申請號: 202010150503.2
• 申請日: 2020-03-06
• 公開（公告）號: CN111338782A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 安虹;梁偉浩;韓文廷;陳俊仕;方濤;張子豫
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F9/54
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;韓珂

本發明公開了一種面向共享式突發數據緩存的基于競爭感知的節點分配方法，包括：實時記錄和分析當前運行的作業應用的I/O狀態信息；實時監控當前運行的作業應用在突發數據緩存系統中的分布情況，并利用運行的作業應用的I/O狀態信息計算緩存節點的負載量；利用緩存節點調度分配算法，根據突發數據緩存系統中緩存節點的I/O帶寬競爭情況與的負載量，為即將運行的作業應用分配相應的緩存節點，然后，更新當前運行的作業應用的I/O狀態信息與緩存節點的負載量。該方法能夠高效地管理突發數據緩存系統中緩存節點的調度分配并協調同時來自不同用戶的大量作業應用并發執行以優化應用和系統的性能。

技術領域

本發明涉及計算機系統結構領域，尤其涉及一種面向共享式突發數據緩存的基于競爭感知的節點分配方法。

背景技術

高性能科學應用通常包含大量的I/O訪問操作并且會產生大量數據。數據傳輸已成為許多大規模科學計算應用的性能瓶頸。Burst Buffer突發數據緩存技術是解決這一性能瓶頸問題的有潛力的方案。它是位于計算節點與并行文件系統之間的由高速存儲介質(如SSD固態硬盤)組成的獨立緩存節點。緩存節點可以快速利用其本地SSD的高帶寬和低延遲特性來迅速吸收計算節點發出的I/O流量，從而達到提高應用程序I/O性能的目的。

目前針對此存儲系統結構的研究主要集中在：1)基于新型存儲硬件技術，致力于讓硬盤的訪問速度(尤其是隨機訪問的速度)追趕上內存的訪問速度；2)如何通過在靠近數據存儲的位置提供計算分析功能從而減少數據的傳輸量；3)通過在靠近計算節點的位置提供額外的快速緩存設備以減少數據的傳輸時間。但是現有的相關工作研究主要集中在提高單個應用在上述存儲系統結構中的性能優化，沒有考慮多應用并發訪問時的存儲資源分配、帶寬競爭等問題。

突發數據緩存系統被設計為數百或數千個以上用戶和應用程序共享的存儲資源。以往的研究工作主要集中在研究如何通過直接減少I/O時間以及利用應用程序的計算和I/O階段之間的重疊來提高應用程序性能。但是針對共享式突發數據緩存的存儲資源管理仍未得到充分研究，現有的緩存節點調度分配策略只考慮用戶的容量需求，這可能會導致多個并發運行的數據密集型應用程序之間會產生I/O競爭阻塞。

因此，亟需一種不僅能最大限度地提高存儲資源利用率而且可以最大限度地減少應用之間的I/O帶寬競爭的突發數據緩存節點分配算法。

發明內容

本發明的目的是提供一種面向共享式突發數據緩存的基于競爭感知的節點分配方法，能夠高效地管理突發數據緩存系統中緩存節點的調度分配并協調同時來自不同用戶的大量作業應用并發執行以優化應用和系統的性能。

本發明的目的是通過以下技術方案實現的：

一種面向共享式突發數據緩存的基于競爭感知的節點分配方法，包括：

實時記錄和分析即將運行的作業應用的I/O狀態信息；

實時監控當前運行的作業應用在突發數據緩存系統中的分布情況，從而計算緩存節點的負載量；

利用緩存節點調度分配算法，根據突發數據緩存系統中緩存節點的I/O帶寬競爭情況與負載量以及即將運行的作業應用的I/O狀態信息，為即將運行的作業應用分配相應的緩存節點，然后，更新即將運行的作業應用的I/O狀態信息與緩存節點的負載量。

由上述本發明提供的技術方案可以看出，能夠實現面向共享式突發數據緩存的節點動態分配。不僅能最大限度地提高存儲資源利用率，而且可以最大限度地減少應用之間的I/O帶寬競爭。通過動態分配當前負載較低的Burst Buffer節點來滿足不同應用的存儲需求，從而有效地提高應用程序的I/O性能和緩存系統的帶寬利用率。

附圖說明