[發明專利]一種存儲垃圾回收的方法、裝置、設備及可讀介質

有效

• 申請號: 202011446452.4
• 申請日: 2020-12-11
• 公開（公告）號: CN112463069B
• 公開（公告）日: 2023-01-06
• 發明（設計）人: 王鉑;陶桐桐;胡永剛
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06N3/00;G06N3/12
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 劉小峰;陳黎明

本發明公開了一種存儲垃圾回收的方法，包括：獲取影響垃圾回收的若干參數的可行域，并基于若干參數的可行域隨機生成預設數目的可行方案；將每一種可行方案用一個染色體進行表示，計算對應的適應度值，選取排名前預設百分比的染色體作為第一代染色體；對第一代染色體進行變異、交叉和選擇，生成實驗種群，并計算實驗種群中下一代染色體的適應度，判斷實驗種群是否符合預設條件；以及若是實驗種群符合預設條件，確認下一代染色體為最優參數模型池，基于下一代染色體對應的方案進行垃圾回收。本發明還公開了一種存儲垃圾回收的裝置、計算機設備和可讀存儲介質。本發明采用多目標進化算法求得最優參數，平衡垃圾回收功能和集群性能，提高集群的性能。

技術領域

本發明涉及存儲技術領域，尤其涉及一種存儲垃圾回收的方法、裝置、設備及可讀介質。

背景技術

在分布式存儲系統集群的RGW(RADOS gateway，對象存儲網關)中，前端請求執行刪除對象、覆蓋寫對象以及分片上傳中產生的臨時文件時，這些被刪除、覆蓋的對象以及臨時文件所占的磁盤空間由GC進行異步回收。這些垃圾數據被標記后放入待刪除的GC隊列中，然后由GC線程進行操作處理。

在實際社會中的各個領域都可以見到多目標優化問題，這類問題的特點是多個目標之間是互相沖突的，一個目標的效果提升會導致其他目標的效果降低。當前，多目標進化算法是處理多目標優化問題的有效手段，其能夠在決策空間中找到近似Pareto前沿對應的非支配Pareto解集。決策者根據自己的偏好從解決方案集中選擇一個最終解決方案。

在對象存儲中，如果GC刪除垃圾數據不及時，會造成空間大量占用，進而影響存儲系統的性能，但是如果盲目調高GC的刪除效率，又可能導致前端業務的處理受阻。使用者往往很難做出決策，因為需要同時兼顧GC效果和前端業務的處理效率，并根據實際業務來平衡空間利用率和前端業務處理效率這兩個沖突的目標。

目前的垃圾回收參數設置一般根據經驗進行設置，難以滿足當前多樣大規模存儲的需求。

發明內容

有鑒于此，本發明實施例的目的在于提出一種存儲垃圾回收的方法、裝置、設備及可讀介質，以垃圾數據所占磁盤空間大小和所占集群性能大小作為優化目標，將對象存儲的垃圾回收優化問題轉化為一個多目標問題，并采用多目標進化算法求得最優配置參數，有效平衡垃圾回收功能和集群性能，使用者可根據最優配置參數配置集群，從而提高集群的性能。

基于上述目的，本發明實施例的一方面提供了一種存儲垃圾回收的方法，包括以下步驟：獲取影響垃圾回收的若干參數的可行域，并基于若干參數的可行域隨機生成預設數目的可行方案；將每一種可行方案用一個染色體進行表示，計算對應的適應度值，選取排名前預設百分比的染色體作為第一代染色體；對第一代染色體進行變異、交叉和選擇，生成實驗種群，并計算實驗種群中下一代染色體的適應度，判斷實驗種群是否符合預設條件；以及若是實驗種群符合預設條件，確認下一代染色體為最優參數模型池，基于下一代染色體對應的方案進行垃圾回收。

在一些實施方式中，還包括：若是實驗種群不符合預設條件，將下一代染色體作為新的第一代染色體進行變異、交叉和選擇，生成新的實驗種群并重新判斷新的實驗種群是否符合預設條件。

在一些實施方式中，獲取影響垃圾回收的若干參數的可行域包括：獲取每次垃圾回收最大能執行的時長、兩次垃圾回收執行之間的時間間隔時長和垃圾回收線程的數量對應的可行域。

在一些實施方式中，計算對應的適應度值包括：基于總的垃圾數據量、每次垃圾回收最大能執行的時長和垃圾回收線程的數量計算得到垃圾數據的容量大小；基于每次垃圾回收最大能執行的時長、兩次垃圾回收執行之間的時間間隔時長、集群并發數和垃圾回收線程的數量計算得到集群性能占用的大小。