[發明專利]對分布式存儲系統的主PG均衡調整的方法、裝置及介質

在審

• 申請號: 201811115255.7
• 申請日: 2018-09-25
• 公開（公告）號: CN109343798A
• 公開（公告）日: 2019-02-15
• 發明（設計）人: 李軍站
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

本發明公開了一種對分布式存儲系統的主PG均衡調整方法、裝置及介質，該方法對每個OSD預先設定期望主PG數、預期偏差和主PG親和性的權重值的初始值，然后根據各OSD當前的主PG數與期望主PG數的絕對差值與預期偏差的關系從而確定是否要調整OSD的當前主PG親和性的權重值，通過調整當前主PG親和性的權重值來調整每個OSD上的主PG數分布，直到每個OSD的當前主PG親和性的權重值都不需要再調整為止。由此可見，相對于現有技術中，隨機將主PG數分布在各OSD上的方法而言，應用于本方法可以將每個OSD上的主PG數都逐漸靠近期望主PG數，最大偏差是預期偏差，從而實現主PG的均衡調整。

技術領域

本發明涉及分布式存儲系統領域，特別是涉及一種對分布式存儲系統的主PG均衡調整的方法、裝置及介質。

背景技術

隨著分布式存儲系統在視頻監控、高性能、廣電媒資、云計算、大數據、虛擬化等領域得到了廣泛應用，客戶對分布是存儲系統的性能要求也越來越高，提高分布式存儲系統的性能顯得日益重要。

PG(Placement Group)是分布式存儲系統中非常重要的概念，它可以看成是一致性哈希中的虛擬節點，維護了一部分數據并且是數據遷移和改變的最小單位。它在分布式存儲系統中承擔著非常重要的角色，在一個分布式存儲系統中存在一定數量的PG(可動態增減)，這些PG會被分布在多個OSD(對象存儲設備)。通常情況下，當副本數是多個時，一般是包括一個主PG和多個從PG，例如，副本數量是3個時，包括一個主PG和兩個從PG，分布在3個OSD中。

現有技術中，分布式存儲系統通過Crush偽隨機算法把主PG和從PG放置到不同的OSD上，這樣可以實現存儲系統數據的整體基本均衡。由于存儲系統中不同OSD上主PG的數目相差可能達到十幾個甚至更多，這會導致主PG在OSD上分布不均衡。當主PG不均衡時，會導致各OSD的讀命中率差異很大。例如分布式存儲系統中的某些OSD的讀命中率達到100％時，卻存在一些OSD的讀命中率只有70％甚至更低；通常讀命中率越低的OSD，它的平均延時就越高，從而這些讀命中率低的OSD成為整個分布式存儲系統的性能瓶頸。

由此可見，如何均衡分布式存儲系統中各OSD的讀命中率從而克服系統中由于某些OSD由于讀命中率過低造成的性能瓶頸是本領域技術人員亟待解決的問題。

發明內容

本發明的目的是提供一種對分布式存儲系統的主PG均衡調整的方法、裝置及介質，用于均衡分布式存儲系統中各OSD的讀命中率從而克服系統中由于某些OSD由于讀命中率過低造成的性能瓶頸。

為解決上述技術問題，本發明提供一種對分布式存儲系統的主PG均衡調整的方法，包括：

獲取各OSD當前的主PG數；

判斷各所述OSD當前的主PG數與期望主PG數的絕對差值是否均不大于預期偏差；其中，所述期望主PG數和所述預期偏差均為預先設定；

如果是，則確定所述分布式存儲系統中各OSD的主PG均衡分布；否則，對不滿足判斷條件的OSD的當前主PG親和性的權重值進行調整；其中，主PG親和性的權重值的初始值為預先設定；

依據各所述OSD的當前主PG親和性的權重值更新主PG分布，并返回所述獲取各OSD當前的主PG數的步驟。

優選地，所述對不滿足判斷條件的OSD的當前主PG親和性的權重值進行調整具體包括：

若OSD當前的主PG數減去所述期望主PG數的差值大于所述預期偏差，則調低該OSD的主PG親和性的權重值，若所述期望主PG數減去當前的主PG數的差值小于所述預期偏差的相反數，則調高該OSD的主PG親和性的權重值。

優選地，各所述OSD的所述主PG親和性的權重值的初始值均相同，各所述OSD的所述期望主PG數均相同，各所述OSD的所述預期偏差均相同。