[發明專利]一種數據處理方法及裝置

有效

• 申請號: 201711042481.2
• 申請日: 2017-10-31
• 公開（公告）號: CN107817950B
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 王彥斌;顧雷雷
• 申請（專利權）人: 新華三技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

1.一種數據處理方法，應用于分布式存儲系統Ceph集群的監視器，其特征在于，該方法包括：

當確定所述Ceph集群中存在對象存儲設備OSD的已用容量達到第一容量閾值時，從所述Ceph集群的各池pool中選擇目標pool；其中，所述第一容量閾值小于預設集群警戒值；

向所述目標pool中的部分副本的數據所在的目標OSD發送數據刪除指令，以使所述目標OSD根據所述數據刪除指令刪除所述部分副本的數據；其中，所述目標OSD刪除所述部分副本的數據之后，觸發所述監視器通過集群Map進行Ceph集群的再平衡處理。

2.根據權利要求1所述的方法，其特征在于，所述從所述Ceph集群的各pool中選擇目標pool，包括：

將所述Ceph集群的各pool中包括的副本數大于預設數量，且已用容量最大的pool選擇為目標pool；其中，所述預設數量大于等于2，或，

將所述Ceph集群的各pool中包括的已用容量最大的pool選擇為目標pool；或，

將所述Ceph集群的各pool中包括的副本數最多的pool選擇為目標pool。

3.根據權利要求1所述的方法，其特征在于，所述向所述目標pool中的部分副本的數據所在的目標OSD發送數據刪除指令，包括：

以數據刪除后所述目標pool中的副本數為1的原則，向所述目標pool中的部分副本的數據所在的目標OSD發送數據刪除指令；或，

以數據刪除后所述目標pool中的副本數為預設數量的原則，向所述目標pool中的部分副本的數據所在的目標OSD發送數據刪除指令；其中，所述預設數量大于等于2。

4.根據權利要求1所述的方法，其特征在于，所述向所述目標pool中的部分副本的數據所在的目標OSD發送數據刪除指令之后，還包括：

計算若恢復刪除的副本的數據后所述Ceph集群中各OSD的已用容量，若計算出的恢復刪除的副本后各OSD的已用容量均小于第二容量閾值，則恢復所述目標OSD刪除的副本的數據；其中，所述第二容量閾值小于所述第一容量閾值。

5.根據權利要求1-4任一項所述的方法，其特征在于，所述向所述目標pool中的部分副本的數據所在的目標OSD發送數據刪除指令之后，還包括：

當預設定時器超時時，或，

當所述Ceph集群中新增、刪除存儲節點或OSD時，觸發計算若恢復所述目標OSD刪除的副本的數據后所述Ceph集群中各OSD的已用容量。

6.一種數據處理裝置，應用于分布式存儲系統Ceph集群的監視器，其特征在于，該裝置包括：

確定單元，用于確定所述Ceph集群中是否存在對象存儲設備OSD的已用容量達到第一容量閾值；其中，所述第一容量閾值小于預設集群警戒值；

選擇單元，用于當所述確定單元確定所述Ceph集群中存在OSD的已用容量達到第一容量閾值時，從所述Ceph集群的各池pool中選擇目標pool；

數據處理單元，用于向所述目標pool中的部分副本的數據所在的目標OSD發送數據刪除指令，以使所述目標OSD根據所述數據刪除指令刪除所述部分副本的數據；其中，所述目標OSD刪除所述部分副本的數據之后，觸發所述監視器通過集群Map進行Ceph集群的再平衡處理。

7.根據權利要求6所述的裝置，其特征在于，

所述選擇單元，具體用于將所述Ceph集群的各pool中包括的副本數大于預設數量，且已用容量最大的pool選擇為目標pool；其中，所述預設數量大于等于2，或，將所述Ceph集群的各pool中包括的已用容量最大的pool選擇為目標pool；或，將所述Ceph集群的各pool中包括的副本數最多的pool選擇為目標pool。