[發明專利]數據處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 202210729342.1
• 申請日: 2022-06-24
• 公開（公告）號: CN115061628A
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 賈如瑞
• 申請（專利權）人: 上海商湯科技開發有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 苑晨浩

本公開涉及一種數據處理方法、裝置、電子設備及存儲介質，所述方法包括：獲取存儲集群的多個存儲單元中，至少一個存儲單元的當前讀寫利用率；根據所述至少一個存儲單元的當前讀寫利用率和待處理數據，在所述存儲集群的多個存儲單元中確定至少一個目標存儲單元，及每個所述目標存儲單元的數據讀寫量；根據每個所述目標存儲單元的數據讀寫量，對所述待處理數據進行讀取處理和/或保存處理。

技術領域

本公開涉及數據處理技術領域，尤其涉及一種數據處理方法、裝置、電子設備及存儲介質。

背景技術

近年來，云計算逐漸發展，為生產生活中的很多領域都帶來了方便，因此得到了普及和推廣。云計算過程中的數據量越來越高，因此依賴于數據的分布式存儲才能保證數據的存儲。云計算系統在對計算過程中產生的數據進行處理時，需要將數據在存儲集群中進行分配，但是相關技術中，數據在存儲集群中的分配合理性較差，導致數據處理的效率較低。

發明內容

本公開提供一種數據處理方法、裝置、設備及存儲介質，以解決相關技術中的缺陷。

根據本公開實施例的第一方面，提供一種數據處理方法，所述方法包括：

獲取存儲集群的多個存儲單元中，至少一個存儲單元的當前讀寫利用率；

根據所述至少一個存儲單元的當前讀寫利用率和待處理數據，在所述存儲集群的多個存儲單元中確定至少一個目標存儲單元，及每個所述目標存儲單元的數據讀寫量；

根據每個所述目標存儲單元的數據讀寫量，對所述待處理數據進行讀取處理和/或保存處理。

在一個實施例中，所述獲取存儲集群的多個存儲單元中，至少一個存儲單元的當前讀寫利用率，包括：

獲取存儲集群的多個存儲單元中，至少一個存儲單元當前的輸入輸出接口的利用率，作為對應的所述存儲單元的當前讀寫利用率。

在一個實施例中，所述待處理數據包括待保存數據；

所述獲取存儲集群的多個存儲單元中，至少一個存儲單元的當前讀寫利用率，包括：

根據所述待保存數據的數據量，和所述存儲集群中每個存儲單元的剩余存儲量，確定所述存儲集群中至少一個存儲單元為待檢測存儲單元，并獲取每個所述待檢測存儲單元的當前讀寫利用率。

在一個實施例中，所述待處理數據包括待讀取數據；

所述獲取存儲集群的多個存儲單元中，至少一個存儲單元的當前讀寫利用率，包括：

根據所述待讀取數據的數據標識，和所述存儲集群中每個存儲單元所存儲的數據的數據標識，確定所述存儲集群中至少一個存儲單元為待檢測存儲單元，并獲取每個所述待檢測存儲單元的當前讀寫利用率。

在一個實施例中，所述根據所述至少一個存儲單元的當前讀寫利用率和待處理數據，在所述存儲集群的多個存儲單元中確定至少一個目標存儲單元，及每個所述目標存儲單元的數據讀寫量，包括：

根據所述至少一個存儲單元的當前讀寫利用率和期望讀寫利用率，以及所述待處理數據，在所述存儲集群的多個存儲單元中確定至少一個目標存儲單元，及每個所述目標存儲單元的數據讀寫量。

在一個實施例中，還包括：

獲取所述存儲集群中每個存儲單元的讀寫效率；

根據每個存儲單元的讀寫效率，對應確定每個存儲單元的期望讀寫利用率。

在一個實施例中，所述根據所述至少一個存儲單元的當前讀寫利用率和待處理數據，在所述存儲集群的多個存儲單元中確定至少一個目標存儲單元，及每個所述目標存儲單元的數據讀寫量，包括：