[發明專利]數據存儲管理方法、裝置、設備、系統及存儲介質

在審

• 申請號: 201911301508.4
• 申請日: 2019-12-17
• 公開（公告）號: CN111124299A
• 公開（公告）日: 2020-05-08
• 發明（設計）人: 王怡然;任紅超;曹磊
• 申請（專利權）人: 網易傳媒科技（北京）有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 孟柯

本申請公開了一種數據存儲管理方法、裝置、設備、系統及存儲介質，以協助開發團隊便利地使用和維護集群，降低使用成本，同時合理協調集群資源，該方法包括：接收應用對應的客戶端發送的存儲請求，所述存儲請求包括待存儲數據和索引標識，所述應用包括至少一個索引標識；根據預配置的路由關系，查詢到與所述存儲請求中的索引標識對應的第一集群，所述路由關系為索引標識和存儲系統中的集群的對應關系，所述存儲系統包括多個集群；將所述待存儲數據存入所述第一集群。

技術領域

本申請涉及計算機技術領域，尤其涉及一種數據存儲管理方法、裝置、設備、系統及存儲介質。

背景技術

本部分旨在為權利要求書中陳述的本申請的實施方式提供背景或上下文。此處的描述不因為包括在本部分中就承認是現有技術。

集群是一組相互獨立的、通過高速網絡互聯的計算機，它們構成了一個組，并以單一系統的模式加以管理。通過集群技術，可以在付出較低成本的情況下獲得在性能、可靠性、靈活性方面的相對較高的收益。目前大多采用集群管理各種不同應用中的海量數據，以實現對數據的高速存儲、查詢、刪除等操作。

但是實際應用中，開發團隊通常需要為每個應用部署一套獨立的集群，然后通過在應用中配置集群的IP和端口實現對集群的訪問，當應用需要存儲的數據量較小時，存在集群資源浪費的問題，且每個開發團隊都需要學習集群的部署和維護，學習成本高。

發明內容

針對上述技術問題，非常需要一種改進的方法，來協助開發團隊便利地使用和維護集群，降低使用成本，同時合理協調集群資源。

一方面，本申請一實施例提供了一種數據存儲管理方法，包括：

接收應用對應的客戶端發送的存儲請求，所述存儲請求包括待存儲數據和索引標識，所述應用包括至少一個索引標識；

根據預配置的路由關系，查詢到與所述存儲請求中的索引標識對應的第一集群，所述路由關系為索引標識和存儲系統中的集群的對應關系，所述存儲系統包括多個集群；

將所述待存儲數據存入所述第一集群。

可選地，所述方法還包括：

若檢測到針對任一應用的單次數據查詢量超過為該應用配置的單次流量上限值，或在單位時間內針對任一應用的總數據查詢量超過為該應用配置的單位時間總流量上限值，則停止響應針對該應用的任一索引標識的查詢請求。

可選地，所述方法還包括：

接收應用對應的客戶端發送的建立索引請求，所述建立索引請求包括該應用包括的至少一個索引標識和期望存儲容量；

從存儲系統中選擇剩余存儲容量滿足所述期望存儲容量的集群；

為所述建立索引請求中的索引標識和選擇的集群建立路由關系。

可選地，所述建立索引請求還包括服務等級；

所述從存儲系統中選擇剩余存儲容量滿足所述期望存儲容量的集群，具體包括：

若服務等級高于預設等級，則從存儲系統的尚未建立路由關系的集群中選擇存儲容量滿足所述期望存儲容量的集群，并將選擇的集群標記為獨占集群；

若服務等級不高于預設等級，則從存儲系統的非獨占集群中選擇剩余存儲容量滿足所述期望存儲容量的集群。

可選地，所述存儲系統中的集群為ElasticSearch集群。

一方面，本申請一實施例提供了一種數據存儲管理裝置，包括：

寫入網關，用于接收應用對應的客戶端發送的存儲請求，所述存儲請求包括待存儲數據和索引標識，所述應用包括至少一個索引標識；