[發明專利]數據存儲管理方法、裝置、設備、系統及存儲介質

在審

• 申請號: 201911301508.4
• 申請日: 2019-12-17
• 公開（公告）號: CN111124299A
• 公開（公告）日: 2020-05-08
• 發明（設計）人: 王怡然;任紅超;曹磊
• 申請（專利權）人: 網易傳媒科技（北京）有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 孟柯

1.一種數據存儲管理方法，其特征在于，包括：

接收應用對應的客戶端發送的存儲請求，所述存儲請求包括待存儲數據和索引標識，所述應用包括至少一個索引標識；

根據預配置的路由關系，查詢到與所述存儲請求中的索引標識對應的第一集群，所述路由關系為索引標識和存儲系統中的集群的對應關系，所述存儲系統包括多個集群；

將所述待存儲數據存入所述第一集群。

2.根據權利要求1所述的方法，其特征在于，所述接收應用對應的客戶端發送的存儲請求之后，所述方法還包括：

將所述存儲請求中的待存儲數據和索引標識寫入緩存隊列中，所述緩存隊列為基于Kafka消息系統創建的隊列；

所述將所述待存儲數據存入所述第一集群，具體包括：

從所述緩存隊列中依次獲取待存儲數據和索引標識，將獲取的待存儲數據存儲到所述索引標識對應的第一集群中。

3.根據權利要求1所述的方法，其特征在于，所述接收應用對應的客戶端發送的存儲請求之后，所述方法還包括：

將所述存儲請求中的待存儲數據寫入與所述存儲請求中的索引標識對應的緩存隊列中，所述緩存隊列為基于Kafka消息系統創建的隊列；

將所述待存儲數據存入所述第一集群，具體包括：

從所述索引標識對應的緩存隊列中依次獲取存儲請求中的待存儲數據，將獲取的待存儲數據存儲到所述第一集群中。

4.根據權利要求3所述的方法，其特征在于，所述將所述存儲請求中的待存儲數據寫入與所述存儲請求中的索引標識對應的緩存隊列中，具體包括：

若接收到的存儲請求的類型為http請求，獲取所述存儲請求中的待存儲數據和索引標識，根據Kafka通信協議將獲取的待存儲數據寫入Kafka消息系統中與獲取的索引標識對應的緩存隊列中，否則，直接將所述存儲請求中的待存儲數據寫入與所述存儲請求中的索引標識對應的緩存隊列中。

5.根據權利要求1至4任一所述的方法，其特征在于，所述方法還包括：

接收應用對應的客戶端發送的第一查詢請求，所述第一查詢請求包括索引標識和查詢條件，所述第一查詢請求的類型為http請求；

根據所述路由關系，確定所述第一查詢請求中的索引標識對應的第二集群；

從所述第二集群中查詢到符合所述第一查詢請求中的查詢條件的數據；

將符合查詢條件的數據發送給發送所述第一查詢請求的客戶端。

6.根據權利要求5所述的方法，其特征在于，所述方法還包括：

接收應用對應的客戶端通過預設查詢接口發送的第二查詢請求，所述第二查詢請求包括聯合查詢標識和查詢條件；

從預設的聯合查詢列表中找到與所述聯合查詢標識對應的聯合查詢方式，所述聯合查詢方式包括多個索引標識；

根據查詢到的聯合查詢方式中的多個索引標識，分別從所述多個索引標識對應的集群中查詢到符合所述第二查詢請求中的查詢條件的數據；

將符合查詢條件的數據發送給發送所述第二查詢請求的客戶端。

7.一種數據存儲管理裝置，其特征在于，包括：

寫入網關，用于接收應用對應的客戶端發送的存儲請求，所述存儲請求包括待存儲數據和索引標識，所述應用包括至少一個索引標識；

消息處理單元，用于根據預配置的路由關系，查詢到與所述存儲請求中的索引標識對應的第一集群，所述路由關系為索引標識和存儲系統中的集群的對應關系，所述存儲系統包括多個集群；將所述待存儲數據存入所述第一集群。

8.一種數據存儲管理設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至6任一項所述方法的步驟。

9.一種數據存儲管理系統，其特征在于，包括：如權利要求8所述的數據存儲管理設備和存儲系統，所述存儲系統包括多個集群。

10.一種計算機可讀存儲介質，其上存儲有計算機程序指令，其特征在于，該計算機程序指令被處理器執行時實現權利要求1至6任一項所述方法的步驟。