[發明專利]一種數據管理的方法和裝置

在審

• 申請號: 202110660666.X
• 申請日: 2021-06-15
• 公開（公告）號: CN113312355A
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 張曉陽
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2453
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張效榮;韓黎捷

本發明公開了一種數據管理的方法和裝置，涉及計算機技術領域。該方法的一具體實施方式包括：獲取針對元數據表的查詢請求，所述查詢請求包括查詢入參；根據所述查詢入參和已構建的二級索引模型，確定與所述查詢入參對應的目標數據的分組標識和分片標識；根據所述分組標識和分片標識確定所述目標數據的數據存儲范圍。該實施方式通過元數據表構建二級索引模型進行檢索，提高了數據檢索的效率，提升了用戶體驗。

技術領域

本發明涉及計算機技術領域，尤其涉及一種數據管理的方法和裝置。

背景技術

ES(ElasticSearch，一種分布式、全文搜索引擎)支持分布式、使用倒序索引，且提供了豐富的搜索API，可作為海量數據的存儲工具，廣泛用于互聯網領域的海量數據檢索、聚合、日志分析等業務中。

現有技術中一般采用ES做存儲引擎是基于數據庫做的數據同步，以解決數據庫分庫分表帶來的列表搜索的問題。但是當數據量基數較大，業務檢索范圍較寬，且查詢場景較復雜的時候，ES的檢索效率較低，無法高效支持和適應業務需求。

發明內容

有鑒于此，本發明實施例提供一種數據管理的方法和裝置，能夠實現數據的快速檢索，提高檢索效率，提升用戶體驗。

為實現上述目的，根據本發明實施例的一個方面，提供了一種數據管理的方法，包括：

獲取針對元數據表的查詢請求，所述查詢請求包括查詢入參；

根據所述查詢入參和已構建的二級索引模型，確定與所述查詢入參對應的目標數據的分組標識和分片標識；

根據所述分組標識和分片標識確定所述目標數據的數據存儲范圍。

可選地，根據所述查詢入參和已構建的二級索引模型，確定與所述查詢入參對應的目標數據的分組標識和分片標識之前，還包括：

從所述元數據表的各個字段中篩選出索引字段，根據所述索引字段構建二級索引表；

根據所述二級索引表中的索引字段對所述元數據表中的元數據進行分組，并對每個分組內的元數據進行分片，以構建所述二級索引模型。

可選地，根據所述二級索引表中的索引字段對所述元數據表中的元數據進行分組，并對每個分組內的元數據進行分片，包括：

從所述二級索引表的索引字段中篩選出一個索引字段作為分組字段，從所述索引字段中篩選出一個字段作為分片鍵值；

根據所述分組字段對所述元數據進行分組，獲得一個或多個分組；

根據所述分片鍵值對每個分組內的元數據進行分片，獲得一個或多個分片；

存儲每條元數據對應的所述分組的分組標識和所述分片的分片標識。

可選地，在存儲每條元數據對應的所述分組的分組標識和所述分片的分片標識之后，還包括：

存儲每條元數據的存儲路徑信息。

可選地，在存儲每條元數據的存儲路徑信息之前，針對包含多個分片的任一分組，執行：

確定所述分組的任意兩個分片中的元數據的數據量的差值或比值不超過預設閾值，

當超過所述預設閾值時，則將所述分組內的所有元數據散列后重新分片，并存儲所述分組中的所有元數據的在重新分片后的存儲路徑信息。

可選地，將所述分組中的所有元數據散列后重新分片，包括：

根據所述元數據在重新分片前的分片標識，對所述元數據進行二次哈希，確定所述元數據在重新分片后的分片標識，根據二次哈希的結果對所述分組中的所有元數據重新分片。

可選地，確定與所述查詢入參對應的目標數據的分組標識和分片標識，包括：