[發明專利]數據處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 201911403255.1
• 申請日: 2019-12-30
• 公開（公告）號: CN111143373A
• 公開（公告）日: 2020-05-12
• 發明（設計）人: 吳良順
• 申請（專利權）人: 卓爾智聯（武漢）研究院有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 任曉;張穎玲

本發明公開了一種數據處理方法、裝置、電子設備及存儲介質。其中，方法包括：針對待存儲數據的所有字段中的每個字段，分別確定出每個字段對應的基數；所述基數表征對應的字段中出現字段值相同的數據的概率；所述基數隨著所述概率的增大而減??；在所有字段中的每個字段對應的基數中，確定第一基數；所述第一基數大于第一設定值；基于所述第一基數確定片鍵；所述片鍵中包括至少一個所述第一基數對應的字段；根據確定出的片鍵，將所述待存儲數據存儲至對應的數據塊。

技術領域

本發明涉及數據庫技術領域，尤其涉及一種數據處理方法、裝置、電子設備及存儲介質。

背景技術

相關技術中，使用非關系型數據庫存儲技術進行數據存儲時，容易出現數據分布不均衡的情況，降低了數據庫的存儲效率，造成數據庫中單個節點數據存儲量過大的現象。

發明內容

有鑒于此，本發明實施例提供一種數據處理方法、裝置、電子設備及存儲介質，以至少解決相關技術中數據分布不均衡的問題。

本發明實施例的技術方案是這樣實現的：

本發明實施例提供了一種數據處理方法，所述方法包括：

針對待存儲數據的所有字段中的每個字段，分別確定出每個字段對應的基數；所述基數表征對應的字段中出現字段值相同的數據的概率；所述基數隨著所述概率的增大而減??；

在所有字段中的每個字段對應的基數中，確定第一基數；所述第一基數大于第一設定值；

基于所述第一基數確定片鍵；所述片鍵中包括至少一個所述第一基數對應的字段；

根據確定出的片鍵，將所述待存儲數據存儲至對應的數據塊。其中，上述方案中，所述基于所述第一基數確定片鍵，包括：

在所有字段中的每個字段對應的基數中，確定第二基數；所述第二基數小于第二設定值；所述第一設定值大于所述第二設定值；

選取至少一個第一字段；所述第一字段為所述第一基數對應的字段；

選取至少一個第二字段；所述第二字段為所述第二基數對應的字段；

根據所述至少一個第一字段和所述至少一個第二字段，生成所述片鍵。

上述方案中，所述第二基數對應的字段中，字段值單調變化，所述方法還包括：

確定第一片鍵；所述第一片鍵為當前存入數據的數據塊對應的片鍵；

確定第二片鍵；所述第二片鍵為當前存有數據的數據塊對應的片鍵；

在所述第二片鍵中確定出第三片鍵；所述第三片鍵中的第二字段與所述第一片鍵中的第二字段不同；

刪除所述第三片鍵對應的數據塊中的數據。

上述方案中，所述方法還包括：

分別確定每個分片的相關參數；所述相關參數包括分片的數據塊數量；

根據確定出的每個分片的相關參數，在所有分片中確定出源分片；

將所述源分片中的數據遷移至目標分片；所述目標分片從所有分片中除所述源分片之外的分片中確定出。

上述方案中，所述在所有分片中確定出源分片，包括：

確定第一分片；所述第一分片為數據塊數量最多的分片；

確定第二分片；所述第二分片為數據塊數量最少的分片；

在所述第一分片與所二分片的數據塊數量差大于第三設定值的情況下，將所述第一分片確定為所述源分片。

上述方案中，所述在所有分片中確定出源分片，還包括：